Jakob Piil har selv på et tidspunkt udtalt, at han kunne have nået meget mere i sin karriere som professionel cykelrytter, hvis han fra starten havde arbejdet lige så seriøst, som han senere indså nødvendigheden af at gøre. Det har han næppe uret i, men når det tog nogle år, før han skærpede sin satsning, skyldes det utvivlsomt, at han var i besiddelse af så udsøgt et talent, at han meget tidligt formåede at hævde sig blandt de bedste herhjemme – ikke mindst på banen. Og da han først havde erkendt, at der skulle mere til for også at nå op i den internationale elite, mobiliserede han den krævede energi og skabte resultater også på landevejen, som kun meget få danske pedalatleter kan fremvise tilsvarende. Jakob Piil gjorde sig først bemærket på velodromerne, hvor han erobrede seks nationale mesterskaber i tre forskellige discipliner. Halvdelen blev hentet i parløb, hvor han i 1999 sikrede sig VM-sølv med Jimmi Madsen. Piil udfoldede sig ligeledes i seksdagesløbene og noteredes for to sejre – i 1997 i Grenoble med Tayeb Braikia og i 2005 i Ballerup Super Arena med Jimmi Madsen. I Frankrigs hårde bjerge I 1997 kastede Jakob sig ud i eventyret på landevejen, først på det lille belgiske hold RDM, de to følgende år på AcceptCard og fra 2000 til 2006 i tjeneste hos Bjarne Riis. Sin sidste aktive sæson i 2007 tilbragte Jakob Piil hos Brian Holm på det tyske T-Mobile, men alvorlige styrt satte en stopper for aktiviteterne. I den brede offentlighed er målestokken for cykelrytteres status ofte, om de har været i stand til at gøre sig gældende i Tour de France, og i den sammenhæng hører Jakob Piil hjemme i forreste række.
Ikke alene har han deltaget fire gange og gennemført de tre, men han er også en af blot ti danskere, der har vundet en etape i den tre uger lange styrkeprøve. Det skete i 2003, da han kom til mål i Marseille på 10. etape sammen med italieneren Fabio Sacchi og afviste denne i spurten. Blandt de øvrige triumfer, Jakob Piil hjemførte på landevejene, var den samlede sejr i Post Danmark Rundt i 2002, og samme år slog han også til i den franske klassiker Paris-Tours.
