Han har i løbet af sin karriere været ude i næsten alle hjørner af politiet og anklagemyndigheden og i en kortere periode desuden inden for domstolene. Han fratrådte som politimester i Helsingør, i forbindelse med at politireformen trådte i kraft 1. januar 2007, og var som sådan den sidste politimester i Helsingør. Hans store vilje til at eksperimentere har nogle gange i karrieren indbragt Ole Scharf folkelige øretæver. Der var masser af protester, da han som chef for ordensmagten i Helsingør nedlagde nærpolitistationer i blandt andet Birkerød. Borgerne kunne ikke se fornuften i at lukke politistationer, men politimesterens idé var, at betjentene skulle ud af kontorerne og ud i befolkningen. Optræk til kriminalitet skulle afdækkes i stedet for at skride ind på et tidspunkt, hvor det var for sent. Han arbejdede ud fra denne holdning: Politiet vil aldrig kunne løse problemerne med kriminalitet og utryghed alene, og de bedste resultater af politiets arbejde opnås gennem et decentraliseret politi, der er tilpasset de lokale forhold. Han blev politimester i Helsingør i 1996, og han har været chef hos Rigspolitichefen og kredspolitimester. Hos Rigspolitichefen var han leder af dataafdelingen. Som chef dukkede han ikke hovedet bag sagsbunkerne. Ofte har han deltaget i den offentlige debat. Som pensionist har han blandt andet forsket i politiets ledelsesmæssige historie, og en tur på motorcykel i ny og næ bliver det også til.