Kvalitetsreform af de offentlige serviceydelser bliver det vigtigste politiske dagsordenspunkt resten af indeværende år. Som et første konkret led har regeringen indgået aftaler om medarbejdernes arbejdsvilkår med de store personaleorganisationer for offentligt ansatte. Næste led bliver at konkretisere regeringens og de politiske partiers overvejelser omkring kvalitetsforbedringer for brugerne. Skal kvaliteten fortsat styres centralt ved hjælp af regler, kontrol og tilsyn? Eller skal der lægges mere kompetence ud til kommunerne og medarbejderne? Regeringen har i overensstemmelse med sin ideologi om ’noget for noget’ udtrykt villighed til at slække på den centrale kontrol; men kun på den betingelse, at kommunerne påtager sig at dokumentere ydelsernes kvalitet gennem løbende målinger. Kommunerne og medarbejderne kan få større frihed til at vælge løsninger og metoder mod til gengæld at underkaste sig en kontrol i form af løbende kvalitetsmålinger. Sådan tegner det sig i dag. Regeringen ønsker ikke at slippe tøjlerne, højst at slække på dem. Hvis dette er den formel, hvorpå kvalitetsreformen skal bygges, forudsætter det løbende kvalitetsmålinger, som giver præcis og objektiv information om udviklingen i serviceydelsernes kvalitet uden at belaste det daglige arbejde. Kvalitetsmålingerne skal i sig selv have høj kvalitet. Der er især stor opmærksomhed omkring en statistisk målemetode, som kaldes ’benchmarking’. Der findes ikke noget dansk ord for begrebet, men ideen er følgende: Kommunerne anvender deres (begrænsede) metodefrihed til hver for sig at sætte sit eget præg på de kommunale arbejdspladser. Der opstår derfor forskelle i måden at organisere sig på, måden at kommunikere med borgerne på, og der opstår mindre og større forskelle i arbejdskultur. Dette kan man udnytte ved at opstille mål for kvalitet på de enkelte serviceområder, så man kan finde frem til den eller de kommuner, som løser opgaverne bedst. Dette kaldes ’benchmarking’. Formålet er, at de mindre gode kommuner skal lære af de bedste kommuner og indrette sig på samme måde som dem. Dermed vil man opnå en løbende kvalitetsforbedring af de kommunale og regionale serviceydelser. Det forudsætter blot, at kvaliteten af serviceydelserne måles med ensartede metoder overalt. Det lyder som et columbusæg. I det mindste er det værd at prøve! Afprøvningen af metoden har allerede i nogen tid været godt i gang, så vi har faktisk mulighed for en foreløbig vurdering af, om benchmarking i sig selv har tilstrækkelig kvalitet til at bære en kvalitetsreform. Den beskæftigelsesmæssige integration af indvandrere er et af de serviceområder, hvor man har benyttet benchmarking til at sammenligne kvaliteten af indsatsen i et større antal kommuner. Kommunedata (KMD) har gennemført en benchmarking af fem af hovedstadens omegnskommuner, og AKF – ’Anvendt Kommunal Forskning’ – har lavet en benchmarking, hvor kvaliteten af den beskæftigelsesmæssige integration af indvandrere i 72 kommuner er blevet sammenlignet. Som målestok for vellykket integration har man begge steder benyttet oplysninger om, hvor hurtigt udlændinge i kommunen kommer i beskæftigelse eller i ordinær uddannelse. AKF’s undersøgelse er den mest omfattende og mest kompetente, og dermed den, som bedst belyser de muligheder, som ligger i benchmarkingens metode. I det følgende bygger jeg på den. Benchmarkingen viser, at Ishøj Kommune umiddelbart opnår de bedste resultater blandt de 72 kommuner. Her har det i gennemsnit taget 18 måneder efter opholdstilladelsen at komme i selvforsørgelse. Den umiddelbart dårligste kommune er Dronninglund, hvor det i gennemsnit har taget 35 måneder. En forskel på 17 måneder! Næsten dobbelt så meget som i Ishøj. Er de da dobbelt så dygtige til at integrere i Ishøj som i Dronninglund? Nej, det kan man ikke slutte. For tallene giver ikke umiddelbart det korrekte billede af integrationsindsatsens kvalitet i de 72 kommuner. Ud over den kommunale indsats er der nemlig en række andre faktorer, som spiller ind på, hvor hurtigt indvandrerne kommer i gang: Indvandrergrupperne i kommunerne er forskellige med hensyn til deres sammensætning på køn, opholdsgrundlag, oprindelsesland, alder, familieforhold, opholdstid i Danmark, helbred, boligforhold, danskkundskaber mv. Det har betydning for, hvor lang tid det tager at komme i arbejde eller uddannelse. Derudover betyder de lokale beskæftigelsesmuligheder, arbejdspladsernes uddannelseskrav mv. en rolle. Når sådanne forhold tages i betragtning, er den tilsyneladende bedste kommune måske ikke længere den bedste og den dårligste måske heller ikke den dårligste. Der findes statistiske metoder til at ’rense’ tallene for sådanne såkaldte ’baggrundsvariabler’. En sådan rensning ændrer billedet. Ishøj må som den ’bedste’ vige pladsen for Tårnby og selv rykke ned på tiendepladsen. Dronninglund fastholder sin placering som den sidste. Forskellen mellem den ’bedste’ og den ’dårligste’ er ved rensningen blevet halveret fra 17 til 9 måneder. Beregningerne viser i øvrigt, at baggrundsfaktorerne forklarer en langt større andel af forskellene i integrationshastigheden end kommunernes beskæftigelsesindsats. Disse resultater illustrerer, hvor sårbare resultaterne af benchmarkinganalyserne er over for udefra givne forhold. I AKF’s undersøgelse er der renset for i alt 15 baggrundsfaktorer. Hver ny faktor, der inddrages, formindsker de målte kvalitetsforskelle, og – hvad der er lige så vigtigt – den ændrer kommunernes rækkefølge. Et sandt billede af kommunernes kvalitetsmæssige ’rangfølge’ får man kun, hvis alle de baggrundsfaktorer, som har indflydelse på den målte kvalitet, er med. Og i samfundsvidenskabelige sammenhænge, hvor mange faktorer spiller sammen i komplicerede samspil, kan man sjældent være sikker på, at det hele er kommet med. Disse problemer er ikke akademiske navlepillerier. Når benchmarkingen skal bruges til praktiske kvalitetsforbedringer, får det alvorlige konsekvenser, hvis man ikke har renset for alle relevante baggrundsfaktorer. I så fald risikerer man, at det er forkerte kommuner, der placeres som de bedste, dem, som de øvrige kommuner skal måle sig i forhold til og lære af. Når man anvender dem som forbilleder, udebliver de tilsigtede forbedringer af integrationens resultater, og i stedet risikerer man, at fejlagtige forventninger om positive forbedringer fører til fejldispositioner ved renovering af forvaltningerne, fejlinvesteringer i anlæg og udstyr i mange kommuner og forkerte uddannelsesprogrammer for medarbejderne. Kan man sikre sig, at alle relevante baggrundsvariable kommer med i rensningerne? Svaret er nej! Baggrundsvariablene vælges og inddrages på grundlag af den viden, man for tiden har om de forhold, der kan øve indflydelse på indvandrernes integration. Denne viden hentes fra forskellige kilder – forskning, praktiske erfaringer, formodninger etc. Nogle af baggrundsfaktorerne kan måles, andre kan ikke. Man kan aldrig være sikker på, at listen er udtømmende, så kommunernes placering i rangordenen bliver korrekt. Selv hvis benchmarkingen – som det er tilfældet i AKF’s benchmarking – er udformet og udført korrekt, og selv hvis der er renset for alle relevante baggrundsforhold, er det ikke garanti for, at resultaterne kan bruges i praksis. Det er nemlig ikke tilstrækkeligt at få at vide, hvilke kommuner der er de bedste. Man skal også vide, hvad det er, som adskiller de bedste fra de dårlige. Eller sagt på en anden måde: »Hvad skal de dårlige konkret gøre for at blive lige så gode som de bedste?«. Skal de fortolke lovgivningen anderledes? Skal de skaffe sig dygtigere medarbejdere og/eller dygtigere ledelse? Hvordan dygtigere? Skal de forbedre samarbejdet mellem forvaltning og politikere? Skal de indføre en anden intern organisering af arbejdet? Skal de satse på et bedre samarbejde med erhvervslivet og de faglige organisationer? Eller kan de opnå mere ved en større og bedre inddragelse af nøglepersoner blandt indvandrerne? Er sagen et mere aktivt beboerarbejde i de udsatte boligblokke? – osv. Der kan opstilles mange hypoteser, men hvordan bekræftes eller aflives de? Benchmarkingen giver ikke svaret. Det blafrer i luften! Ingen af de to benchmarkinger, som her er undersøgt, har gjort forsøg på at give dokumenterbare svar på sådanne spørgsmål. Hvad skal kommunerne så bruge benchmarkingerne til? På trods af disse problemer har AKF foretaget en ny benchmarking af integrationsindsatsen, blot med den forskel, at integrationens succes måles gennem omfanget af selvforsørgelse i stedet for beskæftigelse. Denne undersøgelse indeholder nøjagtig de samme metodeproblemer som den forrige. Alligevel har AKF 14. juni udsendt en pressemeddelelse, hvori det hedder: »Formålet med AKF’s undersøgelse har været at udpege de kommuner, der klarer integrationsopgaven bedst, så de andre kommuner kan lære af disse kommuner. Hvis de bedste strategier udbredes til alle kommuner, vil den samlede integrationsindsats blive mere effektiv«. I en samtidig presseudtalelse udtaler integrationsminister Rikke Hvilshøj: »Effektmålingerne er gode værktøjer, og jeg opfordrer de kommuner, som ligger lavt i effektmålingen, til at lade sig inspirere af andre kommuners gode erfaringer«. Både AKF og integrationsministeren undlader at drage nogen konsekvens af, at benchmarkingerne totalt mangler redegørelser for, hvad det er, de dårlige kan lære af de gode! Er disse metodeproblemer specielt knyttet til undersøgelsernes genstand, den beskæftigelsesmæssige integration af indvandrere? Kan vi forvente mindre metodeproblemer ved benchmarking af andre offentlige serviceydelser, f.eks. inden for uddannelsesområdet, sundhedsområdet, kulturområdet? Tværtimod! De to benchmarkingers fælles genstand – den beskæftigelsesmæssige integration – har den fordel frem for mange andre serviceydelser, at deres endemål – beskæftigelse/uddannelse – er objektivt og målbart. Benchmarkinger inden for serviceområder, hvor succesen ikke er så objektivt målbar som på integrationsområdet, rejser langt større problemer. Det gælder f.eks. inden for folkeskoleområdet og ældreområdet. Her gælder det, at der i serviceydelsen indgår flere, ofte ’bløde’ bestanddele, som er langt vanskeligere – sommetider umulige – at måle. Hvis folkeskolens opgave alene var at skaffe eleverne forhåndsdefinerede kundskaber og færdigheder, kunne det nok gå. Her byder en række test og prøver sig til som målvariable. Men folkeskolens formålsparagraf vil mere end det: Par. 1. Folkeskolens opgave er i samarbejde med forældrene at fremme elevernes tilegnelse af kundskaber, færdigheder, arbejdsmetoder og udtryksformer, der medvirker til den enkelte elevs alsidige personlige udvikling. Stk. 2. Folkeskolen må søge at skabe sådanne rammer for oplevelse, virkelyst og fordybelse, at eleverne udvikler erkendelse, fantasi og lyst til at lære, således at de opnår tillid til egne muligheder og baggrund for at tage stilling og handle. Stk.3. Folkeskolen skal gøre eleverne fortrolige med dansk kultur og bidrage til deres forståelse for andre kulturer og for menneskets samspil med naturen. Skolen forbereder eleverne til medbestemmelse, medansvar, rettigheder og pligter i et samfund med frihed og folkestyre. Skolens undervisning og hele dagligliv må derfor bygge på åndsfrihed, ligeværd og demokrati. Hvordan måler man, om eleverne udvikler »erkendelse, fantasi og lyst til at lære« og »tillid til egne muligheder og baggrund for at tage stilling og handle«? Hvordan måler man »elevernes forståelse for andre kulturer og for menneskets samspil med naturen«? Hvordan måles resultatet af skolens indsats for at »forberede eleverne til medbestemmelse, medansvar, rettigheder og pligter i et samfund med frihed og folkestyre«? Disse egenskaber kan ikke måles ved et eksamensbord. De kan kun observeres i elevernes adfærd og handlinger, noget som i vidt omfang først for alvor åbenbarer sig ti, måske tyve år efter, at de har forladt folkeskolen. De er ganske uegnede til at måles ved benchmarking. Her kan man naturligvis hugge den gordiske knude over og begrænse benchmarkingen til de elementer, som kan måles ved test og prøver, nemlig kundskaber og færdigheder. Men når både undervisere, elever og den enkelte skole som sådan alene vurderes på kundskabs- og færdighedstilegnelsen, så virker det som en belønning til dem, der satser målbevidst på disse elementer i skolens virksomhed; og de personlighedsdannende elementer i skolens liv og undervisning nedprioriteres både af ledelsen, af lærerne, af forældrene og af eleverne. Man vil opleve det samme som de kernefysikere, der for 100 år siden forsøgte at måle atomernes baner. De opdagede, at det ikke kunne lade sig gøre, uden at målingen i sig selv forandrede banerne. Denne gennemgang har afdækket nogle af de faldgruber og kvalitetsproblemer, der er knyttet til benchmarkingen. De skyldes ikke, at det er ukyndige forskere, som har forestået de to analyser, som jeg har præsenteret. Tværtimod er AKF det måske mest respekterede institut inden for den anvendelsesorienterede kommunalforskning. Den manglende anvendelighed skyldes ikke forskerne, men må tilskrives metoden. Den er ganske enkelt ikke udviklet nok til at kunne anvendes til praktisk-politiske formål. Og den kan i hvert fald ikke stå alene. Hvis man stiller benchmarking som en betingelse for mere frihed og kompetence til kommunerne, kan det udvikle sig til en katastrofe af måledille, fejldispositioner og kvalitetsforringelser i den offentlige sektor. Større kompetence til medarbejderne er i sig selv en afgørende forudsætning for de påtrængende kvalitetsforbedringer, som er strengt nødvendige. De bør ikke betinges af perspektivløse, ofte vildledende, målingssystemer. Benchmarking er næppe det vidundermiddel, som inden for en overskuelig tid løser den offentlige sektors kvalitetsproblemer. I en vis udstrækning kan man måle kvalitet. Men man kan ikke måle sig til bedre kvalitet. Med benchmarkingens nuværende stade kan den i begrænset omfang bruges til at stille gode spørgsmål – hvilket kan være særdeles nyttigt! Men den vil næsten aldrig være i stand til at give de gode svar, som giver vitaminer til kvalitetsudviklingen. Man må nok se i øjnene, at vi indtil videre – og temmelig længe fremover – fortrinsvis må bygge på andre, mere gennemprøvede metoder: kontrollerede sociale forsøgsprojekter, strukturerede og ustrukturerede interview, strukturering af den eksisterende viden gennem teoretisk arbejde, deltagerobservation, fokusgrupper m.v., og først og fremmest ved at udnytte kloge lederes og praktikeres personlige erfaring. 1. Husted, Leif og Eskil Heinesen: Benchmarkinganalyse af integrationen i kommunerne målt ved udlændinges beskæftigelse 1999-2003. akf forlag 20062. Benchmarking af vestegnskommunernes integrationsindsats. Kommunedata 20063. Bent Rold Andersen: Benchmarkingens mange faldgruber – anskueliggjort gennem to konkrete eksempler på integrationsområdet.