Mellem Farum og fedme, og krige og kriser rummer avisforsider også positive nyheder. Som f.eks. den, at dansk sundhedsforskning nu er placeret i den internationale superliga ('Sundhedsforskning i top', artikel i Politiken 19. november 2001). Nyheden strider ganske vist mod nye OECD-rapporter og nødråb fra Statens Forskningsråd. Men netop derfor er budskabet velkomment for de nye ministre for sundhed og videnskab og for sygehusejerne. Så er der et problem mindre. Trods dårlig økonomi, ventelister og bundplacering af sundhedstilstanden klarer forskningen sig tilsyneladende. Desværre kun tilsyneladende. For det glade budskab holder ikke. Budskabet er baseret på en leder i et lidet kendt tidsskrift (Fava GA, Ottolini F, Sonino N.: Which are the leading countries in clinical medicine research? A citation analysis (1981-1998). Psychother Psychosom 2001; 70: 283-7), hvis ærinde først og fremmest har været at pege på psykiatrisk forskning i Italien i en citationsanalyse for årene 1981-1998. I tabellerne figurerer Danmark pænt. Og tallene er såmænd korrekte nok. Det store problem er tolkningen. Citationsanalyse er en bibliometrisk metode. Bibliometriske metoder bruges nu vidt og bredt i international og national forskningspolitik til at vurdere forskningsindsatsen i naturvidenskab, lægevidenskab og tekniske videnskaber; men de kan også anvendes i vurdering af samfundsvidenskab og humaniora. Bibliometriske metoder er med til at bestemme forskningens vilkår ved at placere lande, universiteter og forskergrupper i rangorden som i foldboldturneringer. Ikke bare hyldemeter Bibliometri betyder bogstavelig talt blot bogmåling. I sin oprindelige og trivielle form kunne bogmåling anvendes til at konstatere, at Grundtvig fylder flere meter, Kierkegaard og Rifbjerg også en del, mens lyrikere ofte begrænser sig til en centimeter eller tre på boghylderne. Det kunne og kan ikke ophidse mange. Men i de seneste årtier har bogmåling udviklet sig radikalt. Nogle mener rabiat. Bibliometri er nu en raffineret disciplin, der især anvendes i omgang med videnskabelig litteratur, hvor den ikke alene måler omfang, men angiveligt også kvalitet. Indsatsen i videnskab kan nu udtrykkes i tal med decimaler, som var det sport eller økonomi. Det aspekt har vakt interesse i forskningspolitiske og administrative cirkler. Endelig konkrete tal, der angiver udbyttet af investeringer i forskning. Internationale forskningsorganisationers og nationale ministeriers regnedrenge, forskningsbibliotekarer og en del forskere har taget de nye bibliometriske metoder til sig. Nogle med kyshånd, andre med skepsis, mens endelig en del forskere vender sig i afsky mod bibliometriens forsøg på at måle kvalitet. Snarere end emotionelt krudt kræver bibliometri imidlertid køligt overblik. På den ene side er de nye metoder kommet for at blive. Varianter er under udvikling og flere vil komme til. På den anden side rummer alle metoderne afgørende begrænsninger og fejlmuligheder. Indsamling og fortolkning af bibliometriske resultater kræver derfor indføling, delikatesse og ofte betydelige gran af salt. Det er med bibliometriske metoder som med andre metoder i videnskaben - det er ikke tilstrækkeligt blot at kende teknikken. Den kan mange tilegne sig. Mindst lige så vigtig er indsigt i metodernes forudsætninger og evne til at vurdere deres pålidelighed. Ellers ender fortolkningerne i misforståelser som beskrevet i indledningen, og som mange steder i presse og ministerielle rapporter. Hierarki blandt tidsskrifter For at forstå moderne bogmåling er det nødvendigt at vide, hvordan forskningsresultater formidles. Det første punkt er, at næsten alle resultater af et natur- eller lægevidenskabeligt projekt beskrives i originalartikler, der publiceres i internationale videnskabelige tidsskrifter. Ikke i bøger eller lokale rapporter. Det næste punkt er, at der blandt videnskabelige tidsskrifter er et betydeligt hierarki. Nogle tidsskrifter er højt estimerede og udkommer i store oplag, der spredes over hele kloden ('high impact-tidsskrifter). Andre er hæderlige og nyttige specialtidsskrifter, der dog ikke læses meget uden for deres særlige specialområde og hvor store videnskabelige gennembrud sjældent offentliggøres ('medium impact-tidsskrifter). Endelig er der en syndflod af mindre kendte tidsskrifter med beskeden udbredelse og læserkreds, men ofte med pompøse navne, der kan imponere udenforstående ('low impact-tidsskrifter). I sidstnævnte kategori kan næsten alt trykkes. Selvsagt ønsker alle at få deres resultater i de bedste og mest udbredte tidsskrifter. Men konkurrencen er barsk med særdeles kritiske vurderinger af internationalt førende eksperter. Tidsskrifthierarkiet kan imidlertid ændre sig, så dygtigt redigerede tidsskrifter på få år kan blande sig med noble klassikere, mens andre rutsjer fra superliga til fjerde division. For at publicere sine resultater optimalt, er det derfor nødvendigt at kende hierarkiet og dets dynamik. Det er for forskere som for aktionærer og børsspekulanter, at rettidig omhu med kendskab til markedet er nødvendig for at maksimere udbyttet af sin indsats. Peer review Bibliometri bruger i princippet tre metoder. Den første er den oprindelige bogmåling; en enkel sammentælling af publikationer. De udtrykkes i årligt antal per forsker/forfatter, per forskergruppe, per institut, per universitet eller per nation. Det lyder simpelt, og selve optællingen er da også såre simpel. Men det kræver professionel indsigt at vurdere, hvad der skal tælle med, og hvor meget den enkelte publikation skal tælle. En forskergruppe på et universitet eller universitetssygehus kan i tidens løb udsende mange slags tryksager, som ikke beror på egen forskning. Det kan være lærebøger og lærebogsbidrag, ledere, rapporter, artikler i leksika, kommentarer og for den sags skyld avisartikler. De medtages ofte i listen over publikationer fra gruppen. Men de kan ikke bruges til at vurdere forskningsindsatsen. Derfor er det nødvendigt at begrænse sammentællingen til publikationer, som rummer nye og originale forskningsresultater og til systematiske oversigtsartikler, der bygger herpå. Det drejer sig primært om egentlige originalartikler. Men også korte meddelelser på kongresser, der publiceres i tidsskrifter ('abstracts'), kan rumme nye originaldata, hvilket også gælder bøger, der udgives i forbindelse med videnskabelige symposier ('symposie-proceedings'). Forskellen er imidlertid, at kun de egentlige originalartikler har været underkastet en kritisk vurdering af andre forskere med professionel indsigt i området ('peer review'). En bibliometrisk optælling af publikationer, der skal afspejle den egentlige forskning i gruppen eller på instituttet, må derfor begrænses til de originalartikler, der har været underkastet 'peer review'. Inden for natur- og lægevidenskab vil det i praksis sige originalartikler skrevet på engelsk (natur- og lægevidenskabens sprog) og trykt i internationale tidsskriftet. Et andet problem i sammentællingen er den vægt, hvormed den enkelte originalpublikation kan tælle for den enkelte forsker eller forskergruppe. Det enkleste og mest anvendte er blot at tælle hver publikation med en faktor én. Men i vore dages natur- og lægevidenskab er der flere og flere medforfattere på den enkelte artikel. Og ofte er forskerne/ forfatterne fra forskellige institutioner og forskellige lande. Spørgsmålet er, om en enkelt forsker fra en dansk gruppes deltagelse i et projekt og dermed en publikation med f.eks. syv forskere fra en udenlandsk gruppe berettiger danskeren til at medregne publikationen med fuld valør? Eller skal den kun tælle med en ottendedel? I flere lande arbejdes der med systemer, hvor førsteforfatteren (der som regel har ydet mest) tilskrives den halve værdi af artiklen, mens de øvrige medforfattere må deles om resten. Der er lanceret forskellige varianter over det tema, men ingen har endnu opnået konsensus. Fremgangsmåden for den i sig selv simple sammentælling afventer stadig generelt accepterede internationale regler, og nuancerne bag et publikationstal er betydelige. Citationsanalyse Den næste bibliometriske metode er den førnævnte citationsanalyse. En videnskabelig artikel citeres af andre forskere på området, hvis den har bidraget med en væsentlig ny erkendelse eller f.eks. en ny metode. Der er derfor almindelig enighed om, at jo mere betydningsfuld en videnskabelig artikel er, des mere citeres den. Antallet af citationer angiver på den måde artiklens gennemslagskraft, hvilket - ikke ganske korrekt - tages som udtryk for kvaliteten. De sjældne undtagelser er publikationer baseret på kontroversiel og dårlig forskning, der trods almindelig kvalitetsvurdering alligevel vækker opsigt (jf. den kolde fusion i Utah og Bjørn Lomborgs miljøskriverier). De citeres selvsagt i de undersøgelser, der må til for at tilbagevise dem. Derfor kan dårlige og kontroversielle artikler opnå et vist omfang af citationer. Citationstal har imidlertid i sig selv også store begrænsninger. Den største er tallenes manglende aktualitet. Citationstal er per definition svært bagudrettede. Det betyder, at antallet af citationer for en forsker, en gruppe eller for et institut måske nok kan bidrage til at vurdere betydning og gennemslagskraft af tidligere forskning - men ikke af den nuværende. Det skal uddybes, for det er især på dette punkt at der begås fejl. Det er også her, at den store fejlfortolkning om dansk sundhedsforskning begås af avisartiklen nævnt i indledningen. Hovedfejlen er, at man tager de senere års citationstal som udtryk for gennemslagskraften eller kvaliteten af de senere års forskning. De to ting behøver nemlig ikke at have meget med hinanden at gøre. Det skyldes tidsforløbet. Et projekt tager måneder eller ofte år at udføre. Bearbejdning af resultater og sammenskrivning til et færdigt manuskript tager almindeligvis også flere måneder. Herefter kommer måneder til redaktionel vurdering og publicering, en proces der ofte øges til ét eller flere år, hvis der kræves yderligere undersøgelser og/eller hvis artiklen forkastes og må gennem flere redaktionsmøller. Dvs. fra det tidspunkt hvor undersøgelsen er udført på et institut eller i en afdeling til den foreligger offentliggjort, dvs. trykt i et internationalt anerkendt tidsskrift, går der som regel ét til flere år. Og først på det tidspunkt kan andre forskere begynde at citere artiklen. Men andre forskeres artikler skal også igennem bearbejdnings- og publiceringsmøllen. Så igen går der flere år fra artiklen er trykt til citationerne kan registreres. Og jo mere grundlæggende og væsentlige resultaterne er, des længere vedbliver den pågældende artikel at blive citeret. Eksempelvis viste en nylig undersøgelse for nogle ældre, men stadigt produktive forskere, at en stor del af deres citationer sidst i 1990'erne stammer fra artikler publiceret i 1970'erne og begyndelsen af 1980'erne, dvs. forskning, der ligger 20-30 år tilbage. Meget tyder derfor på, at citationer i væsentligt omfang afspejler forskning, der er udført ti eller flere år tidligere. Under alle omstændigheder er citationsanalyser ubrugelige til at vurdere et lands eller en institutions aktuelle forskning. Og de der fremturer hermed begår en alvorlig fejl. Men det ændrer ikke ved, at citationsanalyser kan være udmærkede til at belyse en enkelte forskers eller forskergruppes gennemslagskraft over en længere periode. Impact factor Den sidste slags bogmåling tilsigter også at måle kvalitet. Den hedder på nydansk journal impact factor score. Metoden bygger på citationsanalyser i hierarkiet af videnskabelige tidsskrifter. Spektret har man nu udtrykt i tal, idet hvert af de 5.000 engelsksprogede natur- og lægevidenskabelige tidsskrifter, der indgår i systemet, er blevet udstyret med en 'impact factor'. Et tidsskrifts 'impact factor' udregnes som forholdet mellem antal citationer og antal publikationer i tidsskriftet i de forudgående to år. Den udregnes hvert år af et privat analyseinstitut (Institute for Scientific Information) i USA. 'Impact factor' kan variere kolossalt mellem tidsskrifter fra f.eks. 0,002 ('Biotechnology Law Report') til 47,564 ('Annual Review of Immunology'). Dvs. der skal næsten 24.000 artikler i det første tidsskrift til at opnå samme betydning ('impact') som en enkelt artikel i det sidste. Nu dækker de to tidsskrifter forskellige områder og er derfor vanskelige at sammenligne. Men også på samme område er variationen betydelig, og kan nemt variere med en faktor 50. Betydningen af en forskergruppes eller et forskningsinstituts indsats udregnes ved at addere 'impact factors' for de tidsskrifter, hvori man har publiceret videnskabelige artikler i det pågældende år. Man kan så sammenligne sig selv med tidligere år og med andre grupper på området i samme år. 'Impact factor'-systemet er blevet populært, fordi det giver et let tilgængeligt mål for forskningsindsatsen, omfattende både kvalitet og kvantitet. Og selv om det også peger bagud er det mindre bagudrettet end citationsanalyserne. Men brugen af 'impact factor' forudsætter også kendskab til systemets begrænsninger. Og de begrænsninger respekteres langtfra, hvilket til tider resulterer i det rene vrøvl. Forudsætningerne for 'impact factor'-systemet er bl.a. mange publikationer (>100) for at sikre en rimelig sammenhæng med det underliggende mål, citationerne. 'Impact factor'-systemet tager ikke højde for forskelle i citationspraksis på forskellige forskningsområder. Systemet omfatter kun en mindre gruppe engelsksprogede tidsskrifter (ganske vist de mere betydningsfulde), men udelukker alt i alt de fleste videnskabelige tidsskrifter og bøger. Systemet er desuden retrospektivt og belastes ofte af fejlregistreringer. Det korte af det lange er, at meningsfuld brug af 'impact factor'-systemet kræver et nøje kendskab til systemet og dets forudsætninger. Hertil hører også en overordnet erkendelse af, at 'impact factor scores' aldrig kan stå alene i vurderingen af en forskningsindsats. Men når forudsætningerne er opfyldt, kan 'impact factor' yde et værdifuldt bidrag til billedet. Bogmåling er en kunst På mange af tilværelsens områder er det en unægtelig fordel grænsende til det nødvendige at have indsigt i det man skal håndtere. Professionalitet er mere påkrævet end nogensinde. Ikke mindst i vidensamfundet. F.eks. skal jeg kun opereres af en erfaren kirurg, og ikke af en hvilken som helst læge. Bogmåling var for få årtier siden en simpel disciplin, ethvert bogmenneske og enhver forsker kunne forholde sig umiddelbart til. Raffineringen med de nye bibliometriske metoder har gjort bogmåling til en kunst. I dag kan meningsfuld bogmåling kun udøves af professionelle med nært kendskab til de områder, der underkastes bibliometri, og til metodernes problemer og fejlkilder. Dvs. bibliometri på videnskabens forskellige områder kan i sidste instans kun udøves af eller i samarbejde med erfarne videnskabsmænd/-kvinder på de respektive områder. Det duer ikke, at administratorer, embedsmænd og deres sekretærer eller journalister uden specifik indsigt begynder at fortolke bogmålinger. Og så må Anders Fogh kalde mig Mads, smagsdommer eller ekspert så meget han vil. Til sidst kan man spørge, hvordan man kan vide, hvordan den nuværende danske forskning har det, når bibliometriske metoder kun afspejler svundne tider. Svaret er, at det kræver andre metoder. Det kræver, at en central institution med forstand på forskning som f.eks. Statens Forskningsråd ved besøg ('site visits') hos ledende forskergrupper danner sig direkte indtryk af situationen: af de resurser, der er tilgængelige; af de fremskridt, der gøres; og af de problemer, der findes. Statens Forskningsråd kan hyre udenlandske forskere til besøgene, så der bliver tale om et objektivt 'peer review'. Sådanne 'peer reviews' af den aktuelle tilstand kan i kombination med professionelt håndterede bogmålinger give et reelt billede af hvordan forskningen udvikler sig herhjemme, og hvordan tilstanden er nu. Det ville hjælpe samfundet mere end tvivlsomme skønmalerier baseret på fejltolkninger af tal i 'low impact'-tidsskrifter. Jens F. Rehfeld er professor, dr.med. et scient. på Klinisk biokemisk afdeling, Rigshospitalet.