column
Coen Teulings
Is de top echt de top?
Literatuur
Jolink, A.(2006)
Economen Top 20 voor
2006. ESB 3 (91) 4497.
Kalaitzidakis, P.,
T.P. Mamuneas, en
T. Stengos (2003)
Rankings of Academic
Journals and InstiÂ
tutions in Economics.
Journal of the European
Economic Association,
December 2003.
28
“De praktijk leert dat de ‘toppen’ stimulerend werken
op het vakgebied, doordat individuele onderzoekers
zich graag willen plaatsen in de context van de community of peers en doordat faculteiten hechten aan het
inzicht van de facultaire output.†schreef Albert Jolink
bij de publicatie van de ESB Economen Top, gebaseerd
op gepubliceerde artikelen. En dit is een waar woord.
Sinds Arie Kapteyn en zijn trawanten daar zo’n 25 jaar
geleden mee begonnen, hebben deze publicatielijstjes
een grote invloed gehad op het Nederlandse economisch onderzoek, een uitstekende invloed om precies
te zijn. Het onderzoek heeft een geweldige inhaalslag
gemaakt.
Het opstellen van een tijdschriftenlijst die aan zo’n top
ten grondslag ligt is geen sinecure. In een vorig leven,
als directeur van het Tinbergen Instituut, heb ik dat
proces een keer gecoördineerd, dus ik weet waarover
ik praat. Er moeten tal van knopen moeten worden
doorgehakt. Meet je publicaties of citaties? Hoe ga je
om met co-auteurs? Corrigeer je voor de lengte van het
artikel? En als pièce de résistance: hoe weeg je het
relatieve belang van tijdschriften? Er is bij wijze van
spreken voor iedere econoom wel een lijstje te maken
waar hij of zij als topper bovendrijft.
Afschaffen dus, die lijstjes? Wat mij betreft liever niet.
Maar dan moeten we wel het goede gaan meten. Er
is in de wereld brede overeenstemming wat de echte
toptijdschriften zijn. Ik kan dat eenvoudig aantonen.
Ik ben associate editor van de Journal of the European
Economic Association, een erebaantje wat mij eens
per jaar een dineetje oplevert. Daar wordt het redactiebeleid besproken. Dat beleid is verrassend simpel:
wij willen het zesde tijdschrift van de wereld worden.
Welke dan die vijf tijdschriften zijn die wij boven ons
moeten dulden is nooit expliciet besproken. Dat hoeft
ook niet, want iedereen aan tafel weet dat precies. Het
zijn: de American Economic Review, Econometrica, de
Journal of Political Economy, de Quarterly Journal of
Economics, en de Review of Economic Studies. Er is
dus een simpel criterium voor een goede tijdschriftenlijst: die vijf moeten bovenaan staan, anders is er iets
mis.
Dat criterium blijkt knap lastig. Een veel gebruikte
methode is tijdschriften te wegen met de Social
Science Citation Index (SSCI). Tijdschriften die veelvuldig worden geciteerd, worden zwaarder gewogen.
Dat geeft echter een merkwaardige vertekening. The
Economist blijkt dan plotsklaps hét wetenschappelijke
toptijdschrift te zijn. Dat is een symptoom voor een
dieper probleem van deze methode. De alom erkende
ESB 12
januari 2007
top vijf komt op die manier in ieder geval niet bovendrijven. Kalaitzidakis, Mamuneas, en Stengos hebben
in opdracht van de European Economic Association
een methode ontwikkeld die wel leidt tot een herkenbaar resultaat. Hun idee is dat citaties moeten
worden gewogen met het tijdschrift waarin geciteerd
wordt. Een citaat in de krant is dan waardeloos (exit
is The Economist), een citaat in een toptijdschrift als
Econometrica telt dan zwaar. De ranking van tijdschriften is dus afhankelijk van ranking van het tijdschrift
waarin ze geciteerd worden. Het systeem verwijst
dus naar zichzelf. Lastig om te berekenen, maar na
wat iteratieslagen ontstaat een rangorde die redelijk
voldoet aan mijn criterium: de top vijf bovenaan. Deze
analyse laat ook zien hoe groot het verschil is tussen
de top en de basis: nummer één heeft drie keer zoveel
impact als nummer tien, zes keer zoveel als nummer twintig, en twaalf keer zoveel als nummer dertig.
Kalaitzidakis en anderen passen deze methode toe
op economics, niet op business. In hetzelfde nummer
van de Journal of the European Economic Association
worden ook lijsten gepubliceerd waarin business wel
wordt meegenomen. De echte liefhebber van het
meten van onderzoek kan dus zijn lol op. Mij gaat het
hier om de algemene conclusie: wegen met de SSCI
leidt tot onzinnige resultaten, Kalaitzidakis biedt een
beter alternatief. Bij het Tinbergen Instituut hebben
we indertijd dan ook besloten om de tijdschriftenlijst
daarop te baseren.
Nu zult u denken: maar wat maakt het uit? Hoe je het
ook meet, meestal komt er toch hetzelfde uit. Niets
is minder waar. Ik kan het niet precies uitrekenen,
maar ik schat dat van Jolink’s 20 topeconomen er in
een aldus gecorrigeerde lijst hoogstens vijf overblijven.
Ook de verdeling over faculteiten verschuift fors. Wat
ik wel kan doen is het allersimpelste criterium nemen:
het aantal publicaties in de top vijf tijdschriften. In de
periode 2001-2005 zijn 25 ‘Nederlandse’ toppublicaties verschenen, ongeveer één procent van het totaal
in de wereld, en een sterke stijging ten opzicht van de
voorafgaande vijf jaar. Dat is een hele mooie score. Van
die 25 staan 19 op naam van onderzoekers die zijn
verbonden aan het Tinbergen Instituut (dat wil zeggen
EUR, UvA, VU). Het bewijst maar weer eens het gelijk
van Albert Jolink: onderzoekers richten zich naar de
publicatielijstjes. Sinds het Tinbergen Instituut publicaties in de top vijf zwaarder is gaan wegen, is hun
aantal daar sterk toegenomen.
Kortom: lang leve de lijstjes, maar dan wel graag de
goede!