ooroordelen zijn taboe in de wetenschap,
houden we eerstejaarsstudenten voor. CPB
directeur Coen Teulings (CT) was deze les
kennelijk vergeten toen hij zijn column “Is
de top echt de top?†schreef in ESB van 12 januari
2007. Hij poneert immers: “Er is in de wereld brede
overeenstemming wat de echte toptijdschriften zijnâ€
en baseert deze uitspraak op de éénstemmigheid
tijdens het jaarlijkse dineetje van de redactie van
de Journal of the European Economic Association.
Dit gezelschap vindt dat de American Economic
Review, Econometrica, de Journal of Political
Economy, de Quaterly Journal of Economics, en de
Review of Economic Studies de absolute top vormen. Toegegeven, uitstekende tijdschriften, maar of
werkelijk de “hele wereld†vindt dat ze beter zijn dan
bijvoorbeeld de Journal of Economic Theory of de
Journal of the American Statistical Association vergt
toch wel iets meer aan bewijs dan de uitgelaten
stemming van een tafelend gezelschap van redacteuren. Dat ondervonden ook CT en zijn trawanten toen
zij in wat nuchterder stemming constateerden dat de
Social Science Citation Index (SSCI) niet mee wilde
werken. In de ranking volgens de SSCI, die gebaseerd is op de frequentie waarmee een tijdschrift
geciteerd wordt, doen de favorieten van CT en de
zijnen aardig mee, maar zijn zeker niet de absolute
top. Maar geen nood. Indachtig overwegingen als die
welke CT inspireerden tot zijn uitspraak in zijn ESB
column dat “…. bij wijze van spreken voor iedere
econoom wel een lijstje te maken valt [van tijdschriften] waar hij of zij als topper bovendrijft.â€, verzocht
de European Economic Association een paar trawanten een methode te ontwikkelen die leidt tot een
ranking die het gezelschap, en dus de hele wereld,
wel zou bevallen. De methodologie lag voor de hand:
geef een citatie een gewicht dat afhankelijk is van
de ranking van het tijdschrift waarin geciteerd wordt.
Als je je favorieten de grootste gewichten geeft,
komt jouw top vanzelf bovendrijven. Hoewel met dit
systeem een aantal concurrenten als The Economist
uitgeschakeld werd, was het helaas nog niet voldoende om alle vooroordelen bevestigd te krijgen.
Maar gelukkig: “…na wat iteratieslagen ontstaat een
rangorde die voldoet aan mijn criterium: de top vijf
bovenaan†constateert CT verheugd.
Een andere beginnersfout van CT is dat hij vergeet
te definiëren wat top is zodat we eigenlijk niet weten
waar we over praten. Gaat het om invloed op het
beleid, deelname aan het maatschappelijk debat,
invloed op andere wetenschappers, een combinatie van al deze elementen of nog iets anders?
V
HENK FOLMER
Hoogleraar Rijksuniversiteit Groningen en
Wageningen Universiteit
Bovendien, heeft niet iedere specialisatie een eigen
top? CT en de zijnen erkennen dit impliciet daar zij
onderscheid maken tussen economics en business.
Maar waarom dan ook geen onderscheid tussen
specialisaties binnen economics? Econometrica ligt
hoogst waarschijnlijk niet op het nachtkastje van de
historisch econoom.
De lering. Hoewel het bepaald geen uitgemaakte
zaak is, valt er wel iets te zeggen voor Albert Jolinks
stelling dat toppen stimulerend werken. Bovendien
begint de top zich inmiddels steeds meer te ontwikkelen van het spelletje van Arie Kapteijn en Tom
Wansbeek om de donkere dagen rond de kerst
wat op te vrolijken tot een serieus criterium bij de
aanstelling en promotie van medewerkers en bij de
allocatie van middelen over onderzoeksgroepen.
Maar als het die kant uitgaat, dan moet de top ook
een objectieve en niet een gemanipuleerde top zijn.
Dus exit de CT-methodologie.
Bij het maken van een top zijn goede criteria onontbeerlijk. Een voor de hand liggend criterium is
invloed, zowel voor tijdschriften als auteurs. De vraag
die vervolgens opdoemt is: hoe meet je invloed? Hier
kun je verschillende kanten op. Ben je geïnteresseerd
in invloed op het beleid en het publieke debat, dan
kom je terecht bij bijdragen aan beleidsadviezen, en
jawel, artikelen en citaties in The Economist, dagen weekbladen en ESB. Wil je invloed van wetenschappers op het werk van andere wetenschappers
meten, dan dienen citaties in wetenschappelijke
tijdschriften zich aan, (hoewel ook in dit verband
een citatie in de media niet geheel van belang verstoken hoeft te zijn!). Manipulaties als gedwongen
citaties en vriendjespolitiek daargelaten, geeft een
citatie immers weer dat een andere auteur kennis
heeft genomen van het geciteerde werk en haar of
hem geïnspireerd heeft bij haar of zijn publicatie.
Hierbij gaat het om het totale aantal citaties en mag
het er niet toe doen of deze verkregen zijn via één,
veel geciteerde publicatie of via meerdere, minder
vaak geciteerde publicaties. Restricties op citaties,
bijvoorbeeld door deze te relateren aan het aantal
publicaties, is uit den boze als je invloed zuiver wilt
meten. Een ander voordeel van citaties is dat zij
een gemeenschappelijke noemer vormen waardoor
achterstelling van specialisaties voorkomen wordt;
referentie naar het werk van een econometrist weegt
even zwaar als naar dat van een historisch econoom.
Een op citaties gebaseerde top is dus een echte top.
ESB
6 april 2007
219
reactie
Reactie op: Is de top echt de top?