Lijstenbrij

Lijstenbrij
Aute ur(s ):
Damme, E.E.C. van (auteur)
De auteur is als hoogleraar economie verbonden aan de Universiteit van Tilburg en CentER en als directeur aan het Tilb urg Center for Law and
Economics (TILEC). Eric.vanDamme@uvt.nl
Ve rs che ne n in:
ESB, 88e jaargang, nr. 4421, pagina 598, 12 december 2003 (datum)
Rubrie k :
Vakontw ikkeling
Tre fw oord(e n):
economentop

Tijdschriftenlijsten lijken objectief te zijn, maar hebben voor- en nadelen. Vakgebieden laten zich niet in één lijst vatten.
Het is weer lijstentijd. Wat 25 jaar geleden begon met een plaagstoot van Arie Kapteyn en Tom Wansbeek, is nu een succesvol
exportproduct1 Esb publiceert nationale ranglijsten en het decembernummer van het Journal of the European Economic Association
geeft vergelijkbare Europese lijsten. In het kader van het project Mapping of Excellence in Economics zal de Europese Commissie
binnenkort de officiële landkaart met toppen en laagvlaktes van de Europese Onderzoeksruimte publiceren. Daarmee verliest dit spel zijn
vrijblijvendheid: it’s getting serious business. De ranglijsten van economen zijn gebaseerd op ranglijsten van tijdschriften. Een
tijdschriftartikel levert punten op – meer naarmate de kwaliteit van het tijdschrift hoger is – en vervolgens wordt per auteur en instelling
opgeteld. In dit artikel behandel ik de twee basismethoden die gebruikt worden om de kwaliteit van tijdschriften te bepalen.
De oude VSNU-lijst
Bij de expertmethode vraagt men experts in het vakgebied om de goede tijdschriften te classificeren. Dit werkt goed voor kleine
vakgebieden, maar eigenlijk ook alleen dan, terwijl het lastig is deellijsten op consistente wijze tot één algemene lijst te aggregeren. De
methode is bovendien omslachtig, zodat kwaliteitsveranderingen en nieuwe tijdschriften moeizaam verwerkt worden. Bovendien is de
uitkomst kwetsbaar voor het lobbyen door belangengroepen en levert de methode op zijn best alleen een lineaire orde op (top, zeer goed,
goed) maar geen wegingsfactoren. Hierdoor is men, om een top-40 te berekenen, gedwongen om kwaliteit op arbitraire wijze in cijfers te
vertalen.
De nadelen van de expertmethode worden goed geïllustreerd door de problemen met de oude VSNU-lijst, die in 1988 voor het eerst werd
opgesteld. De expertcommissie stelde een indeling in vijf categorieën (A t/m D) voor, volgens de principes ‘internationaal is beter dan
nationaal’ en ‘hoe strenger gerefereerd, hoe beter’. In een sterk staaltje van hybris classificeerde zij duizend tijdschriften. De lijst had een
afwijking ten faveure van die deelgebieden die toevallig een representant in de commissie hadden en was bovendien onvolledig.
Sindsdien is de lijst nog een paar keer aangepast, maar deze procedure was bewerkelijk, zodat het proces uiteindelijk stokte. Het
doodvonnis werd getekend door de visitatiecommissie-Barten die in 1995 concludeerde dat de lijst onbruikbaar was om
onderzoeksoutput te meten en te vergelijken2
Een nieuwe VSNU-lijst?
Een door de decanen van de economische faculteiten ingestelde nieuwe commissie, waarvan ik voorzitter was, moest onderzoeken of het
zinvol was nieuwe lijsten op te stellen. Deze commissie bracht in 1999 haar rapport uit met daarin achttien gedetailleerde aanbevelingen
en als kern dat het verstandig was om over te stappen naar lijsten die zijn gebaseerd op citatieanalyse3 Voor zover mij bekend hebben
de decanen nooit een formeel standpunt over dit rapport ingenomen en heeft de VSNU dit rapport nooit gepubliceerd. Het gevolg is dat
sindsdien de afzonderlijke faculteiten in Nederland elk hun eigen weg gegaan zijn en maar wat ‘aangerommeld’ hebben.
Het idee dat aan de bibliometrische methode voor de bepaling van de kwaliteit van tijdschriften ten grondslag ligt, spreekt economen
aan. Een verwijzing is immers een erkenning van gebruik en is op de markt voor ideeën het equivalent van een productaankoop.
Natuurlijk is de analogie imperfect, zo zijn sommige verwijzingen negatief en krijgen overzichtsartikelen punten voor ideeën die elders
ontwikkeld werden. Toch is, als eerste benadering, binnen hetzelfde gebied, het aantal keren dat een onderzoeksartikel geciteerd wordt
goed als kwaliteitsindicator bruikbaar. In vergelijking met expertopinie heeft de bibliometrische methode als voordelen dat de
kwaliteitsindicatoren kwantitatief zijn en regelmatig gepubliceerd en bijgewerkt worden. Er is niet echt de noodzaak om tijdschriftenlijsten
te publiceren want de markt doet dat zelf.
In haar eindrapport stond onze commissie uitgebreid stil bij de nadelen van bibliometrische methoden en betoogde zij dat ruwe isi-data,
zoals impactfactoren, niet zonder meer bruikbaar zijn. Citatiegewoontes verschillen per wetenschapsgebied en gebieden zijn verschillend
van omvang, met als gevolg dat bijvoorbeeld impactfactoren van medische tijdschriften een orde van grootte groter zijn dan die van
economische tijdschriften. Dit wil niet zeggen dat die tijdschriften een factor tien beter zijn, of dat een econoom die toevallig een keer in
een medisch tijdschrift publiceert tien keer zo goed is als iemand met een publicatie in de American Economic Review. Ook binnen het
brede vakgebied dat door de faculteiten economie en bedrijfswetenschappen in Nederland wordt bestreken, loopt men tegen problemen

van onvergelijkbaarheid op.
De esb/Intermediair-lijsten
De lijsten in deze esb zijn gebaseerd op het idee dat economen en bedrijfskundigen opgeteld kunnen worden, mits de geschikte
wegingsfactoren gebruikt worden. Helaas zijn de gebruikte wegingsfactoren niet openbaar. Navraag bij CentER heeft geleerd dat de isiimpactfactor (het aantal keer dat het gemiddelde artikel, gepubliceerd in een bepaalde periode, in een bepaald jaar geciteerd wordt) het
uitgangspunt vormt. Voor een tijdschrift in een bepaald veld (subdiscipline) wordt deze gedeeld door zoiets als de gemiddelde impact
van dat veld. De exacte procedure is mij echter niet bekend, waardoor ik niet kan beoordelen of de wegingsfactor de kwaliteit van het
tijdschrift weerspiegelt en of in de top-40 de echte topeconomen van ons land staan. Er is voldoende reden voor scepsis.
Ten eerste krijgt een tijdschrift in een (onbelangrijk) veld met een lage impact, vanwege het noemereffect, een groot gewicht. Ten tweede
krijgen in deze procedure de economische publicaties in niet-economische tijdschriften met een hoge impact een relatief zware weging.
Zo wordt niet gecorrigeerd voor het feit dat een economische publicatie in Science minder vaak geciteerd wordt dan het gemiddelde
artikel in Science. Ten derde telt bij deze procedure elke citatie even zwaar, onafhankelijk van wie waar citeert. Als econoom ben ik echter
gelukkiger wanneer Joe Stiglitz mij in de aer citeert dan wanneer Jan Klaassen aan mij refereert in Space Communications. Omdat de aer
meer invloed heeft op de economie dan Science, zijn zowel publicaties als citaties in Science voor een econoom van minder belang dan
die in de aer. De esb/Intermediair-lijst is gebaseerd op afzet, niet op toegevoegde waarde voor de economie.
Economische toptijdschriften
Analoog aan het idee dat een voetballer vooral goed kan voetballen, kan men het principe verdedigen dat een goede econoom vooral de
economische wetenschap vooruit brengt en dat alleen tijdschriften die vaak door goede economische tijdschriften geciteerd worden zelf
ook goede tijdschriften zijn. Gebruikmakend van standaardtechnieken uit de input-output-analyse (het berekenen van een Leontiefinverse en een eigenvector) kunnen zo, voor een willekeurig deelgebied, de gewichten van de goede tijdschriften binnen dat gebied
berekend worden. Recent hebben Kalaidzidakis e.a. via deze methode de gewichten van economische tijdschriften bepaald4
Een tabel bij dit artikel, die op de website van esb te vinden is, geeft de top-50 van tijdschriften uit deze lijst, met daarbij hun index (kolom
3: JEEA), alsmede de ongewogen impactfactor van het ISI (kolom 4) en het CentER-gewicht (kolom 5), waarbij steeds de AER op honderd
genormaliseerd is. Theoretische tijdschriften, zoals Econometric Theory en geb, worden (klaarblijkelijk) veel geciteerd in de
kerntijdschriften van de economie en zijn dus voor de economische wetenschap belangrijker dan de ruwe ISI-data suggereren. Het
CentER-gewicht correleert zeer slecht met de twee overige en lijkt, binnen de economie, een ruis te hebben ten gunste van de
kwantitatieve richting. Volgens CentER is de Academy of Management Review het beste economietijdschrift en wel met een gewicht van
230. Ook zijn andere organisatietijdschriften beter dan ons vlaggenschip. De Academy of Management Journal krijgt bijvoorbeeld
gewicht 200, het Journal of Finance 198 en het Journal of Marketing 180. Volgens CentER is de beste publicatie van Arnoud Boot,
Harry Barkema of Jan-Benedict Steenkamp twee keer zo goed als de beste van Lans Bovenberg. Volgens mij is dat onzin; ik zou het in
ieder geval niet willen beweren zonder die artikelen gelezen te hebben. Het is duidelijk dat de bedrijfseconomen graag op onze top-40
voor willen komen en dat de esb-lijst met flinke korrel zout genomen moet worden.
Conclusie
De top-40 van esb en Intermediair is gebaseerd op een lijstenbrij en de lijst heeft nu iets weg van de verkiezing van ‘sporter van het jaar’.
Een voetballer is liever voetballer van het jaar dan sporter van het jaar en voor sporters die zich in een andere sport gespecialiseerd
hebben geldt iets vergelijkbaars. Wetenschap niet anders dan sport: een vergelijking binnen deelgebieden is belangrijker dan die tussen
deelgebieden. Marketing en economie laten zich net zo moeilijk vergelijken als badolie en margarine en de vergelijking is net zo weinig
zinvol.
Opmerkelijk is dat we vooral in Nederland een grote belangstelling voor lijstjes aan de dag leggen. Ik vermoed dat dit vooral komt
doordat onze faculteiten zo groot zijn en onze bestuurders geen inhoudelijk inzicht hebben, maar wel een instrument nodig hebben om
het geld zo eerlijk mogelijk te verdelen. Achter een tijdschriftenlijst kan een bestuur zich verschuilen; men hoeft dan geen inhoudelijk
oordeel uit te spreken. Het zou beter zijn te erkennen dat Nederlandse faculteiten voor economie en bedrijfswetenschappen breder zijn
dan uitsluitend ‘economie’, dat er ruimte is voor meerdere lijstjes en dat concurrentie binnen deelgebieden de kwaliteit van de
wetenschapsbeoefening in Nederland beter bevordert dan concurrentie tussen deelgebieden.
Eric van Damme

1 A.D.S. de Schuite, De Top-40 van Nederlandse economen: Theil met stip op één, ESB, 17 december 1980, blz. 1414-1415.
2 VSNU, Quality assessment of research: economics, Utrecht, 1995.
3 E.E.C. van Damme e.a., Towards a new system of output measurement in Dutch economies, verkrijgbaar via de auteur van dit artikel.
4 P. Kalaitzidakis, T.P. Mamuneas en T. Stengos, Rankings of academic journals and institutions in economics, Discussion paper 200110, University of Cyprus, 2003. http://www.econ.ucy.ac.cy/papers/0110.pdf

Copyright © 2003 – 2004 Economisch Statistische Berichten (www.economie.nl)