De nieuwe Tinbergenlijst
Aute ur(s ):
Teulings, C.N. (auteur)
De auteur is directeur van het Tinbergen Instituut. teulings@few.eur.nl
Ve rs che ne n in:
ESB, 88e jaargang, nr. 4395, pagina 90, 21 februari 2003 (datum)
Rubrie k :
Tre fw oord(e n):
Tijdschriftenlijsten
worden gebruikt bij de beoordeling van de kwaliteit van onderzoek. Het Tinbergen Instituut heeft een
nieuwe lijst opgesteld.
De economische theorie voorspelt dat mensen reageren op prikkels. Economen zelf zijn daarop geen uitzondering. De verschijning
van de eerste lijsten waarin tijdschriften naar hun wetenschappelijke betekenis werden gerangschikt, heeft dan ook een grote invloed
gehad. Deze invloed heeft zich vooral doen gelden op het publicatiegedrag van economen en het lidmaatschap van onderzoeksscholen en
de benoeming van hoogleraren. De resultaten zijn er naar. Na de jaren zeventig, waarin het met economie droef gesteld was, is
Nederland nu één van de beste landen binnen Europa 1.
Vsnu-lijst
De lijst die het meest wordt gehanteerd is ongetwijfeld de vsnu-lijst uit 1991. Deze lijst is verouderd en weerspiegelt niet goed het
gewicht van tijdschriften. Voor het Tinbergen Instituut, de gezamenlijke onderzoeksschool van Erasmus Universiteit, Vrije Universiteit en
Universiteit van Amsterdam, is een tijdschriftenlijst van belang. De toelating van onderzoekers als lid (fellow) is gebaseerd op de
onderzoeksoutput, die wordt gewaardeerd aan de hand van de vsnu-lijst. Eerder heeft het overleg van de decanen van de
economiefaculteiten al pogingen ondernomen om te komen tot een nieuwe lijst, via de commissie-Van Damme. Toen duidelijk werd dat de
besluitvorming over deze lijst niet op korte termijn zou worden afgerond, heeft het bestuur van het Tinbergen Instituut besloten om zelf
een lijst te maken die in de wereld als een reële weergave van de betekenis van economische tijdschriften wordt herkend 2.
Procedure
Waarom een nieuwe lijst?
Ten eerste was er behoefte aan een grotere differentiatie binnen de top. Er is een groot verschil tussen de American Economic Review en
de Economic Journal. Die verschillen kwamen onvoldoende tot uiting, waardoor onderzoekers niet de door het bestuur gewenste prikkels
kregen. In concreto hanteerde het Instituut tot dan toe een tweedeling in de hoge (a) en de lagere (b) tijdschriften. Een deel van de acategorie is ondergebracht in een aa-categorie.
Ten tweede is het Tinbergen Instituut, anders dan som of meteor, een monodisciplinaire onderzoeksschool in de economie. Het instituut
benoemt in principe geen onderzoekers als lid met louter publicaties in aanpalende vakgebieden 3. De consequentie van deze keuze is dat
tijdschriften zoals de American Sociological Review, Biometrika en de Journal of the Royal Statistical Society niet op de lijst voorkomen.
Gewogen citatiescores
Het oordeel van deelspecialisten heeft een belangrijke rol gespeeld 4. Aanvankelijk zou hun oordeel als grondslag dienen voor de
ordening van de specialistische tijdschriften. Dat bleek onhaalbaar, omdat de lijsten die hieruit volgden niet vergelijkbaar gemaakt
konden worden. Daarom heeft het bestuur gekozen voor een vergaande objectivering van de ordeningscriteria, aan de hand van
citatiescores. Het gebruik van citatiescores is niet vrij van voetangels en klemmen. Zo wordt het weekblad The Economist het meest
geciteerd, maar is het geen wetenschappelijk toptijdschrift. Omgekeerd komen toptijdschriften bij citatieanalyses niet automatisch
bovendrijven.
Kalaitzidakis e.a. hebben hiervoor een fraaie oplossing gevonden 5. Zij analyseren alleen de ‘economische’ tijdschriften. De citatiescores
worden gewogen met het gewicht van het tijdschrift waarin het artikel geciteerd wordt. Dit leidt tot een aanvaardbare rangordening.
Illustratief is de ordening van de overzichtstijdschriften Journal of Economic Literature en Journal of Economic Perspectives: in de ruwe
scores behoren zij tot de absolute top, bij Kalaitzidakis-scores zijn het goede subtoppers. Kalaitzidakis e.a. hanteren een iets nauwere
definitie van economie dan het Tinbergen Instituut, waardoor een aantal relevante tijdschriften buiten hun ranglijst valt. Vandaar dat
voor de beoordeling naast de Kalaitzidakis-scores ook de gebruikelijke scores van de Social Science Citation Index zijn gehanteerd 6.
De lijst van het Tinbergen Instituut
De aa- en de a-tijdschriften zijn in tabel 1 weergegeven 7. Het totaal aantal a- en aa-tijdschriften en b-tijdschriften is min of meer
ongewijzigd gebleven. De rangordening van individuele tijdschriften kan echter fors verschillen. De aa-tijdschriften worden vaak als de
top vijf beschouwd. Een aantal tijdschriften balanceert op de rand van de aa-status: de Journal of Finance, de Journal of Economic
Theory en de Journal of Econometrics. Hoewel de praktische relevantie van de aa-categorie niet moet worden overdreven, is zij voor
beeldvorming van wat goed onderzoek is en voor jonge onderzoekers van grote betekenis. Totnogtoe was het een meer kansrijke
strategie om te mikken op een aantal b-publicaties dan te gaan voor één aa-hit. Toch is de impact van een aa-publicatie veel groter. Het
instituut heeft soms met het schaamrood op de kaken kandidaten moeten afwijzen, simpelweg omdat echte toppublicaties onvoldoende
gewogen werden.
Tabel 1. Ranglijst van het Tinbergen Instituut met betrekking tot de twee hoogste categorieën wetenschappelijke tijdschriften
aa-tijdschriften
American Economic Review
Econometrica
Journal of Political Economy
Quarterly Journal of Economics
Review of Economic Studies
a-tijdschriften
Accounting Review
Econometric Theory
Economic Journal
European Economic Review
Games and Economic Behavior
International Economic Review
Journal of Accounting and Economics
Journal of Business and Economic Statistics
Journal of Econometrics
Journal of Economic Literature
Journal of Economic Perspectives
Journal of Economic Theory
Journal of Environmental Economics and Management
Journal of Finance
Journal of Financial Economics
Journal of Health Economics
Journal of Human Resources
Journal of International Economics
Journal of Labor Economics
Journal of Marketing Research
Journal of Monetary Economics
Journal of Public Economics
Management Science
Mathematics of Operations Research
Operations Research
Rand Journal of Economics
Review of Economics and Statistics
Review of Financial Studies
World Bank Economic Review
Amerikaans of Europees
Soms wordt opgemerkt dat de lijst erg Amerikaans georiënteerd is. Hierop past een aantal reacties. De invloed van de vs is een redelijke
weergave van de stand van de discipline. De Amerikaanse universiteiten domineren vooralsnog. Dat is voor Europa geen aanleiding
voor een tweede divisie met aparte spelregels, maar een uitdaging. Ten tweede is de Amerikaanse dominantie niet algemeen. De Review
of Economic Studies is ‘Europees’ en Econometrica en zelfs de American Economic Review hebben Europese redacteuren.
Artikelen in de aa-, a- en b-categorie worden gewogen in een verhouding van vier staat tot twee staat tot één. Daarmee worden aapublicaties relatief nog steeds iets te licht gewogen ten opzichte van hun impact.
Conclusie
Tijdschriftenlijsten zijn een geliefd onderwerp van verhitte discussies. Dat lot zal ook deze lijst niet ontgaan. Dat neemt echter niet weg
dat de nieuwe lijst aansluit bij wat internationaal gebruikelijk is. Het Tinbergen Instituut staat in dit streven om te komen tot een nieuwe
lijst niet alleen. Bij onderzoeksschool center in Tilburg wordt gewerkt aan een soortgelijke herziening, waarbij ook de absolute top
zwaarder wordt gewaardeerd. Het zou vanzelfsprekend wenselijk zijn als overal dezelfde lijst wordt gehanteerd. Het lijkt ons echter
mogelijk om op basis van lopende initiatieven tot één lijst te komen.
De economische wetenschap heeft de afgelopen twintig jaar een kwaliteitssprong gemaakt. Center stond zelfs nummer één in Europa in
de ranglijst van Kalaitzidakis e.a. en bij de top dertig staan vier Nederlandse universiteiten. Nederland is daarmee het tweede land in
Europa. De toppositie van center was afhankelijk van specifieke omstandigheden die niet langdurig konden worden volgehouden.
Niettemin is de kwaliteit van het economisch onderzoek in Nederland uitstekend. Bij hoge kwaliteit horen hoge kwaliteitsnormen, en daar
voorziet een nieuwe lijst in.
Deze kwaliteitssprong lijkt buiten de discipline nog maar beperkt te zijn doorgedrongen 8. Het kan echter niet anders dan dat zij vroeg of
laat gevolgen moet hebben voor de financiering van het economisch onderzoek. Zo wordt economie thans bij de Stichting voor het
Nederlands Wetenschappelijk Onderzoek (nwo) onderbedeeld. Wil Nederland de verworven kennis veilig stellen, dan moet hier dringend
verandering in komen.
1 Uit de VSNU-publicatie Economics, assessment of research quality van augustus 2002 blijkt dat het niveau recentelijk verder is
verhoogd.
2 In het bestuur hebben zitting: A. Kemna (ING, voorzitter), J. Kremers (ministerie van Financiën), S. Goyal (Erasmus Universiteit), J.
Hartog (UvA), P. Rietveld (VU). In de loop van het proces werd Rietveld vervangen door J.W. Gunning.
3 Het gaat om biologie, geografie, natuurkunde, politicologie, psychologie, sociologie, statistiek en wiskunde. Publicaties in deze
tijdschriften kunnen bij benoemingen tot lid wel meewegen, indien zij relevant zijn voor de economische discipline.
4 Dit waren de onderzoekscoördinatoren van het Tinbergen Instituut: J.C.J.M. van den Bergh (regio en milieu), R. Dekker (operations
research), M.O.W. Janssen (economische theorie), S.J. Koopman (econometrie), H. Oosterbeek (arbeid), E. Perotti (finance), C. de Vries
(macro), F.A.A.M. van Winden (experimentele economie). Voor deelgebieden waarop de coördinatoren niet deskundig waren, zoals
marketing en accountancy, zijn anderen geraadpleegd.
5 P. Kalaitzidakis, T.P. Mamuneas, T. Stengos, Rankings of academic journals and institutions in economics, discussion paper,
department of economics, University of Cyprus, 2001. (www.econ.ucy.ac.cy/papers/0110.pdf)
6 Zie www.tinbergen.nl/research/admission.html voor de onder- en bovengrenzen van de scores van de tijdschriften voor de indeling
in categorieën. Tijdschriften waarvoor geen van beide scores beschikbaar zijn, zijn slechts bij hoge uitzondering opgenomen, met name
bij accountancy. Daar hebben wij ons mede gebaseerd op E. Sterken en P.S.H. Leeflang, Een expertlijst van tijdschriften in de
bedrijfswetenschappen, MAB, april 2000,
7 De b-tijdschriften zijn terug te vinden op www.tinbergen.nl
8 Zo was ik aanwezig bij een inleiding van de Amsterdamse Kamer van Koophandel. Het gemis aan een topopleiding economie in
Amsterdam werd daar als ernstig nadeel aangemerkt. Amsterdam kent echter zeer goede opleidingen, die blijkbaar niet bekend zijn.
Copyright © 2003 Economisch Statistische Berichten (www.economie.nl)