Alternatieve Economentop met meer kwaliteit

ESB Onderwijs & Wetenschap

Onderwijs & Wetenschap

Onderwijs

& wetenschap

Alternatieve
Economentop met
meer kwaliteit
Met hun keuze van nieuwe criteria voor de ESB Economentop 40
van 2013 stellen de economiedecanen veelschrijverij boven goed
onderzoek. Het resultaat is een Economentop 40 waarin zelfs inter­
nationaal erkende toponderzoekers niet ver zouden komen. Zo zou­
den maar drie van de laatste zes winnaars van de prestigieuze John
Bates Clark Medal de Economentop 40 van 2013 halen en geen van
hen de top 20. Een alternatieve Economentop die meer nadruk op
kwaliteit legt sluit beter aan bij de internationale consensus over
goed onderzoek. De winnaars van de Clark Medal zouden in deze
top op de plaatsen 1, 2, 3, 4, 7 en 8 komen.

Jaap Abbring
Hoogleraar aan de
Universiteit van Tilburg
Bart
Bronnenberg
Hoogleraar aan de
Universiteit van Tilburg
Pieter Gautier
Hoogleraar aan de Vrije
Universiteit Amsterdam
Jan van Ours
Hoogleraar aan de
Universiteit van Tilburg

266

I

n 1980 publiceerde ESB de eerste Economentop
40. Sindsdien zijn economen in Nederland bijna
jaarlijks bibliometrisch gewogen (Van Ours en
Vermeulen, 2007). Oorspronkelijk richtte de Eco­
nomentop zich op het stimuleren van de onder­
zoeksproductiviteit van Nederlandse economen; deze lijkt
in de afgelopen decennia inderdaad sterk te zijn gestegen
(Franses, 2013).
Niettemin is de Economentop 40 omstreden, omdat
er geen algemeen aanvaarde manier is om wetenschappers
bibliometrisch te rangschikken. Elke zichzelf respecterende
universiteit gaat bij academische beoordelingen dan ook
niet alleen af op publicatietellingen, maar vooral ook op de
daadwerkelijke inhoud van het verrichte onderzoek. Om­
dat het ondoenlijk is de Economentop op deze manier op
te stellen, kan deze nooit meer dan een eenzijdig beeld ge­
ven van het onderzoek van Nederlandse economen.

Dit betekent niet dat de Economentop 40 alleen maar
folklore is. De economiedecanen kiezen de criteria voor
de Economentop, zodat die het onderzoeksbeleid van de
economiefaculteiten weerspiegelt. We hebben dan ook met
verbazing en zorg kennisgenomen van de door de decanen
in 2013 opgestelde nieuwe criteria voor de Economentop
40 (Phlippen, 2013).
DE ECONOMENTOP 40 VAN 2013

De Economentop rangschikt economen op basis van hun
publicaties in het Web of Science (WoS) over de vijf voor­
gaande jaren (2008–2012 in 2013). Alleen economen die
minimaal een dag per week op een Nederlandse universi­teit
werken (of emeritus zijn) en door de economische facul­
teiten zijn voorgedragen dingen mee. Niet alleen volledige
onderzoeksartikelen tellen mee, maar ook commentaren,
brieven, notes, overzichtsartikelen en congresverslagen.
Elke publicatie krijgt een score W(invloed) × W(auteur), met
W(invloed) een maat van de invloed van het blad waarin het is
gepubliceerd en W(auteur) een correctie voor aantal auteurs.
De score van elke econoom is de som van de scores van zijn
of haar publicaties. De Economentop rangschikt econo­
men op basis van deze score. Naast de Economentop pu­
bliceerde ESB in 2013 ook een aantal Subtoppen, waarin
alleen publicaties in een bepaald vakgebied tellen, en de
Universiteitentop, die de universiteiten vergelijkt op basis
van de scores van hun hoogst genoteerde economen.
In 2012 werd voor W(invloed) nog de article influence
score (AIS) gebruikt. De AIS meet de gemiddelde invloed
van de artikelen in een blad in de vijf jaar na publicatie. De
gemiddelde AIS van bladen in het WoS is 1, maar de best
scorende economiebladen hebben een AIS van rond de 10
en Nature en Science scoren zelfs rond de 20. De Quarterly
Journal of Economics (QJE), bijvoorbeeld, publiceert een
strenge selectie van omvangrijke, en meestal zeer invloed­
rijke, onderzoeksartikelen die origineel en voor een breed
economenpubliek bedoeld zijn. De QJE heeft dan ook een

De auteur heeft verklaard dit artikel alleen te publiceren in ESB en niet elders
te publiceren in wat voor medium dan ook. Het is wel toegestaan om het artikel voor eigen gebruik
en voor publicatie op een intranet van de werkgever van de auteur aan te wenden.

Jaargang 99 (4684) 2 mei 2014

Onderwijs & Wetenschap  ESB

Alternatieve Economentop 40

tabel 1

Rang Naam

Rang in
Univer­
ESB
siteit
Score Top 40

1

Erwin Bulte

WUR

27,27

14

2

Daan van Knippenberg

EUR

27,26

4

3

Arthur van Soest

UvT

24,34

16

4

Harry Huizinga

UvT

22,96

–

5

Bernard Nijstad

RUG

21,44

19

6

John Einmahl

UvT

21,40

28

7

Bart Bronnenberg

UvT

19,59

–

8

Siem Jan Koopman

VU

19,54

21

9

Jaap Abbring

UvT

19,44

–

10

Rik Pieters

UvT

19,42

13

11

Albert Menkveld

VU

19,21

–

12

Peter Wakker

EUR

18,65

23

13

Jan Magnus

UvT

18,55

39

14

Arthur Schram

UvA

17,68

–

15

Thorsten Beck

UvT

17,66

–

16

Roel Beetsma

UvA

17,55

–

17

Jan van Ours

UvT

17,37

11

18

Arno Riedl

UM

17,03

–

19

Philip Hans Franses

EUR

15,42

3

20

Massimo Giuliodori

UvA

14,78

–

21

Patrick Verwijmeren

EUR

14,47

–

22

Eddy van Doorslaer

EUR

14,23

26

23

Etienne de Klerk

UvT

14,22

32

24

Han Bleichrodt

EUR

14,22

30

25

Jos van Ommeren

VU

14,09

20

26

Marius van Dijke

EUR

13,81

36

27

Erik Verhoef

VU

13,80

12

28

Maarten Lindeboom

VU

13,46

–

29

Joep Sonnemans

UvA

13,25

–

30

Robert Dur

EUR

13,18

–

31

Deanne den Hartog

UvA

13,18

–

32

Daan van Soest

VU

13,07

–

33

Luc Renneboog

UvT

12,88

22

34

Arjen van Witteloostuijn

UvT

12,74

33

35

Matthijs van Veelen

UvA

12,61

–

36

Marcel Timmer

RUG

12,47

–

37

Eva Demerouti

TUE

12,44

17

38

Peter Verhoef

RUG

12,44

29

39

Andre Lucas

VU

12,20

–

40

Owen o’Donnell

EUR

12,19

–

AIS van 12,301 en scoort daarmee hoger dan 99,6 procent
van de bladen in het WoS. Economics Letters, daarentegen,
richt zich met artikelen van 3 à 4 pagina’s op het snel versprei­
den van doorgaans specialistische onderzoeksresultaten en
heeft een AIS van slechts 0,575.
In zijn kritiek op de Economentop van 2012 merkte
Van Marrewijk (2012) op dat een publicatie in een top­
tijdschrift alleen kan worden gecompenseerd met een groot
aantal publicaties in een matig scorend blad. In 2012 telde
een artikel in de QJE bijvoorbeeld voor 12,301/0,575 >
20 stukken in Economics Letters. Phlippen (2013) voegde
hieraan toe dat in het bijzonder een aantal niet-economie­
bladen als Science, Nature en Lancet een erg hoge AIS heb­
ben en zo een stempel kunnen drukken op de Economentop.
Dit is onwenselijk omdat deze bladen hun hoge AIS niet te
danken hebben aan hun invloed op de economische liter­
atuur. Van Marrewijk richtte zich vooral op een bias in de
Universiteitentop in het voordeel van grote departementen
die dit zou veroorzaken: een universiteit met veel economen
kan naar verwachting relatief hoog scorende economen naar
voren schuiven. Hij stelde daarom voor om niet de AIS zelf

Abbring et al., 2014

Jaargang 99 (4684) 2 mei 2014

Een publicatie in een top­tijdschrift
kan alleen worden gecompenseerd
met een groot aantal publicaties in
een matig scorend blad

maar de bijbehorende percentielscore (PRS), het deel van
de bladen met een lagere AIS (99,6 procent voor de QJE en
53,7 procent voor Economics Letters), als maat voor W(invloed)
te nemen. Dit verkleint het gewicht van publicaties in de
topbladen sterk: twee artikelen in Economics Letters tellen
zo zwaarder dan één publicatie in de QJE of welk ander blad
ook (het aandeel bladen met een lagere AIS is hooguit 100
procent).
Het argument van Van Marrewijk (2012) voor het ver­
vangen van de AIS door de PRS snijdt weinig hout. De Uni­
versiteitentop geeft immers een zuiver beeld van de prestaties,
volgens de criteria van de Economentop, van de beste onder­
zoekers van elke universiteit, ook als de AIS wordt gebruikt.
Van Marrewijk merkt terecht op dat de Universiteitentop
geen zuiver beeld geeft van de prestaties van de gemiddelde
econoom van elke universiteit, zelfs bij gebruik van de PRS.
Als we universiteiten echter op basis van gemiddelde kwali­
teit willen rangschikken – en dat is nog maar de vraag – dan
ligt het meer voor de hand om willekeurige steekproeven

De auteur heeft verklaard dit artikel alleen te publiceren in ESB en niet elders
te publiceren in wat voor medium dan ook. Het is wel toegestaan om het artikel voor eigen gebruik
en voor publicatie op een intranet van de werkgever van de auteur aan te wenden.

267

ESB Onderwijs & Wetenschap

Onderwijs & Wetenschap

Scores alternatieve en ESB Economentop 40

figuur 1

Score alternatieve Economentop 40

70
60
50
40
Van der Ploeg
Bulte
van Knippenberg
van Soest

30
20

Huizinga
Abbring

Tol

McAleer

10
Nijkamp

0
0

5

10

15

20

25

30

Score ESB Economentop 40
Kandidaten alternatieve Economentop 40:
In top 40
Buiten top 40

Overige economen:
Deeltijders (< 0,5fte)
Winnaars Clark Medal

vergeleken met een alternatieve Economentop waarin de rol
van kwantiteit kleiner en die van kwaliteit groter is.

Onderzoekers die voldoende
publiceren kunnen hun score alleen
verhogen door beter te publiceren. Zo worden
persoonlijke investeringen in hoogwaardig onderzoek
beloond.

van economen uit elke universiteit te trekken dan om het
beoordelingscriterium te veranderen en, net als in ESB, toe te
passen op de beste economen.
Ook voor het beperken van de invloed van publicaties
in niet-economiebladen als Science zijn betere oplossingen
dan het vervangen van de AIS door de PRS, wat ook de beste
economiebladen hard raakt. Het ligt in het bijzonder voor de
hand alleen bladen op een beperktere lijst mee te nemen, zoals
ESB in 2013 al deed bij het opstellen van de Subtoppen.
Desondanks hebben de economiedecanen naar aan­
leiding van deze discussie besloten de AIS te vervangen
door de PRS. Abbring et al. (2014) beargumenteren dat dit
geen recht doet aan de grote kwaliteitsverschillen tussen pu­
blicaties en dat dit, meer nog dan voorheen, veelschrijverij
stimuleert. Om dit aan te tonen is de de ESB Economentop
268

EEN ALTERNATIEVE ECONOMENTOP 40

Voor de alternatieve Economentop 40 zijn de publicatie­
gegevens over 2008–2012 voor de ESB Economentop ge­
bruikt. Daaraan zijn de economen toegevoegd die in deze
periode in een van de vijf belangrijkste economiebladen
(American Economic Review, Econometrica, Journal of Political Economy, QJE, Review of Economic Studies) hebben
gepubliceerd, maar niet voorkomen in het ESB-bestand. De
alternatieve Economentop 40 wijkt op vier punten af van de
regels van de ESB Economentop. Ten eerste: alleen volledi­
ge onderzoeksartikelen tellen mee. Commentaren, brieven,
notes, overzichtsartikelen en congresverslagen zijn weliswaar
ook uitingen van wetenschappelijke activiteit, maar in ter­
men van invloed niet vergelijkbaar met een volledig onder­
zoeksartikel. Ten tweede: publicaties zijn gewogen met de
AIS en niet met de PRS, omdat de AIS een betere maatstaf
voor de invloed van een publicatie op de interna­tionale lite­
ratuur is. Ten derde: de invloed van de hoeveelheid publica­
ties is beperkt door alleen de hoogst scorende vijftien publi­
caties mee te tellen. Een maximum van vijftien publicaties
in vijf jaar sluit prima aan bij internationale normen voor
een hoge onderzoeksproductiviteit in de economische we­
tenschappen. Het betekent dat onderzoekers die voldoende
publiceren hun score alleen kunnen verhogen door beter
te publiceren en beloont zo persoonlijke investeringen in
hoogwaardig onderzoek. En ten vierde: alleen onderzoekers
die minimaal halftijds aan een Nederlandse universiteit wer­

De auteur heeft verklaard dit artikel alleen te publiceren in ESB en niet elders
te publiceren in wat voor medium dan ook. Het is wel toegestaan om het artikel voor eigen gebruik
en voor publicatie op een intranet van de werkgever van de auteur aan te wenden.

Jaargang 99 (4684) 2 mei 2014

Onderwijs & Wetenschap  ESB

ken zijn meegeteld. Van deze onderzoekers, anders dan van
onderzoekers die hun hoofdaanstelling elders hebben, kan
verwacht worden dat ze een hoofdrol spelen in het Neder­
landse universitaire onderzoek en beleid.
Tabel 1 geeft een alternatieve Economentop 40 op basis
van deze criteria. Figuur 1 vergelijkt de onderliggende publi­
catiescores met die van de ESB Economentop. De verschil­
len zijn groot. Geen van de eerste drie economen (Erwin
Bulte, Daan van Knippenberg en Arthur van Soest) staat in
de top drie van de ESB en de vierde (Harry Huizinga) valt er
zelfs helemaal buiten. Jaap Abbring is de minst publicerende
econoom volgens de ESB-maatstaven die een plek in de al­
ternatieve Economentop krijgt, met een klein aantal hoog
scorende publicaties. Peter Nijkamp is de meest publicerende
econoom die buiten de alternatieve top valt vanwege de be­
perkte rol van de hoeveelheid publicaties (andere productieve
economen als Richard Tol, Michael McAleer en Rick van der
Ploeg vallen af omdat ze te weinig betrokken zijn bij een Ne­
derlandse universiteit (figuur 1).
Om duidelijk te laten zien dat de alternatieve Econo­
mentop beter aansluit bij de internationale standaarden voor
goede onderzoekers dan de ESB Economentop, toont figuur
1 ook de scores van de zes winnaars van de John Bates Clark
Medal in 2009–2014, op basis van hun publicaties in de vijf
jaar voorafgaand aan hun prijs. Deze Amerikaanse economen
worden algemeen gezien als de beste van hun generatie, maar
als ze in Nederland zouden werken, dan zouden ze slecht sco­
ren in de ESB Economentop: de hoogste komt op plek 21 en
drie van de vijf halen niet eens de top 40. In de alternatieve
top zouden ze daarentegen op de plekken 1–4 en 7–8 komen.
Hoewel ook onze alternatieve Economentop gebaseerd
is op arbitraire criteria en daarom voor discussie vatbaar is,
sluit hij dus beter aan bij de internationale consensus over
goed onderzoek.
CONCLUSIE

De universiteiten beseffen dat beleid gericht op grote aantal­
len publicaties ten koste kan gaan van de onderzoekskwali­
teit. Zo heeft de VSNU recent ‘productiviteit’ geschrapt als
zelfstandig criterium bij de evaluatie van wetenschappelijk
onderzoek. Voor zover de Economentop 40 een afspiegeling
is van het onderzoeksbeleid van de economiefaculteiten zou
ook hierin kwaliteit voorop moeten staan.

Literatuur
Abbring, J.H., B.J. Bronnenberg, P.A. Gautier en J.C. van Ours (2014) Dutch Economists Top
40. De Economist, te verschijnen.
Franses, P.H. (2013) Een overzicht van meer dan dertig jaar Economentops. ESB,
98(4674&4675), 778–779.
Marrewijk, C. van (2012) Reactie op: De Economentop 40 van 2012. ESB, 97(4649&4650), 770.
Ours, J.C. van, en F. Vermeulen (2007) Ranking Dutch economists. De Economist, 155(4),
469–487.
Phlippen, S. (2013) De Economentop 40 2013. ESB, 98(4674&4675), 776–777.

Jaargang 99 (4684) 2 mei 2014

De auteur heeft verklaard dit artikel alleen te publiceren in ESB en niet elders
te publiceren in wat voor medium dan ook. Het is wel toegestaan om het artikel voor eigen gebruik
en voor publicatie op een intranet van de werkgever van de auteur aan te wenden.

269