De kwaliteit van Nederlandse
economische onderzoekers
De economentop van ESB meet het aantal citaten. Is het ook mogelijk
een ranglijst op te stellen waarin kwaliteit gemeten wordt?
De Nederlandse economen top-30
van ESBen de economen top-ZOvan
het weekblad Intermediair worden ieder jaar met gemengde gevoelens ontvangen. Het streelt de ijdelheid van
degenen die in de top staan en het
steekt weer anderen die helaas in de
top ontbreken. Criticimaken bezwaar
tegen het feit dat kwaliteit in het geval de Intermediair top-ZOgelijk staat
aan de produktie van artikelen in
prestigieuze tijdschriften, en in het geval van de ESBtop-30 wordt kwaliteit
gelijk gesteld aan de hoeveelheid citaten die men vergaart met het schrijven van artikelen en boeken. Het eerste bezwaar is dat deze lijsten niet
duidelijk maken of iemand een originele denker is of niet. Op deze wijze
blijft de vraag of dergelijke lijsten nu
de kwaliteit van economen meten
een oneindig welles-nietesspelletje.
Het tweede bezwaar is dat de lijsten
gedragsveranderingen oproepen die
een bevordering van de wetenschap
kunnen hinderen, omdat het modieus
en oppervlakkig onderzoek in de
hand kan werken. De prikkels die
van dergelijke lijsten uitgaan blijven
namelijk niet beperkt tot een aangename of bedorven kerst. Tegenwoordig kan een rangnotering ook van
invloed zijn op het toekennen van
fondsen, promotie of een erkenning
als onderzoeksschool.
In dit artikel wil ik onderzoeken of
de economenranglijsten een goede indicatie zijn van de kwaliteit van de
bijdragen van Nederlandse economen. Daartoe maak ik een eigen
ranglijst, di@het wetenschappelijk belang van publikaties poogt te meten.
In tegenstelling tot de bestaande ranglijsten die meten dat men schrijft, hoe
vaak men schrijft en in welk tijdschrift, wordt hier een poging gedaan
om te meten wat men schrijft.
Wat is fundamenteel?
Een ranglijst die de kwaliteit van economen poogt te meten moet gebaseerd zijn op maatstaven voor het fundamentele karakter van economisch
onderzoek. Het summum van importantie is natuurlijk wanneer een wet,
een statistische toets of een model
naar een onderzoeker wordt vernoemd. Een beperkt aantal Nederlanders komt die eer toe: de ‘wet’ van
Verdoorn, Koyck-vertragingen, de
Theil-coëfficiënt en de Parade van
Pen. De mindere goden zullen echter
op een andere manier hun eeuwigheidswaarde moeten bewijzen. Er be-
staan verschillende methoden om het
belang van een publikatie te bepalen.
Een directe methode is om economen in hun verschillende rollen als
onderwijzer, onderzoeker en beleidsadviseur te enquêteren en te vragen
naar de belangrijkste economen of artikelen en boeken. Dat dit subjectieve elementen met zich meebrengt
lijkt onontkoombaar. Zo vroegen Klamer en Colander aan Amerikaanse
promovendi welke econoom zij het
meest respecteerden 1. Chicago-promovendi vonden Robert Lucas vanzelfsprekend de beste en de Stanfordpromovendi vonden hun ‘eigen’
Kenneth Arrow de beste econoom.
Een indirecte, meer objectieve
methode is om het aantal citaten per
publikatie te tellen. De belangrijkste
eigenschap van een fundamentele
publikatie is immers dat deze een
wijdverspreide invloed heeft op economen, zowel onderzoekers, onderwijzers als beleidsadviseurs. De vraag
is echter waar de citatengrens ligt,
om een publikatie als fundamenteel
te kunnen bestempelen. In dit artikel
verlaat ik mij op de empirische bevindingen van Holub, Tappeiner en
Eberharter (HTEi. Zij hebben de belangrijkste artikelen op het terrein
van de economische groeitheorie
trachten te bepalen door allereerst
alle artikelen te noteren die geciteerd
werden in overzichtsartikelen, leerboeken en geredigeerde readers. Aangehaald worden in dit soort media betekent immers, dat de publikatie als
baanbrekend of verhelderend wordt
gezien. HTE deelden Z681artikelen,
uit een steekproef van 46 internationale tijdschriften, in naar het aantal citaten vergaard tussen 1939 en 1986.
Vervolgens vergeleken zij beide datasets van artikelen en kwamen zij tot
de conclusie dat de grens van 30 citaten een goede scheidslijn is om te bepalen of een artikel fundamenteel is
of niet.
Van de totaal geproduceerde hoeveelheid artikelen bleek dat 44%van
de artikelen nooit werd geciteerd.
1,8%(exclusief zelfreferenties)
bleek belangrijk en werd minstens
dertig keer geciteerd. De onderzoekers komen uiteindelijk tot een ‘wet’
van belang: de fundamentele artikelen (X3O,) vormen de wortel van het
totaal aan geproduceerde artikelen in
een onderzoeksgebied (Xl),
Voor de groeiliteratuur gaat deze
wet bij benadering op:
HTE hebben de relatie niet alleen
onderzocht voor artikelen met een 30citaten grens, doch ook voor ‘fundamentele’ artikelen met een lagere en
hogere grens, variërend van 5 tot en
met 90 citaten. Over het algemeen
kan men concluderen dat de groei
van het aantal fundamentele artikelen
in iedere citatenklasse kleiner is dan
de groei van de totale produktie van
artikelen. Om de robuustheid van
deze wet te testen hebben HTE de
steekproef van tijdschriften verkleind
tot een vijftal toptijdschriften3. Ook
voor deze toptijdschriften gaat de wet
1. A. Klamer en D. Colander, Tbe making
of an economist, Westview Press, Boulder,
1990.
2. H.W. Holub, G. Tappeiner, en V. Eberharter, The iron law of important artides,
Southern Economicjournal, 1991, blz.
317-328.
3. Te weten: American Economie Review,
Econometrica, journalof Political Economy, Quarterly journalof Economics, en
Review of Economics and Statistics.
van fundamentele artikelen op, hetgeen een indicatie is dat belangrijke
artikelen niet noodzakelijk in (Amerikaanse) toptijdschriften verschijnen.
De belangrijkste Nederlandse
economen
De vraag wie de economische wetenschappen fundamenteel heeft beïnvloed hangt in de onderhavige opzet
af van het aantal belangrijke publikaties (publikaties die 30 maal of vaker
worden geciteerd) dat een auteur
op zijn of haar naam heeft weten te
schrijven. Tabel 1 presenteert de volledige lijst van in Nederland (en de
vroegere koloniën) geboren economen, werkzaam in binnen- en buitenland, levend en overleden, die ooit
een belangrijke bijdrage hebben geleverd aan de internationale economische wetenschap. De lijst heeft betrekking op de publikaties van de
auteurs die tussen 1966 en 1993 zijn
geciteerd. Zelfreferenties en boekbesprekingen zijn uitgesloten van deze
telling en herdrukken en vertalingen
van boeken worden slechts als één
publikatie genoteerd. In tegenstelling
tot de meeste citatielijsten tellen coauteurs ook mee in deze ranglijst.
Voor de individuele publikaties is namelijk nagegaan of er sprake was van
Nederlandse co-auteurs. Dit laatste introduceert meteen een element van
onzekerheid indien een Nederlandse
econoom gezamenlijk met een relatief onbekende buitenlander publiceert: de SSCItelt namelijk slechts de
eerstgenoemde auteur van een gezamenlijk artikel. Aan de hand van gedenkboeken,handboeken, bundels
met verzameld werk, artikelen over
het oeuvre van de belangrijkste economen en overzichtsartikelen is gepoogd volledigheid na te streven door
ook gezamenlijk geschreven publikaties mee te tellen in de ranglijst. Auteurs van gezamenlijk geschreven publikaties krijgen, gelijk de telling van
Intermediair, 2/(n+ 1) punten per artikel, waarbij n het aantal auteurs aangeeft. De ranglijst is samengesteld op
basis van de laatste kolom die het totale (gewogen) puntenaantal per auteur aangeeft.
De Nederlandse Amerikanen en
die ene Nederlandse Engelsman,
Economie forecasts and policy, 1958: Economics and information tbeory, 1967; en Principles of
econometrics, 1971.
4. Het betreft de boeken
BB21n~1~~4
.~~.
__
Blaug, zetten de thuisgebleven Nederlanders op grote
afstand. Theil, Biaug, Houthakker en Koopmans
0910-1985) blijven zelfs
Tinbergen 0903-1994)
voor. De nummer één, Henri Theil, inmiddels bijna 30
jaar gevestigd in de Verenigde Staten, heeft zijn opleiding in Nederland genoten. Zijn doctorstitel
verwierf hij in 1951 aan de
Universiteit van Amsterdam
en hij was in de periode
1956-1966directeur van
het Econometrisch Instituut
van de Erasmus Universiteit. Theil is overigens niet
alleen in het bezit van 21
fundamentele bijdragen, hij
heeft ook drie zogenaamde
‘SSCIcitation classics’ op
zijn naam geschreven; publikaties die in de loop der
tijd meer dan 270 maal geciteerd zijn4.
Het zal voor velen als
verrassing komen dat de
nummer twee, Mark Blaug,
in deze lijst voorkomt.
Blaug is in Den Haag geboren en de enige wetenschappelijke binding met
Nederland was een verblijf
aan het NIASin 1983-1984.
Hij heeft zijn fundamentele
bijdragen te danken aan
werk verricht op het terrein
van de onderwijseconomie
en de economische methodologie. De nummers drie
en vier hebben wel degelijk hun opleiding in Nederland genoten: Hendrik
Houthakker verwierf in
1949 zijn doctorandus-titel
aan de UvAen Tjalling
Koopmans rondde zijn
proefschrift af in 1936 aan
de Universiteit van Leiden.
De nummer tien, Van der
Kamp 0934-1991), heeft
slechts zijn kandidaatsexamen aan de VU afgerond
voordat hij naar Canada
vertrok. Blaug, Buiter, De
Leeuwen Wittink zijn de
enige economen van de .
lijst die niet hun economieopleiding in Nederland
hebben gehad: Blaug rondde zijn proefschrift af op
Columbia University, Bui-
Tabel 1. De Nederlandse
••• ~–_ .••
__.•
_————————–.~~
–
economentop,
1966-1993
Tabel 2. Rangscbillldng naar generatie
I .
ter verwierf zijn M.A.aan de universiteit van Cambridge en zijn PhD aan
de universiteit van Yale, De Leeuw
verwierf zijn titel aan Harvard en Wittink aan Purdue University. De nummer zeven, Anton Barten, heeft zijn
opleiding wel in Nederland genoten,
namelijk zijn doctoraal-aan de UvA
en zijn doctoraat aan de Erasmus Universiteit (met Theil als promotor). Bovendien heeft hij een aantal jaren het
CentERvan de KU Brabant geleid.
Het zal bij menigeen verwondering
wekken dat economen als Tinbergen
en Koopmans, die baanbrekend werk
hebben verricht, een lagere klassering bereiken dan Theil, Blaug en
Houthakker. Dit is natuurlijk voor
een groot deel het gevolg van het
begin van de waarnemingsperiode,
1966, het jaar waarin de SSCIstartte
met haar turfwerk. Beide Nobelprijswinnaars zijn hun carrière begonnen
in de jaren dertig, terwijl de meeste
auteurs in het begin van een carrière
hun meest belangrijke werken publiceren. Ondanks het feit dat Koopmans en Tinbergen ruim 30 jaar moeten missen in de berekening van de
Nederlandse economentop komen zij
toch tot een niet geringe produktie
van 12 respectievelijk 10 belangrijke
publikaties. Met een langere steekproefperiode zouden Tinbergen en
Koopmans in de huidige opzet zeker
6 Ã 7 extra belangrijke publikaties
verwo~n hebben. Een andere interpretatie van de hoge notering van
Theil en Houthakker is dat zij de economische wetenschap over de periode 1966-1993meer hebben beïnvloed
dan Tinbergen en Kooprnans. Theil
en Houthakker zijn natuurlijk niet de
minste economen die Nederland
gekend heeft. Theil bezet bij voorbeeld de tweede plaats, achter Gary
Becker, op een citatenranglijst voor
economen die in de VSwerken en
Houthakker de 27ste plaats5. Een
derde reden is dat het succes van het
baanbrekende werk van sommige
Nobelprijswinnáars tegen hen keert:
een bijdrage kan op een gegeven moment zo ingeburgerd raken in de economie dat men niet meer de bedenker van een methode of model citeert.
Voor de kenners van de ESB-lijst
bevat tabel lover het algemeen geen
onbekenden. Immers, auteurs die
minstens 30 citaten per artikel halen
zullen weinig moeite hebben met de
ESB-drempel van 24 citaten. De lijst
zal zich eerder kenmerken door de
afwezigen, die.wellicht veel geciteerd
worden door vakgenoten doch nimmer een aansprekende publikatie op
hun naam hebben geschreven. Grote
afwezigen in tabel 1, vergeleken met
de ESBtop-30 uit het recente verleden, zijn bij voorbeeld Bomhoff (Nijenrode), Fase (DNB), Kapteyn
(KUB),Van der Ploeg (UvA) en Van
Raaij (EUR).Vergeleken met de Intermediair-lijst is het aantal afwezige namen ook opvallend, hoewel deze lijst
voornamelijk een lijst is van aanstormend talent; talent dat geacht wordt
op z’n minst één fundamentele bijdrage te leveren. Toch wekt het verbazing dat sommige economen zoals
Bierens en Van der Ploeg, die in het
recente verleden een nummer één-positie innamen, niet eens een rangnotering halen. Een toppositie in de Intermediair-lijst komt blijkbaar niet
noodzakelijk overeen met het produceren van fundamenteel werk. De
eerlijkheid gebiedt ons te zeggen dat
de vergelijking enigzins mank gaat,
omdat we rijpe en groene economen
op een en dezelfde ranglijst plaatsen.
Om een indruk te krijgen hoe de
verschillende generaties van in Nederland opgeleide of (in het recente verleden) docerende economen hebben
gepresteerd zijn in tabel 2 de nummers 1 tot en met 3 gerangschikt
voor vijf generaties economen. Opvallend is dat alle nummers één van iedere generatie naar het buitenland
zijn vertrokken. Toch is er enigszins
sprake van een omgekeerde ‘brain
drain’: Van Wijnbergen is naar Nederland teruggekeerd en Buiter streek in
het verleden in de zomermaanden in
Groningen neer. Van de oudere generaties heeft Barten voor korte tijd in
Tilburg de leiding van het CentERin
handen gehad. Tinbergen is in deze
rangschikking niet opgenomen omdat hij als enige van zijn generatie
voor een ranglijstnotering in aanmerking komen. Van de generatie van de
jaren zestig is nog niemand opgestaan die een bijdrage heeft geleverd
die nu reeds als fundamenteel kan
worden aangemerkt. Potentiële toppers van deze generatie zijn Boot
(UvA) en Van den Berg (VU). Een
voorzichtige conclusie die men ook
uit deze tabel kan afleiden is dat zich
onder de jongere generatie economen (generatie ’40 en ’50) meer
theoretici bevinden dan empirisch
georiënteerde economen en ontwikkelaars van methoden en het omgekeerde zou men kunnen stellen voor
de oudere generaties economen.
Succesfactoren
De ranglijst biedt ook een mogelijkheid om enige succesfactoren te onderscheiden. Een algemene wonderformule voor succes bestaat
natuurlijk niet omdat, zoals Dixit het
uitdrukt: “There are no sure-fire rules
for doing good research, and no routes that clearly lead to failure”6.
Hieronder volgt een persoonlijke inschatting van de factoren die fundamentele onderzoekers en hun werk
tot een succes hebben gemaakt.
Publikatievorm
Economen die in het buitenland gepromoveerd zijn verkiezen veel vaker
dan de Nederlandse promovendus
het tijdschrift als publikatievorrn, respectievelijk 69% versus 45%. Nederlands opgeleide economen verkiezen
liever het boek als de verspreider van
hun ideeëngoed. Onder de tijdschriften blijkt Econometrica (22%) veruit
het populairste tijdschrift te zijn, een
status die het ontleent aan de hoge
concentratie econometristen die Nederland heeft voortgebracht. Over het
algemeen blijken toptijdschriften, de
zogenaamde A-tijdschriften (volgens
de meest recente criteria van de
VSNU)betere verspreiders van funda5. M.H. Medoff, The ranking of economists, Journalof Economie Education,
1989, blz. 405-415.
6. A. Dixit, My system of work (notO, The
American Economist, 1994, blz. 10-16.
tIIl—————————————– …
–llfl_.IliJIIIIII ••••
•
•
hakker ooit lid van de Council of Economic Advisers ten tijde van president Nixon, Tinbergen was directeur
van het CPB, Pen is werkzaam geweest op het Ministerie van Economische Zaken, en Van Wijnbergen op
de Wereldbank.
mentele kennis dan de B- en C-tijdschriften: 66% van de fundamentele
tijdschriftpublikaties verscheen in
A-tijdschriften, 29% in B-tijdschriften
en 5% in C-tijdschriften.
Afnemende meeropbrengsten
Indien men de individuele publikaties van de auteurs beziet kan men
tot de voorzichtige conclusie komen
dat de Nederlands economen hun beste artikelen alleen schreven: 75%
van de publikaties werd zelfstandig
geschreven. Dit werpt een interessant
licht op de veel beoefende praktijk
van moderne economen om samen
een artikel te schrijven. Blijkbaar
wordt er tijdens het schrijven van een
gezamenlijk artikel of boek niet gelet
op de originaliteit of leesbaarheid, en
verschijnt er in veel gevallen een verdund produkt van wat men geschreven zou hebben indien men op zelf
de pen ter hand had genomen.
Eigenzinnigheid
Leeftijd
Tabel 1 bevat voorts nog enige informatie over de leeftijd waarop de Nederlandse economen hun eerste belangrijke publikatie het licht lieten
zien. De top-l0 economen van deze
lijst waren gemiddeld 32,7 jaar oud
(exclusief Tinbergen en Koopmans:
31,8 jaar) toen zij hun eerste fundamentele bijdrage leverden. Een vergelijking met de lager geklasseerde economen is een moeilijke zaak omdat
onder deze groep economen ook potentiële top-l0 economen bevinden
(Van Damme, Klamer en Magnus) die
het gemiddelde van deze groep naar
beneden trekken. Een algemene
waarneming is dat een ‘jeugdige’ leeftijd wel een noodzakelijke maar niet
een voldoende garantie is voor eén
top-l0 positie.
Toegepast en zuiver onderzoek
Een veelgehoord bezwaar onder economen is dat contractonderzoek of
toegepast onderzoek slecht is voor
het verloop van een carrière. Indien
we terugkeren naar de ranglijst in tabel 1 dan valt op dat onder de opgesomde namen veel economen voorkomen die de weerbarstige
economische praktijk niet hebben geschuwd. Theil was in de periode
1952-1955als een medewerker verbonden aan het CPB; een plek waar
hij wellicht zijn meest fundamentele
bijdrage aan de econometrie heeft geleverd: de schattingsmethode ‘TwoStage Least Squares’. Voorts was Hout-
Economen die zich buiten de platgetreden paden van het wetenschappelijk onderzoek begeven bezitten veelal een eigenzinnig karakter. Voor de
top-20 van deze lijst staat deze eigenzinnigheid buiten kijf, en wellicht zijn
zij dermate eigenzinnig geweest dat
hun, in eerste instantie, onorthodoxe
gedachtengoed pure orthodoxie is
geworden. Onder de top-20 economen bevinden zich echter ook economen die binnen het keurslijf van het
‘mainstream’ gedachtengoed nieuwe
ideeën naar voren hebben gebracht.
Van die laatste groep zijn wellicht
Buiter en Van Damme goede voorbeelden.
Het belang van onderzoekscentra
Het Tinbergen Instituut, de gezamenlijke onderzoeksschool van de vier
universiteiten EUR,UvA, VU en RUL
en het CentERvan de KUB zijn voorbeelden van onderzoekscentra waar
men een massa gegenereerd heeft zodat men enige synergie-effecten van
het verrichte onderzoek kan verwachten. Op dit moment valt het moeilijk
aan te tonen of deze centra ook daadwerkelijk fundamenteel onderzoek
verrichten. In het verleden hebben
echter het Econometrisch Instituut
van de EURen het CPB bewezen
dat een dergelijke concentratie van
wetenschappers zijn fundamentele
vruchten af kan werpen. Het moet als
een gunstig voorteken worden gezien dat de jongste talenten (de generatie vijftigers in tabel 2) Nederlandse
onderzoekscentra als hun werkplaats
hebben.
Evaluatie
Darry van Dalen
De Nederlandse economenwereld is
sinds een jaar of tien getuige van een
redelijk hoge produktiviteitsgroei van
de onderzoekers, zowel in termen
van citaten als publikaties. De bedaagde sfeer waarin men zijn leven
aan de universiteit kan slijten als
‘Prof. drs.’ lijkt voorgoed tot het verleden te behoren. Aan de wetenschappelijke horizon van economen doemen echter andere problemen op.
ESB 21/28-12-1994
I.
I
• 11.
•••
Door een monomane preoccupatie
met produktie- en citatielijstjes wordt
reproducerend en modieus onderzoek in de hand gewerkt. Door
slechts naar uiterlijkheden te kijken
bestaat het gevaar dat een irrelevante
wetenschap ontstaat. Van tijd tot tijd
is het daarom goed om die bewuste
uiterlijkheden onder de loep te nemen. In dit artikel is getracht om het
fundamentele karakter van Nederlands economisch onderzoek door
middel van een (gewogen) citatieanalyse te meten. Het zal niemand
verbazen dat grootproducenten zoals
Theil en Tinbergen in de top-l0 van
belangrijke economen terecht komen. De vernieuwing die deze economenranglijst aanbrengt is dat de mindere goden beter op hun waarde
worden geschat. Er zijn nu eenmaal
economen die misschien één belangrijk idee in hun leven krijgen en dat
netjes en rustig opschrijven zodat andere economen daar ook van kunnen
profiteren. Er zijn echter ook economen die helemaal geen origineel idee
bezitten doch behept zijn met de
gave om andermans werk snel, kort
en bondig uit te breiden, te reproduceren of toe te passen op een maatschappelijk probleem. De eerste onderzoekers vallen veelal buiten de
boot voor een economenranglijst omdat het citaten en artikelen vergaren
veel te langzaam gaat, terwijl de epigonen snel en makkelijk de ranglijsten beklimmen en daaJ;lIleewellicht
overgewaardeerd worden. De ‘publish or perish’-cuItuur van de moderne universiteit moet geen bezwaar
zijn voor de ‘superstars’ onder de economen, het is en blijft de vraag of het
de ‘starlets’ veel goed doet. Gelukkig
hebben sommige economen het nodige relativeringsvermogen om hun
hoge citaten- en publikatiescores op
waarde te schatten, getuige een uitspraak van Van der Ploeg: “Kwantiteit
zegt niks over kwaliteit. Ik moet mijn
beste artikelen nog schrijven,,7.
-;
‘j,m’t~.
De auteur is veIbonden aan het Onderzoekcentrum financieel economisch beleid
(OCFEB) van de Erasmus Universiteit Rotterdam en het Tinbergen Instituut. Het artikel is een verkorte versie van het onderzoeksrapport Measuring giants and
dwarfs: assessing tbe quality of economie
reseaebers.
7. Interview in Folia, 23 augustus 1991.
I