Leidt concurrentie tot verspilling?

Leidt concurrentie tot verspilling?
Aute ur(s ):
Dalen, H.P., van (auteur)
Klamer, A. (auteur)
De eerste auteur is verb onden aan het OCFEB van de Erasmus Universiteit Rotterdam en de WRR, de tweede auteur aan de faculteit Historische
en Kunstwetenschappen van de Erasmus Universiteit Rotterdam.
Ve rs che ne n in:
ESB, 86e jaargang, nr. 4316, pagina 532, 22 juni 2001 (datum)
Rubrie k :
Tre fw oord(e n):
w etenschap

Het grootste deel van de wetenschappelijke artikelen wordt nooit geciteerd. Wordt er daarom te veel geld verspild aan
wetenschappelijk werk?
Het verleggen van de grenzen in de wetenschap is een investering die zich altijd en overal terugbetaalt, is de boodschap die
beleidsmakers van wetenschappers ontvangen. Beleidsmakers zijn achterdochtig omdat diezelfde wetenschappers ook een belang hun loonstrookje – hebben bij nog meer onderzoeksgeld. Dus moet het profijt van de wetenschap ‘hard’ gemaakt worden en daar begint
het gedonder. Hoe bepaal je de waarde van een wetenschappelijk artikel? De standaardprocedure is om het aantal citaten te tellen dat
een artikel krijgt. De belangrijkste waarde van een artikel is immers de bijdrage die het levert aan ander onderzoek en die waarde
wordt benaderd met behulp van citatieanalyse.
Weggegooid geld
Ongeveer tien jaar geleden kwam het gezaghebbende blad Science met een aantal statistieken op de proppen die een heftige discussie
deden ontbranden over de waarde van wetenschappelijke artikelen 1. De kern van deze bibliometrische exercitie was dat ongeveer de
helft van de papers niet geciteerd wordt in de vijf jaar volgend op de publicatiedatum, en met deze mededeling werd de achterdocht van
politici bevestigd.
Het tijdschrift Newsweek 2 kwam zelfs met de tamelijk boude bewering dat “nearly half the scientific work in this country is worthless”.
De redactie ging zo ver om “scientists with their belief in their God-given right to tax-payer dollars” neer te zetten als “welfare queens in
white coats.” Later werden de cijfers gecorrigeerd (zie tabel 1) voor een aantal anomalieën, maar de knuppel was in het hoenderhok
gegooid.

Tabel 1. Percentage niet-geciteerde tijdschriftitems
natuurwetenschappen
alle soorten
tijdschriftitems a
alleen artikelen

sociale
wetenschappen

humanoria

%
47
22

75
48

98
93

a. Omvat niet alleen artikelen, maar ook editorials, boekbesprekingen, brieven aan de redactie, conferentiesamenvattingen en
dergelijke.
Bron: Science, 1991, blz.1410.

Voor wie de wetenschap goed kent was de mededeling van Science allerminst verrassend. Het nieuwe eraan was dat het dit keer hardop
en zonder enige nuancering werd gezegd. Voor de buitenstaanders was het nieuws dat het gros van de wetenschappelijke artikelen er
niet of nauwelijks toe doet een schok en een duidelijke indicatie dat de publiek gefinancierde concurrentie onder wetenschappers een
tamelijk financieel verspillende bezigheid is. In dit artikel willen wij bezien hoe omvangrijk en erg die wetenschappelijke verspilling is en
hoeveel al die ‘verspilde’ wetenschappelijke energie kost.
Concurrentie in de wetenschap
Wie deelneemt aan de wetenschap zal ervaren wat menigeen ervaart die een creatief beroep uitoefent: een enkeling krijgt enorm veel
aandacht en de overgrote meerderheid moet het doen met kleine waarderingen van aandacht. Het is in feite wat de
wetenschapssocioloog Robert Merton noemt het Mattheüs-effect (naar het evangelie van Mattheüs 25:29) of wat economen noemen een
‘winner-takes-all’ markt. De aanwijzingen voor dit soort effecten zijn overduidelijk aanwezig in de wetenschap. Een vuistregel is dat

negentig procent van de wetenschappelijke artikelen een verwaarloosbare invloed heeft op de wetenschap en tien procent van de
artikelen er toe doet, dat wil zeggen: deze tien procent wordt gelezen en geciteerd door de gemeenschap van collega-wetenschappers.
Over het algemeen verschijnt dit soort invloedrijke artikelen in de zogenaamde ‘core journals’: tijdschriften met een grote verspreiding,
een strenge beoordelingsronde en wetenschappelijk vooraanstaande redacteuren. Publicatie in een ‘core journal’ is natuurlijk niet
zaligmakend omdat binnen de groep van artikelen de aandacht ook enorm scheef verdeeld is en slechts een enkel artikel de status bereikt
van baanbrekend of invloedrijk. Wie een klassieker wil schrijven in de American Economic Review zal op z’n minst 25 citaten per jaar
moeten halen en dat is slechts 1,8 procent van de aer-auteurs gegeven 3. Om enig idee te krijgen hoe anno 1999 de stand van
concurrentie in de wetenschap is, is tabel 2 samengesteld voor verschillende wetenschappen.

Tabel 2. Scheefheid verdeling van publicaties en aandacht in wetenschap, 1999a
(1)
aantal
tijdschr.b
discipline
exactewetensch.
biologie
scheikunde
computer wet.
technische wet.
wiskunde
medische wet.
natuurkunde
sociale wetensch.
economie
recht
politicologie
psychiatrie
psychologie
sociologie

5550
124
384
304
660
282
188
253
1699
164
104
76
79
425
97

(2)
aantal art.
gepubl. in
tijdschr.
671.466
10.171
74.302
17.242
60.581
19.772
23.245
78.615
62.538
6.502
2.606
3.096
4.070
16.915
2.495

(3)
% art.
gepubl. in
top-10 tijdschr.

(4)
% aandacht
voor top-10
artikelen

30,3
35,4
26,5
32,2
21,6
28,5
43,3

54,6
58,6
46,1
59,1
32,2
77,3
64,4

15,9
13,3
16,0
32,1
27,3
14,8

36,2
39,0
34,5
59,2
50,7
39,9

a. Er is enige overlap tussen de tijdschriften van de beta en sociale wetenschappen, zodat het totaal aantal tijdschriften van de ISIdatabase (7000) kleiner is dan de som van de exacte en sociale wetenschappen.
b. Selectie van de top 10 procent van tijdschriften is gebaseerd op het totale aantal citaten dat een tijdschrift heeft ontvangen in
1999.
Bron: isi, Journal Citation Reports, Philadelphia, 2000.

Ongelijke marktomvang
Wat onmiddellijk opvalt in deze tabel is dat de tijdschriftmarkt voor natuurwetenschappelijk onderzoek vele malen groter is dan voor de
sociale wetenschappen. In de natuurkunde zijn 253 tijdschriften die jaarlijks meer dan 78.000 artikelen produceren, terwijl er in de
economie 164 tijdschriften van enig niveau actief zijn die ‘slechts’ 6500 artikelen jaarlijks produceren. De enige uitzondering op deze regel
is wellicht psychologie, dat beta-wetenschappelijke karaktertrekken heeft. Over het algemeen zijn het ook de toptijdschriften die de
meeste artikelen produceren en dit vinden we terug in kolom (3), hoewel ook hier de natuurwetenschappen een schevere verdeling ten
toon spreiden dan de sociale wetenschappen. In de natuurkunde nemen de 25 meest invloedrijke tijdschriften 43 procent van het totaal
aantal artikelen voor hun rekening.
De scheve verdeling van aandacht wordt nog scherper als we de citatie-invloed van de tijdschriften meewegen in de berekening. Indien
we de artikelen vermenigvuldigen met de ‘impact factor’ (het gemiddelde aantal citaten dat een artikel in een tijdschrift vergaarde in de
afgelopen twee jaar) dan krijgen we een nog schevere verdeling van aandacht, zoals we in kolom (4) zien. De top tien procent van
artikelen verschenen in de ‘core’ medische tijdschriften vergaren bijna tachtig procent van de aandacht in die wetenschap.
Superstars
Er zijn allerlei plausibele verklaringen voor de verschillen in scheefheid van aandacht tussen wetenschappen: verschillende
citatiepraktijken, verschil in efficiëntie van tijdschriftredacties, in de concurrentiegraad, en in de homogeniteit (of codificatiegraad) van
een wetenschap. Niettemin is er ook een enorme uniformiteit onder de verschillende disciplines en die heeft vooral te maken met het feit
dat iedere wetenschapper te maken heeft met de scheefheid in aandacht, een scheefheid die goed valt te begrijpen indien we de
economische theorie van de ‘superstars’ er bij halen. Volgens de bedenker van deze theorie – Sherwin Rosen – worden superstars in een
professie gekarakteriseerd door: een directe relatie tussen beloning en de omvang van de eigen markt, en: een sterke tendens voor zowel
marktomvang als beloning om in de richting te stromen van de meest getalenteerde actoren in een professie 4. Zeer kleine verschillen in
talent worden door dit soort verschijnselen dan ook sterk uitvergroot en verankerd door imperfecte substitutie tussen auteurs.
Omvangrijke markten voor ideeën werken binnen de wetenschap dan ook als een soort Nobelprijzen of patenten: ze stimuleren de
zoektocht naar nieuwe terreinen en in dat opzicht moeten economen en sociologen zich tevreden stellen met kleinere markten dan
natuurkundigen of geneeskundigen (zie tabel 2) hoewel dit soort verschillen weer deels wordt gecompenseerd door de prijs van
aandacht of de waarde van een citaat. Een citaat in de economie is moeilijker te verwerven dan een citaat in de medische wetenschap met
alle gevolgen van dien voor de waarde van die citaten.
De prijs van verspilling

Dan keren we nu weer terug naar de vraag gesteld aan het begin van dit artikel: genereert concurrentie in de wetenschap niet te veel
verspilling? Er zijn twee soorten antwoorden mogelijk en alle twee zijn ze in hoge mate tentatief.
Vergelijkbare beroepen
Het eerste antwoord kan men baseren op kennis van andere creatieve beroepen. Er zou dan sprake kunnen zijn van verspilling indien de
slagingskans voor wetenschappers lager ligt dan elders. De moeilijkheid is dat het begrip ‘slagen’ een zeer arbitrair begrip is en de
succesratio sterk afhangt van welke groep men als basis voor de berekening neemt. Onderzoekers in het bedrijfsleven die hun
uitvindingen patenteren vormen een redelijke vergelijkingsbasis. Volgens Scherer en Harhoff vertoont het succes van patenten een
enorm scheve verdeling. De top-tien procent van profijtelijke patenten neemt 48 tot 93 procent van de totale winst van alle patenten voor
zijn rekening 5. De vergelijking met de wetenschap blijft moeilijk omdat wetenschappers niet met geld maar met citaten ‘betaald’ worden.
Toch lijkt dit soort verdelingen veel op die men binnen de wetenschap tegenkomt 6 en lijkt de wetenschap niet meer verspillend dan
privaat gefinancierd onderzoek, doch gezien het arbitraire karakter van succes kan men geen hard oordeel uitspreken.
Directe en indirecte kosten…
Het tweede antwoord is financieel van aard en legt de nadruk op de kosten van het openbaar maken van wetenschappelijke bevindingen.
Stiglitz heeft herhaaldelijk gewezen op het feit dat de bevindingen van de wetenschap het beste behandeld kunnen worden als een
globaal publiek goed 7. Als iedere wetenschappelijke publicatie in de wereld een gelijk gewicht krijgt om te slagen dan luidt de conclusie
dat de kosten van de wetenschappelijke publicatie-industrie erg laag zijn. Er hoeven maar een paar geweldige ideeën tussen te zitten en
de wetenschap verdient zichzelf met groot gemak terug. Het bewijs? Een tentatieve berekening op basis van de gegevens van tabel 2
moet voldoende zijn. Wetenschappelijk onderzoek definiëren wij als al het onderzoek dat gepubliceerd wordt in de tijdschriften zoals die
door het Institute for Scientific Information isi worden geregistreerd en gepubliceerd in de Science Citation Index en de Social Science
Citation Index. De kosten om een artikel te produceren omvat een groot aantal inputs, zoals de monetaire waarde van de tijd die het een
auteur kost om een paper te produceren, de tijd die redacteuren en referees steken in het evalueren van een manuscript en dan zijn er nog
de kosten die de uitgever moet maken zoals het drukken, redigeren, marketing en laten we niet vergeten dat uitgevers winst moeten
maken en derhalve een opslag eisen om de boel draaiende te houden. Schattingen van de directe kosten van uitgevers gebaseerd op een
steekproef van wiskunde en engineeringtijdschriften vallen in het interval van $ 1000 tot $ 8000 per artikel 8. De directe kosten vormen
slechts een fractie van de indirecte kosten, waarbij de kosten om het artikel zelf te produceren zeker het grootste deel in beslag nemen.
Tentatieve berekeningen wijzen uit dat deze indirecte productiekosten in de buurt van de $ 32.000 liggen, waarvan $ 20.000 wordt
toegeschreven aan de kosten die een auteur opoffert voor het schrijven van een paper, $ 8000 voor bibliotheekkosten, $ 4000 voor de
kosten van referees en redacteuren. Welnu, als we de meest conservatieve schatting van de directe kosten ($ 8000) optellen bij de
indirecte kosten dan komen we uit op een kostprijs van $ 40.000 per artikel. Het totale aantal artikelen dat gepubliceerd wordt in de 7000
tijdschriften in de sociale en exacte wetenschappen komt neer op 720.382. Indien we dit aantal vermenigvuldigen met de kostprijs van een
artikel dan is vormen de totale kosten van het publiceren van wetenschappelijk onderzoek wereldwijd $ 28,8 miljard.
…in termen wereld bbp
Is dit veel of weinig? Als we dit getal relateren aan de waarde van het wereldinkomen in 1999 – wetenschap is immers een internationale
aangelegenheid – dan kan de conclusie niet anders zijn dat het openbaar maken van kennis een tamelijk goedkope affaire is: 0,0007
procent van het wereldinkomen (volgens het IMF $ 41.344 miljard in 1999) wordt besteed aan het openbaar maken van wetenschappelijke
kennis. Het is natuurlijk een zeer ruige benadering waar veel op af te dingen valt. Men kan van mening verschillen of refereekosten nu
hoger of lager moeten zijn, of een artikel voor de American Economic Review niet meer kost (inclusief herzieningen) dan een artikel voor
De Economist, en ga zo maar door. Een belangrijke variabele vormt natuurlijk de gekozen groep van wetenschappelijke tijdschriften. De
7000 ISI-tijdschriften vormen slechts het topje van de ijsberg aan tijdschriften in de wereld. Volgens de gezaghebbende Ulrich’s
International Serials Database worden er momenteel zo’n 165.000 tijdschriften gepubliceerd waaronder zich rijp en groen bevindt. De
deelverzameling van serieuze tijdschriften (die werken met referees) vormt de beste vergelijkingsbasis. We hebben het dan over een
groep van 12.600 tijdschriften. Als we deze laatste groep als de alomvattende verzameling van tijdschriften kiezen en veronderstellen dat
deze uitgebreide groep net zoveel artikelen publiceert als de ISI-tijdschriften dan zouden we de bovengenoemde kostprijs moeten
vermenigvuldigen met een factor 1,8. Met andere woorden, de gecorrigeerde prijs van de wetenschap bedraagt 0,0013 procent van het
wereldinkomen. Als men bedenkt dat de meeste ontwikkelde landen tussen de 1,5 à 3 procent van het nationaal inkomen spenderen aan
onderzoek en ontwikkeling (en 0,3 à 0,8 procent van het bbp aan hoger onderwijs) en corrigeert voor het feit dat ontwikkelde landen
ongeveer tachtig procent van het wereldinkomen voor hun rekening nemen, dan nog blijft de publicatiedrift van wetenschappers een
fractie van het totale onderzoeksbudget.
Conclusie
Is concurrentie in de wetenschap nu verspillend of niet? De financiële berekeningen suggereren dat het openbaar maken van kennis
geen grote offers met zich meebrengt. Wie onderzoek of creativiteit wil stimuleren zal genoegen moeten nemen met een hoop ‘missers’ en
een enkel succesje. Voor de beleidspraktijk is dit een belangrijk gegeven. Wetenschapsbeleid zal zich, net als technologiebeleid,
rekenschap moeten geven van de enorm scheve verdeling in succes. Wetenschapsbeleid kan dit soort onzekerheid maar in beperkte
mate omzeilen 9 door middel van portfoliostrategieën. Geld aan de wetenschap wordt productiever besteed wanneer men beter doorheeft
hoe instituties binnen de wetenschap werken. In dat licht zouden vrijheid van onderwerpkeuze en experimenteren binnen de wetenschap
hoog in het vaandel van het wetenschapsbeleid moeten staan. Wetenschap is weliswaar een gok maar het is een bijzondere gok: de kans
op succes wordt zeer verschillend beoordeeld door de deelnemers, is allesbehalve exogeen en is verre van normaal verdeeld.

1 Zie D.P. Hamilton, Publishing by – and for? – the numbers, Science, 1990, blz. 1331-1332; en D.P. Hamilton, Research papers: who’s
uncited now?, Science, 1991, blz. 25.
2 Newsweek, 14 januari 1991.

3 G.C. Durden en L.V. Ellis, A method for identifying the most influential articles in an academic discipline, Atlantic Economic Journal,
1993, blz. 1-10.
4 S. Rosen, The economics of superstars, American Economic Review, 1981, blz. 845-858.
5 F.M. Scherer en D. Harhoff, Technology policy for a world of skew-distributed outcomes, Research Policy, 2000, blz. 559-566.
6 Zie bijv. E. Garfield, The most cited papers of all time, SCI 1945-1988, Current Contents, 1990, blz. 45-56.
7 J.E. Stiglitz, Knowledge as a global public good, in: I. Kaul, I. Grunberg, en M.A. Stern (red.), Global public goods, 1999, Oxford.
8 Zie verder: A. Odlyzko, The economics of electronic journals, First Monday, 1997,
9 Zie Scherer en Harhoff, op cit., blz. 563.

Copyright © 2001 – 2003 Economisch Statistische Berichten (www.economie.nl)