Ingezonden
Over het meten van kwaliteit in
de economic en belendende
disciplines
DRS. H.L. THEUNS*
,, What ideal can be upheld except the
principle of equal status for equal
intelligence?”
(Michael Young, The rise of the
meritocracy)
Inleiding
Sinds enkele jaren bestaat er een opmerkelijke belangstelling voor een controlerend onderzoeksbeleid, zich uitend
in pogingen tot produktiviteits- en kwaliteitsmeting. Regelmatig verschijnen
zogenaamde toplijsten van beoefenaren
van zo uiteenlopende wetenschapsgebieden als enerzijds de medische wetenschap en anderzijds de economic en de
sociologie 1). Naast aparte indices voor
omvang en voor kwaliteit van wetenschappelijke produktie worden ten behoeve van de opstelling van ranglijsten
ook wel samengestelde criteria gehanteerd waarmee wordt gepretendeerd in
een maatstaf beide tot uitdrukking te
brengen. Het onderzoek van De Schuite
vormt van dit laatste een voorbeeld.
De belangstelling voor produktiviteits- en kwaliteitsmeting is terug te voeren tot de noodzaak van het doorvoeren
van bezuinigingen en de wens tot selectieve allocatie van middelen. Het is dan
ook niet verwonderlijk dat de eerste aanzet tot het zichtbaar maken van
produktiviteits- en kwaliteitsverschillen
is uitgegaan van de overheid en is te vinden in de sinds 1978 op last van de minister van Onderwijs en Wetenschappen
door de universiteiten samen te stellen
wetenschappelijke verslagen. De gerealiseerde output aan publikaties moet daarin worden verantwoord in een beperkt
aantal rubrieken: dissertaties, overige
wetenschappelijke publikaties en overige vakpublikaties. Overige wetenschappelijke publikaties zijn ,,publikaties die
direct gericht zijn op het forum van vakgenoten” 2). Bij de lager geklasseerde
,,overige vakpublikaties” ontbreekt deze directe gerichtheid en worden ook anderen in staat gesteld om van de wetenschappelijke ,,output” kennis te nerrien.
De mediasoorten die dit algemenere bereik mogelijk maken zijn dag- en weekbladen,
algemene
en
populairwetenschappelijke tijdschriften en encyESB 12-12-1984
clopedieen. De minister is er zich van bewust dat met deze rubricering slechts een
zeer globale indruk van de verschillen in
kwaliteit van wetenschappelijke ,,output” wordt verworven. Na vijf jaar gewenning acht hij nu het moment gekomen om dieper op het kwaliteitsaspect in
te gaan.
Citaten tellen
In de aanvullende aanwijzingen bij de
richtlijnen voor het Wetenschappelijk
Verslag 1983 stelt de minister dat aandacht dient te worden geschonken aan
,,de wijze waarop de kwaliteit van het
onderzoek wordt vastgesteld” 3). De minister wacht dus af welke beoordelingsvarianten de universiteiten aan hem zullen voorleggen. De basiskeuzen zijn echter beperkt tot citatenanalyse en ,,peer
review”. Het hanteren van citatenscores
staat in het middelpunt van de belangstelling; rond de ,,peer review” is
het opvallend stil. Dit hangt samen met
de schijn van objectiviteit die verbonden
is aan het tellen van het aantal malen dat
een publikatie binnen het wetenschappelijk forum wordt aangehaald, een schijn
van objectiviteit die een ,,judgement by
peers” ontbeert. ,,Met het peer-systeem
wordt in ieder geval een sterk subjectief
element ingevoerd bij de beoordeling,
een element bovendien dat door nietdeskundigen slecht te volgen valt; de
roep om controle op beoordeling blijft
hierdoor onbeantwoord. Het is ongetwijfeld hieruit dat de behoefte aan een
objectieve maatstaf – de cijfermatige
benadering — is voortgekomen, en die
denkt men te hebben gevonden in het optellen van aantallen publikaties van onderzoekers en de aantallen keren dat individuele onderzoekers worden geciteerd” 4).
Klinkt het in het voorgaande aan Boer
ontleende citaat enige twijfel door,
Lindsey stelt het positiever: ,,Citation
counts have the (…) advantage of being
less subject to personal manipulation”
5) en de protagonist Garfield gaat nog
verder en noemt,,citation rates” kwantitatief, objectief en fundamenteel en
daarom ,,useful tools in managing science” 6). De redenering is dan dat ieder die
publiceert gelijke kansen heeft om te
scoren, immers het tellen van citaten vergt geen oordeel; naarmate een publikatie
op een kwalitatief hoger niveau ligt zal er
meer naar worden verwezen. Het kwaliteitsoordeel is dan gegeven door de gehele kring van vakgenoten en dient derhalve als objectief te worden aangemerkt.
Het objectieve kwaliteitsoordeel wordt
vervolgens geregistreerd via het tellen
van het aantal aanhalingen in de wetenschappelijke literatuur. Dit gebeurt door
neutrale documentatiediensten als het
Institute for Scientific Information (ISI)
te Philadelphia, samensteller van de bekende Social Sciences Citation Index
(SSCI).
Beperkte selectie
Bij de huidige publikatielawine zal het
geen verbazing wekken dat de documentatiediensten niet de gehele wetenschappelijke literatuur maar slechts een deel daarvan, en dan met name tijdschriftartikelen,
op aanhalingen nagaan. Voor de SSCI
wordt gewerkt met zogenaamde ,,source
journals”. Het aantal daarvan beloopt anno 1983 voor een breed gebied van sociale
wetenschappen circa 1.400. De zogenaamde ,.source index” bestaat uit alle in deze
tijdschriften verschenen artikelen plus een
,,selective coverage” van artikelen in circa
3.000 niet tot de ,.source journals” behorende periodieken. Naast tijdschriftartikelen wordt een beperkt aantal monografieseries bestreken. Het resultaat is dat niet
het aantal aanhalingen in de wetenschappelijke literatuur wordt geteld, maar
* De auteur is verbonden aan de vakgroep Economic van ontwikkelingslanden aan de Economische faculteit van de Katholieke Hogeschool
Tilburg.
1) Zie elders in dit nummer en ook b.v. N. van
Rooijen, D.M. Boorsma en P. Eikelenboom,
Top 95 onder de medische hoogleraren in Nederland, NRC Handelsblad, bijlage Wetenschap &
Onderwijs, 31 maart 1983; A.D.S. de Schuite,
De Top-40 van Nederlandse economen: Theil
met slip op een, ESB, 17 december 1980; J. J. van
Duyn, De Nieuwe Nederlandse Economen
Top-30, ESB, 18 november 1981; Sj. Peereboom
en J. Plantinga, Sociologische instituten en hun
wetenschappelijke invloed, Sociodrome, (5),
1983.
2) Richtlijnen voor het Wetenschappelijk Verslag over 1983, vastgesteld door de minister van
Onderwijs en Wetenschappen, 1 juli 1981, conform de richtlijnen voor het verslag over 1979 en
1980, biz. 4.
3) Bijlage II bij brief HW/AB 424.542, 4 oktober 1983 aan de Colleges van Bestuur van de instellingen van Wetenschappelijk Onderwijs, biz.
1.
4) E.J. Boer, Wetenschap in de weegschaal,
NRC Handelsblad, bijlage Wetenschap & Onderwijs, 17mei 1984.
5) Duncan Lindsey. The scientific publication
system in social science, Jossey-Bass Publishers,
San Francisco/Washington/Londen, 1978, biz.
129.
6) Eugene Garfield, Citation indexing – its theory and application in science, technology, and
humanities, John Wiley & Sons, New York,
1979, biz. 62.
1181
slechts het aantal aanhalingen in een selectie van wetenschappelijke literatuur. Een
niet onaanzienlijk deel van de wetenschappelijke literatuur blijft buiten de citatenanalyse. Belangrijke verliesbepalende factoren zijn de soort van primaire publikatie,
de taal en het land van publikatie. Tijdschriftartikelen worden beter gedekt dan
rapporten, boeken, congresverslagen en
dissertaties.
Toch is ook de ..coverage” van tijdschriftartikelen verre van volledig. Uit een
bestand van zeven gespecialiseerde wetenschappelijke tijdschriften over toerisme
komt slechts een in de VS gepubliceerd
blad voor in de ,,source index” van de
SSCI 7). Van de drie mondiaal bekende
wetenschappelijke tijdschriften op het relatief nieuwe multidisciplinaire gebied van
..leisure studies” is er slechts een in de
SSCI-,,source index” te vinden 8). Dit
vormt niet alleen een bevestiging van de
stalling van Lamers dat de meeste documentatiediensten zich beperken tot gemak-
kelijk te verkrijgen literatuur, met name
die in de eigen taal en van het eigen land 9),
maar vormt ook een indicatie voor een gebrek aan zicht op de dynamiek van het wetenschapsgebeuren waarin specialisatie en
verbijzondering in deelterreinen hand in
hand gaan met pogingen de eenheid van de
wetenschap te herstellen 10).
Status en hierarchic
Behalve door gebrek aan zicht op de dynamiek van het wetenschapsgebeuren
wordt de selectie van tijdschriften voor de
,,source index” ook bepaald door de in de
..advisory board” en wetenschappelijke
staf aanwezige visies ten aanzien van de beoefening van de betreffende wetenschapsgebieden. Dit impliceert dat de ,,gatekeeper”-functie van tijdschriftredacties
wordt versterkt en dat de conventionele
wetenschap zich achter een dubbele verdedigingslinie verschanst tegen al te zeer af-
wijkende opvattingen en onorthodoxe benaderingswijzen: Lamers vermeldt dat bij
de eisen die de documentatiediensten stellen onder meer de faam van de tijdschriftredactie en van de auteur een criterium
voor opname is 11). Opname in de , .source
index” is dan in hoge mate afhankelijk van
de binnen het betreffende wetenschapsgebied bestaande hierarchic. Gevestigde opties en visies ten aanzien van de beoefening
van het vakgebied zullen dientengevolge
meer doorklinken dan gewenst is vanuit
een oogpunt van pluriformiteit, creativiteit
en vernieuwing in de wetenschapsbeoefe-
ning. De ,,mainstream” qua aandachtsgebieden en methodische aanpak zal goed
zijn vertegenwoordigd; de randgebieden,
nieuwe ontwikkelingen in aandachtsgebieden en afwijkende methodische en/of ideologische invalshoeken maken relatief weinig kans.
Een indicatie van de nadelige positie
waarin tijdschriften verkeren die een ideologisch afwijkende invalshoek hanteren
wordt verkregen door na te gaan welke van
de door Vogeler en De Souza genoemde
,,conservative”, ,.liberal” en ,,radical”
1182
wetenschappelijke tijdschriften 12) in de
,,source index” van de SSCI voorkomen.
Van de in totaal achttien genoemde ,,conservative” en ,,liberal” tijdschriften blijken er slechts twee niet opgenomen; van de
dertien genoemde ..radical” tijdschriften
evenwel blijken er elf niet en twee wel
opgenomen.
Ook komt het voor dat belangrijk gepubliceerd werk gedurende aanzienlijke tijd
wordt genegeerd en geen erkenning vindt
in citaten 13). Het hanteren van citatenscores werkt dan systeembevestigend en verstarrend. Het aanwijzen door secties van
de Academische Raad van bepaalde tijdschriften als de Nederlandse wetenschappelijke tijdschriften voor bepaalde weten-
schapsgebieden 14) tendeert in dezelfde
richting. Een dergelijke selectie kan niet los
worden gezien van de ,,pecking order” in
de wetenschap en de status van individuele
en groepen wetenschapsbeoefenaren binnen een bepaalde discipline en zelf s over de
disciplinegrenzen heen. Elias stelt:,,Again
and again the organization of scientific
work creates conditions which allow some
scientists, collectively or individually, to
claim and to establish effectively a hegemonic position either within their own
field or in relation to other fields. They
achieve, in other words, the position of a
firmly entrenched scientific establishment” 15).
Voor de economic is hiervan door Leyonhufvud een boeiende satirische schets
gegeven 16). De status van individuele en
van op deelterreinen opererende groepen
economiebeoefenaren is ..tied to the manufacture of certain types of implements,
called ‘models'” 17). Het deelterrein der
ontwikkelingseconomie bij voorbeeld kent
een lage status. De ,,Devlops” laten zich,
aldus Leyonhufvud, te zeer in met belendende disciplines als politicologie en sociologie en worden ervan verdacht de modellenbouw op te geven 18). De ,,MathEcon” daarentegen vormen een ,,priestly
caste”, waarvan de hoge status samenhangt met de ,,trend among all the Econ
towards more ornate, ceremonial models”. De ,,ranking” van tijdschriften
door De Schuite zit goed op deze lijn. De
zeven door hem onderscheiden toptijdschriften 19) tonen een sterk overwicht van
,,model making” en elk van de door hem
tot de top gerekende tijdschriften scoort
zeer hoog op de door Hawkins, Ritter en
Walter berekende ,,prestige rank” 20). Er
valt derhalve een sterke voorkeur te
constateren voor in hoge mate abstracte
modelmatige benaderingen. Een dergelijke
voorkeur is te verklaren uit de statusverhoudingen tussen de wetenschappen onderling: ,,the belief that physics is the
science par excellence, that other discipli-
nes in order to be recognized as scientific
should use as nearly as possible the same
method as physics and, generally, should
proceed along the same line” 21).
Max-Neef doet een soortgelijke uitspraak voor met name de economic 22). De
voorkeur onder economen voor in hoge
mate theoretisch werk is zo sterk onderbewust dat deze tot vooroordelen voert. Dit
blijkt uit een door Hawkins, Ritter en Wal-
ter uitgevoerd onderzoek. Een aantal
respondenten werd door hen gevraagd 87
tijdschriften, waaronder twee niet bestaande zogenaamde ,,dummy journals”, naar
niveau te rangschikken. Een hiervan, the
Journal of Economic and Statistical Theory, belandde op de 24e plaats. Het andere
blad, de Regional Studies and Economic
Change – klaarblijkelijk een meer toegepast en gespecialiseerd tijdschrift — haalde slechts de 59e plaats 23). Kwaliteit blijkt
zo bezien alles te maken te hebben met al
dan niet vermeende wetenschappelijke status en hierarchic binnen het wetenschapsbedrijf. Lindsey vergelijkt het opstellen
van citatenscores dan ook met de ,,Nielsen
ratings” die in de VS door tv-stations worden gebruikt om de populariteit en aantrekkingskracht van programma’s aan te
geven:,,Citation counts can, in large measure, be viewed as the Nielsen ratings of
science” 24). Het hanteren van citerings-
scores is dan te beschouwen als een ceremoniele statusbevestigende activiteit 25),
die weinig bruikbaar is als uniforme objectieve kwaliteitsmaatstaf voor een qua
maatschappijvisie, methodologische aanpak en specialisatie op deelterreinen heterogene wetenschappelijke output.
H.L. Theuns
7) Opgenomen is Annals of Tourism Research
(VS). Niet opgenomen zijn Journal of Travel Research (VS), International Tourism Quarterly
(VK), Tourism Management (VK), Revue de
Tourisme (Zwitserland), Tourism Recreation
Research (India) en Jahrbuch fiir Fremdenver8) Opgenomen is Journal of Leisure Research
(VS). Niet opgenomen zijn Leisure Sciences (VS)
en Leisure Studies (VK).
9) H.A. J.M. Lamers, De waarde van documentatie als maat voor onderzoekskwaliteit, Universiteit en Hogeschool, 29 (5), 1982-1983, biz.
264.
10) Zie A.G.M. van Melsen, Wetenschap en
verantwoordelijkheid,
Het
Spectrum,
Utrecht/ Antwerpen, 1969.
1 1) Lamers, op.cit., biz. 262.
12) Ingolf Vogeler en Anthony R. de Souza, Dialectics of understanding the Third World, in:
Ingolf Vogeler en Anthony R. de Souza (red.),
Dialectics of Third World Development, Allanheld, Osmun & Co. Publishers, Montclair, New
Jersey, biz. 10.
13) Lindsey, op.cit., biz. 131.
14) Zie de brief van de voorzitter van het Overleg Portefeuillehouders Onderzoek (POZ), 12
augustus 1983, POZ 83-101 , aan de Colleges van
Bestuur van de instellingen van wetenschappelijk onderwijs, bijlage 2c: Sectie Economic en
bijlage 2g: Sectie Sociologie. De Sectie Economic heeft inmiddels verklaard dat de gegeven opsomming niet limitatief is.
15) N. Elias, Scientific Establishments, in: Nor-
bert Elias, Herminio Martins en Richard Whitley (red.), Scientific establishments and hierarchies, D. Reidel Publishing Company, Dordrecht/Boston, 1982, biz. 50.
16) Axel Leyonhufvud, Life among the Econ,
Western Economic Journal, 11 (13), September
1983, biz. 327-337.
17) Zie voor kritiek op overmatig gebruik van
de modelmatige benadering, Peter Donaldson,
Economics of the real world, BBC/Penguin,
Londen/Harmondsworth, 1973, biz. 10- 13.