In de economische wetenschappen zijn er diverse initiatieven genomen om de norm voor kwalitatief hoogwaardig, integer wetenschappelijk onderzoek te verduidelijken. In ieder geval bij het Tinbergen Instituut en bij een aantal faculteiten. Ook de VSNU heeft onlangs ‘productiviteit’ als criterium geschrapt en kwaliteit centraal gesteld.
Met meer kwaliteit in de economische wetenschap wordt vaak bedoeld het publiceren in academische top-tijdschriften, terwijl kwantiteit betrekking heeft op veelschrijverij in matig gekwalificeerde tijdschriften. Kwaliteit wordt soms ook geassocieerd met integriteit en kwantiteit met een gebrek daaraan. Denk aan het uitmelken van een onderzoek over meerdere papers, het regresseren van heel veel variabelen en vervolgens papers schrijven over ‘dat wat plakt’, het hergebruik van de methodologie sectie uit eerdere papers. Allemaal voorbeelden van wat nu twijfelachtige onderzoeksmethoden blijken die de onderzoeker in staat stellen de hoeveelheid publicaties op te schroeven. Kwaliteit daarentegen komt voort uit een langdurig fijn slijpen van onderzoek, vaak feedback krijgen van peers, en een streng proces van acceptatie bij een top tijdschrift.
Ook onze ESB Economentop 40 is onderhevig aan deze trend. We hoorden vaak dat men liever een top ziet die de béste wetenschappers ranked en niet de meest productieve. Abbring et al. doen een voorstel in deze ESB. Wat kwaliteit is wordt door hen op een originele manier gedefinieerd: in een top die naar kwaliteit ranked moeten in ieder geval de economen die wereldwijd als uitblinkers gelden (de John Bates Clark Medal winnaars) boven drijven (als zij in Nederland gestationeerd zouden zijn). En inderdaad, in hun alternatieve top komen de internationale toppers bovenaan, terwijl de ESB top voor sommige Medal winnaars niet eens een plek zou hebben. Het grootste verschil tussen de beide rekenmethodes voor de top is dat in de alternatieve ranking het aantal publicaties wordt afgekapt bij 15 per 5 jaar. Hierdoor vallen veelschrijvers buitenboord. Maar er zit meer achter dit maximeren van het aantal publicaties. De auteurs willen onderzoekers een duwtje in de rug geven om de tijd die zij anders in hun 16de en daarop volgende artikelen hadden gestoken, te gebruiken voor het verbeteren van de kwaliteit van de eerste 15 werken. Maar al klinkt dit als een nobel streven, we moeten ons goed afvragen waarom dit nodig is. Wat is er mis met kwantiteit?
Is het omdat veelschrijverij een resultaat is van te hoge publicatiedruk? Ik durf dat te betwijfelen. Sterker nog, het risico op afwijzing bij de toptijdschriften is dermate hoog (vaak meer dan 90%) dat het spreiden van onderzoeksideeën over meerdere b-tijdschriften als een manier van risicospreiding waarschijnlijk veel minder publicatiedruk oplevert. Daarbij weet je als onderzoeker van te voren niet precies waar het artikel terecht zal komen. Om dan al je tijd in die ene publicatie te steken voor dat top tijdschrift met zulke extreme afwijzingspercentages lijkt mij niet altijd even verstandig. Een tweede argument is dat veel b-publicaties kleine stapjes in de economische wetenschap vertegenwoordigen terwijl top-publicaties vaak fundamentele en grote stappen in kennis vertegenwoordigen. Waarom zouden veel kleine stapjes minder waard zijn dan een klein aantal grote stappen? Voor zover de grootte van een stap is af te meten aan het aantal keren dat anderen erop voortbouwen in hun eigen werk, meet de citatiescore dit. Veel b-publicaties samen drukken een even zo grote stempel op de economische wetenschap als enkele toppublicaties, zij het dat de eerste meer diffuus is en de tweede sterk geconcentreerd.
Het is uiteindelijk aan de decanen om te besluiten over zowel de rekenmethode voor de top als over hun beloningsbeleid aan de faculteiten. Voor de top is er de keuze tussen het ranken naar bijdrage aan de economische wetenschap (de oude top) of ranken naar de mate waarin iemand uitblinkt in het vakgebied en als voorbeeld geldt voor anderen. Het doel van de top is om onderzoekers uit te dagen er (zo hoog mogelijk) in te staan. Het doel van de bestuurders van de faculteiten is natuurlijk veel breder, voor zover de top 40 überhaupt een rol speelt. Nederlandse faculteiten recruteren personeel tegenwoordig van een wereldmarkt waar een sterk opwaartse publicatiedruk speelt in termen van kwaliteit. Dit zou een reden kunnen zijn op kwaliteit in te zetten. Bestuurders van faculteiten hebben daarnaast ook nog een multitasking probleem op te lossen. Wetenschappers moeten naast onderzoek ook onderwijs geven, valoriseren naar beleid, en bestuurstaken vervullen. Ook hierbij kan het maximeren van kwantiteit helpen, doordat de onderzoeksuren van veelschrijvers opnieuw worden gealloceerd. Als het zin heeft om met die additionele uren nog maanden aan een artikel door te poetsen, dan zal hij voor kwaliteitsverbetering gaan. Als dit niet het geval is, en dat weet alleen de onderzoeker zelf, zal hij zich eerder aan zijn andere taken wijden, de taken waarvoor te zwakke incentives bestaan als er een nieuwe publicatie voor het grijpen ligt.
Auteur
Categorieën