Bij de toekenning van Veni-, Vidi- en Vicibeurzen maakt de Nederlandse Wetenschappelijke Organisatie (NWO) gebruik van collega-wetenschappers die de ingediende onderzoeksvoorstellen beoordelen. In hoeverre is dit peer-reviewproces gevoelig voor subsidiesuccessen in het verleden?
In het kort
Er is de perceptie dat wetenschapsgeld niet uitsluitend wordt toegekend op basis van de kwaliteit van het onderzoeksvoorstel.
Bij de onderzochte beurzen is zelfselectie door onderzoekers van invloed op de kans om voor een beurs in aanmerking te komen.
Het is niet vast te stellen of beoordelingscommissies beïnvloed worden door eerder ontvangen onderzoeksbeurzen.
Het toekennen van wetenschapsfinanciering gebeurt zowel in Nederland als in het buitenland deels op projectbasis. In Nederland zijn de door de Nederlandse Wetenschappelijke Organisatie (NWO) uitgegeven vernieuwingsimpulsbeurzen (VI-beurzen) – beter bekend onder de namen Veni, Vidi en Vici – het bekendste voorbeeld hiervan.
De VI-beurzen zijn bedoeld voor respectievelijk junior, medior en senior onderzoekers. In 2017 werd ongeveer veertien procent van de in totaal 1.972 aanvragen gehonoreerd. Het totale subsidiebedrag in dat jaar bedroeg circa 160 miljoen euro (NWO, 2018).
Vanuit beleidsoogpunt dient projectfinanciering een aantal doelen (CPB, 2015). Zo is het mogelijk om specifieke onderzoeksgebieden te stimuleren. Daarnaast zorgt projectmatige financiering voor een kwaliteitsprikkel bij onderzoekers, want alleen de betere ideeën worden gehonoreerd. Nadelen zijn er ook: zo zijn er investeringen gemoeid met het schrijven en beoordelen van de onderzoeksvoorstellen. Bovendien gaan die investeringen deels verloren wanneer een onderzoekvoorstel niet gehonoreerd wordt (CPB, 2018; Van de Rijt et al., 2018). Ten slotte is competitieve financiering minder geschikt om vernieuwend, maar risicovol onderzoek te stimuleren (Guerzoni et al., 2014; CPB, 2015).
Bij de toekenning van VI-beurzen wordt er gebruikgemaakt van peerreview. De ingediende voorstellen worden door een commissie van collega’s beoordeeld, waarna de voorstellen met de hoogste wetenschappelijke kwaliteit een beurs krijgen. Althans, dit is idealiter het geval. Er zijn aanwijzingen dat het peerreviewproces gevoelig is voor subsidiesucces uit het verleden, ondanks dat de wetenschappelijke prestaties van de aanvragers vergelijkbaar zijn (Gerritsen et al., 2013; Bol et al., 2018). In de wetenschap staat dit effect – het aantrekken van geld met geld – bekend als het mattheuseffect.
Het mattheuseffect heeft de afgelopen tijd veel aandacht gekregen in de media (Van de Rijt et al., 2018; Van Calmthout, 2018), maar de achterliggende oorzaak van dit effect werd daardoor niet duidelijk. Van de Rijt et al. (2018) suggereren dat de beoordelingscommissie zich deels baseert op de cv’s van de aanvragers, waarbij het verwerven van een Venibeurs een pre is voor de toekenning van een Vidibeurs later in de carrière. De beoordelingscommissie is dan dus bevooroordeeld, en beloont niet in alle gevallen het beste onderzoeksvoorstel. Van Calmthout (2018) noemt echter ‘zelfselectie’ als oorzaak van het mattheuseffect: onderzoekers die een afwijzing kregen van hun Veni-aanvraag doen minder vaak een aanvraag voor een Vidibeurs.
Wij gaan in op de vraag welke van deze twee oorzaken het meest waarschijnlijk is. Het onderscheid tussen enerzijds selectiebias van de beoordelingscommissie en anderzijds zelfselectie door de onderzoekers is van groot belang voor NWO en andere subsidieverstrekkers. Indien selectiebias een rol speelt, ondermijnt dit het toekenningssysteem zoals dat in veel gevallen wordt gehanteerd – dus niet alleen bij de hier onderzochte VI-beurzen. In dat geval zou het mattheuseffect een heroverweging van het peerreviewsysteem vereisen. Wanneer zelfselectie een grote rol speelt, kan dit effect worden verkleind door de net-niet-ontvangers van een Venibeurs te stimuleren om wel mee te doen aan de Vidi-ronde.
Methode
Voor de analyse maken we gebruik van de data zoals deze zijn geprepareerd in Bol et al. (2018). Deze geschoonde dataset bevat 1.552 anonieme Veni-aanvragers uit de jaren 2002–2008 van wie bekend is of ze wel of geen Venibeurs hebben gekregen. Van de Veni-aanvragers weten we ook of ze wel of geen Vidibeurs hebben aangevraagd en of die uiteindelijk ook aan hen is toegekend. De uitkomstvariabele waarin we geïnteresseerd zijn, is de kans op het ontvangen van een Vidibeurs, gegeven het wel of niet ontvangen van een Venibeurs.
Essentieel voor de analyse is dat van de oorspronkelijke Veni-aanvragers ook hun uiteindelijke rangschikking (behorende bij Veni-aanvraag) beschikbaar is (tabel 1). Deze rangschikking wordt door de beoordelingscommissie vastgesteld, maar wordt niet aan de kandidaten bekendgemaakt.
Het feit dat de data wel de rang bevatten maakt het gebruik van een regression discontinuity design mogelijk. Bij deze methode is een rangschikking rondom een grenswaarde (cut-off) van groot belang. In dit geval geeft de grenswaarde aan of iemand net wel of net niet een Venibeurs heeft gekregen. Aanvragers die net wel een Venibeurs hebben gekregen, zitten boven de grenswaarde, en hebben dus een positieve rang. Aanvragers die de beurs net niet hebben gekregen, bevinden zich net onder de grenswaarde. Indien net-wel-Veni-ontvangers een significant hogere kans hebben op een Vidibeurs dan net-niet-Veni-ontvangers, dan uit zich dat in een discontinuïteit: een sprong in de kans een Vidibeurs te krijgen tussen de personen met een negatieve en positieve rang.
Resultaten
Eerst reproduceren we in figuur 1a het mattheuseffect, zoals gerapporteerd in Bol et al. (2018). Er is in deze figuur een duidelijke discontinuïteit te zien rond de cut-off. Vergelijken we de personen met rang −1/−2 met de netwel-ontvangers in groep +1/+2, dan is het verschil significant op eenprocentsniveau. Omdat net-niet-ontvangers en net-wel-ontvangers tijdens de aanvraag van de Vidibeurs vergelijkbaar presteren – in termen van h-index, citatiescore en aantallen publicaties – is de waargenomen sprong in de winstkans tussen net-wel- en net-niet-ontvangers opmerkelijk (Bol et al., 2018). Het is deze sprong in de kans op een vervolgbeurs die bekend staat als ‘het mattheuseffect’.
Dit resultaat houdt echter geen rekening met het gegeven dat mensen die geen Veni ontvangen, daarna ook minder geneigd zijn om een Vidi-aanvraag te doen. Uit figuur 2 blijkt dat ongeveer veertig procent van de net-niet-ontvangers vervolgens een Vidi aanvraagt, terwijl dit voor de net-wel-ontvangers meer dan zestig procent is.
Wanneer we de kans op een Vidi conditioneren op aanvragen, oftewel alleen de Veni-aanvragers meenemen in de analyse die daadwerkelijk een Vidi-aanvraag hebben gedaan, is het resultaat een stuk minder overtuigend (figuur 1b). De discontinuïteit rondom de cut-off is nog steeds zichtbaar, maar tegelijkertijd observeren we een sterke variatie in de toewijzingskans voor de verschillende rangorden. Dit heeft als resultaat dat bijvoorbeeld de kans op een Vidi voor personen in de groep −6/−5 niet significant meer verschilt van de groep +1/+2.
Wanneer er gecorrigeerd is voor zelfselectie is het dus niet mogelijk om, met behulp van een regression discontinuity design, een mattheuseffect aan te tonen. Een sterke variatie van de uitkomstvariabele buiten de directe cut-off die – zoals in dit geval – niet plausibel te verklaren is, trekt namelijk de validiteit van de regression discontinuity design in twijfel (Imbens en Lemieux, 2008).
De robuustheidsanalyse die we uitvoeren door het variëren in rangclustering (klassebreedte = {1,3}) laat eenzelfde resultaat zien. Wanneer voor deze klassebreedtes alle Veni-aanvragers in de analyse worden meegenomen, vinden we net als in figuur 1a een discontinuïteit in de kans op een Vidi. Opnieuw wordt echter de validiteit van de regression discontinuity design in twijfel getrokken wanneer men alleen de daadwerkelijke aanvragers van de Vidibeurs meeneemt. Het is dus niet onomstotelijk vast te stellen of het mattheuseffect wordt veroorzaakt door een selectiebias van de beoordelingscommissie. De gekozen methodiek is voor de beschikbare data simpelweg niet bruikbaar.
Discussie
Uit de data volgt dat zelfselectie de belangrijkste – en misschien wel enige – aanjager is van het mattheuseffect bij de Vidibeurzen. Het exacte mechanisme achter deze zelfselectie is nog onbekend. Wel is het duidelijk dat de kosten-batenafweging die een potentiële aanvrager maakt negatiever uitvalt bij net-niet-Veni-ontvangers dan bij net-wel-Veni-ontvangers. Dit kan komen doordat de kosten gemoeid met een Vidi-aanvraag lager zijn bij net-wel-Veni-ontvangers als het verwerven van een Venibeurs zorgt voor een lagere onderwijslast, zoals gesuggereerd in Van Calmthout (2018). Qua baten kunnen onderzoekers die net naast een Veni grijpen een te negatief beeld hebben van hun succeskansen bij een Vidi-aanvraag – dus negatiever dan uit de data blijkt.
Hoewel de achtergrond van de zelfselectie onbekend is, zijn er wel een aantal maatregelen die NWO of andere wetenschapsfinanciers kunnen nemen om zelfselectie en daarmee het mattheuseffect te beperken. Zoals eerder gesuggereerd door Bol et al. (2018) kan de subsidiegever afgewezen onderzoekers meer informatie verschaffen over de behaalde rang. Dit helpt de onderzoeker een realistisch beeld te krijgen van de kansen op een vervolgbeurs. Een mogelijk nadeel van dit systeem is dat een precies bepaalde rangorde van afgewezen kandidaten van belang wordt. Dit kan een extra tijdsinvestering vragen van de beoordelingscommissie – en daarmee leiden tot extra kosten.
Ten tweede kan men overwegen om in de middengroep een loting toe te passen. Loting kan zelfselectie helpen voorkomen omdat in het systeem de willekeurigheid wat betreft aanvragers expliciet wordt gemaakt. Het besef van willekeur kan er toe leiden dat afgewezen aanvragers wellicht minder geneigd zijn zichzelf uit te selecteren.
Loten kan ook efficiënt zijn: de beoordelingscommissie hoeft niet lang te discussiëren over een exacte rangorde – maar uiteraard wel over wie er tot de te loten groep behoort. Een recent theoretisch model voorspelt dat het minder relevant worden van de exacte rangorde ook zorgt voor minder ‘verspilde moeite’ bij de aanvragers zelf, en daarmee extra efficiëntie oplevert (Gross en Bergstrom, 2019).
Literatuur
Bol, T., M. de Vaan en A. van de Rijt (2018) The Matthew effect in science funding. Proceedings of the National Academy of Sciences, 115(19), 4887–4890.
Calmthout, M. van (2018) Duivel schijt op de grootste hoop, ook in de wetenschap. De Volkskrant, 23 april.
CPB (2015) Publieke onderzoeksfinanciering: de voor- en nadelen van verschillende financieringsmethoden. CPB Policy Brief, 2015/07.
CPB (2018) Opties voor de toekenning van onderzoeksbeurzen. CPB Policy Brief, 2018/02.
Gerritsen, S., E. Plug en K. van der Wiel (2013) Up or out? How individual research grants affect academic careers in the Netherlands. CPB Discussion Paper, 249.
Gross, K. en C.T. Bergstrom (2019) Contest models highlight inherent ineffciencies of scientific funding competitions. PLoS Biology, 17(1), e3000065.
Guerzoni, M., T.T. Aldridge, D.B. Audretsch en S. Desai (2014) A new industry creation and originality: Insight from the funding sources of university patents. Research Policy, 43(10), 1697–1706.
Imbens, G.W. en T. Lemieux (2008) Regression discontinuity designs: A guide to practice. Journal of Econometrics, 142(2), 615–635.
NWO (2018) NWO-jaarverslag 2017. Nederlandse Organisatie voor Wetenschappelijk Onderzoek: Den Haag.
Rijt, A. van de, T. Bol en M. de Vaan (2018) Te veel rompslomp bij het aanvragen van onderzoeksbeurzen voor de wetenschap. De Volkskrant, 3 oktober.
