In een recent artikel in ESB heranalyseren Freek Ruesink en Marielle Non (2019) de data van ons onderzoek op basis waarvan wij concludeerden dat het winnen van een Veni-beurs bij NWO de kans twee tot drie keer verhoogt dat men ook een Vidi-beurs wint (Bol et al., 2018) – iets dat ook wel het mattheuseffect wordt genoemd. Onze conclusie was gebaseerd op de resultaten van een regression-discontinuity design, waarin we aanvragers met scores nét boven en nét onder de subsidiegrens onderling vergelijken. In dit grijze gebied rondom de toekenningsgrens is vrij willekeurig bepaald wie er wel een beurs krijgt en wie niet (Van Arensbergen et al., 2013). De disproportioneel grotere kans die kandidaten net boven de drempel hebben op het later winnen van een Vidi kan dus redelijkerwijs worden toegeschreven aan het winnen van een Veni.
Vervolgens hebben we het regression-discontinuity design een tweede keer gebruikt, ditmaal om het effect van het winnen van een Veni-beurs te schatten op de kans dat een Veni-sollicitant later ook naar een Vidi zou gaan solliciteren. Wij vonden dat deze kans van ongeveer veertig naar ongeveer zestig procent springt. We concludeerden dat het door ons gevonden mattheuseffect dus deels via zulke zelfselectie verloopt.
Ruesink en Non (2019) claimen op basis van hun heranalyse dat “zelfselectie de belangrijkste – en misschien wel enige – aanjager is van het mattheuseffect bij de Vidi-beurzen”. Wij zijn het oneens met die conclusie en menen dat deze gebaseerd is op een uiterst problematische analysemethode. Ruesink en Non voerden namelijk nog een derde regression-discontinuity-analyse uit, die in ons artikel ontbrak. In deze analyse bekeken zij de Vidi-winkansen van uitsluitend de groep die zowel een Veni- als een Vidi-beurs aanvroeg. Ze conditioneerden de analyse dus op het aanvragen van een Vidi. Ruesink en Non vonden voor deze selectere groep een minder duidelijke discontinuïteit.
Het probleem is dat de bruikbaarheid van het regression-discontinuity design staat of valt bij de cruciale aanname dat nét-winnaars en nét-verliezers eigenlijk niet van elkaar te onderscheiden zijn. Deze aanname wordt waarschijnlijk geschonden – en vermoedelijk zwaar. Zo ligt het voor de hand dat, gemiddeld genomen, Veni-verliezers die een Vidi aanvragen beter zijn dan Veni-winnaars die een Vidi aanvragen. Het feit dat Veni-winnaars veel vaker een Vidi aanvragen dan Veni-verliezers, suggereert dat Veni-winnaars sneller een Vidi aanvragen, ook met een middelmatig onderzoeksidee of een zwak cv, terwijl verliezers dit vooral doen met een sterk idee of sterk cv. Verder hebben Veni-winnaars hun carrière in de wetenschap minder snel moeten opgeven, ook als ze eigenlijk minder goed waren.
Maar stel dat we dit methodologische probleem negeren en aannemen dat de Veni-verliezers die uiteindelijk een Vidi aanvragen op het moment van de Veni-aanvraag tóch vergelijkbaar zijn met de Veni-winnaars die uiteindelijk een Vidi aanvragen. Dan blijft nog steeds overeind staan dat de Vidi-aanvraagkans ten gevolge van het winnen van een Veni slechts met zo’n 50 procent groeit (figuur 1b in Bol et al., 2018), terwijl de Vidi-winkans met 100 à 150 procent groeit (figuur 1a). Zelfselectie verklaart dus zelfs dan nog slechts een minderheidsdeel van het mattheuseffect.
De door Ruesink en Non (2019) gehanteerde methoden leveren geen enkel bewijs voor de stelling dat zelfselectie het dominante mechanisme achter het mattheuseffect is. De vraag is dan ook waarom de auteurs zulke sterke conclusies verbinden aan hun bevindingen. De beleidsconsequenties van die conclusies zijn namelijk evident: de oplossing voor het mattheuseffect ligt niet bij de beoordelingsprocedures van NWO, maar alleen bij de mentaliteit van de aanvragers. Als verliezers maar wat vaker zouden aanvragen, zouden de problemen verdwijnen. Die implicatie is in onze ogen foutief en schadelijk. Want dit gaat voorbij aan het feit dat NWO onderzoeksgeld onthoudt aan hen die ook al eerder pech hadden. NWO kan dit bijvoorbeeld tegengaan door in de beoordeling eerdere beurswinst niet meer te gebruiken als een indicator van de kwaliteit van de aanvrager, maar door meer aandacht te besteden aan de kwaliteit van het onderzoeksidee.
Literatuur
Arensbergen, P. van, L. Hessels en B. van der Meulen (2013) Talent centraal: ontwikkeling en selectie van wetenschappers in Nederland. Den Haag: Rathenau Instituut.
Bol, T., M. de Vaan en A. van de Rijt (2018) The Matthew effect in science funding. Proceedings of the National Academy of Sciences, 115(19), 4887–4890.
Ruesink, F. en M. Non (2019) Geen bewijs voor selectiebias bij Vidi-toekenning na correctie voor zelfselectie. ESB, 104(4773), 219–221.
Auteurs
Categorieën