De gouden beleidsstandaard
Aute ur(s ):
Peter Kooreman (auteur)
Hoogleraar Micro-economie aan de Rijksuniversiteit Groningen. p.kooreman@eco.rug.nl
Ve rs che ne n in:
ESB, 89e jaargang, nr. 4444, pagina 481, 15 oktober 2004 (datum)
Rubrie k :
prikkel
Tre fw oord(e n):
Bijna zeventig jaar geleden verscheen ‘The Design of Experiments’ van de Engelse geneticus en statisticus Ronald A. Fisher. Met zijn
boek voltooide Fisher de zoektocht naar het antwoord op een vraag die wetenschappers eeuwenlang had beziggehouden: hoe kan in een
complexe situatie een oorzakelijk verband worden vastgesteld? De kern van de methode – de ‘gouden standaard’ voor het vaststellen van
causale verbanden – is een willekeurig gekozen deel van te onderzoeken eenheden aan een interventie bloot te stellen en de overige
eenheden als controlegroep te gebruiken. Mede dankzij de bijdragen van Fisher kon worden uitgerekend hoe waarschijnlijk het is dat de
waargenomen verschillen tussen de twee groepen louter het gevolg zijn van toeval. Fisher hield zich vooral bezig met landbouwkundige
en biologische toepassingen, maar gecontroleerde experimenten worden nu toegepast in tal van wetenschapgebieden. De methode is
onbetwist en door zijn eenvoud en transparantie hebben de resultaten – anders dan die van veel modelmatige analyses – een grote
overtuigingskracht.
Aan complexe situaties is in onze economie geen gebrek en de wens om te interveniëren is ontembaar. Toch kent Nederland geen traditie
om beleid op basis van gecontroleerde experimenten voor te bereiden en te evalueren. Overigens gaat het hierbij om experimenten in de
economische werkelijkheid van alledag; niet om die in de kunstmatige omgeving van het laboratorium. Evenmin gaat het om pilots,
waarin zorgvuldig opgezette experimenten meestal ontbreken. Misschien was het de grote nadruk op macro-economie in de universitaire
curricula en de beleidsdiscussies waardoor generaties Nederlandse economen dachten dat de gouden standaard voor de economische
wetenschap een onhaalbaar ideaal is. Bovendien hebben we toch het regressiemodel waarmee op basis van niet-experimentele gegevens
causale verbanden kunnen worden vastgesteld? Dat model bewijst zeker goede diensten, maar elke empirisch onderzoeker weet dat het
lastig is langs die weg geloofwaardig causaliteit vast te stellen. Aan de strenge veronderstellingen die het regressiemodel daartoe stelt vooral die van exogeniteit van verklarende variabelen – is zelden voldaan. Instrumentele variabelen brengen het regressiemodel dichter
bij de gouden standaard, maar zijn vaak niet beschikbaar.
Gecontroleerde of natuurlijke experimenten kunnen niet alle onderzoeksvragen beantwoorden. Bij de Betuwelijn en de euro-introductie
zijn ze moeilijk uitvoerbaar. Maar in veel andere gevallen is de gouden standaard van het gecontroleerde experiment de aangewezen
onderzoeksmethode. Denk hierbij aan zaken als het meten van de effecten van financiële prikkels (arbeidsmarkt, sociale zekerheid, zorg,
mobiliteit, onderwijs, r&d, milieu), de effecten van klassenverkleining of computers op leerprestaties, of de zin van een nieuw systeem
van functiewaardering binnen organisaties.
Langzaam lijkt het belang van experimenten de Nederlandse beleidswereld te doordringen. Gerard van den Berg (2001; 2003) bepleit in
ESB al jaren de experimentele onderzoeksmethode binnen het arbeidsmarktbeleid.1 De internationale visitatiecommissie die vorig jaar het
cpb doorlichtte adviseerde “to make far greater use of social experimentation to pursue evaluation of policies…”. In recente esb’s werd
verslag gedaan van experimenteel onderzoek dat de gouden standaard dicht nadert (Van der Klaauw et al., 2004; Soetevent, 2004).
Maar enkele pioniers en een advies aan het cpb zijn niet voldoende. Er ligt een belangrijke taak bij de economische faculteiten.
Econometrie-vakken richten zich nu vooral op de vraag hoe met gebrekkige data onderzoeksvragen zo goed mogelijk beantwoord kunnen
worden. Beter is het primair in te gaan op het verzamelen van goede data. Een dataverzamelingsproject voor een scriptie of proefschrift
wordt nogal eens geschuwd omdat het zo arbeidsintensief is. Maar het verdient aanmoediging en hoge waardering, want het
wetenschappelijke rendement is meestal hoog. Zo moet ook het aanvragen van geld voor experimentele data in een onderzoeksvoorstel
worden gezien als een positief kwaliteitssignaal, niet als een complicatie die de kans op honorering verkleint.
De oprichting van een onafhankelijk ‘Bureau voor Experimenteel Beleidsonderzoek’ verdient serieuze overweging. Het kan een
belangrijke impuls geven aan de kwaliteitsverbetering die bij de Nederlandse beleidsvoorbereiding en -evaluatie hard nodig is. Een
dergelijk bureau, dat gedeeltelijk bemensd zal moeten worden met buitenlandse experts, heeft tot taak mogelijkheden voor experimenteel
beleidsonderzoek te signaleren, en dat onderzoek te begeleiden of uit te voeren. Op langere termijn is internalisering van de gouden
beleidsstandaard in bestaande instituten en departementen beter dan een apart bureau. Maar op dit moment is een inhaalslag nodig. In
een kenniseconomie die zich aan de middelmaat wil ontworstelen, moet men bij de beleidsvoorbereiding gaan voor goud.
Literatuur
Berg, G.J. van den (2003) Arbeidsmarktbeleid tussen efficiëntie en effectiviteit. esb, 12 juni 2003, blz. D27.
Fisher, R.A. (1935) The Design of Experiments. Oliver and Boyd, Edinburgh.
Klaauw, B. van der & G.J. van den Berg (2001) Goed beleid begint met goede toetsing. esb, 23 november 2001, blz. 904-905.
Klaauw, B. van der, E. Leuven & H. Oosterbeek (2004) Financiële prikkels voor studenten. esb, 2 april 2004, blz. 156-157.
Soetevent, A (2004) Een duit in het mandje – de rol van anonimiteit bij kerkcollectes. esb, 11 juni 2004:, blz. 275-277.
1 Onlangs werd hij benoemd tot programmaleider Evaluation of Labor Market Programs bij het Duitse onderzoeksinstituut iza.
Copyright © 2004 – 2005 Economisch Statistische Berichten (www.economie.nl)