Bij medische behandelingen is het al lang gebruikelijk dat de effectiviteit moet worden aangetoond door middel van een experiment met willekeurige toewijzing. In andere wetenschappen worden experimenten uitgevoerd in laboratoria. Als het gaat om het aantonen van de effectiviteit van (sociaal of economisch) beleid dan is een experiment veel minder gebruikelijk. Tot een aantal jaar geleden werd dit bijna nergens gedaan. Maar de laatste twee decennia zijn steeds meer landen gebruik gaan maken van experimenten en ook in Nederland lijkt het taboe op experimenten te verdwijnen. Uitkeringsinstanties, gemeenten en ministeries evalueren hun beleid of mogelijk beleid steeds vaker met een experiment.
Bij een experiment worden mensen willekeurig toegewezen aan bepaald beleidsinstrumenten, waardoor de groepen die meededen aan elk instrument in compositie ongeveer identiek zijn. Verschillen in latere uitkomsten tussen groepen kunnen daarom alleen het gevolg zijn van het verschil in toegepaste instrumenten, waarmee de effectiviteit van de instrumenten geschat wordt. Vaak wordt beargumenteerd dat zo’n experiment de gouden standaard is voor empirische beleidsevaluatie.
Bij niet-experimenteel onderzoek blijft altijd onduidelijk of voldoende gecorrigeerd wordt voor verschillen in compositie tussen de groep aan wie het instrument aangeboden is en de controle groep. Zelfs na correctie voor veel kenmerken van individuen in beide groepen, kunnen er voor de onderzoeker niet-geobserveerde kenmerken zijn die zowel de toewijzing van instrumenten beïnvloeden als latere uitkomsten. Correctie voor deze niet-geobserveerde kenmerken is onder extra veronderstellingen soms mogelijk, maar vereist complexere statistische technieken, veel beschikbare gegevens en de interpretatie van de resultaten is niet altijd eenvoudig. Experimenteel onderzoek met willekeurige toewijzing heeft als voordeel dat de analysemethode eenvoudig is en de resultaten makkelijk interpreteerbaar zijn ook voor niet-experts zoals beleidsmakers.
Experimenteel onderzoek roept ethische bezwaren op, sommige individuen wordt dienstverlening onthouden die potentieel nuttig voor ze is. Dit was tot een aantal jaar geleden voor het Ministerie van Sociale Zaken en het UWV de reden om experimenteel onderzoek niet te gebruiken. Echter als de effectiviteit van een bepaald instrument onbekend is, dan is ook niet duidelijk of de dienstverlening wel zo nuttig is. Afgelopen maand hebben we een onderzoeksproject afgerond bij de Dienst Werk en Inkomen (DWI) in Amsterdam waarbij we met een experiment hebben vastgesteld hoe effectief re-integratieinstrumenten zijn om bijstandsgerechtigden aan het werk te helpen (zie http://www.mejudice.nl/artikelen/detail/meer-mensen-aan-het-werk-door-opleggen-zoekperiode-bij-uitkeringsaanvraag). We vinden dat sollicitatietraining de arbeidsmarktuitkomsten van bijstandsgerechtigden verslechtert. Zonder evaluatie zou zulke dienstverlening blijven bestaan. Daarnaast is de afgelopen decennia het activerend arbeidsmarktbeleid regelmatig aangepast. Blijkbaar veranderen de ideeën wat nuttig is regelmatig en krijgt sowieso niet iedereen dezelfde behandeling. Alleen werd er niets van geleerd omdat corrigeren voor kalendertijdeffecten net zo lastig is als corrigeren voor niet-geobserveerde kenmerken. Eigenlijk werd er dus veel geëxperimenteerd zonder dat het kennis over effectiviteit opleverde.
Bij medisch onderzoek worden vaak vrijwilligers gezocht om mee te doen aan experimenteel onderzoek. Bij economisch onderzoek is dat problematisch. Vrijwilligers zijn geen willekeurige subpopulatie van de doelgroep van dienstverlening of een instrument. Als het om activerend arbeidsmarktbeleid gaat, dan is deelname vaak ook niet vrijwillig. Een experiment met vrijwilligers schat het effect van dienstverlening voor vrijwilligers wat niet noodzakelijkerwijs het effect is op de populatie die later mee zal doen aan de dienstverlening. Daarnaast geldt dat mensen zich anders kunnen gaan gedragen als ze weten dat ze meedoen aan een experiment. Bij een economisch experiment is het geven van een placebo niet mogelijk waardoor vrijwilligers aan een experiment ook meteen weten of zij in de treatment of controle groep zitten.
Experimenteel onderzoek wordt gebruikt om de effecten van goedgedefinieerde dienstverlening of instrumenten te onderzoeken. Het is duidelijk welke dienstverlening aan wie aangeboden is. Dat laatste is niet altijd het geval bij niet-experimenteel onderzoek waarbij bestaande data gebruikt wordt. Bestaande data hebben vaak het probleem dat voor de beleidsevaluatie relevante variabelen slecht geadministreerd worden. Het komt niet zelden voor dat klantmanagers onvolledig aangeven welke instrumenten ingezet zijn om iemand aan het werk te helpen. Of de invulling van instrumenten verschilt tussen gemeenten, werkpleinen of zelfs klantmanagers. Bij een experiment heeft de onderzoeker meer controle over de dataverzameling, waardoor de kwaliteit van de verzamelde gegevens beter is en de resultaten van de uiteindelijke analyse betrouwbaarder.
Het uitvoeren van een experiment om beleid te evalueren is echter lastig (zie ook Koning, 2011). In een sociale context is een experiment uitvoeren vaak veel moeilijker dan in een laboratorium, waar de onderzoeker volledige controle heeft. Een laboratorium experiment duurt vaak niet lang en er kunnen een aantal pilots gedaan worden om de opzet te toetsen. Een experiment in het veld duurt vaak veel langer, zeker als de effecten van re-integratieinstrumenten op latere arbeidsmarktuitkomsten onderzocht worden. Er is vaak geen mogelijkheid om eerst pilots te houden, waardoor alles in één keer goed moet en vooraf duidelijk moet zijn welke gegevens verzameld moeten worden. Daarnaast is het noodzakelijk dat gedurende de gehele looptijd de willekeurige toewijzing van instrumenten gevolgd wordt. Daarvoor zijn commitment en inspanningen nodig zowel in de top van de organisatie als op de werkvloer.
Een organisatie die haar beleid evalueert door middel van een experiment stelt zich erg kwetsbaar op. De resultaten zijn begrijpbaar en duidelijk interpreteerbaar. Naar aanleiding van de resultaten van ons onderzoek in Amsterdam schreef journalist Bart van Zoelen in het Parool: “Nog langer werkloos door sollicitatiebegeleiding DWI”, waarbij hij de instrumenten die wel werkte negeerde. Deze weergave doet ook geen recht aan de insteek van DWI. DWI had duidelijk de insteek echt te leren over de effectiviteit van hun beleid. De sollicitatiebegeleiding die negatief uit het onderzoek kwam was daarom ook al gestopt voordat het Parool hier over schreef.
Experimenten zijn niet alleen nuttig om binnen een organisatie beleid te evalueren, maar ook andere organisaties kunnen hiervan profiteren. Een goed voorbeeld is het Progresa experiment dat in Mexico uitgevoerd is om de effecten te onderzoek van conditional cash transfers voor families onder de voorwaarde dat kinderen naar school gingen en ouders preventieve gezondheidsmaatregelen namen. Toen uit een experiment bleek dat dit programma succesvol was, zijn soortgelijke programma’s ingevoerd in onder andere Honduras, Nicaragua en Brazilië waar de programma’s ook de gewenste effecten bleken te hebben. Als de data goed geadministreerd worden en kunnen worden gedeeld met andere onderzoekers, wordt vaak ook meer geleerd dan alleen het effect waarvoor het experiment bedoelt was. Door het Amerikaanse Rand health insurance experiment weten we nu niet alleen dat eigen bijdragen nuttig zijn om zorggebruik te reduceren, maar zijn er ook studies gedaan naar de effecten van zorgverzekeringen op gezondheid, sterfte, etc.
Volgend jaar wordt de nieuwe participatiewet ingevoerd. Dat betekent dat de invulling van de bijstand zal veranderen. Er komt onder andere een strenger sanctieregime, loonkostensubsidies krijgen een prominentere plek en er zal vaker een inspanningsperiode opgelegd worden. Maar veel zal worden overgelaten aan de gemeenten. De effectiviteit van de bovengenoemde elementen is goed te onderzoeken door middel van een experiment. Het zou goed zijn als er voor de invoering van de participatiewet al een plan voor de evaluatie gemaakt wordt. Daarin moet ook worden opgenomen dat de verschillende gemeenten leren van elkaars bevindingen. Zo verdwijnt ineffectief beleid sneller en wordt effectief beleid grootschaliger uitgerold.
Referentie
Pierre Koning (4 maart 2011), Experimenten in de sociale zekerheid, ESB 96(4605), 150-153.
Auteur
Categorieën