Ga direct naar de content

Herhaling is de kracht van experimenteel onderzoek

Geplaatst als type:
Geschreven door:
Gepubliceerd om: maart 23 2021

Michael Luca en Max Bazerman bespreken in ‘The Power of Experiments’ de grote en groeiende rol van experimenten in (overheids)beleid aan de hand van talloze voorbeelden. Daaruit vallen een aantal lessen te trekken die ook voor Nederlandse beleidsmakers van belang zijn.

Binnen de populair-wetenschappelijke literatuur is de reeks “experimenteel econoom schrijft boek” een succesvolle serie. Experimenteel onderzoek op het snijvlak van economie en psychologie laat zich goed verpakken in een vorm die toegankelijk en interessant is voor een breder publiek. Dat is niet verwonderlijk. Wanneer menselijk gedrag wordt beschreven ontkomt niemand eraan iets van zichzelf te herkennen.

Bovendien leidt de experimentele methode meestal tot duidelijke (nul)resultaten die zich gemakkelijk laten samenvatten in een “voor vs. na” of “groep A vs. groep B”. Die duidelijke resultaten maken het uitvoeren van kleinschalige experimenten ook tot een geliefd gereedschap van beleidsmakers en strategen binnen overheid en bedrijfsleven. Bij positief resultaat is er een wetenschappelijk valide basis om op te schalen, zo niet dan kan de energie met een gerust hart in andere projecten worden gestoken.

Toepassing experimenten door overheden

Welke nieuwe inzichten lenen zich voor nog een boek, na de bijdragen van onder anderen Kahneman (2012), Thaler en Sunstein (2008), Thaler (2015), Gneezy en List (2013)? Michael Luca en Max Bazerman geven een antwoord met hun met veel vaart en power geschreven boek. Anders dan bijvoorbeeld Banerjee and Duflo (2011), die zich richten op de rol van grootschalige experimenten in armoedebestrijding, ligt de focus van Luca en Bazerman op het bewerkstelligen van gedragsveranderingen en beter functionerende markten in westerse samenlevingen.

Bazerman was als leidinggevende betrokken bij de groep gedragswetenschappers die Obama in 2008 hebben geholpen bij zijn verkiezingscampagne, waaronder jonge en inmiddels beeldbepalende onderzoekers zoals Todd Rogers en Katy Milkman.

Kort en effectief schetsen Luca en Bazerman hoe de experimentele methode zich vanaf de Bijbelse droomuitlegger Daniël via de medische vaccinatie-experimenten van Louis Pasteur – hoe passend voor onze tijd! – en de experimentele en sociale psychologie een weg naar de economische wetenschap baant, beginnend bij de marktexperimenten van Edward Chamberlin en Vernon Smith in het lab.

Gaandeweg volgen grootschalige veldexperimenten die samen met de overheid of bedrijven worden uitgevoerd. Kenmerkend voor hun verteltrant zijn de korte historische schetsen van hoe hoofdpersonen hun motivatie uit de praktische problemen van hun tijd halen en voortbouwen op de resultaten van voorgangers.

Behavioral Insights Teams

Een belangrijke bijdrage is de uitgebreide beschrijving van de oprichting in diverse landen van interdepartementale nudge-units die als doel hebben om de toepassing van gedragsinzichten binnen de overheid te stimuleren. Het Behavioral Insights Team (BIT) in het Verenigd Koninkrijk vond snel navolging, zoals in Nederland met BIN NL.

Het snelle succes van BIT wordt met verve besproken waarbij uitgebreid wordt stilgestaan bij het politieke krachtenveld waarin BIT opereert. Het eerste experiment behelsde niet meer dan het herschrijven van de brief waarin de belastingdienst mensen aanspoort hun belastingen te voldoen. Een simpele ingreep die op jaarbasis dertig miljoen pond extra opleverde, genoeg om sceptici te overtuigen (Hallsworth et al. 2017).

Ondanks de klinkende successen van gedrag-units is het volgens Luca en Bazerman nog vroeg dag in het experimentele tijdperk. De lage kosten van eenvoudige interventies zoals het aanpassen van een brief of website zorgen voor een lange rij beleidsdomeinen waarin experimenteel onderzoek toepasbaar en van meerwaarde is.

Tech-sector

In het tweede deel van hun boek verleggen de auteurs hun aandacht naar de rol van experimenten in de tech-sector. Denk aan Google, Airbnb, eBay en Booking. Deze sector is een Walhalla voor gedragsonderzoek: er is toegang tot veel (onwetende) deelnemers, randomisatie is gemakkelijk, uitkomsten zijn eenvoudig te meten en op te slaan, proeven kunnen in zeer korte tijd worden doorgevoerd.

In deze commerciële omgeving komt vanzelfsprekend de vraag op wie baat heeft bij de gedragswetenschappelijke kennis: de consument of het bedrijf? Hoewel de auteurs ook vinden dat de tech-sector meer moet doen om de gelijkwaardigheid tussen marktdeelnemers te borgen, geven ze met twee uiteenlopende voorbeelden een genuanceerd antwoord.

Bij vakantiewoningbemiddelaar Airbnb bestond de verdenking dat verhuurders gasten konden weigeren op basis van huidskleur of etniciteit. Dit bleef hangen in de welles-nietes-sfeer totdat onderzoekers op basis van experimenten onomstotelijk bewijs in handen hadden. Waarop Airbnb niet anders kon dan het aanpassen van het beleid.

In het “Facebook-oproer” draaide het om de vraag of Facebook mag proberen je emoties te beïnvloeden door de wijze waarop ze haar inhoud aanbiedt. Dit klinkt eng maar Luca en Bazerman merken fijntjes op dat dit precies is wat kaartenmaker Hallmark ook probeert te doen. Dit kun je bedrijven moeilijk verwijten. De reuring ontstond mede doordat Facebook vergeleken met andere tech-ondernemingen behoorlijk open de resultaten van haar experimenten deelde met het publiek. Als gevolg van de maatschappelijke onrust is het bedrijf nu veel terughoudender. De auteurs betreuren dit. Ze betogen dat ondernemingen vanuit transparantie naar het publiek juist meer resultaten moeten delen.

Via experimenten naar een betere samenleving

De auteurs maken goed gebruik van hun directe relatie tot een aantal hoofdrolspelers. Hierdoor zitten ze dicht op hun onderwerp. Dit zorgt voor een sterk derde deel, over hoe experimenten de samenleving beter kunnen maken. Denk aan experimenten die iemand kunnen aanzetten tot betere keuzes ten aanzien van gezondheid, onderwijs of persoonlijke financiën.

Het boek biedt beleidsmakers én wetenschappers de volgende lessen:

• Herhaal experimenten. Het is geenszins duidelijk of resultaten uit een gegeven veldcontext generaliseren naar andere omgevingen.

• Bewijs is beter dan intuïtie. Kleinschalige experimenten kunnen laten zien of de intuïtie klopt of dat zij exponent is van een tunnelvisie.

• Een richtinggevende onderliggende theorie is niet noodzakelijk voor een zinvol experiment. Experimenten zonder theorie kunnen prima aantonen welk effect (beleids)veranderingen hebben.

• Weersta de verleiding van de korte termijn. Kortetermijneffecten zijn sneller en gemakkelijker te meten dan langetermijneffecten maar vaak minder relevant vanuit beleidsperspectief.

Het slothoofdstuk beschrijft hoe Milkman en Angela Duckworth het Behavioral Change voor Good Initiative oprichten, een platform waarin bedrijven en wetenschappers samenkomen om blijvende gedragsveranderingen te bewerkstelligen. Het maakt nieuwsgierig naar het boek van Milkman (2021) dat binnenkort verschijnt.

Getty Images

Literatuur

Banerjee, A. V., en E. Duflo (2011) Poor Economics: A Radical Rethinking of the Way to Fight Global Poverty. Cambridge: MIT Press.

Gneezy, U,. en J. A. List (2015) The Why Axis: Hidden Motives and the Undiscovered Economics of Everyday Life. New York: Random House Books.

Hallsworth, M., J. A. List, R. D. Metcalfe en I. Vlaev (2017) The Behavioralist as Tax Collector: Using Natural Field Experiments to Enhance Tax Compliance. Journal of Public Economics, 148, 14-31.

Kahneman, D. (2012) Thinking Fast and Slow. Londen: Penguin Books Ltd.

Luca, M., en M. H. Bazerman (2020) The Power of Experiments: Decision Making in a Data-Driven World. Cambridge: MIT Press.

Milkman, K. (2021) How to Change? The Science of Getting from Where You Are to Where You Want to Be. New York: Penguin Random House. Te verschijnen op 4 mei 2021.

Thaler, R. H. (2015) Misbehaving: The Making of Behavioral Economics. New York: W. W. Norton & Company.

Thaler, R. H., en C. R. Sunstein (2008) Nudge: Improving Decisions about Health, Wealth, and Happiness. Londen: Yale University Press.

Auteur

Categorieën