Menig student heeft wel eens onderuitgezakt een college econometrie bijgewoond. Maar op 30 juni zaten de studenten op het puntje van hun stoel. Op uitnodiging van de studievereniging AEclipse was Nobelprijswinnaar Guido Imbens even terug op de Erasmus School of Economics voor een college over causaliteit.
Samen met David Card en Joshua Angrist leverde de in Geldrop geboren Imbens een grote bijdrage aan de methoden waarmee economen oorzaak-gevolgrelaties analyseren. Daarvoor ontvingen de drie op 11 oktober 2021 de Nobelprijs (officieel de prijs van de Zweedse Rijksbank voor Economische Wetenschappen ter nagedachtenis aan Alfred Nobel). Bas van der Klaauw schreef hierover in ESB (Van der Klaauw, 2021): “De prijs van dit jaar is een erkenning van het feit dat de economische wetenschap de afgelopen decennia steeds empirischer is geworden. De belangrijkste bijdrage van Guido Imbens is dat hij heeft uitgelegd hoe de resultaten van het empirische onderzoek geïnterpreteerd moeten worden.”
In de jaren tachtig werden gerandomiseerde experimenten nog gezien als ‘de gouden standaard’ voor het onderzoeken van oorzaak-gevolgrelaties, maar deze zijn heel lastig om uit te voeren en duur. Card, Angrist, Imbens en de inmiddels overleden Alan Krueger maakten daarom slim gebruik van andere vormen van willekeurige variatie in de werkelijkheid. Een voorbeeld zijn de lotingen voor de militaire dienstplicht tijdens de Vietnamoorlog, waardoor willekeurig geselecteerde mannen in het leger terechtkwamen en andere niet. Angrist (1990) gebruikte dit natuurlijke experiment om te onderzoeken wat de gevolgen van de dienstplicht waren voor het latere inkomen. Imbens maakte vervolgens duidelijk dat de resultaten van dergelijk onderzoek alléén gelden voor de ‘compliers’: de mannen die wél in het leger komen als ze worden ingeloot, maar niet vrijwillig in het leger gegaan zouden zijn als zij niet zouden worden ingeloot. De resultaten van natuurlijke experimenten zijn dus vaak lokaal, en van toepassing op een kleine groep: het Local Average Treatment Effect (Imbens en Angrist, 1994).
Voorafgaand aan het college spraken wij met Guido Imbens, die Nederland in de jaren tachtig verruilde voor de Verenigde Staten, en inmiddels hoogleraar is aan de Universiteit van Stanford.
Met jullie werk hebben jullie de economische wetenschap blijvend veranderd. Had u vanuit Nederland hetzelfde kunnen bereiken?
“Mijn carrière zou anders zijn verlopen, want er hangt veel af van het toeval. Ik heb één jaar samengewerkt met Josh Angrist, toen ik op Harvard begon. Dat jaar was van groot belang voor mijn carrière, en ook voor die van hem. In feite zijn wij toen het onderzoek begonnen waar we later de Nobelprijs voor kregen. Dus als ik daar niet gezeten had, ook als dat ergens anders in Amerika geweest was, dan had ik waarschijnlijk dat specifieke werk niet gedaan.” Even twijfelt Imbens. “Ik had misschien nog steeds goed werk gedaan, maar of het net zo goed geweest zou zijn …”
Waarom bent u eigenlijk naar Amerika gegaan?
“Na drie jaar studeren in Rotterdam ging ik naar Engeland voor een uitwisselingsprogramma. Daar was toen een professor die mij uitnodigde om in Amerika te gaan promoveren. Ik had daar nooit over nagedacht, maar het leek me wel een leuke uitdaging om een tijdje naar Amerika te gaan. Mijn plan was ook niet om daar te blijven, tot ik een baan op Harvard aangeboden kreeg. Die baan kreeg ik overigens ondanks het protest van Joshua Angrist, met wie ik inmiddels goed bevriend ben.”
Vóór het interview hadden we nog een discussie over of u uw opleiding econometrie in Rotterdam nog heeft af gemaakt.
Guido lacht luidt en zegt schuldbewust: “Nee… Toen ik eenmaal de vakken in Engeland had gehaald en kon promoveren in de Verenigde Staten, had ik niet zo’n zin meer om nog terug te gaan en mijn doctoraalexamen af te leggen.”
In de tijd dat Guido Imbens promoveerde speelde er een vertrouwenscrisis binnen de econometrie. In Let’s take the con out of econometrics, beschreef Edward Leamer (1983) hoe onbetrouwbaar econometrisch onderzoek was: “Bijna niemand neemt data-analyse serieus. Of beter gezegd, bijna niemand neemt de data- analyse van anderen serieus”. Het empirische werk van economen was volgens Leamer te weinig robuust voor veranderingen in de assumpties. De paper van Leamer markeerde het begin van wat Angrist later de credibility revolution noemde en waar Imbens een grote rol in speelde.
Is het gelukt om de con uit econometrie te halen?
“Econometrisch onderzoek is een stuk verbeterd, maar we zijn er nog steeds mee bezig. Het soort werk dat Leamer destijds bekritiseerde zou je nu moeilijk gepubliceerd krijgen in een wetenschappelijk tijdschrift. Josh, David en ik keken destijds naar de kritiek die Leamer uitte, en bedachten manieren om het econometrisch onderzoek op die punten te verbeteren. Onderzoekers waren tot dan toe heel stellig, en wilden vaak het gemiddelde effect van een maatregel voor de gehele populatie vinden. Dat kon niet, tenzij je veronderstelde dat een gevonden effect hetzelfde voor iedereen zou zijn – wat niet geloofwaardig is. Wij lieten zien hoe je op een betrouwbare manier wel causale effecten kon vinden voor een deelpopulatie – Local Average Treatment Effects. Daarop volgde een hele beweging in de literatuur, met als resultaat dat werk dat nu gepubliceerd wordt vaak veel betrouwbaarder is dan toen het geval was.”
Kon het onderzoek van u en Joshua Angrist al vanaf het begin op lof rekenen?
“Sommige economen vonden dat we een oplossing boden voor de verkeerde vragen. Dat onze oplossing in feite de vraag verandert, waardoor een analyse wel werkt, maar het antwoord volgens hen niet meer interessant was. In de academische wereld zijn mensen erg kritisch. En soms, als het ervaren academici zijn, kan die kritiek hard aankomen. Die ervaring maakte mijn vriendschap met Josh Angrist alleen maar hechter. Wij boden samen het hoofd aan de kritiek, en kunnen nu samen de erkenning vieren.”
Wat was jullie motivatie om toch die focus op causaliteit door te zetten?
“Wij geloofden erin dat we belangrijke problemen aanpakten, en dat het goede oplossingen waren. Ik moet zeggen dat ik me aanvankelijk nog niet realiseerde dat al mijn werk een thema had. Tot in de jaren negentig een student mij erop wees dat causaliteit in mijn werk wel erg belangrijk leek. De volgende dag zei ik tegen de student dat die gelijk had en dat ik mijn carrière wel durfde te verwedden over het belang van gedegen causaal onderzoek.”
Recent onderzoek van onder andere Albert Menkveld (Menkveld et al., 2021) liet zien dat 164 onderzoeksteams met dezelfde dataset en dezelfde onderzoeksvraag toch tot andere conclusies kunnen komen, door verschillen in keuzes en aannames. De methoden van econometristen zijn wel beter geworden, maar is de menselijke maat niet ook nog heel belangrijk?
“Ja, er zijn nog wel problemen, al zijn economen zich nu veel meer bewust van de gevoeligheid van aannames dan in 1983. Waar ik naar toe zou willen, is dat economen de data van hun onderzoek beschikbaar stellen, zoals veel tijdschriften nu al eisen. Andere economen kunnen dan aan de slag gaan met dezelfde data, en controleren of de resultaten in de paper inderdaad goed zijn afgeleid, dus of de juiste aannames zijn gedaan. De discussie stopt wat mij betreft niet bij de publicatie van een paper.”
U werkt veel met natuurlijke experimenten, waarbij er door een toevallige situatie een behandel- en een controlegroep ontstaan. Kijkt u ook wel eens jaloers naar collega-economen die juist zelf gecontroleerde veldexperimenten opzetten, zoals de eerdere Nobelprijswinnaars Esther Duflo, Abhijit Banerjee en Michael Kremer?
Imbens lacht. “Nee. Nou ja, dat zijn heel goede vrienden van mij. In de tijd dat wij bezig waren met die natuurlijke experimenten hadden wij eigenlijk het idee dat het beter zou zijn om experimenten te doen, maar dat het vaak niet kon of te duur was voor de vragen waarin wij geïnteresseerd waren. Duflo, Banerjee en Kremer lieten zien dat het in feite verbazingwekkend veel makkelijker was dan dat wij dachten.”
Stel dat er geen budgettaire of uitvoeringsbeperkingen zouden zijn. Wat voor experiment zou u dan zelf willen uitvoeren?
“Nou, ik heb een studie gedaan naar een basisinkomen, waarbij ik gebruikmaakte van een loterij [Imbens et al., 2001]. Voor grote groepen bleek het ontvangen van een basisinkomen de beslissing om te werken niet te veranderen. Maar de studie was te klein om ook in te zoomen op deelpopulaties, terwijl het juist interessant is of zij hun gedrag aan zullen passen. Een experiment zou wel heel duur zijn. Voor het kleine aantal mensen in onze studie zou een basisinkomen al zo’n driehonderd miljoen dollar gaan kosten.”
Is een loterij wel voldoende vergelijkbaar met een basisinkomen? De belastingen die nodig zijn om het basisinkomen te bekostigen zijn waarschijnlijk juist waar de gedragseffecten vandaan komen, maar daar kijkt het onderzoek niet naar.
“Je kunt een basisinkomen natuurlijk op verschillende manieren financieren, dat hoeft niet per se via de inkomstenbelasting te gaan. Om het effect aan te tonen van het gehele pakket van maatregelen, moet je inderdaad ook naar die andere aspecten kijken. Maar een van de vragen is wat er gebeurt als we mensen zo’n basisinkomen geven, onafhankelijk van waar het geld vandaan komt.”
Mensen die uw onderzoek naar het basisinkomen lezen, concluderen soms dat een basisinkomen geen effect heeft op het arbeidsaanbod – en dat het dus een goed idee is. Het onderzoek wordt dan breder geïnterpreteerd dan de context waarover het iets zegt. Is dat een nadeel van causaal onderzoek?
“Nee, ja, nou …” Imbens kijkt een paar seconden peinzend omhoog. “Ik denk dat het in dit geval geen bijzonder groot probleem is. Het minimumloononderzoek van Card en Krueger (1994) heeft soortgelijke vragen opgeleverd. Ze keken naar een bepaalde sector, in een bepaalde periode en in een bepaald gebied. De politiek is echter geïnteresseerd in het effect op de gehele samenleving. Maar zulke grote vragen zijn moeilijk te beantwoorden. Het beste wat je kunt hopen van de wetenschap is dat ze voor delen van die vragen precieze en geloofwaardige antwoorden geeft. Daarna is het enigszins aan de politiek om dat op de juiste wijze te gebruiken.
Neem bijvoorbeeld het sluiten van scholen door corona. Ik denk niet dat iemand die kijkt naar de gevolgen van schoolsluitingen voor de corona-verspreiding in dezelfde studie óók nog moet kijken naar de gevolgen voor de kinderen. Daar heb je misschien heel andere data en methoden voor nodig. Wat overigens niet betekent dat het ene aspect belangrijker is dan het andere.”
De politiek en beleidsmakers zijn er dus verantwoordelijk voor om die verschillende onderzoeken bij elkaar te leggen?
“Ja, en misschien zelfs om ervoor te zorgen dat er data beschikbaar komen om ook de andere relevante vragen te kunnen beantwoorden. Ik denk dat we als onderzoekers de verantwoordelijkheid hebben om aan te geven wat we kunnen inschatten. We moeten duidelijk zijn in wat we wel en niet weten. Maar het is natuurlijk lastig om te voorkomen dat anderen selectief dingen uit een onderzoek halen. Het lijkt erop alsof dat een steeds groter probleem wordt. Overal in de wereld zijn er politici die geneigd zijn om alleen het bewijs te gebruiken dat past binnen hun plannen. Ja, en als dat niet zozeer onwetendheid is, maar meer …”
Het zou ook tijdsgebrek kunnen zijn. Als politicus heb je niet de tijd om alle gepubliceerde onderzoeken grondig door te lezen.
“Nee, inderdaad. Je moet daar eigenlijk nog mensen tussen hebben zitten die de literatuur kunnen integreren en samenvatten. In Nederland wordt die rol volgens mij ingevuld door het Centraal Planbureau. In Amerika hebben we de National Academy of Sciences, waar ik mij een keer bezighield met de vraag ‘wat is het bewijs voor het afschrikkingseffect van de doodstraf?’ In de jaren na het beroemde werk van Leamer (1983) kwamen er steeds nieuwe papers uit over de effecten van de doodstraf – met tegengestelde resultaten. Samen met de commissie schreven we een rapport over de betrouwbaarheid van de verschillende resultaten. Daaruit bleek dat veel van dat onderzoek nog steeds niet erg betrouwbaar was. Je hoeft het niet altijd te doen via zo’n commissie, maar er moet ergens een integratie plaatsvinden van het bewijsmateriaal.”
Bij een lezing van u bij het Centraal Planbureau maakte iemand zich zorgen over de invloed van economen. Als we straks zo goed uit kunnen rekenen wat de beste keuze is, heeft de politicus dan nog wel iets te kiezen?
“Ik denk dat je het niet zo zeer moet zien als data-driven beslissingen, maar als data-supported beslissingen. Een beslissing van de politiek heeft gevolgen op allerlei vlakken. Data kunnen helpen bij het nemen van beslissingen, door de beslissers betere schattingen te geven van de effecten van een maatregel op al die afzonderlijke vlakken. Een maatregel kan bijvoorbeeld zowel de gemiddelde inkomens als de ongelijkheid verhogen. Het is dan gedeeltelijk aan de politiek om na te denken over hoe we de verschillende gevolgen moeten afwegen. Of neem bijvoorbeeld het stikstofbeleid. Maatregelen hebben bijvoorbeeld effecten op de natuur, op de boeren, en op de prijzen van voedsel. Wetenschappers kunnen proberen om de effecten op die verschillende componenten te schatten. Het hebben van meer informatie over die componenten lijkt me een goede zaak, zo kan in de politiek de discussie gaan over waar de balans ligt.”
Literatuur
Angrist, J.D. (1990) Lifetime earnings and the Vietnam era draft lottery: evidence from social security administrative records. The American Economic Review, 80(3), 313–336.
Card, D. en A.B. Krueger (1994) Minimum wages and employment: a case study of the fast-food industry in New Jersey and Pennsylvania. The American Economic Review, 84(4), 772–793.
Imbens, G.W. en J.D. Angrist (1994) Identification and estimation of local average treatment effects. Econometrica, 62(2), 467–475.
Imbens, G.W., D.B. Rubin en B.I. Sacerdote (2001) Estimating the effect of unearned income on labor earnings, savings, and consumption: evidence from a survey of lottery players. The American Economic Review, 91(4), 778–794.
Klaauw, B. van der (2021) Nobelprijswinnaars ontdekken het laboratorium van de econoom. ESB, 106(4803), 540–541.
Leamer, E.E. (1983) Let’s take the con out of econometrics. The American Economic Review, 73(1), 31–43.
Menkveld, A.J., A. Dreber, F. Holzmeister et al. (2021) Non-standard errors. Tinbergen Institute Discussion Paper, 2021-102/IV.
Auteurs
Categorieën