Menig economisch onderzoeker zal weleens hebben gedroomd van het uitvoeren van een écht goed veldexperiment. De ‘gouden standaard’, waarbij je een populatie selecteert en die via een loting verdeelt in een behandel- en controlegroep. De behandelgroep schotel je een interventie voor (zeg: een basisinkomen), terwijl je niet ingrijpt in het leven van de controlegroep. Achteraf vergelijk je de gegevens van beide groepen. Als blijkt dat de behandelgroep zich tijdens of na de interventie anders is gaan gedragen dan de controlegroep, kun je concluderen dat de interventie effect heeft gehad. De groepen zijn immers willekeurig ingedeeld en daarom – als ze groot genoeg zijn – vergelijkbaar.
Door praktische en soms ook ethische bezwaren blijft het voor de meeste onderzoekers bij een droom. Want gerandomiseerde experimenten zijn duur en kunnen frustraties oproepen bij de bevolking, bijvoorbeeld omdat de behandelgroep wel meteen kan profiteren van het project en de rest ‘pech heeft’.
Esther Duflo, Abhijit Banerjee en Michael Kremer bevinden zich in de luxepositie dat zij wel talloze gerandomiseerde experimenten hebben weten te doen, waarmee zij het vakgebied van de ontwikkelingseconomie veranderden. Voor hun inspanningen om empirisch onderzoek in te zetten in de wereldwijde armoedebestrijding ontvingen zij in 2019 de Nobelprijs voor de Economie. Zie ook het interview met Esther Duflo in dit nummer.
Goed nieuws voor de econometristen, maar wat leren die gerandomiseerde experimenten in de derde wereld ons nu eigenlijk? Helpen ze ons met het oplossen van de grote vraagstukken van de 21e eeuw?
Impact versus output
Volgens Erwin Bulte en Robert Lensink is er nog een wereld te winnen als het gaat om het meten en verbeteren van de effectiviteit van ontwikkelingsprojecten, zie hun bijdrage aan deze ESB. De meeste organisaties meten slechts hoeveel mensen door hun projecten bereikt worden en of het geld volgens plan wordt besteed, niet of de (economische) situatie van die mensen verbetert. Dat laatste meet je met een impactmeting, en Bulte en Lensink gaan in op de valkuilen daarbij.
Dat studies naar de impact van projecten voor beleidsmakers heel nuttig kunnen zijn, laat Ralph de Haas in dit nummer zien. Zo leerden onderzoekers, tegen de verwachtingen in, dat het verstrekken van microkredieten aan kleine ondernemers weinig effect heeft op de economische positie van de ontvangers. De Europese Bank voor Wederopbouw en Ontwikkeling paste haar beleid hierop aan, en is bijvoorbeeld meer nadruk gaan leggen op het financieren van middelgrote bedrijven.
Grote uitdagingen
Er zijn ook twijfels. Naomi Leefmans stelt in haar column dat de focus nu wel erg veel is verschoven naar experimenten op microniveau. Maar zijn kleinschalige ontwikkelingsprojecten – en het meten van hun effectiviteit – wel voldoende om de uitdagingen van de 21e eeuw op te lossen? De huidige problemen van ontwikkelingslanden vragen ook om een macro-economische aanpak, stelt ze. Zo zijn er grootschalige investeringen nodig om de werkgelegenheid in Sub-Sahara-Afrika op te krikken. Leefmans’ betoog sluit aan bij de twijfels van vijftien vooraanstaande economen die in een open brief schreven dat micro-experimenten ons niet helpen om de bredere macro-economische, politieke en institutionele oorzaken van armoede aan te pakken (Alkire et al., 2018).
Macro-economisch onderzoek naar de effecten van ontwikkelingssamenwerking, is echter nog niet zo makkelijk, stelt Paul Hoebink in zijn bijdrage. Betrouwbare cijfers op landelijk niveau zijn nauwelijks beschikbaar, en het is vaak onmogelijk om te achterhalen wat de oorzaken zijn van negatieve resultaten.
Over de beste manier om, met behulp van economisch onderzoek, bij te dragen aan de ontwikkeling van arme landen is het laatste woord dus nog niet gesproken. Maar met het toekennen van de Nobelprijs aan Duflo, Banerjee en Kremer is de discussie over het meten van de effecten van ontwikkelingssamenwerking in ieder geval in de schijnwerpers komen te staan.
En dat is sowieso winst. Effectmeting is immers ook voor Nederland relevant. Alleen door gedegen onderzoek kan men garanderen dat het geld dat Nederland uitgeeft aan officiële ontwikkelingssamenwerking – in 2019 ging het om 4,71 miljard euro (Tweede Kamer, 2020) – effectief wordt besteed en geen negatieve bijeffecten heeft. En als overheden en ngo’s laten zien welke projecten effectief zijn, zou dit ook nog eens kunnen helpen om private partijen over te halen om ook te investeren in ontwikkelingslanden, zoals De Haas stelt. Een win-winsituatie dus.
Literatuur
Alkire, S., F. Bédécarrats, A. Deaton et al. (2018) Buzzwords and tortuous impact studies won’t fix a broken aid system. The Guardian, 16 juli.
Tweede Kamer (2020) Homogene Groep Internationale Samenwerking 2020, (HGIS-nota 2020), Kamerstuk 35 301(2).
Auteur
Categorieën
