De ‘causaliteitsrevolutie’ in de economische wetenschap heeft veel empirische methoden aangereikt om de impact te meten van ontwikkelingsprojecten. Hoe kunnen organisaties deze onderzoeksmethoden toepassen en hun prioriteiten bijstellen? Ervaringen van de Europese Bank voor Wederopbouw en Ontwikkeling.
In het kort
– Empirisch onderzoek helpt organisaties om waar nodig hun prioriteiten bij te stellen.
– Goed vormgegeven veldexperimenten kunnen hard bewijs aandragen voor wat wel en niet werkt.
– Ook als veldexperimenten niet mogelijk zijn, zijn er voldoende opties om impact te meten.
De Europese Bank voor Wederopbouw en Ontwikkeling (European Bank for Reconstruction and Development, EBRD) is in 1991 opgericht om, met behulp van financiering en beleidsadvies, landen in het voormalige Oostblok en de Sovjet-Unie te helpen bij hun overgangsproces van socialistische naar markteconomieën. Tegenwoordig is de EBRD als ontwikkelingsbank ook actief in Turkije, Noord-Afrika en de Levant.
De focus van de EBRD als multilaterale ontwikkelingsbank ligt op de ontwikkeling van de private sector: de bank investeert marktconform in projecten die zowel winstgevend horen te zijn als dienen bij te dragen aan de lokale economische ontwikkeling. Het meten van deze economische impact is geleidelijk steeds belangrijker geworden. Hoe effectief stimuleert een lening aan een Bulgaarse bank bijvoorbeeld het lokale midden- en kleinbedrijf (mkb)? En hoe helpen in Kirgizië investeringen in waterleidingbedrijven de bevolking ter plekke in hun dagelijks bestaan?
Om zulke economische effecten overtuigend te meten, wordt in toenemende mate gebruikgemaakt van empirische methodes die door de ‘causaliteitsrevolutie’ binnen de economische wetenschap zijn aangereikt. Deze revolutie heeft de druk opgevoerd om de effectiviteit van ontwikkelingshulp beter te meten, met name door zorgvuldiger na te denken over counterfactuals: hoe zou de wereld er hebben uitgezien als een investeringsproject géén doorgang had gevonden?
Dit artikel laat zien hoe een ontwikkelingsbank als de EBRD empirisch onderzoek gebruikt om de impact van projecten te meten – en, minstens zo belangrijk, om op basis hiervan de operationele prioriteiten waar nodig bij te stellen. Ik focus op drie voorbeelden van recent onderzoek naar projecten in de financiële sector (microkrediet, private equity en kredietlijnen voor het mkb). Het doel is niet om in detail te treden over de gehanteerde onderzoeksmethoden, maar om te illustreren welke methodes wanneer toepasbaar zijn om impact te meten.
Impact meten in de financiële sector
Een goed functionerend financieel systeem stimuleert economische groei. Hoewel dit causale verband overtuigend is aangetoond (Popov, 2018), blijven veel praktische vragen hier onbeantwoord. Zo is het voor de EBRD belangrijk te weten welke financiële instellingen en welke financiële producten het meeste bijdragen aan de economische groei en armoedebestrijding. Empirisch onderzoek naar de impact van specifieke projecten kan helpen bij het aanscherpen van investeringsstrategieën.
Microkrediet
Sinds de jaren negentig heeft de microfinancieringsindustrie een enorme groei doorgemaakt. Momenteel zijn er wereldwijd ongeveer 139 miljoen microkredietklanten (dit is het in 2017 aantal geschatte actieve klanten op basis van MIX Market-data). Deze snelle groei werd gefinancierd door tal van filantropische instellingen, impactinvesteerders, particulieren en overheden. De gedachtegang – actief gepromoot door microfinancieringsinstellingen – was dat toegang tot kleine leningen huishoudens zou kunnen helpen bij het opzetten van kleinschalige bedrijfjes om zo, uiteindelijk, te ontsnappen aan de armoede. Bovendien zou microkrediet positieve bijeffecten hebben, zoals meer zelfstandigheid voor vrouwen en een betere scholing voor kinderen. Vrijwel geen van deze claims was gebaseerd op diepgaand economisch onderzoek.
Om dit kennisgebrek aan te pakken, hebben onderzoeksteams in verschillende landen randomised controlled trials (RCT’s) uitgevoerd. Hierbij krijgen sommige mensen wél toegang tot een project of interventie (de behandelgroep), maar andere niet (de controlegroep). Indien de toegang door loting wordt bepaald, zullen beide groepen gemiddeld genomen gelijk zijn qua observeerbare karakteristieken (zoals leeftijd, geslacht of opleiding) en niet-observeerbare karakteristieken (ondernemerschap, doorzettingsvermogen, eerlijkheid, et cetera). Wanneer er na de interventie verschillen zichtbaar worden tussen beide groepen, bijvoorbeeld in inkomensgroei, dan moet dat zeker het causale gevolg zijn van die interventie.
De EBRD heeft in twee landen, Mongolië en Bosnië & Herzegovina, RCT’s uitgevoerd om de impact van door haar gefinancierde microkredietinstellingen te meten. In Mongolië werd in een aantal dorpen microkrediet ingevoerd, maar in andere (controle)dorpen niet (Attanasio et al., 2015). In Bosnië & Herzegovina werd aan de helft van 1.200 in microkrediet geïnteresseerde mensen een lening gegeven, maar aan de andere helft voorlopig niet (Augsburg et al., 2015). Daarnaast werd de impact van microkrediet door andere onderzoekers gemeten in Mexico, Ethiopië, India, Marokko en de Filipijnen (zie Banerjee et al. (2015) voor een meer diepgaande bespreking van deze studies).
Figuur 1 vat de resultaten van deze zeven studies samen wat betreft de invloed van het microkrediet op de economische bedrijvigheid. De oranje (blauwe) balken laten het percentage huishoudens zien met een klein bedrijf in de behandelgroep (controlegroep), een aantal maanden of jaren nadat de behandelgroep toegang kreeg tot het microkrediet. De figuur bevat weinig bewijs dat microkrediet leidt tot een aanzienlijke toename in ondernemerschap. Mensen blijken de kleine leningen eerder voor consumptie te gebruiken, zoals bijvoorbeeld de aanschaf van een koelkast of televisie. Om deze reden constateren alle zeven studies dan ook geen structurele afname van armoede onder microkredietklanten.
Door veldexperimenten tegelijkertijd in verschillende landen te repliceren, is er inmiddels een duidelijk en wat ontnuchterend beeld ontstaan van microkrediet als ontwikkelingsinterventie. Voor veel ontwikkelingsbanken, waaronder de EBRD, is dit aanleiding geweest om de investeringsstrategieën bij te stellen en bijvoorbeeld meer nadruk te leggen op het financieren van wat grotere (mkb-)bedrijven. Tegelijkertijd moet het kind niet met het badwater worden weggegooid. Zo heeft het hierboven genoemde onderzoek ook aangetoond dat microkrediet huishoudens kan helpen om negatieve schokken, zoals een mislukte oogst, beter op te vangen. Bovendien laat recenter onderzoek zien dat de toegang tot microkrediet wél een positieve uitwerking kan hebben op specifieke klantensegmenten. Zo kunnen sommige huishoudens die al een bedrijfje hebben, door microkrediet sneller doorgroeien (Banerjee et al., 2019). Hoewel microkrediet dus geen wondermiddel is dat nieuwe ondernemers creëert, kan het wel helpen om bestaande ondernemers een financieel steuntje in de rug te geven.
Private equity
Terwijl microkrediet uitgroeide tot een hype in de ontwikkelingswereld, worden private-equityfondsen vaak gezien als opportunistische investeerders die bedrijven opkopen, opsplitsen en verkopen, zonder veel waarde toe te voegen. Hoe realistisch is dit negatieve beeld, met name in opkomende markten waar veel bedrijven bijzonder inefficiënt opereren en wellicht baat hebben bij externe expertise en herstructurering?
Om de impact van private equity te meten, kan men in principe soortgelijke RCT’s uitvoeren als voor microkrediet. In de praktijk is dit weinig realistisch, aangezien fondsen niet snel zullen toestaan dat onderzoekers door loting bepalen welk deel van hun investeringspijplijn gefinancierd zal worden en welk deel niet. Hier lopen we dus tegen een praktische grens aan van veldexperimenten (zie ook Deaton en Cartwright (2018) voor een kritische beschouwing over het gebruik van veldexperimenten). Hoe kan een ontwikkelingsbank als de EBRD dan toch inzicht krijgen in de impact van de mede door haar gefinancierde private-equityfondsen?
Een veel toegepaste methode is om, in plaats van vooraf door loting een controlegroep te bepalen, achteraf een kunstmatige controlegroep te creëren. Biesinger et al. (2020) passen zulke matching toe op een database met gegevens over bedrijven, waarin meer dan 100 private-equityfondsen investeerden (waarbij de EBRD als limited partner optrad). Voor ieder bedrijf dat private equity kreeg, werden er vijf controlebedrijven gevonden in hetzelfde land en dezelfde sector – en met vrijwel dezelfde leeftijd, omzet en investeringsgroei. Vervolgens werd de ontwikkeling van de groep bedrijven die een private-equity-injectie kregen, vergeleken met die van de kunstmatige controlegroep. Het verschil in ontwikkeling in de loop van de tijd, de difference-in-differences, geeft dan een inschatting van de impact van private equity.
Een voordeel van deze aanpak is dat niet-experimentele data gebruikt kunnen worden in een situatie waarin een experiment onmogelijk, te duur of te tijdrovend is. Een nadeel is dat de geloofwaardigheid van de resultaten volledig afhangt van de kwaliteit van de matching. Zelfs als ieder private equity ontvangende bedrijf nauwkeurig gematcht zou kunnen worden met vergelijkbare controlebedrijven, dan nog kunnen beide groepen systematisch verschillen qua andere karakteristieken, zoals de kwaliteit van hun management. Zulke karakteristieken zijn niet waarneembaar voor de onderzoeker, maar hebben waarschijnlijk wel een belangrijke rol gespeeld bij het selecteren van bedrijven door het private-equityfonds.
Als we deze beperking in het achterhoofd houden, laat figuur 2 een van de resultaten zien van dit onderzoek. Bedrijven die een private-equity-injectie kregen (blauwe lijn) vertonen met enige vertraging een stijgende arbeidsproductiviteit die bij de controlegroep afwezig is (oranje lijn). Verdere resultaten laten zien dat dit onder meer komt doordat private equity de bedrijven helpt om bancair krediet aan te trekken en hiermee de productiecapaciteit uit te breiden. Bovendien gaat dit, gemiddeld genomen, niet ten koste van de werkgelegenheid. Over een periode van vijf jaar stijgt het aantal werknemers in bedrijven met private equity gemiddeld met dertig personen meer dan in de controlegroep.
De vrij positieve resultaten van dit onderzoek hebben een belangrijke bouwsteen gevormd voor de meest recente financiële-sectorstrategie van de EBRD, waarin directe aandelenparticipaties en investeringen in private-equityfondsen tot een strategische prioriteit zijn gemaakt.
Kredietlijnen voor het mkb
In veel opkomende markten is het voor het mkb moeilijk om bancair krediet te krijgen. Dit geldt met name vaak voor vrouwelijke ondernemers. Ontwikkelingsbanken spelen hierop in door aan lokale banken kredietlijnen te verstrekken die vervolgens doorgeleend moeten worden aan het mkb. Soms hebben zulke kredietlijnen een gender-component: het gros van de financiering moeten de lokale banken dan doorlenen aan vrouwelijke ondernemers. Voordat zulke kredietlijnen worden verstrekt, is het belangrijk meer te weten over de vraag waarom vrouwelijke ondernemers slechter toegang tot krediet hebben.
Eén hypothese is dat bankiers op meer of minder subtiele manier vrouwelijke ondernemers discrimineren. Om vast te stellen of dit in een bepaalde context het geval is, kan er een ‘lab-in-the-field’-experiment uitgevoerd worden, een meer kunstmatige versie van een veldexperiment. In Turkije werden bijvoorbeeld 340 bankiers van een grote Turkse bank samengebracht tijdens een aantal sessies waarbij ze ieder een aantal kredietaanvragen moesten beoordelen (Brock en De Haas, 2020). Hoewel deze kredietaanvragen volledig realistisch waren, hadden de onderzoekers de echte namen van de ondernemers random vervangen door vrouwelijke of mannelijke Turkse namen. Iedere kredietaanvraag werd zodoende door sommige bankiers gezien als afkomstig van een mannelijke ondernemer, en door andere bankiers als afkomstig van een vrouwelijke ondernemer. Wanneer (verschillende) bankiers dezelfde kredietaanvraag systematisch anders beoordelen wanneer die afkomstig lijkt te zijn van een vrouw in plaats van een man, dan wijst dit op discriminerend gedrag. Een voordeel van het bijeenbrengen van bankiers in een ‘laboratorium’ is dat allerlei persoonskenmerken, zoals risicoaversie, gemeten kunnen worden terwijl zulke karaktertrekken normaal gesproken moeilijk waarneembaar zijn.
Het onderzoek laat zien dat aanvragen van mannen en vrouwen in principe even vaak geaccepteerd worden, maar dat van vrouwen wel dertig procent vaker geëist wordt dat ze een derde persoon een garantie laten ondertekenen. In de praktijk betekent dit dat vrouwen zonder toegang tot zulke garanties toch verstoken blijven van krediet. Dit discriminerende gedrag blijkt zich volledig te concentreren bij bankiers met relatief weinig werkervaring en bij hen met meer stereotiepe opvattingen over de maatschappelijke rol van mannen en vrouwen.
De EBRD heeft de resultaten van dit onderzoek gebruikt om nieuwe Women in Business-kredietlijnen vorm te geven in Turkije, op de Balkan en in Noord-Afrika. Naast meer aandacht voor het adequaat trainen van (met name relatief onervaren) bankiers die in dienst zijn van de banken die EBRD-kredietlijnen ontvangen, is in een aantal landen ook een tijdelijke first-loss cover geïntroduceerd om banken een financiële prikkel te geven tot het lenen aan vrouwelijke mkb-klanten.
Conclusies
Om de effectiviteit van ontwikkelingsprojecten te verbeteren, is het noodzakelijk dat organisaties niet alleen output rapporteren, maar ook daadwerkelijk de impact ervan meten. Verschillende onderzoekstechnieken spelen hierbij een rol. RCT’s kunnen hard bewijs aandragen voor wat wel en wat niet werkt. Bovendien komen goed vormgegeven veldexperimenten met een antwoord op de vraag waarom bepaalde interventies effectiever zijn dan andere. Wanneer RCT’s om logistieke of andere redenen niet haalbaar zijn, bestaat er een scala aan andere methoden om de effecten te meten.
Om de impact van economisch onderzoek zelf te vergroten, is het belangrijk dat er binnen ontwikkelingsorganisaties een duidelijke terugkoppeling bestaat van de onderzoeksfunctie naar de operationele prioriteitenstelling. Hierdoor is het mogelijk om impactvolle projecten op te schalen en minder succesvolle projecten aan te passen of af te bouwen. Daarnaast is het belangrijk dat opgedane kennis actief wordt gedeeld tussen organisaties en via publicatie openbaar wordt gemaakt. Bovendien kunnen onderzoeksagenda’s informeel worden afgestemd om overlap te voorkomen óf juist te stimuleren. Zo heeft het gericht repliceren van RCT’s in verschillende landen sterk bijgedragen aan onze kennis over veelgebruikte interventies zoals microkrediet, conditional cash transfers (financiële steun aan arme huishoudens in ruil voor, bijvoorbeeld, zorgen dat kinderen naar school blijven gaan), en het Ultra-Poor Graduation Programme (een set van interventies om de meest arme huishoudens in ontwikkelingslanden economisch zelfstandiger te maken).
Kennisopbouw op basis van rigoureus economisch onderzoek draagt er niet alleen aan bij dat iedere euro aan ontwikkelingssamenwerking zo effectief mogelijk wordt besteed, maar zal – juist om die reden – ook helpen bij het aantrekken van de aanvullende private-sector-financiering die hard nodig is om de duurzame ontwikkelingsdoelstellingen te halen.
Literatuur
Attanasio, O., B. Augsburg, R. de Haas, E. Fitzsimons en H. Harmgart (2015) The impacts of microfinance: evidence from joint-liability lending in Mongolia. American Economic Journal: Applied Economics, 7(1), 90–122.
Augsburg, B., R. de Haas, H. Harmgart en C. Meghir (2015) The impacts of microcredit: evidence from Bosnia and Herzegovina. American Economic Journal: Applied Economics, 7(1), 183–203.
Banerjee, A., E. Breza, E. Duflo en C. Kinnan (2019) Can microfinance unlock a poverty trap for some entrepreneurs? NBER Working Paper, 26346.
Banerjee, A., D. Karlan en J. Zinman (2015) Six randomized evaluations of microcredit: introduction and further steps. American Economic Journal: Applied Economics, 7(1), 1–21.
Biesinger, M., Ç. Bircan en A. Ljungqvist (2020) Value creation and persistence in private equity. EBRD Working Paper, te verschijnen.
Brock, J.M. en R. de Haas (2020) Gender discrimination in lending: evidence from bankers in the lab. CEPR Discussion Paper, 14340.
Deaton, A. en N. Cartwright (2018) Understanding and misunderstanding randomized controlled trials. Social Science & Medicine, 210, 2–21.
Popov, A. (2018) Evidence on finance and economic growth. In: T. Beck en R. Levine (red.), Handbook of finance and development. Cheltenham: Edward Elgar, hoofdstuk 3.
Auteur
Categorieën
