Meta-analyse als hulpmiddel bij beleidsinstrumentatie

Meta-analyse als hulpmiddel bij beleidsinstrumentatie
Aute ur(s ):
R.J.G.M. Florax en H.L.F. de Groot (auteur)
Florax is werkzaam b ij het Department of Agricultural Economics van Purdue University (VS) en b ij de afdeling Ruimtelijke Economie van de Vrije
Universiteit in Amsterdam. De Groot is ook verb onden aan deze afdeling van de VU, evenals aan het Tinbergen Instituut en het Centraal
Planb ureau. hgroot@feweb.vu.nl
Ve rs che ne n in:
ESB, 90e jaargang, nr. 4461, pagina D8, 2 juni 2005 (datum)
Rubrie k :
Onderzoek
Tre fw oord(e n):

Meta-analyse is een techniek om systematische variatie in eerder gepubliceerde onderzoeksuitkomsten in kaart te brengen. Zowel
gezonde scepsis als een open oog voor het nut van dit soort creatieve technieken zijn op hun plaats bij de beoordeling van de
toepasbaarheid van meta-analyse in de beleidsvoorbereiding.
In de medische wereld is meta-analyse inmiddels een algemeen erkende onderzoeksmethode. Met de term meta-analyse wordt gedoeld op
een reeks statistische en econometrische technieken die worden gebruikt om reeds bekende onderzoeksresultaten te combineren. Dit
combineren van kwantitative resultaten leidt tot statistisch betrouwbaardere uitspraken over bijvoorbeeld de effectiviteit van een
medicijn.
In de economische wetenschap is de toepassing van meta-analyse van meer recente datum. Hoewel de scepsis ten aanzien van het
gebruik ervan nog steeds groot is, wordt meta-analyse niettemin in toenemende mate door economen gebruikt. Met name in de
milieueconomie is het afgelopen decennium een substantieel aantal meta-analyses gepubliceerd.
In deze bijdrage gaan we in op de vraag of meta-analyse een nuttig hulpmiddel kan zijn bij beleidsinstrumentatie en bespreken we onder
welke voorwaarden dat op een zinvolle manier zou kunnen. Allereerst geven we aan welke bijdrage meta-analyse kan leveren aan de
ontwikkeling van de economische wetenschap, in het bijzonder waar het gaat om de toepassing op milieueconomische vraagstukken. Wij
illustreren die toepassing met voorbeelden op het terrein van de relatie tussen milieuverontreiniging en economische groei, de
waardering van milieugoederen en het concurrentievermogen van de industrie in relatie tot het milieubeleid. Deze voorbeelden leggen
duidelijk zowel de sterke als de zwakke kanten van het gebruik van meta-analyse bloot. We sluiten onze bijdrage daarom af met een
aantal aanbevelingen dat er toe moet bijdragen dat meta-analyse een nuttige techniek wordt bij de beleidsvoorbereiding, evenals bij de
beleidsevaluatie.
Meta-analyse
Meta-analyse kan pregnant worden omschreven als de statistische analyse van analyses. 1 Het is een statistische gereedschapskist die
de onderzoeker in staat stelt om op een statistisch verantwoorde manier eerder bepaalde onderzoeksresultaten te combineren. Metaanalyse kan daarom worden gezien als een secundaire onderzoeksmethode, die gericht is op kwantitatief literatuuronderzoek.
Het uitvoeren van een goede meta-analyse is tijdrovend. Het vereist het gedetailleerd bestuderen van een groot aantal studies en het uit
die studies destilleren van informatie, die bij kan dragen aan het verklaren van de variatie in de waargenomen resultaten. Deze fase leidt
tot de constructie van een gegevensbestand, waarin de primaire studies als het ware op alle relevante dimensies worden gecodeerd.
Het gegevensbestand vormt de basis voor de daadwerkelijke meta-analyse. Een dergelijk kwantitatief literatuuronderzoek kan zich richten
op het beschrijven van de uitkomsten van eerdere studies, het maken van een samenvattend overzicht door middel van kernachtige
tabellen en grafieken, maar ook op het verklaren van verschillen in waargenomen uitkomsten, rekening houdend met de karakteristieken
van de primaire studies. Daarbij kan worden gedacht aan conditionerende factoren zoals het land, de bedrijfstak of de tijdsperiode
waarop de studie betrekking heeft. Naast dit soort ‘reële-wereld-variatie’ is het echter eveneens van belang studiekenmerken in
ogenschouw te nemen. Het gaat hierbij bijvoorbeeld om de gehanteerde schattingsmethode, de verklarende variabelen die in de primaire
studies zijn opgenomen en het soort data dat is gebruikt.
Voorbeelden
Om een indruk te geven van wat een meta-analyse behelst en hoe meta-analyse een bijdrage kan leveren aan beleidsdiscussies, geven
we in de tekstkaders een drietal concrete voorbeelden van meta-analyses op het terrein van de milieueconomie. De voorbeelden zijn zeer
divers. Het voorbeeld van een meta-analyse naar de groene Kuznetscurve laat zien dat meta-analyse kan bijdragen aan het verschaffen
van inzicht in langlopende wetenschappelijke debatten. Dat is plezierig, maar de relevantie voor de beleidspraktijk is, zeker in eerste
instantie, wellicht tamelijk gering. Het voorbeeld over de waardering van milieugoederen laat zien dat meta-analyse wel degelijk inzichten
kan opleveren die nuttig kunnen zijn bij de beleidsvoorbereiding. De uitkomsten van een meta-analyse van waarderingsstudies kunnen
een goede ‘voorspeller’ zijn voor concrete projecten of gevallen die niet zijn bestudeerd, maar die wel voldoende gelijkenis vertonen met

de onderzochte gevallen. Het voorbeeld over milieubeleid en handel laat zien dat de bijdrage van meta-analyse niet noodzakelijkerwijs is
beperkt tot de beleidsvoorbereiding, maar zich daarentegen ook uitstrekt tot de beleidsevaluatie. Meta-analyse kan worden gebruikt om
de effectiviteit van beleid te kwantificeren. 2

De groene Kuznetscurve
De relatie tussen milieuvervuiling en economische groei is fascinerend en heeft veel onderzoekers geprikkeld om na te gaan
hoe dit verband er precies uitziet. Velen vinden een omgekeerd U-vormig verband, dat bekend staat als de groene
Kuznetscurve. Sommigen zien hierin een bewijs dat milieuproblemen op termijn vanzelf verdwijnen en daarom geen aanleiding
hoeven te vormen voor overheidsbeleid; anderen interpreteren de resultaten eerder als een indicatie voor het afschuiven van
negatieve externe effecten op armere landen. De zogenaamde inkomensomslagpunten die door de top van de U-vormige curve
worden weergeven, variëren echter sterk per studie. In een meta-analyse wordt op overtuigende wijze aangetoond dat
methodische verschillen tussen studies niet veronachtzaamd mogen worden, omdat ze deels bepalend zijn voor de uitkomst
van de analyse. De meta-analyse levert zeer sterke aanwijzingen op voor het bestaan van de groene Kuznetscurve, maar
tevens wordt duidelijk dat de inkomensomslagpunten voor rijke industrielanden en ontwikkelingslanden verschillend zijn.
Omdat de meta-analyse gebaseerd is op een aanmerkelijk grotere hoeveelheid data dan de individuele primaire studies
kunnen met een grotere precisie de inkomensomslagpunten voor elf verschillende vervuilende stoffen worden bepaald. Deze
resultaten zijn uiterst informatief voor beleidsmakers, waarbij het detail aanleiding zou kunnen zijn tot het maken van
gedifferentieerde keuzes in de beleidsinstrumentatie.

Voordeel
Een evident voordeel van meta-analyse in alle bovengenoemde gevallen is dat meta-analyse per definitie veel meer variatie in potentieel
relevante kenmerken kan omvatten dan in een primaire analyse kan worden gerealiseerd. Een primaire analyse voor Nederland vertoont
bijvoorbeeld slechts een beperkte variatie over de tijd in institutionele omgeving, beschikbaarheid van productiefactoren of kenmerken
van de productiestructuur. Ergo, een meta-analyse kan inzicht verschaffen in economische determinanten die per (primaire) studie
nagenoeg constant zijn.
Problemen en uitdagingen
De voorbeelden uit de tekstkaders laten zien dat er op het gebied van economisch gerelateerde beleidsproblemen een potentieel nuttige
rol voor meta-analyse is weggelegd. Toch is de toepassing van meta-analyse niet zonder problemen. Een eerste probleem komt voort uit
het niet-experimentele karakter van het overgrote deel van de economische wetenschap. Dat heeft tot gevolg dat de toegepast econoom
voor vrijwel alle empirische en beleidsrelevante vraagstukken wordt geconfronteerd met een grote mate van modelonzekerheid. De
theorie biedt vaak wel enig houvast bij het formuleren van een te schatten model, maar slechts zelden is de theorie dusdanig
uitgesproken dat de onderzoeker exact weet welke variabelen wel en niet op te nemen en welke functionele vorm gekozen dient te
worden. Bovendien vormt de beperkte beschikbaarheid van data een limiterende factor. Dat leidt er vaak toe dat de onderzoeker keuzes
moet maken op tamelijk subjectieve ‘theoretische’ gronden, dan wel daartoe wordt gedwongen door in de praktijk blijkbaar niet
voorhanden zijnde data. De gemaakte keuzes kunnen vervolgens substantiële effecten hebben op de uitkomsten van de primaire analyse.
Vergelijkbaarheid uitkomsten
Vanwege het niet-experimentele karakter van de meeste economische analyses doemt natuurlijk de vraag op in hoeverre uitkomsten van
verschillende primaire analyses überhaupt met elkaar vergeleken kunnen worden (zie ook de tekstkaders voor concrete voorbeelden).
Meta-analyse helpt ons om de consequenties van keuzes in kaart te brengen. Waar meta-analyse echter geen oplossing voor kan bieden
is het beantwoorden van de vraag welke keuzes ‘optimaal’ of ‘correct’ zijn. Dat leidt tot een vervelende situatie voor beleidsmakers. Zij
worden immers geconfronteerd met een meta-analyse die veelal een goed beeld kan geven van de aanwezige variatie in uitkomsten, maar
wat noodzakelijkerwijs ontbreekt, is een valide en duidelijke uitspraak over wat de ‘beste’ uitkomst is. Dat vormt een belangrijk
onderscheid tussen meta-analyses in de economie en in de medische wetenschap. In de medische wetenschap is een experimentele
context meestal wel aanwezig. Uitkomsten van primaire studies kunnen daarom duidelijk en eenduidig worden geïnterpreteerd en ook
eenvoudig worden gecombineerd.
Een tweede beperking, die eveneens specifiek is voor economische toepassingen, ligt in de voorspellende waarde van meta-analyse.
Methodologisch staat meta-analyse op dit punt nog in de kinderschoenen en veel onderzoek is vereist om de bruikbaarheid van metaanalyse te vergroten.
Instabiele relaties
Van bovengenoemde problemen lijkt het algemene probleem van de mogelijke instabiliteit van relaties waarmee economen worden
geconfronteerd het meest ingrijpend. De empirische literatuur over ontkoppeling illustreert dit op overduidelijke wijze. Juist in die
literatuur is recent de vrij simplistische wijze van analyseren,

Waardering van natte natuurgebieden
Er zijn wereldwijd meer dan tweehonderd studies waarin de betalingsbereid van consumenten voor ‘wetlands’, zoals in
Nederland bijvoorbeeld de Biesbosch of de Waddenzee, wordt geschat. Een deel van deze studies is onderzocht met behulp
van meta-analyse. In deze meta-analyses wordt nagegaan of er sprake is van afnemende schaalopbrengsten, en hoe de
betalingsbereid samenhangt met gebruiksmogelijkheden (wandelen, vissen, enzovoorts) en functies (habitat, bescherming voor

overstromingen, enzovoorts). Daarbij wordt uiteraard onderscheid gemaakt tussen de verschillende waarderingstechnieken die
in de primaire studies worden gebruikt (hedonische prijzen of de contingent valuation-methode), maar één van de metaanalyses onderzoekt ook of het dienstig is om bij de waardering van natuurgebieden de bevolkingsdichtheid en de mate van
urbanisatie in beschouwing te nemen. Dat levert interessante uitkomsten op, maar belangrijker nog, het toont aan dat het
uitermate belangrijk is bij kosten-batenanalyses niet zonder meer een soort ‘gemiddelde schaduwprijs’ te hanteren, maar waar
mogelijk te differentiëren naar schaalgrootte, gebruik en functies, de preferenties van consumenten en de geografische ligging
van het gebied. Voor de beleidsvoorbereiding betekent dat zowel goed als slecht nieuws. Enerzijds geven de meta-analyses
aan dat voor het waarderen van ‘wetlands’ geen eenduidige homogene schaduwprijs uit de literatuur te halen valt, maar
anderzijds leveren de meta-analyses voldoende informatie op om met een redelijk betrouwbare schatting te komen voor een
natuurgebied waarvoor de waardering niet bekend is uit onderzoek.

waar het gaat om de relatie tussen economische ontwikkeling en milieudruk, ter discussie gesteld (zie bijvoorbeeld Stern, 2004; Dijkgraaf
& Vollebergh, 2005). Het gaat daarbij met name om studies uit het begin van de jaren negentig die voortborduren op het World
Development Report van de Wereldbank (IBRD, 1992).
De discussie spitst zich toe op fundamentele vragen. Mag de relatie tussen ontwikkeling en milieudruk stabiel worden verondersteld
over landen en tijdsperioden, zoals in de ‘traditionele’ literatuur vaak impliciet wordt gedaan? Kan een dergelijke complexe relatie op een
zinvolle manier met een min of meer ad-hoc geformuleerde herleide-vormvergelijking worden bestudeerd? Recente studies die gebruik
maken van meer geavanceerde econometrische technieken laten zien dat het antwoord op veel van deze vragen ontkennend is. Er is
daarmee sprake van voortschrijdend inzicht. Voor een meta-onderzoeker is het echter bijzonder lastig om dergelijke ontwikkelingen op
een adequate manier in een meta-analyse over het voetlicht te brengen, althans zonder de schijn van subjectiviteit op te roepen.
De relatie tussen de meta-onderzoeker en de beleidsmaker is daarmee onvermijdelijk een beetje ongemakkelijk geworden. Objectiviteit
vergt het in kaart brengen van alle beschikbare informatie. Waardeoordelen over primaire studies dienen daarbij zo veel mogelijk
uitgeschakeld te worden. Op basis van een meta-analyse zal het stereotype antwoord op beleidsvragen daarom, nog meer dan al voor
veel primaire economische analyses geldt, zijn: ‘het hangt er van af’. Waar de beleidsmaker zich bij een primaire analyse nog kan beroepen
op de autoriteit en reputatie van de onderzoeker die met een bepaald resultaat op de proppen komt, zal dat voor een goede en objectieve
meta-analyse zo goed als onmogelijk zijn.
Milieubeleid en concurrentiepositie
De door Michael Porter gesuggereerde samenhang tussen een stringent milieubeleid en versterking van de concurrentiepositie
(omdat een stringent milieubeleid zou bijdragen aan het stimuleren van de innovatiegerichtheid van het bedrijfsleven) heeft
geleid tot een groot aantal studies waarin het effect van de stringentie van het milieubeleid op de internationale handel tussen
landen wordt onderzocht. De theoretische verwachting is dat het verband negatief zal zijn. In vergelijking met de twee
eerdergenoemde onderwerpen, blijkt bij een meta-analyse op dit terrein de heterogeniteit van de primaire studies vrijwel
onoverbrugbaar te zijn. Er zijn zowel exploratieve studies met eenvoudige tweedimensionale tabellen, en input-output-studies,
maar ook tamelijk gecompliceerde studies met regressiemodellen. Bij de meer geavanceerde studies is er sprake van grote
verschillen in het theoretisch kader dat wordt gehanteerd en is de modelspecificatie veelal gebaseerd op de neoklassieke
handelstheorie of op een meer pragmatisch gemotiveerd graviteitsmodel. De meta-analyse laat zien dat het veronderstelde
negatieve verband niet kan worden aangetoond en in die zin kan de meta-analyse bijdragen aan de beleidsvoorbereiding.
Claims van de industrie dat het milieubeleid hen eenzijdig benadeelt, lijken er ten dele mee te worden ondergraven. De
moeilijkheid om uiteenlopende soorten studies onder één noemer te brengen, maakt echter eveneens duidelijk dat
voorzichtigheid is geboden bij de interpretatie van de resultaten van een meta-analyse.

Conclusie
Gedurende de laatste decennia hebben economen in toenemende mate ervaring opgedaan met meta-analyse. De milieu-economie heeft
daarbij een duidelijke voortrekkersrol vervuld. Deze ervaring heeft geleid tot een waardevolle en relatief objectieve aanvulling op de
doorgaans meer traditionele kwalitatieve literatuuroverzichten. Meta-analyse lijkt goed in staat licht te werpen op zaken die bij de
beleidsinstrumentatie en de bepaling van de beleidseffectiviteit van belang zijn. Het kan bijdragen aan de noodzakelijke differentiatie van
het beleid en aan betere kosten-batenafwegingen. Ook kan het inzicht verschaffen in de mate waarin beleid effectief of verstorend is. Het
vertalen van de resultaten van een meta-analyse in concreet beleidsadvies is echter tegelijkertijd geen sinecure gebleken.
Bescheidenheid past de meta-onderzoeker daarom op dit punt. De kracht van meta-analyse ligt primair in het in kaart brengen van
(oorzaken van) variatie in eerder uitgevoerd onderzoek. Daarmee vormt meta-analyse een waardevol analyse-instrument dat kan
bijdragen aan de beleidsvoorbereiding en de beleidsevaluatie. De meta-onderzoeker die pretendeert het ultieme antwoord op vragen
omtrent de omvang van bepaalde effecten te kunnen verschaffen, is zich naar onze mening onvoldoende bewust van de beperkingen van
meta-analyse. Tegelijkertijd is de beleidsmaker die de ogen sluit voor de kennis over beleidseffectiviteit en beleidsinstrumentatie die met
meta-analyse te behalen zijn, zich onvoldoende bewust van de potentiële kracht van meta-analyse.
Raymond Florax en Henri de Groot
Literatuur
Brander, L., R.J.G.M. Florax & J. Vermaat (2003) The empirics of wetland valuation: A comprehensive summary and a meta-analysis of
the literature. R W-03/30 Amsterdam: Institute for Environmental Studies (IVM).
Brouwer, R., I. Langford, I. Bateman & R.K. Turner (1999) A meta-analysis of wetland contingent valuation studies. Regional
Environmental Change, 1, 47-57.

Cavlovic, T.A., K.H. Baker, R.P. Berrens & K. Gawande (2000) A meta-analysis of environmental Kuznets curve studies. Agriculture and
Resource Economics Review, 29, 32-42.
Dijkgraaf, E. & H.R.J. Vollebergh (2005) A note on testing for environmental Kuznets curves with panel data, te verschijnen in
Environmental and Resource Economics.
Florax, R.J.G.M., H.L.F. de Groot en R.A. de Mooij (2002) Analyseer de analyses, ESB, 1 februari, 96-98.
IBRD (1992) World Development Report 1992: Development and the Environment. New York: Oxford University Press.
Mulatu, A., R.J.G.M. Florax & C. Withagen (2003) Environmental regulation and competitiveness: An exploratory meta-analysis. In: C.
Böhringer &
A. Löschel (red.) Empirical Modeling of the Economy and the Environment, Berlin: Physica Verlag. ZEW Economic Studies, 20, 23-54.
Stern, D.I. (2004) The rise and fall of the environmental Kuznets curve. World Development, 32, 1419-1439.
Woodward, R.T. & Y.-S. Wui (2001) The economic value of wetland services:
A meta-analysis. Ecological Economics, 37, 257-270.

Dossier: Arbeidsproductiviteit in de zorg
F.J. Diets, E.C. Schmieman en F.A.G. den Butter: Schone groei: productiegroei en milieudruk ontkoppeld
H. Folmer, H. Van der Veen en C. Withagen: Milieubeleid, concurrentievermogen en locatiegedrag van bedrijven
F.J.G.M. Florax en H.L.F. de Groot: Meta-analyse als hulpmiddel bij beleidsinstrumentatie
F.A.G. den Butter: Maak het milieu weer zichtbaar
J.A. Smulders en H.R.J. Vollebergh: Milieubeleid en innovatie
R. kemp, F.W. Geels en G.P.J. Verbong: Innovatie en duurzaamheidtransities
P.A. Boot: Concreet en Europees
F.J. Dietz en C.A. Hazeu: Tussen prijsprikkels en institutionele hervorming
N.B.P. Polman: Contractontwerp voor ontkoppeling
M.G. Bos en C.A. van der Wijst: Leren door transacties
J.J. Bouma en F.J. Dietz: Milieu-accountint: interne controle en publieke verantwoording
C.H.T. Vijverberg: Milieu-accounting en de overheid
C. Oudshoorn en J.H.G. van den Broek: Fileermes beter dan botte bijl
D.P. van Soest: De kosten van ontkoppelingsbeleid
M.W. Hofkes en H. Verbruggen: Milieubeleid voor een mierenhoop
Aart de Zeeuw: Hoe verder?

1 MS Sans Serif;}{ï“ï¹ï­ï¢ï¯ï¬ï€»ï½ï»Arial;}{Courier New;}{Times New Roman;}} { 2 MS Sans Serif;}{ï“ï¹ï­ï¢ï¯ï¬ï€»ï½ï»Arial;}{Courier
New;}{Times New Roman;}} {

Copyright © 2005 Economisch Statistische Berichten (www.economie.nl)