Analyseer de analyses

Analyseer de analyses
Aute ur(s ):
Florax, R.J.G.M. (auteur)
Groot, H.L.F., de (auteur)
Mooij, R. A., de (auteur)
De eerste twee auteurs zijn verbonden aan de Vrije Universiteit in Amsterdam en de onderzoeksgroep ‘Master-point’. De derde auteur is
verb onden aan het Centraal Planbureau in Den Haag. De auteurs danken Richard Nahuis voor commentaar op een eerdere versie van dit artikel.
Ve rs che ne n in:
ESB, 87e jaargang, nr. 4345, pagina 96, 1 februari 2002 (datum)
Rubrie k :
Tre fw oord(e n):
meta-analyse

Meta-analyse wordt in toenemende mate toegepast binnen de economische wetenschap. Er is op veel onderzoeksterreinen echter nog
een wereld te winnen.
Wat doen economen die een economisch model willen kalibreren of de directe gevolgen van een beleidsmaatregel willen onderzoeken?
Negen van de tien keer zullen ze op zoek gaan naar gegevens en vervolgens econometrisch een statistisch verband proberen te
schatten. Dit leidt tot een stortvloed aan empirische artikelen over talloze onderwerpen in de economie, die vaak nauwelijks iets
toevoegen aan de bestaande kennis. Het maken van een literatuuroverzicht is een andere manier om inzicht te verkrijgen in de sterkte
en de waarschijnlijkheid van het vinden van een bepaald causaal verband tussen variabelen. Dergelijke overzichten komen in veel
gevallen neer op het bespreken van de vraag of bestaande studies een bepaalde hypothese al dan niet verwerpen. Hiermee wordt vaak
slechts ten dele recht gedaan aan de bevindingen in de literatuur. De bespreking van bestaande studies is niet altijd even systematisch,
en het selectieproces van studies en conclusies is vaak moeilijk verifieerbaar en in hoge mate subjectief. Ook wordt meestal weinig
aandacht besteed aan de omvang van de gevonden effecten, en beperkt men zich tot het doen van een redelijkerwijs verdedigbare
uitspraak over de richting en de waarschijnlijkheid van het vinden van een bepaald verband.
Het is niet verbazingwekkend dat deze situatie als onbevredigend wordt ervaren in wetenschappen die zich in belangrijke mate
concentreren op het meten van effecten van handelingen. Een medicus heeft behoefte aan betere en betrouwbaardere informatie over het
effect van een bepaalde medicatie of therapie. Een marketeer wil weten welke marketing-strategie de hoogste winst oplevert. Metaanalyse is daarom ontwikkeld als onderzoeksmethode die systematisch de in de literatuur gevonden kwantitatieve inzichten over een
bepaalde relatie kan beschrijven en analyseren. In deze bijdrage introduceren we de beginselen van meta-analyse en bespreken haar
potentiële betekenis voor de economische wetenschap.
Oorsprong, praktijk en toepassing
Meta-analyse wordt wel omschreven als de statistische analyse van analyses. Deze omvat een verzameling statistische methoden en
technieken die de onderzoeker in staat stelt om de beschikbare kennis over een bepaald kwantitatief verband systematisch te analyseren.
Meta-analyse vindt haar oorsprong in wetenschappen waar veel experimenten worden gedaan, zoals psychologie en medicijnen. Door
het combineren van uitkomsten van verschillende experimenten kan meta-analyse bijdragen aan een verhoogde betrouwbaarheid van
uitspraken over bepaalde verbanden. Meta-analyse biedt in essentie de mogelijkheid tot een verantwoorde vergroting van de steekproef
op basis waarvan conclusies worden getrokken. In de medische wetenschap verdedigen sommigen de stelling dat meta-analyse levens
heeft gered.
Tijdrovend
Het uitvoeren van een meta-analyse is geen activiteit die zich beperkt tot het zinvol besteden van een regenachtige zondagnamiddag.
Met name het verzamelen van alle relevante studies en het opbouwen van een gegevensbank van studies over een bepaald onderwerp is
een tijdrovende bezigheid. Centraal in de gegevensbank staan de geschatte parameters die het te onderzoeken verband beschrijven. Een
cruciale vereiste is dat deze parameters vergelijkbaar zijn tussen verschillende studies, of vergelijkbaar gemaakt kunnen worden met de
beschikbare informatie. In de economie kan men bijvoorbeeld denken aan elasticititeiten of waardebedragen die kunnen worden
uitgedrukt in constante prijzen van een bepaalde valuta. Voor het overige moet de gegevensbank een overzicht bevatten van de
karakteristieken van de studie waaruit de parameter afkomstig is. Daarbij gaat het om zaken als het soort gegevens dat is gebruikt, de
specificatie, de schattingstechniek, het relevante land of de bedrijfstak, het aantal waarnemingen, en het tijdstip waarop het geschatte
effect betrekking heeft. Tot slot kan de gegevensbank worden uitgebreid met achtergrondvariabelen waarvan verondersteld kan worden
dat ze het onderzochte verband beïnvloeden. Voor veel economische relaties is het inkomen per hoofd van de bevolking een nuttige
achtergrondvariabele.
Op deze wijze wordt een complete meta-steekproef vervaardigd, bestaande uit een vector met geschatte parameterwaarden en hun
significantie, en een matrix met studiekarakteristieken en achtergrondvariabelen. In eerste instantie levert de meta-steekproef informatie
op over de eigenschappen van de verdeling van de geschatte parameters in de literatuur. Is het verband positief of negatief? Is de
grootte van het effect homogeen of is er heterogeniteit op basis van identificeerbare kenmerken (zoals land, sector, tijdstip en theorie)?

De meest geavanceerde techniek is het uitvoeren van een meta-regressie, waarbij de systematische invloed van studiekarakteristieken en
achtergrondvariabelen op de grootte van de onderzochte parameter (of de significantie ervan) kan worden onderzocht. Het is evident dat
dit aanzienlijk verder gaat dan de traditionele literatuuranalyse, waarin men veelal bivariate vergelijkingen presenteert, gebruikmakend
van Marshall’s fameuze ceteris paribus-conditie.
Toenemende populariteit
In de economische wetenschap is de toepassing van meta-analyse van relatief recente datum. De eerste toepassingen vinden we in het
begin van de jaren tachtig, met name in de milieueconomie, waar de grote variëteit in de geschatte economische waarde van
milieugoederen waarvoor geen markt bestaat, tot de verbeelding spreekt. Tegenwoordig wordt meta-analyse echter ook in toenemende
mate toegepast in de arbeidseconomie, de marketing, de industriële organisatie en de transporteconomie 1. Onbekendheid met de
onderzoeksmethode, en de daarmee gepaard gaande initiële scepsis, kunnen een oorzaak zijn voor deze relatieve onderontwikkeling in de
economie. Ook in de medische wetenschap heeft het enkele decennia geduurd voordat meta-analyse tot het standaard
onderzoeksinstrumentarium werd gerekend. De beperkte mogelijkheden om experimenten uit te voeren maken een directe toepassing op
economische studies ook moeilijker, omdat niet-experimentele studies inherent moeilijker vergelijkbaar (te maken) zijn. Tenslotte spelen
de relatieve overdaad aan gegevens, en de resulterende lage kosten van gegevensverwerving in de economie mogelijk een rol bij de
aanlokkelijke keuze voor een primaire analyse in plaats van een meta-analyse. Het feit dat meta-analyse in eerste instantie voornamelijk is
toegepast op relatief dure waarderingstudies is hiervoor illustratief.
Onderdeel van de gereedschapskist
Meta-analyse heeft een grote toegevoegde waarde op tal van onderzoeksterreinen in de economie. Dit komt allereerst omdat de
onderzoeksmethode veel grondiger en systematischer is dan een traditioneel literatuuroverzicht. Zo wordt de meta-analist gedwongen de
uitkomsten van diverse studies vergelijkbaar te maken, is er meer aandacht voor de omvang van de parameter en wordt systematischer
aandacht besteed aan de (invloed van) onderliggende studiekarakteristieken en achtergrondvariabelen. Daarmee worden conclusies
objectiever en gemakkelijker controleerbaar. Bovendien geeft meta-analyse inzicht in het effect van het systematisch variëren van diverse
kenmerken tegelijkertijd. Tot slot biedt meta-analyse de mogelijkheid om na te gaan wat het effect is van kenmerken van de
onderzoeksopzet die binnen een onderzoek veelal constant zijn, maar tussen onderzoeken vaak verschillen.
Onderzoekers kunnen met meta-analyse nagaan of het type gegevens, de specificatie, of het opnemen van bepaalde controlevariabelen
een systematische invloed heeft op de schattingsresultaten. Belangrijker nog, het stelt de onderzoekers in staat om te bepalen of
verschillende theorieën tot systematisch verschillende geschatte effecten leiden (daarbij controlerend voor alle ‘overige’ verschillen
tussen studies). Meta-analyse fungeert zo als een hulpmiddel bij het bepalen van de toekomstige onderzoeksagenda en de vorm-geving
van toekomstig onderzoek. Voor beleidsmakers is het interessant informatie te vergaren over, bijvoorbeeld, de mate waarin een effect
varieert over regio’s of landen, of een effect afhankelijk is van een bepaalde institutionele vormgeving, en of een effect onderhevig is aan
een duidelijke trend in de tijd.
Voorspellingen
Interessant voor zowel onderzoekers als beleidsmakers is dat een meta-analyse de basis kan vormen voor voorspellingen. In de
milieueconomie is daar al enige ervaring mee opgedaan, en staat het fenomeen bekend als ‘waardeoverdracht’. Zo zouden we op basis
van veelal Amerikaanse studies, een voorspelling kunnen geven voor de kosten van geluidsoverlast rondom Schiphol, of op basis van
een analyse van ‘wetland’-studies een schatting geven van de waarde van de Waddenzee. De toepassing en ontwikkeling van de
techniek van waardeoverdracht staan nog in de kinderschoenen, en de eerste experimenten laten zien dat de resultaten nog niet erg
veelbelovend zijn. Het is echter onduidelijk in hoeverre dat veroorzaakt wordt door de techniek als zodanig, de wijze waarop de metaanalyse wordt uitgevoerd, dan wel het feit dat waardeoverdracht tot op heden altijd is toegepast op goederen en diensten waarvoor geen
markt bestaat 2.
Problemen
Ondanks deze veelbelovende betekenis van meta-analyse voor de economie en het beleid is er een aantal methodologische problemen.
Een eerste probleem betreft publicatieonzuiverheid (‘publication bias’), die wordt veroorzaakt doordat er geen aselecte steekproef wordt
genomen uit de beschikbare studies. Publicatieonzuiverheid kan het gevolg zijn van redacteuren die geneigd zijn ‘negatieve’ of nietsignificante resultaten af te wijzen. Niet-gepubliceerde studies zijn daarom belangrijk voor een adequate meta-analyse, maar zij zijn
doorgaans moeilijk te traceren. Een andere vorm van publicatieonzuiverheid wordt veroorzaakt door de onderzoekers zelf; zij selecteren
vaak zelf een specificatie die plausibele en significante resultaten oplevert, en beperken zich veelal tot het publiceren van die ene
specificatie. Overigens doet het probleem van publicatieonzuiverheid zich in dezelfde mate voor bij de traditionele literatuuranalyse.
Meta-analyse heeft daarbij het voordeel dat expliciet getoetst kan worden of er sprake is van publicatieonzuiverheid. Desgewenst
kunnen adequate correcties worden opgenomen in meta-regressies 3.
Een tweede probleem van meta-analyse komt naar voren bij het vergelijkbaar maken van geschatte parameters uit uiteenlopende studies.
Dit is niet altijd eenvoudig omdat primaire studies doorgaans alleen marginale effecten presenteren, en deze bijvoorbeeld niet omrekenen
naar een (uniform gedefinieerde) elasticiteit. Om een dergelijke elasticiteit te bepalen, is vaak extra informatie (zoals
steekproefgemiddelden) nodig die niet altijd wordt gegeven in de primaire publicaties. Dan blijkt hoe buitengewoon slordig economen
zijn waar het gaat om het rapporteren van relevante informatie over schattingsresultaten. Dit bemoeilijkt een grondige vergelijking van
studies.
Een derde probleem waar de onderzoeker mee wordt geconfronteerd is dat moeilijk rekening te houden valt met kwaliteitsverschillen
tussen studies, omdat een objectieve maatstaf voor kwaliteit ontbreekt. Dit betekent dat meta-analyse het literatuuroverzicht niet geheel
kan vervangen: het subjectieve oordeel over de kwaliteit van de primaire studies vormt een belangrijke toegevoegde waarde. Wel biedt
meta-analyse de mogelijkheid tot een kwantitatief onderzoek van het vóórkomen en het belang van (subjectief) bepaalde
kwaliteitsverschillen.

Een laatste methodologisch probleem betreft de onderlinge afhankelijkheid van waarnemingen in de meta-steekproef. Meestal wordt in
primaire studies meer dan één schattingsresultaat gepubliceerd. De vraag is dan of de meta-analist slechts één schatting per studie
opneemt in de analyse, of dat alle waarnemingen uit alle studies in de steekproef moeten worden opgenomen. In dat laatste geval zijn de
waarnemingen niet onafhankelijk waardoor een nieuwe vorm van onzuiverheid in de meta-regressies kan ontstaan.
Ontwikkeling nieuwe technieken
De bovenstaande problemen zijn niet specifiek voor meta-analyse. Gepubliceerde studies die mogelijk slechts een selecte steekproef
vormen, problemen met vergelijkbaarheid, heterogeniteit van studies, en afhankelijkheid van geschatte effecten, vormen evenzeer
methodologische problemen bij het samenstellen van een literatuuroverzicht. In meta-analyse kunnen dergelijke problemen soms worden
opgelost door het hanteren van standaard econometrische technieken. Het probleem van afhankelijkheid is in de econometrie bekend als
autocorrelatie en kan worden opgelost met standaardtechnieken. Heterogeniteit wordt bij paneldata gemodelleerd door middel van ‘fixed’
of ‘random effects’. Een aantal andere problemen, waaronder het probleem van publicatieonzuiverheid, geeft aanleiding tot het
ontwikkelen van nieuwe technieken.
Een wereld te winnen
Hoewel meta-analyse in toenemende mate wordt toegepast in de economie, is er op veel onder-zoeksterreinen nog een wereld te winnen.
Dit geldt bijvoorbeeld voor de invulling van parameters in macro-economische modellen. Zo worden macro-economische modellen
gekalibreerd op basis van geschatte loonvergelijkingen, exportelasticiteiten, arbeidsaanbodelasticiteiten en convergentieschattingen uit
de groeiliteratuur. Meta-analyse kan op elk van deze terreinen worden toegepast. Dit kan leiden tot een verbeterde kalibratie van
toegepaste algemeen-evenwichtsmodellen, maar ook tot verbeterd primair onderzoek doordat meta-analyse inzicht biedt in de oorzaken
van verschillen in uitkomsten in eerder uitgevoerde onderzoeken. Ook kan meta-analyse een betrouwbare onderbouwing geven van een
verband dat in beleidsdiscussies een belangrijke rol speelt.
Econometrie wordt wel gezien als een systematische manier om iets te leren van verzamelde gegevens. Naar analogie kan meta-analyse
worden gezien als een grondige manier om iets te leren over de verzamelde literatuur op een bepaald terrein. Het vervangt daarbij niet het
traditionele literatuuroverzicht, maar vormt er een welkome aanvulling op. De enorme productie van empirisch economisch onderzoek
biedt in toenemende mate een goede voedingsbodem voor meta-analyse in de economische wetenschap. Indachtig het Popperiaanse
criterium voor wetenschap sluiten we af met een falsifieerbare bewering: het eerste decennium van de eenentwintigste eeuw zal een
exponentieel groeiend aantal meta-analyses in de economie laten zien. Deze introductie van meta-analyse heeft duidelijk willen maken dat
een dergelijke ontwikkeling niet slechts een kwantitatief ‘desideratum’ is, maar gestaafd kan worden met inhoudelijke argumenten

1 Een bespreking van meta-analyse en economische toepassingen is te vinden in K.J. Button, S.M. Jongma en Jonathan Kerr, Metaanalysis approaches and applied microeconomics, International Journal of Development Planning Literature, vol. 14,1999, blz. 75-101;
en T.D. Stanley, Wheat from chaff: meta-analysis as quantitative literature review, Journal of Economic Perspectives, vol. 15, 2001, blz.
131-150. Een Nederlandstalige inleiding is L.Th.J. van Kamp en T.A.B. Snijders (red.), Meta-analyse, Tijdschrift voor Onderwijsresearch,
vol. 22, special issue, nr. 1, 1997.
2 Zie bijvoorbeeld R. Brouwer, Environmental value transfer: state of the art and future prospects, Ecological Economics, vol. 32, 2002,
blz. 137-152.
3 Zie R.J.G.M. Florax, Methodological pitfalls in meta-analysis: publication bias, in: R.J.G.M. Florax, P. Nijkamp en K.G. Willis (red.),
Comparative environmental economic assessment, Edward Elgar, Cheltenham, 2002 (in druk).

Copyright © 2002 – 2003 Economisch Statistische Berichten (www.economie.nl)