Een meta-analyse naar het effect van activerend arbeidsmarktbeleid

• Vooren Haelermans Groot MaassenvandenBrink (2017) ESB 4749 200-201.pdf Download [119,93 kb]

Activerend arbeidsmarktbeleid is een belangrijk instrument om de werkloosheid te bestrijden. Daarbij is het van belang om te weten welke programma’s het meest effectief zijn, voor welke doelgroep en onder welke omstandigheden.

De Nederlandse overheid geeft relatief gezien veel geld uit aan activerend arbeidsmarktbeleid. In 2011 was dit zo’n 1,1 procent van het bbp. Dit is ongeveer twee keer het OESO-­gemiddelde, terwijl maar twee OESO-landen (België en Denemarken) meer uitgeven.

Deze hoge uitgaven doen de vraag rijzen of dit geld goed besteed is. De uitkomsten van effectevaluaties van arbeidsmarktprogramma’s kunnen hier inzicht in geven. Sinds de tweede helft van de jaren negentig zijn er talloze arbeidsmarktprogramma’s geëvalueerd op effectiviteit. Voorbeelden hiervan zijn de New Deal in het Verenigd Koninkrijk (Dorsett, 2006), de Welfare to Work-hervormingen in de Verenigde Staten (Dyke et al., 2006) en het Hartz-concept in Duitsland (Dengler, 2015).

Ofschoon deze studies een antwoord geven op de vraag welke programma’s wel of niet werken, zijn de resultaten vaak alleen informatief in een bepaalde context. Een meta-analyse kan een algeheel beeld destilleren van welke factoren bijdragen aan het succes van een arbeidsmarktprogramma.

Dataset van studies

Wij hebben de literatuur systematisch doorgenomen, wat heeft geresulteerd in een set van 474 studies. Hieruit hebben we een selectie gemaakt op basis van onderwerp, empirische techniek, betrouwbaarheid van de studie en taal. Het onderwerp van de studie moet de evaluatie van een activerend programma zijn. Dit sluit studies naar de econometrische methodologie die hetzelfde programma meermaals belichten uit. Qua empirische techniek ­beperken we ons tot gerandomiseerde experimenten en quasi-experimentele studies op basis van matching, ­regressiediscontinuïteit, verschil-in-verschillen of instrumentele variabelen. Vanwege de betrouwbaarheid beperken we ons tot gepubliceerde studies in Engelstalige tijdschriften met een peerreview. Nadat de studies die niet aan deze criteria voldoen, weggelaten zijn houden we 55 stuks over. Deze bevatten 630 effecten voor 277 verschillende subgroepen en typen programma’s. We onderscheiden de geëvalueerde programma’s in vier categorieën. In de literatuur worden doorgaans drie typen activerend arbeidsmarktbeleid onderscheiden. Dit zijn overheidsdiensten voor re-integratie van werkzoekenden, scholing en training, en gesubsidieerd werk. Wij volgen deze indeling, maar met een splitsing tussen publieke en private vormen van gesubsidieerd werk. Bij het indelen in deze categorieën volgen we in de regel de terminologie van de betreffende studie.

Methodiek

De te verklaren variabele in de meta-analyse is de ­Cohen’s d van het effect. Dit is het verschil tussen de gemiddelde uitkomsten van de controle- en interventiegroep in termen van de gemiddelde standaarddeviatie. De Cohen’s d standaardiseert de effectgrootte, zodat de uitkomsten tussen studies met elkaar vergeleken kunnen worden, onafhankelijk van of de studie bijvoorbeeld kijk naar het aantal dagen tot het vinden van een baan, dan wel de kans op het vinden van een baan.

De gewogen gemiddelde effecten zijn berekend met een random-effects-model en waar nodig gecorrigeerd voor ‘publicatiebias’. Een publicatiebias kan optreden als studies zonder significante resultaten een kleinere kans hebben om gepubliceerd te worden dan studies met. De test van Egger et al. (1997) test voor deze relatie op basis van een linear ­regressiemodel. We hebben voor publicatiebias gecor­ri­geerd door een benadering te maken van de niet-gepubliceerde studies (voor meer details, zie Duval en Tweedie, 2000). Naast de gemiddelde effecten per programmatype kijken we ook naar de verschillen tussen groepen met het meta-regressiemodel uit Stanley en Doucouliagos (2013). Dit meta-regressiemodel houdt tegelijkertijd rekening met meerdere achtergrondvariabelen.

Resultaten

De gemiddelde effectgroottes zijn in tabel 1 weergegeven.

We zien dat activerend arbeidsmarktbeleid over het algemeen redelijk succesvol is, maar dat tussen de programma’s grote verschillen zijn. Programma’s die hulp bieden bij het zoeken naar een baan door middel van gesprekken met ­intercedenten en maatschappelijk werkers hebben geen significant effect. Daarentegen hebben om- en bijscholingsprogramma’s wel een positief effect. Het effect van deze programma’s neemt wat af na een jaar na de start van het programma, maar de effecten blijven significant positief. Ook programma’s met gesubsidieerd werk in de private ­sector hebben een positief effect, en dit is groter dan dat van scholingsprogramma’s, ook nog een jaar na invoering van het programma.

Door de overheid gecreëerde banen hebben een negatief effect. Dit is opmerkelijk omdat gesubsidieerde banen in de private sector een sterk positief effect hebben. Een mogelijke verklaring hiervoor is dat er geen sprake is van een leerproces in een door de overheid gecreëerde baan, terwijl dat in het bedrijfsleven wel zo is. Een deelnemer is dus tijd kwijt zonder iets bij leren. Het negatieve effect kan dan worden verklaard door het feit dat de deelnemers ­tijdens deze programma’s minder tijd overhouden om op zoek gaan naar een baan, of zelfs helemaal niet zoeken ­omdat ze in gedachten al een ‘baan’ hebben.

De resultaten van de meta-regressie geven inzicht in de verschillen tussen de subgroepen. We vinden geen ­ verschillen in de effectiviteit van programma’s tussen mannen en vrouwen. Ook de leeftijd van de doelgroep is niet bepalend voor die effectiviteit. We vinden evenmin een verband tussen de effectiviteit van de programma’s en macro-economische achtergrondvariabelen, zoals het werkloosheids­percentage en de mate van economische groei.

Meta-analyseEen meta-analyse kan wel een algeheel beeld destilleren van de factoren die bijdragen aan het succes van een arbeidsmarktprogramma

Verder hebben we gekeken of de looptijd van het ­programma van invloed is op de effectiviteit. Omdat niet alle studies de gemiddelde looptijd rapporteren, hebben we alleen gekeken naar de zeventig procent van de studies die dit wel rapporteren. We vinden geen statistisch significante invloed die de looptijd van een programma op de effectiviteit heeft. Kort gezegd zijn de langlopende programma’s gemiddeld dus net zo effectief als de kortlopende programma’s in onze dataset. Ten slotte hebben we gecontroleerd voor de onderzoeksmethode van de studie. Studies die een verschil-in-verschillenstrategie of een instrumentele variabele gebruiken, vinden geen significant groter of kleiner effect dan studies gebaseerd op een gerandomiseerd experiment of een matchingstrategie.

Conclusie

Dit artikel presenteert de resultaten van een meta-analyse naar de succesfactoren van activerend arbeidsmarkt­beleid. De resultaten laten zien dat scholingsprogramma’s en ­gesubsidieerde arbeid in de private sector een significant ­positief effect hebben op de arbeidsmarktuitkomsten van de deelnemers. Toekomstige arbeidsmarktprogramma’s zouden dus idealiter een combinatie van scholing of ­omscholing en een al dan niet gesubsidieerde stage- of werkervaringsplaats binnen de private sector moeten ­bevatten. Door de overheid gecreëerde banen hebben een negatief effect op de kans op werk. Voor toekomstig activerend ­arbeidsmarktbeleid kan dus beter op publiek-private ­samenwerking worden ingezet.

Literatuur

Dengler, K. (2015) Effectiveness of sequences of One-Euro-Jobs for welfare recipients in ­Germany. Applied Economics, 47(57), 6170–6190.

Dorsett, R. (2006) The New Deal for young people: Effect on the labour market status of young men. Labour Economics, 13(3), 405–422.

Duval, S. en R. Tweedie (2000) A nonparametric ‘trim and fill’ method of accounting for publication bias in meta-analysis. Journal of the American Statistical Association, 95(449), 89–98.

Dyke, A., C.J. Heinrich, P.R. Mueser et al. (2006) The effects of Welfare-to-Work Program activities on labor market outcomes. Journal of Labor Economics, 24(3), 567–607.

Egger, M., G. Davey Smith, M. Schneider en C. Minder (1997) Bias in meta-analysis detected by a simple, graphical test. British Medical Journal, 315(7109), 629–634.

Imbens, G.W. en J.M. Wooldridge (2009) Recent developments in the econometrics of program evaluation. Journal of Economic Literature, 47(1), 5–86.

Stanley, T.D. en H. Doucouliagos (2013) Meta-regression approximations to reduce publication selection bias. Research Synthesis Methods, 5(1), 60–78.

Vooren, M., C. Haelermans, W. Groot en H. Maassen van den Brink (2017) The effectiveness of active labour market policies: A meta-analysis. TIER Working Paper, 17/01.