Recentelijk heeft het Ministerie van Sociale Zaken de Universiteit van Tilburg onderzoek laten doen naar de effectiviteit van de zogenaamde Werktop aanpak. Bij deze aanpak onderhouden gemeenten nauw contact met werkgevers en organiseren direct contact met WWB-ers die geschikt geacht worden voor deze werkgevers. In een video boodschap reageert staatsecretaris Jetta Kleinsma (zie http://vimeo.com/98619249) enthousiast, per slot van rekening concluderen de onderzoekers dat (1) er significant meer WWB-ers aan het werk gaan dan in de reguliere trajecten, (2) WWB-ers significant actiever worden en meer geloof in eigen kunnen hebben, en (3) dat ondernemers en kandidaten na de Werktop aanpak significant positiever zijn over de aanpak van de gemeente (zie het rapport http://www.tias.edu/kennisgebieden/detail/public-management/detail/werktop-aanpak-werkt-blijkt-uit-onderzoek).
De resultaten van de werktop aanpak klinken erg mooi en zijn zeker reden voor een feestelijke bijeenkomst. Deze is dan ook op 19 juni in Doetinchem gehouden toen tijdens de landelijke conferentie Werktop Werkt het onderzoeksrapport gepresenteerd werd. Maar we weten ondertussen dat de evaluatie van activerend arbeidsmarkt beleid heel erg lastig is. Voor een goede empirische evaluatie moeten de uitkomsten van deelnemers aan beleid vergeleken worden met identieke individuen die niet meegedaan hebben aan dit beleid. Het vinden van zo’n controle groep is erg lastig. Daarnaast moeten natuurlijk data verzameld worden met de relevante uitkomsten.
Controle groep
De meest zuivere manier om een controle groep te krijgen is door in een gerandomiseerd experiment door loting individuen te verdelen in een treatment en controle groep, oftewel individuen die meedoen en uitgesloten worden van een beleidsinterventie. In het rapport van de Universiteit van Tilburg wordt gesproken van een quasi-experiment. Normaliter betekent een quasi-experiment dat er ergens een institutie of regel is die er voor zorgt dat vergelijkbare individuen zowel in de treatment als controle groep terecht komen. Door in te zoemen op deze vergelijkbare individuen kan het effect van het beleid bepaald worden.
Op de Universiteit van Tilburg is de term quasi-experiment nogal aan inflatie onderhevig. Bij het onderzoek bestaat de controle groep uit WWB-ers die niet meegedaan hebben aan de Werktop aanpak, maar onduidelijk is waarom deze niet meegedaan hebben. Kortom er wordt op geen enkele manier gekeken naar selectieve participatie. Beide groepen blijken dan ook significant te verschillen in de verstreken uitkeringsduur. En daarnaast hebben twee van de vijf gemeenten in het onderzoek alleen vragenlijsten naar de treatment groep gestuurd. In de uiteindelijke empirische analyses worden alleen ruwe gemiddelden gepresenteerd en wordt nergens een poging ondernomen te corrigeren voor verschillen tussen beide groepen.
Enquêtes
De onderzoekers hebben besloten hun data niet te halen uit de administratie van de sociale diensten, maar om deze uit enquêtes te halen. In de treatment groep was de response rate 47%. In de controle groep was dit slechts 20%, ondanks dat de individuen in de controle groep een kadobon werd beloofd voor het invullen van de vragenlijst terwijl dit niet het geval was voor individuen in de treatment groep. Als we al zouden moeten geloven dat de treatment en controle groep uit vergelijkbare individuen bestaat, dan zorgt het grote verschil in response rate op de enquête wel voor selectiviteit.
Maar het is nog erger. De enquêtes in de controle en treatment groep blijken niet in dezelfde periode uitgezet te zijn. En daarnaast blijken in de treatment groep alleen individuen meegenomen te zijn die via re-integratie op de werkvloer terecht gekomen zijn of een reguliere baan gevonden hebben. Dus degene waar re-intergatieinspanningen zeker niet succesvol waren, werden buiten beschouwing gelaten. Terwijl in de controle groep individuen opgenomen zijn die in de uitkering zaten. Toch blijkt dat in de treatment groep uiteindelijk 69,3% (weer) een uitkering ontvangt, terwijl dit in de controle groep 71,2% is. En in de treatment groep bleek de meerderheid van degene met werk een baan gevonden te hebben voor minder dan 12uur per week te hebben.
Daarnaast geeft in de treatment groep 21,7% aan dat ze nu beter solliciteren, terwijl dat in de controle groep 27,4% is (het verschil is volgens de onderzoekers significant). Het verschil in vertrouwen dat ze werk gaan vinden is niet significant verschillend tussen beide groepen, maar in de controle groep geeft 40,1% aan dat ze nu positiever naar zichzelf kijkt, terwijl dat significant lager is in de treatment groep. De onderzoekers lijken dus nogal een loopje te nemen met hun eigen resultaten als zij concluderen dat de Werktop aanpak tot significant meer uitstroom, actiever sollicitatiegedrag en meer geloof in eigen kunnen leidt.
Conclusie
Of de Werktop aanpak werkt, zoals de onderzoekers op basis van hun “quasi-experiment” concluderen? Ik hoop het, want het idee klinkt sympathiek, maar ik durf op basis van dit onderzoek geen conclusies te trekken. Ik weet alleen dat het Ministerie van Sociale Zaken de lat een stuk hoger moet leggen als het om onderzoek naar de evaluatie van activerend arbeidsmarktbeleid gaat. Wat beangstigender is, is dat de hoofdonderzoekster afgelopen maand tot kroonlid van de SER benoemd is. Gegeven dit rapport lijkt mij dat geen goede ontwikkeling voor verder stappen richting evidence-based arbeidsmarktbeleid.
Auteur
Categorieën