Het komt weinig voor dat een studie aandacht krijgt omdat een effect NIET wordt aangetoond. Volgens de bijstandsexperimenten in verschillende gemeenten, handzaam samengebracht in deze CPB-notitie, lijkt dit echter wel het geval: het ontheffen van bijstandsgerechtigden van hun zoekverplichtingen heeft statistisch gezien geen negatief effect op de uitstroom naar werk. Een brede groep onderzoekers die betrokken was bij de experimenten in diverse steden concludeert dan ook dat “de belangrijkste resultaten vooral te vinden [zijn] in wat ze niet laten zien” (zie Sanders et al., 2020).
Experimenteel onderzoek geldt doorgaans als een van de meest harde vormen van bewijsvoering. Bij een goed uitgevoerd experiment zijn de behandelgroep en controlegroep immers willekeurig geselecteerd en zeer goed vergelijkbaar. De gemeenten Groningen, Utrecht, Wageningen, Deventer, Nijmegen en Tilburg hebben allen op willekeurige wijze drie typen behandelingen (ontheffingen, extra aandacht, extra financiële prikkels) toebedeeld groepen bijstandsgerechtigden, met gebruikmaking van een controlegroep waarvoor de uitvoering van de bijstand niet veranderde. In ieder gemeente werd dus één van de behandelgroepen ontheven van alle bijstandsverplichtingen.
Een eenvoudige vergelijking van deze specifieke behandelgroep met de controlegroep leert nu dat in Utrecht en Wageningen geen statistisch significant verschil is in baankansen (zie Tabel 5.1 op bladzijde 23 van het CPB rapport). Dit druist in tegen de vermeende veronderstelling dat verplichtingen – en de naleving ervan – nodig zijn om bijstandsgerechtigden te activeren naar werk.
Meting waarvan eigenlijk?
Zo helder als de uitkomsten van de experimenten lijken, zo weerbarstig is de interpretatie echter. Dat begint met de constructie van controlegroepen in de gemeenten. De impliciete aanname is dat de bijstandsgerechtigden uit de controlegroep in alle betrokken gemeenten momenteel te maken hebben met streng opgelegde verplichtingen. Maar is dit ook zo?
Circa 75 procent van de bijstandsgerechtigden in Nederland heeft al meer dan twee jaar een uitkering en beschikt waarschijnlijk dus over weinig arbeidsvermogen (SCP 2019). Gemeenten erkennen dit door deze personen laag op de zogenoemde “participatieladder” in te delen, de afstand tot de arbeidsmarkt is dan te groot om met sollicitaties te overbruggen. Voor zover er dus verplichtingen gelden, zal dit vooral gaan om het meewerken aan re-integratie, een tegenprestatie of plaatsing in beschut werk. Blijkens de eindevaluatie van de Participatiewet van het SCP is de inzet van dit soort instrumenten echter gering. En in het specifieke geval van de tegenprestatie vond het CBS (2018) in 2018 dat maar 8 procent van de bijstandspopulatie hieraan voldoet.
De vraag is dus of het wel een verschil maakt als bijstandsgerechtigden tijdens het experiment van hun verplichtingen ontheven worden. In de uitgangssituatie is het moeilijk voor te stellen dat klantmanagers al hun cliënten flink achter broek zaten. Een cynicus zou zelfs kunnen stellen dat het ontheffingsexperiment een “codificatie” is van al bestaande uitvoering. In dat licht bezien is het niet zo verrassend dat er geen effecten zijn gevonden.
Effecten moeilijk aantoonbaar bij geringe aantallen
De tweede vraag waar ik bij de bijstandsexperimenten mee worstel, is wat statistische insignificantie precies betekent. Strikt genomen geldt dan dat de gemiddelde baankansen van de behandel- en controlegroep niet genoeg van elkaar afwijken. De zeggingskracht van zo’n uitspraak is echter sterk afhankelijk van de omvang van die groepen. Of andersom geredeneerd: welk verschil in uitkomsten zou nodig zijn geweest om bij de huidige groepsgroottes wél tot statistische significantie te komen?
Laten we voor het antwoord op deze vraag het voorbeeld van de gemeente Utrecht nemen. Hier bestond de behandelgroep met ontheffing uit 189 bijstandsgerechtigden en er was een controlegroep van 188 bijstandsgerechtigden. Het geschatte (positieve) verschil in de kans op werk van minimaal 27 uur in de week is 1.8 procentpunt, met een standaardfout van 2.6 procentpunt. Dat betekent dat bij een effect van plus of min 5.2 procentpunt sprake is van significantie (dit zien we ook terug in Figuur 5a op pagina 42 van de CPB-notitie, waarin een totale bandbreedte van schattingen van circa 10 procentpunt geldt).
Nu zult u misschien zeggen dat een effect van 5 procentpunt niet zo hoog is en dus haalbaar zal zijn. Maar bedenk dat van de bijstandsgerechtigden in de controlegroep in totaal maar 6 procent (!) werk heeft van minimaal 27 uur, gemeten twee jaar na de start van het experiment. Met andere woorden: alleen een toename van de baankans van circa 80 procent of een afname van ook circa 80 procent is nodig om statistische significantie te bereiken.
Gezien de beperkte omvang van de behandel- en controlegroepen is het dus bijna onmogelijk om statistische significantie aan te tonen. In dit licht bezien is het een prestatie van formaat dat in een enkel geval – voor de baankans op werk van minimaal 12 uur in de week – toch nog een statistisch significant effect is gevonden voor de andere behandelgroepen.
Al met al heeft het dus wel iets onbevredigends als gemeenten nu de experimenten gebruiken als argument voor versoepeling van de bijstand. Mocht er wel een schadelijk effect zijn van ontheffingen, dan lijkt het me naïef te veronderstellen dat dit met deze experimenten boven tafel was gekomen. En mocht de ontheffing juist een stimulerende werking hebben gehad, dan is ook dit nauwelijks aantoonbaar bij de huidige groepsgroottes en gegeven de uitgangssituatie van de controlegroep. De experimenten zijn dan een gemiste kans geweest voor alle vurige pleitbezorgers van versoepeling – dus juist ook als zij gelijk hebben!
Auteur
Categorieën