Een rapport van het CPB over kansrijk onderwijsbeleid was deze week een stuk rood vlees voor een aantal sociologen. Met groot genoegen vlogen ze op deze prooi af omdat ze het gevoel hadden dat ze eindelijk de economen eens een lesje konden leren. De sociologie heeft de laatste decennia de boot gemist en uit frustratie verlangt men naar de goede oude tijd waarin hun vakgebied een grotere invloed had op het publieke debat en beleid.
In het rapport kansrijk onderwijsbeleid zet het CPB op basis van de literatuur “beleidsopties op een rij waarvoor overtuigende wetenschappelijke kennis over de effectiviteit beschikbaar is.” Herman van de Werfhorst en Thijs Bol noemen het rapport een economische tunnelvisie en Mark Levels vindt dat de economen een toontje lager moeten zingen. Technisch gezien is de kritiek die deze sociologen leveren op het rapport van het CPB voor een aanzienlijk deel terecht, hoewel die punten in het rapport zelf ook worden geadresseerd. De analyses van de sociologen missen echter oog voor de context, iets wat sociologen doorgaans juist heel belangrijk vinden. In de jaren tachtig had veel empirisch sociaal-wetenschappelijk onderzoek een nogal hoog prutsgehalte. Dat gold voor zowel de economie als de sociologie. Onderzoek was meer een soort debat waarbij de onderzoekers op zoek gingen naar empirische analyses die hun gelijk konden bevestigen. Er werd heel opportunistisch omgegaan met analyses en in papers werd alleen die variant opgenomen die het beste paste bij wat de onderzoeker wilde aantonen.
In de economie groeide in de jaren negentig het bewustzijn dat veel resultaten daardoor niet te vertrouwen waren en ging men op zoek naar alternatieve aanpakken voor onderzoek. Twee namen zijn hierbij van groot belang. Edward Leamer scheef in 1983 al het paper “Let’s Take the Con Out of Econometrics” dat er toe leidde dat er veel meer aandacht in empirisch economisch onderzoek kwam voor robuustheidsanalyses. Bevindingen worden pas als overtuigend gezien als verschillende statistische specificaties tot vergelijkbare conclusies leiden. En Joshua Angrist, maar ook vele andere economen, maakte de economen bewust over de vraag dat men te snel statistische verbanden als causaal interpreteerde. Het boek “Mostly harmless econometrics” staat voor een onderzoeksprogramma dat probeert duidelijkheid over empirische verbanden te krijgen zonder dat hier de vooronderstellingen van de onderzoeker maatgevend in zijn. Wie doet alsof de zorgen die economen destijds hadden ten onrechte waren, bagatelliseert een groot onderzoeksprobleem. Een probleem dat in de sociologie helaas nog veel voorkomt.
Het rapport van het CPB is één in een langere reeks rapporten dat thuishoort in deze traditie om de manier waarop empirisch onderzoek wordt gedaan te vernieuwen. Er wordt geprobeerd bevindingen bij elkaar te brengen die voldoen aan de eis dat ze niet gebaseerd mogen zijn op zware veronderstellingen van de onderzoekers of naïeve vergelijkingen. In het rapport “Experimentalism in Dutch Education Policy: experiences and lessons learned” beschrijven Trudie Schils, Inge de Wolf en ik de Nederlandse ervaringen met deze aanpak. Realiseren van deze onderzoeksdroom bleek inderdaad lastiger dan door sommigen werd gedacht. Er doen zich problemen voor die vooraf niet waren voorzien. Ook het bij elkaar brengen van de verschillende bevindingen blijkt lastiger dan gedacht. Maar dat lijkt mij normaal. De rol die het CPB de afgelopen jaren heeft gehad in het ontwikkelen van deze aanpak is heel bijzonder en van groot belang. Als we onderzoek willen verbeteren, zullen er dingen misgaan en kunnen we leren van deze fouten. Daar zijn economen ook volop mee bezig. De methodologie is sterk in beweging en in april was er bijvoorbeeld een conferentie waarin de mogelijkheden en uitdagingen van de economische aanpak om onderwijs te onderzoeken werden besproken. De punten die de sociologen noemen in hun blogs zijn voorbeelden van onderwerpen die daarbij ter discussie stonden. Daar is dus niets mis mee, maar het is ook geen nieuws. Maar metet de conclusie die ze daaraan verbinden, dat we ook al het onderzoek weer serieus moeten gaan nemen waarvan we weten dat het vaak tot onjuiste conclusies leidt, slaan ze de plank volledig mis. Als een poging om onderzoek te vernieuwen om fundamentele problemen met de vroegere aanpak te voorkomen tot problemen leidt, zou dat geen argument moeten zijn om dan maar op de oude voet verder te gaan, maar zou met vereende krachten naar nieuwe oplossingen gezocht moeten worden. Als er problemen met windmolens zijn is dat toch ook geen argument om weer kolencentrales te gaan bouwen.
De psychologie kent momenteel ook een fase van reflectie, zelfkritiek en vernieuwing, vergelijkbaar met de economie in de jaren ’90. Veel psychologen kijken met bewondering wat er op dit front binnen de economie gebeurt. Ook in de onderwijskunde neemt de interesse in deze aanpak toe. Van der Werfhorst en Bol zien gelukkig ook de meerwaarde van deze ontwikkelingen in de economie: ”de roep om een strengere visie op causaliteit maakt andere vakgebieden, waaronder de onze, scherper ten aanzien van de gebruikte onderzoeksdesigns.” Veel sociologen zijn echter helaas blijven hangen in de gewoontes van de jaren tachtig, waarbij spitsvondigheid in het debat belangrijker is dan de een solide onderzoeksmethode. De verwijzing van Mark Levels naar het meer dan twee eeuwen oude werk van David Hume is daar een mooie illustratie van. Met het oplepelen van een klassiek filosofisch werk scoor je in zijn ogen kennelijk meer punten dan met een inhoudelijke bijdrage aan de zoektocht naar betrouwbaarder en degelijker onderzoek.
Het lijkt veel onderwijssociologen een doorn in het oog dat economen steeds meer onderzoek naar onderwijs doen. Zoals veel mensen die moeite hebben met vernieuwingen deze het liefst buiten de deur houden, betwisten ze het recht van economen om over dit onderwerp te publiceren. Nuttiger zou het zijn als ze de snelle opkomst van de onderwijseconomie als een uitdaging en inspiratie zouden zien. Jaap Dronkers, de onlangs overleden onderwijssocioloog, zag het zo. Hij vertelde me dat hij veel bewondering had voor wat economen op het gebied van onderwijs zijn gaan doen. “Zij zijn gaan doen wat wij sociologen hebben laten liggen”.
Auteur
Categorieën