Onderwijssubsidie niet kosteneffectief
Aute ur(s ):
Leuven, E. (auteur)
Lindahl, C.M. (auteur)
Oosterbeek, H. (auteur)
Webbink, H.D. (auteur)
De auteurs zijn allen verbonden aan het nwo-onderzoeksprogramma scholar (Scholing, arb eidsmarkt en economische ontwikkeling) van de
Universiteit van Amsterdam. Leuven en Oosterb eek zijn tevens verb onden aan het Tinb ergen Instituut. H.Oosterb eek@uva.nl
Ve rs che ne n in:
ESB, 88e jaargang, nr. 4406, pagina 276, 13 juni 2003 (datum)
Rubrie k :
Tre fw oord(e n):
onderw ijs
Een recente extra subsidie voor achter-standsscholen in het basisonderwijs blijkt geen effect op leerprestaties te hebben. Desondanks
is de maatregel gecontinueerd.
Jaarlijks geeft de Nederlandse overheid ruim een half miljard euro uit aan de bestrijding van onderwijsachterstanden. Dit beleid is
onderwerp geweest van een groot aantal onderzoeken. In een onderzoek van de Algemene Rekenkamer waarin 35 van deze
onderzoeken zijn betrokken, wordt geconstateerd dat er geen relatie kan worden gelegd tussen de ontwikkeling in prestaties van
leerlingen met onderwijsachterstanden en het onderwijsachterstandenbeleid1. De Rekenkamer beveelt dan ook aan dat nader
onderzoek naar de aard en omvang van de onderwijsachterstanden alleen zin heeft als in de opdrachtverlening meer rekening wordt
gehouden met de behoefte aan informatie over beleidseffecten. Dit is een verstandige aanbeveling. Het is derhalve teleurstellend dat het
ministerie van onderwijs deze aanbeveling niet ter harte heeft genomen.
Beleid
In het Onderwijskansenplan van 2000 werd gekozen voor een meer gerichte aanpak waardoor extra geïnvesteerd werd in scholen met de
grootste achterstanden. Basisscholen met meer dan zeventig procent allochtone leerlingen kregen in 2000 en 2001 extra geld voor
personeel. Onderzoeksbureau Regioplan onderzocht in opdracht van het ministerie deze maatregel. In het rapport dat daarover is
uitgebracht is de informatie over beleidseffecten zeer summier2. Aan respondenten (directeuren van basisscholen) is gevraagd een
indicatie te geven van het effect van de extra middelen. Tachtig procent van de 147 respondenten geeft daarop aan dat deze een ‘duidelijk
positief effect’ hebben. Er is niet gevraagd waaruit deze positieve effecten bestaan. Wie denkt dat de onderzoekers hun opdracht niet
goed hebben uitgevoerd, vergist zich. De gestelde vraag over de effecten was al meer dan waar de opdrachtgever om gevraagd heeft.
Opmerkelijker is evenwel dat mede op basis van dit onderzoek is besloten om de regeling te continueren. In deze bijdrage laten we zien
dat een betere evaluatie van deze maatregel mogelijk is. De uitkomsten hiervan staan haaks op de bevinding van Regioplan3.
Continuering van de regeling is naar onze mening dan ook geen verstandige beslissing geweest. De regeling die hiervoor ter sprake
kwam is de regeling ‘Schoolspecifieke knelpunten in personeelsvoorziening’. Door deze regeling ontvingen basisscholen met minstens
zeventig procent allochtone leerlingen (de zogenoemde 1.9-leerlingen) in de schooljaren 1999-2000 en 2000-2001 een extra subsidie van
ruim Æ’ 12.000 per leerkracht over een periode van twee jaar. Scholen waren vrij in de besteding van de subsidie zolang deze ten goede
kwam aan de arbeidsomstandigheden. Deze subsidie was voor alle scholen gelijk. Alle scholen met minder dan zeventig procent
allochtone leerlingen ontvingen niets.
Ongelijke behandeling
De abrupte grens bij zeventig procent is opmerkelijk. Die betekent immers dat vrijwel identieke scholen ongelijk worden behandeld; een
school met 69,9 procent allochtone leerlingen krijgt niets, een school met 70,1 procent allochtone leerlingen krijgt het volle pond. Deze
ongelijke behandeling biedt wel een – onbedoelde – mogelijkheid om de effecten van de maatregel goed te onderzoeken. Veel
beleidsmaatregelen zijn moeilijk te evalueren door de afwezigheid van een geschikte controlegroep. Nu wordt zo’n controlegroep door de
vormgeving van het beleid aangereikt. De maatregel maakt namelijk een tamelijk willekeurig onderscheid tussen scholen met minstens
zeventig procent allochtone leerlingen en scholen met minder dan zeventig procent allochtone leerlingen. Er is geen reden om te
veronderstellen dat scholen net boven en net onder deze grens systematisch van elkaar verschillen. Het minimaal vereiste percentage
allochtone leerlingen had evengoed 65, 75 of 80 procent kunnen zijn4.
Evaluatie
Om deze subsidie te evalueren, hebben we gebruik gemaakt van drie informatiebronnen. De eerste bron betreft gegevens van het
ministerie van Onderwijs over de samenstelling van de leerlingenpopulatie van alle basisscholen in Nederland. De tweede bron is ook
afkomstig van het ministerie en geeft aan welke scholen daadwerkelijk subsidie hebben ontvangen en hoeveel. Vrijwel alle scholen die
recht hadden op de subsidie, hebben die ook gekregen. Er bleken bijna geen scholen te zijn die de subsidie ten onrechte hebben
gekregen. De derde bron zijn gegevens van het cito over de scores op de cito-eindtoets. Per school geeft dit aan hoe de leerlingen
hebben gepresteerd op de onderdelen taal, rekenen en informatieverwerking. figuur 1 geeft de relatie weer tussen de prestaties op de
cito-toets in februari 2002 en het aandeel allochtone leerlingen per school in oktober 1998. De prestaties op de cito-toets zijn daarbij
genormaliseerd naar een gemiddelde in de populatie van nul en een standaardafwijking van één. De figuur laat zien dat scholen met meer
dan tien procent allochtone leerlingen lager scoren dan het gemiddelde. Het verschil tussen de gemiddelde score van geheel ‘witte’
scholen en geheel ‘zwarte’ scholen bedraagt iets minder dan één maal de standaardafwijking. Voorts is af te lezen dat voor elk van de drie
onderdelen de gemiddelde score min of meer lineair daalt tot een aandeel allochtone leerlingen van zestig procent en daarna vrijwel
constant is. Voor de beoordeling van de extra subsidie is van belang wat er rondom het punt van zeventig procent allochtone leerlingen
gebeurt. Daarvoor zijn scholen met 70 tot 75 procent allochtone leerlingen vergeleken met scholen waar 65 tot 70 procent van de
leerlingen allochtoon is. In een kleiner interval rond de zeventig procent lijken de scholen weliswaar meer op elkaar, maar zijn er te weinig
scholen om zinvolle uitspraken te kunnen doen. Om voor mogelijke verschillen tussen scholen te corrigeren, hebben we zoveel mogelijk
beschikbare controlevariabelen opgenomen5. Voor taal vinden we op die manier een effect van de subsidie van 0,044 maal de
standaardafwijking. Voor rekenen is het effect 0,033 maal de standaardafwijking en voor informatieverwerking 0,048 maal de
standaardafwijking. In alle gevallen is de onzekerheidsmarge van deze effecten echter zo groot dat ze niet significant van nul
verschillen6. De hier gevolgde aanpak verschilt in twee opzichten van de aanpak in het onderzoek van Regioplan. Ten eerste levert onze
aanpak een geloofwaardige schatting op van wat er zonder extra subsidie gebeurd zou zijn. Ten tweede is de relevante uitkomst duidelijk
gedefinieerd.
Figuur 1. Relatie tussen de prestaties op de cito-toets (februari 2002, genormaliseerd) en het aandeel allochtone leerlingen per school
(oktober 1998)
Subsidies niet kosteneffectief
Vanwege de relatief grote standaardfouten van de geschatte effecten kunnen we een substantieel positief effect van de extra subsidie op
leerprestaties niet uitsluiten. Vergeleken met andere interventies is echter met vrij grote zekerheid uit te sluiten dat de extra subsidies een
kosteneffectieve besteding zijn geweest. In een artikel waarin Angrist en Lavy de effecten van een trainingsprogramma voor leraren
bestuderen, vinden zij dat een toename in testscores van 0,25 maal de standaardafwijking gerealiseerd kan worden voor een uitgave van
$ 12.000 per klas7. Omdat in Nederland ongeveer de helft van dit bedrag wordt uitgegeven, zou het effect ook ongeveer de helft zo groot
moeten zijn als naar voren is gekomen in het Israelische onderzoek. Dit betekent dat we een verschil van 0,11 van de standaardafwijking
zouden moeten vinden. Uit ons onderzoek blijkt echter een effect van die omvang met vrij grote zekerheid kan worden uitgesloten.
Kortom, de extra subsidie is met grote waarschijnlijkheid geen kosteneffectieve besteding van de middelen geweest. Het is spijtig dat de
beslissing om de maatregel te continueren niet op deze informatie is gebaseerd. Voordat gepleit wordt voor extra bestedingen aan
onderwijs, zou het goed zijn bestaande bestedingen aan gedegen evaluatieonderzoek te onderwerpen. Deze bijdrage laat zien dat er meer
mogelijk is dan het in kaart brengen van de subjectieve inschatting van belanghebbenden. Dit kan totaal andere conclusies opleveren.
1 Tweede Kamer der Staten-Generaal, Aanpak van onderwijsachterstanden, vergaderjaar 2000-2001, 27 020, nr. 22, blz. 4.
2 H. Beerends en S.W. van der Ploeg, Onderzoek vergoeding schoolspecifieke knelpunten, Regioplan, OA-230, Amsterdam, april 2001.
3 Zie ook het working paper The effect of extra funding for disadvantaged students on achievement,
www1.fee.uva.nl/scholar/oosterbeek.
4 In de statistische literatuur staat een dergelijk onderzoeksdesign bekend als een ‘regression discontinuity design’. Dit design kan alleen
zinvol worden gebruikt als mogelijke deelnemers geen invloed kunnen uitoefenen op de groep waarin ze terechtkomen. Hier betekent dit
dat scholen niet in staat moeten zijn om – met het oog op de subsidie – ervoor te zorgen dat ze genoeg allochtone leerlingen hebben. Om
dergelijke manipulatie te voorkomen werd vermoedelijk voor het bepalen van het percentage achterstandsleerlingen gebruik gemaakt van
de samenstelling van de leerlingenpopulaties per oktober 1998; dat is zo’n anderhalf jaar voor de aankondiging van de maatregel.
5 Dat zijn aandeel meisjes in groep 8, gemiddelde schoolomvang in 1998 en 1999, een dummy voor openbare school, een dummy voor de
vier grote steden, een indicator van het CITO voor de sociale achtergrond van de kinderen die aan de CITO-test mee hebben gedaan en
de gemiddelde CITO-score van de leerlingen van de school in 2000.
6 De standaardfouten zijn respectievelijk gelijk aan 0,102; 0,101 en 0,105.
7 J. Angrist en V. Lavy, Does teacher training affect pupil learning? Evidence from matched comparisons in Jerusalem public schools,
Journal of Labor Economics, vol. 19(2), 2001, blz. 343-369. We weten natuurlijk niet zeker of deze interventie in Nederland een zelfde effect
zou sorteren. Helaas beschikken we niet over een specifiek Nederlands ijkpunt.
Copyright © 2003 Economisch Statistische Berichten (www.economie.nl)