Het meten van schoolprestaties
Aute ur(s ):
Waterreus, I.M. (auteur)
Verb onden aan het nwo-Prioriteitsprogramma scholar, Universiteit van Amsterdam.
Ve rs che ne n in:
ESB, 86e jaargang, nr. 4316, pagina 538, 22 juni 2001 (datum)
Rubrie k :
Uit de vakliteratuur
Tre fw oord(e n):
scholing
Minister Hermans van Onderwijs wil scholen die goed presteren belonen met extra geld 1. Het is evenwel lastig om een goede methode
te vinden voor het meten van schoolprestaties.
In de eerste plaats zou een dergelijke methode de toegevoegde waarde van een school moeten meten, in plaats van ruwe
schoolresultaten. Dit kan bijvoorbeeld worden gedaan door de vooruitgang van leerlingen in opeenvolgende testscores te meten. Ook in
dit geval bestaat echter het risico dat toevallige omstandigheden resultaten sterk kunnen vertekenen: een blaffende hond tijdens een
toets, een griepepidemie, een storende leerling in een klas of juist een bepaalde positieve ‘chemie’ tussen een klas en een docent.
Hoewel dergelijke fluctuaties worden gedempt door de uitmiddeling van leerlingresultaten over een school, kunnen ze toch een
aanzienlijk effect hebben. De verschillen tussen scholen zijn meestal niet bijzonder groot. In de Verenigde Staten heeft bijvoorbeeld de
meeste variatie in leerlingresultaten te maken met eigenschappen van leerlingen en minder dan vijftien procent met verschillen tussen
scholen 2.
Het gebruik van testscores om scholen af te rekenen op hun prestaties brengt daarom risico’s met zich mee. Om te beginnen lopen leraren
de kans om beloond of gestraft te worden voor resultaten waar zij geen invloed op hebben. Bovendien, voor zover ranglijsten van
scholen gebruikt worden om de beste onderwijsmethoden te onderscheiden, maakt vrijwel elke onderwijsmethode kans om een keer
boven te komen drijven. Ten slotte bestaat het gevaar dat scholen zich gaan concentreren op het voorbereiden van testen ten koste van
andere lesstof.
In een recent onderzoek laten Thomas Kane en Douglas Staiger zien dat het tot stand komen van de bestaande schoolranglijsten zelfs
veel weg heeft van een loterij 3. Zij suggereren daarom een alternatieve methode om schoolresultaten te meten die betrouwbaarder is dan
de gangbare methoden. In de eerste plaats maken zij gebruik van schoolgegevens over meerdere jaren. Vervolgens ontleden zij de
variatie tussen scholen en door de tijd in drie delen: blijvende prestatieverschillen tussen scholen, steekproefvariatie en andere nietblijvende verschillen tussen scholen. Deze ontleding levert informatie op over de mate waarin blijvende verschillen tussen scholen
optreden. Ook kan worden nagegaan hoe deze verschillen gecorreleerd zijn in de tijd, over klassen en over vakken. Tenslotte kunnen met
behulp van de gewonnen informatie betere ‘gefilterde’ schattingen van schoolprestaties worden gemaakt. In deze schattingen is
gecorrigeerd voor toevallige fluctuaties. Ze maken op een systematische wijze gebruik van meerdere prestatiematen. Zo kunnen
bijvoorbeeld wiskundeprestaties worden gekoppeld aan leesvaardigheidsresultaten. Bovendien wordt gemeten over meerdere jaren. Op
deze manier wordt gebruik van ad hoc gemiddelden van meerdere jaren of indicatoren voorkomen.
Toepassing op reken- en taal-scores op basisscholen in de Amerikaanse staat North Carolina bevestigt dat de filtermethode betere
voorspellingen levert dan een ‘naïeve’ methode die alleen uitgaat van de gemiddelde vooruitgang in het laatste testresultaat. Zo bleek de
filtermethode beter in staat om op basis van scores in 1997, vooruitgang in rekenscores voor 1999 te voorspellen. Hoewel 65 scholen bij
de bovenste tien procent van zowel de filtermethode als de naïeve methode voorkwamen, deden de overige 25 scholen behorend tot de
bovenste tien procent het volgens de filtermethode beter dan gemiddeld, terwijl de bovenste tien procent uit 1997 volgens de naïeve
methode in 1999 juist slechter dan gemiddeld scoorde bij de daadwerkelijke vooruitgang in rekenscores.Het zou interessant zijn om ook
voor Nederland deze methode te gebruiken en de uitkomsten te vergelijken met die van de huidige, minder geavanceerde methoden, zoals
de kwaliteitskaart van de onderwijsinspectie. Het feit dat Nederland, in tegenstelling tot de Verenigde Staten, een vrije schoolkeuze kent,
is wel een complicerende factor, omdat daardoor een sterke zelfselectie van leerlingen plaatsvindt. Daarmee bestaat nog steeds het risico
dat schoolresultaten ten onrechte worden toegeschreven aan scholen in plaats van aan niet waargenomen kenmerken van leerlingen.
Datzelfde bezwaar geldt echter in nog sterkere mate voor de huidige vergelijkingen van schoolprestaties.
In de beleidspraktijk kunnen de gefilterde schattingen helpen om slecht presterende scholen beter te identificeren, bijvoorbeeld voor
ingrijpen door de onderwijsinspectie. Doordat de gefilterde schattingen een constanter beeld van schoolprestaties geven, wordt
vermeden dat scholen die toevallig een jaar minder scoren ten onrechte als slechte school worden gekenmerkt, en vice versa.
1 Goede school krijgt straks extra geld, de Volkskrant, 26 maart 2001.
2 Zie het Coleman-rapport: J.S. Coleman, E.Q. Campbell, C.J. Hopson, J. McPartland, A.M. Mood, F.D. Weinfeld en R.L. York, Equality of
educational opportunity, US department of health, education and welfare, Washington DC, 1966.
3 T.J. Kane en D.O. Staiger, Improving school accountability measures , NBER werkdocument, maart 2001.
Copyright © 2001 – 2003 Economisch Statistische Berichten ( www.economie.nl)