In het voorjaar van 2020 waren basisscholen vanwege de corona-crisis twee maanden gesloten. Leerlingen moesten thuis hun schoolwerk doen en kregen online les. Een belangrijke vraag is in hoeverre dat invloed had op hun leerprestaties. Op basis van gegevens van Limburgse basisscholen ontstaat er een eerste beeld.
In het kort
– De toetsresultaten in mei en juni zijn flink gedaald ten opzichte van eerdere jaren.
– De daling van de toetresultaten is vooral groot in groep 3 en bij begrijpend lezen.
– We vinden geen systematische verschillen tussen beter en slechter presterende leerlingen.
In het voorjaar van 2020 waren basisscholen vanwege de coronacrisis twee maanden gesloten. Leerlingen kregen online les en moesten thuis hun schoolwerk doen. Een aantal studies voorspelden dat dit zou kunnen leiden tot een aanzienlijke leerachterstand, vooral bij achterstandsleerlingen (Azevedo et al., 2020; Burgess en Sievertsen, 2020). Engzell et al. (2020) vinden hier in een eerste analyse van de toetsresultaten inderdaad aanwijzingen voor.
Tijdens de lockdown bleek inderdaad dat leerlingen vaak minder uren aan hun werk besteedden dan op school, en dat de omstandigheden thuis niet altijd optimaal waren. Grewenig et al. (2020) laten op basis van tijdsbestedingsdata zien dat Duitse leerlingen maar de helft van de gebruikelijke tijd aan school besteedden. In Nederland zeiden leerlingen in het basisonderwijs dat ze per dag 3,4 uur aan school hadden besteed (Bol et al., 2020). Die tijdsbesteding had ook te maken met het opleidingsniveau van de ouders. Laagopgeleide ouders geven aan dat ze hun kind minder goed kunnen helpen, maar zulke leerlingen krijgen dan weer wel betere steun van school.
In dit onderzoek hebben we de toetsresultaten van mei en juni gebruikt en vergeleken met de scores in de afgelopen jaren, om vast te kunnen stellen wat de impact van de lockdown op de toetsresultaten was. Het betreft hier de toetsgegevens van de Limburgse basisscholen van groep 1 tot en met groep 7 voor rekenen, begrijpend lezen, technisch lezen en spelling. Het gaat hierbij om de methode-onafhankelijke toetsen, ook wel toetsen van het leerlingvolgsysteem genoemd. Op basis van eerdere leerprestaties van de leerlingen schatten we in welke toetsresultaten men onder normale omstandigheden zou kunnen verwachten en vergelijken die met de werkelijke toetsresultaten.
Data
Voor het onderzoek is er gebruikgemaakt van data uit de OnderwijsMonitor Limburg. Deze is onderdeel van de Educatieve Agenda Limburg, een samenwerking tussen de Universiteit Maastricht, Open Universiteit, Zuyd Hogeschool, Fontys Hogeschool, de Limburgse mbo-instellingen, de schoolbesturen in het primair en voortgezet onderwijs, en de provincie Limburg. Voor de OnderwijsMonitor Limburg verzamelen we elk jaar de toetsgegevens van Limburgse leerlingen op de basisschool.
Minder toetsen
Normaal staan er in mei en juni vele toetsen voor leerlingen gepland. Dit jaar gingen echter de basisscholen pas in mei weer open. Bij het weer openen van de scholen werden er veel minder leerlingen dan gebruikelijk getoetst, omdat veel scholen eerst weer in hun normale ritme wilden komen. Voor een deel van de leerlingen zijn toen de toetsen niet doorgegaan, maar voor anderen zijn alle of een gedeelte van de toetsen nog wel afgenomen. Ongeveer een derde van de toetsen van het Leerlingvolgsysteem werd wel afgenomen.
Voor een analyse van het effect van de schoolsluiting op de toetsresultaten is het relevant om rekening te houden met deze lagere toetsdeelname, aangezien de getoetste populatie wel eens heel anders van samenstelling zou kunnen zijn dan gebruikelijk. Tabel 1 laat zien welk deel van de leerlingen in mei en juni minstens één toets heeft gemaakt, en geeft tevens het aandeel voor 2019.
In 2020 neemt het percentage leerlingen dat in mei en juni werd getoetst behoorlijk af ten opzichte van 2019. Deze afname is vooral groot bij de groepen 1, 2 en 8, waarbij er in 2019 al relatief weinig getoetst werd. In groep 3 tot en met 7 dalen de percentages getoetste leerlingen van boven de 90 procent naar 63,2 (groep 3) tot 46,0 (groep 7). Hier geldt: hoe hoger de groep, hoe lager het percentage getoetste leerlingen.
Tabel 2 laat van leerlingen die in mei of juni een toets hebben gehad, per groep zien hoeveel toetsen ze gemiddeld gehad hebben. In de groepen 1, 2 en 8 hebben de leerlingen die in 2020 wél getest zijn ongeveer evenveel toetsten gehad als in 2019. In groep 3 t/m 7 halveert ongeveer het aantal toetsten per leerling. Hier wordt nog twee derde van de leerlingen getoetst, maar bij hen wordt gemiddeld ongeveer de helft van de toetsen afgenomen.
In totaal wordt er in 2020 in mei en juni nog 51,7 procent van de leerlingen getoetst ten opzichte van 2019, en deze leerlingen krijgen nog 60 procent van de toetsen die ze in 2019 kregen. Alles bij elkaar betekent dit dat nog 31 procent van de toetsen is afgenomen.
Tabel 3 laat zien welke soort toetsen er zijn gemaakt. In 2019 waren de Drie Minuten Toets voor technisch lezen, de toets voor rekenen en de toets voor spelling de meest afgenomen toetsen. In 2020 wordt ongeveer de helft van het aantal toetsen voor technisch lezen uit 2019 afgenomen. Bij de toetsen rekenen en spelling loopt dit terug tot ongeveer een derde van de afnames in 2019.
Gezien deze statistieken schatten we de effecten in van de lockdown bij technisch lezen, rekenen, spelling en begrijpend lezen voor groep 1 t/m 7. Groep 8 laten we daarbij weg vanwege het beperkte aantal afgenomen toetsen. De ‘AVI-toets’, waarmee ook technisch lezen wordt getoetst, leent zich niet voor onze analyse omdat de timing van de afname afhangt van de vorderingen van de leerlingen, en het merendeel van de afnames niet plaatsvindt in mei en juni.
Methode
We willen de score die een leerling haalt, bijvoorbeeld op de toets voor technisch lezen aan het einde van groep 4, vergelijken met een eerdere score van die leerling. Omdat het de toets aan het eind van groep 4 betreft, wordt deze aangeduid met E4. Eerder in het jaar hebben veel leerlingen al een vergelijkbare toets gedaan in januari of februari. Omdat dit het midden van het jaar is, wordt deze aangeduid met M4. In mei en juni van het jaar ervoor hebben deze leerlingen E3 gemaakt (einde groep 3). Er zijn verschillende versies van toetsen in omloop. We gebruiken in de analyse alleen waarnemingen waarbij in beide jaren eenzelfde versie is gebruikt. In het overgrote deel van de gevallen is dat zo.
Omdat in 2020 een groot deel van de leerlingen niet getoetst wordt, en het toetsen bovendien niet altijd klassikaal plaatsvindt, moeten we in de vergelijking rekening houden met een selectieprobleem in 2020. In 2019 was er van zo’n selectiviteit geen sprake. Uit onze analyses blijkt dat als een leerling in 2020 lager scoort voor M4 dan te verwachten was op basis van E3, de leerkracht in 2020 eerder geneigd is om E4 af te nemen in mei en juni. Als gevolg van dit selectie-effect hebben leerlingen die in 2020 E4 wel maken, vaak opvallend lage scores op M4. Het tegenvallende resultaat in januari of februari was dan waarschijnlijk een eenmalige gebeurtenis, bijvoorbeeld doordat de leerling een slechte dag had. Om dit selectieprobleem uit te sluiten, vergelijken we de toetsscore van E4 met de resultaten van de leerlingen bij E3.
Aan de hand van de geschatte curves over 2016–2019 schatten we voor leerlingen in 2020 op basis van hun toetsscore in 2019, welke toetsresultaten onder normale omstandigheden verwacht zouden kunnen worden. Het verschil tussen de scores die de leerlingen in 2020 werkelijk behaalden en de scores die ze naar verwachting in 2020 zouden hebben behaald, geeft een indicatie van het effect van de lockdown op de leerprestaties.
Omvang opgelopen achterstand
We zien over het algemeen dat de scores voor de toetsen in 2020 gedaald zijn ten opzichte van 2019. Over alle leerlingen gezien, is de score voor technisch lezen in 2020 bijvoorbeeld gemiddeld 2,8 toetspunten lager dan in 2019.
Ook in eerdere jaren worden er soms verschuivingen in de toetsscores gevonden. Tot op zekere hoogte zouden de dalingen in 2020 dus ook aan andere factoren kunnen liggen. De dalingen zijn nooit zo groot als die we in 2020 zien. Een groot deel van de daling is dus waarschijnlijk toe te rekenen aan de lockdown.
Er zijn twee manieren waarop de omvang van de dalingen in perspectief geplaatst kunnen worden: door de daling te delen door de spreiding van de toetsresultaten in hetzelfde jaar (of te wel de effect size), of door te kijken naar de vooruitgang van de leerlingen in dit jaar ten opzichte van de progressie van hun voorgangers in eerdere schooljaren.
Effect size
De effect size is de meest gebruikelijke manier om de invloed van de lockdown te duiden. Deze wordt bepaald door de daling in de toetsscore te vergelijken met de spreiding van de score onder leerlingen, uitgedrukt als de standaarddeviatie.
Voor technisch lezen E4 is in 2020 de standaarddeviatie 19,3. De daling is dus 2,815 / 19,3 = 14,6 procent van een standaarddeviatie. Dit is een substantieel verschil. Ter vergelijking: als op de eindtoets basisonderwijs alle leerlingen 14,6 procent van een standaarddeviatie lager zouden scoren, dan zouden 4,4 procent minder leerlingen naar het vwo gaan en 5,9 procent meer leerlingen naar het vmbo, wanneer de eindtoets het uitgangspunt is bij de plaatsing van de leerlingen.
Figuur 1 geeft de schattingen voor alle vakken. De effecten in de kleutergroepen blijken vrij klein te zijn. In groep 3 nemen de effecten echter behoorlijk toe. De reden hiervoor zou kunnen zijn dat in groep 3 een belangrijke start wordt gemaakt met de basisvakken die worden getoetst, terwijl de leerlingen mogelijk nog onvoldoende basis hebben om zelfstandig aan de leerstof te werken. Globaal gezien daalt de omvang van het effect van de lockdown naarmate het om een hogere groep gaat. De grootste uitzondering is begrijpend lezen, waarbij het negatieve effect van de lockdown in groep 7 weer behoorlijk hoger wordt. In deze groep worden de grootste negatieve effecten gevonden voor rekenen en spelling.
Onze geschatte dalingen zijn wat hoger dan die van Engzell et al. (2020). Zij kijken naar de effecten van de Nederlandse lockdown voor groep 4 t/m 7 wat betreft alle toetsen gezamenlijk, en vinden een daling van acht procent van een standaarddeviatie. Maldonado en De Witte (2020) schatten juist een groter effect voor Vlaanderen, namelijk 19 procent van een standaarddeviatie voor wiskunde en 29 procent voor Nederlands.
Leergroei
Als tweede manier om de daling van de toetsscores in perspectief te plaatsen, kijken we naar de relatieve vooruitgang van leerlingen dit jaar ten opzichte van de normale groei per jaar. De vaardigheidsscores van de Cito-toetsen maken gebruik van een schaal die vergelijkbaar is tussen de groepen. Daarom kan er bekeken worden hoe groot de gemiddelde groei per jaar normaal gesproken is.
Gemiddeld genomen gaan leerlingen van 33,5 bij E3 naar 60,2 bij E4. Dat betekent dat de opgelopen achterstand voor technisch lezen 2,815 / (60,2 − 33,5) = 10,5 procent van de gemiddelde jaargroei is. Rekening houdend met twee maanden vakantie per jaar, zou dat dus ongeveer een maand achterstand betekenen. Daar komt nog bij dat de toets in 2020 gemiddeld twee weken later werd afgenomen. Als dat ook wordt meegerekend is de achterstand anderhalve maand.
Figuur 2 geeft de resultaten voor alle vakken. Omdat er een vergelijking gemaakt moet worden met de toetsscores in het voorgaande jaar, kan dit effect ten opzichte van de leergroei niet worden berekend voor het eerste jaar waarvoor we cijfers hebben. Doordat de leergroei vooral in de laagste groepen hoog is, en leerlingen geleidelijk minder gaan groeien op de schalen van de toets, worden de effecten van de lockdown over het algemeen groter in de hogere groepen.
Als we ervan uitgaan dat leerlingen in de twee maanden lockdown ongeveer twintig procent van de jaarstof hadden moeten leren (uitgaande van tien schoolmaanden per jaar), dan volgt uit de schattingen dat er per saldo niets is geleerd als de schatting van het negatieve effect van de lockdown lager is dan −20 procent. Dat gaat dan steeds, met uitzondering van groep 6, om een kwestie van begrijpend lezen. In groep 5 gaat het om −33 procent en in groep 7 om −42 procent. Dat zijn dus behoorlijk tegenvallende resultaten: de leerlingen hebben dan niet alleen geen progressie geboekt, maar lijken zelfs achteruit te zijn gegaan.
Bij de meeste andere toetsen is het negatieve effect minder groot dan −20 procent, maar gaat het vaak ook om aanzienlijke leerverliezen. Het feit dat de toets gemiddeld twee weken later is afgenomen dan gebruikelijk, wordt hierbij nog niet eens meegenomen. Voor alle vakken, behalve begrijpend lezen, is de leerachterstand dus kleiner dan wat normaal gesproken in twee maanden kan worden geleerd.
Daarmee vinden we een wat kleiner negatief leergroeieffect dan Engzell et al. (2020), die ook een vergelijking maken met de gemiddelde leergroei per jaar. Zij gebruiken daarvoor echter geen gegevens van de specifieke toets, maar algemene schattingen van de Wereldbank en de Europese Commissie.
Geen verschillen goede en slechte leerlingen
Bij de analyses van de toetsresultaten is er ook steeds gekeken of de negatieve effecten van de lockdown groter zijn voor leerlingen die in het verleden relatief laag scoorden, of in het verleden juist hoger scoorden. Slechts in een aantal gevallen vinden wij significante effecten – en het patroon daarbij is niet consistent. Soms hebben de hoog-presterende leerlingen juist een grotere achterstand in vergelijking met eerdere jaren, en soms is het effect voor de lager-presterende leerlingen groter. Onze resultaten bevestigen dus niet de zorg dat juist de minder presterende leerlingen het meeste last hebben gehad van de lockdown.
Conclusie en discussie
Er zijn flinke onderwijsachterstanden opgelopen in het basisonderwijs gedurende de lockdown. In veel gevallen is een aanzienlijk deel van de normale leergroei in de twee maanden van de lockdown niet gerealiseerd. Vooral in groep 3 zijn de negatieve effecten groot. Wat betreft begrijpend lezen is de opgelopen achterstand zelfs groter dan de verwachte progressie in de twee maanden van de lockdown. Hier lijken de leerlingen per saldo hun kennis dus deels te zijn verloren. Als ervan uit wordt gegaan dat de opgelopen achterstand alleen kan worden ingelopen door voldoende tijd in deze vakken te steken, dan is er dit schooljaar nog een flinke inspanning nodig om die achterstanden weer weg te werken.
Literatuur
Azevedo J.P., A. Hasan, D. Goldemberg et al. (2020) Simulating the potential impacts of COVID-19 school closures on schooling and learning outcomes: a set of global estimates. World Bank Policy Research Working Paper, 18 juni.
Bol, T., B. Belfi en L. Borghans (2020) Thuisonderwijs tijdens de corona-crisis. Ministerie van OCW Rapport, 30 juni.
Burgess, S. en H.H. Sievertsen (2020) Schools, skills, and learning: the impact of COVID-19 on education. Artikel op voxeu.org, 1 april.
Engzell, P., A. Frey en M. Verhagen (2020) Learning inequality during the Covid-19 pandemic. SocArXiv Papers, oktober. Te vinden op osf.io.
Grewenig, E., P. Lergetporer, L. Woessmann en L. Zierow (2020) COVID-19 and educational inequality: how school closures affect low- and high-achieving students. CESifo Working Paper, 8648.
Maldonado, J.E. en K. De Witte (2020) The effect of school closures on standardised student test outcomes. KU Leuven Discussion Paper, 20.17.
Auteurs
Categorieën
