onderwijs
Onderwijskwaliteit aan
Nederlandse universiteiten
In discussies over de onderwijskwaliteit wordt continu
beweerd dat deze daalt. In dit onderzoek wordt aangetoond
dat er juist een stijging is van de ervaren onderwijskwaliteit.
Een verdere stijging kan vooral worden gerealiseerd door het
primaire onderwijsproces te verbeteren.
S
tudentenevaluaties van universiteiten worden steeds belangrijker. De scores per opleiding worden elk jaar openbaar gemaakt
in Elsevier. Aankomende studenten gebruiken deze scores bij de keuze van hun universiteit.
Het is dus belangrijk voor een opleiding om hoog te
staan in de hieruit resulterende ranglijst. Maar waar
wordt de uiteindelijke evaluatie van een opleiding
aan een bepaalde universiteit nu op gebaseerd?
Speelt bijvoorbeeld onderwijskwaliteit echt een
belangrijke rol of is het voor de student veel belangrijker dat er goede faciliteiten, zoals computerzalen
zijn? Daarnaast wordt vaak beweerd dat het onderwijsniveau achteruit gaat. Maar vinden de studenten
dat ook? In dit artikel zullen de studentenevaluaties
worden bestudeerd. Hierbij wordt eerst bekeken of
de evaluaties tussen universiteiten en studierichtingen verschillen. Vervolgens wordt nagegaan of
er een positieve dan wel negatieve ontwikkeling is
in de studentenevaluaties. Daarna wordt modelmatig onderzocht welke elementen van de opleiding
(bijvoorbeeld onderwijs, faciliteiten, organisatie) de
evaluaties vooral beïnvloeden. Tenslotte worden, vanwege het grote aantal studenten dat economie- en
bedrijfskunde opleidingen volgt in Nederland, en de
economische focus van dit tijdschrift, de evaluaties
van deze opleidingen nader onderzocht.
Onderzoeksmethode
PHILIP HANS FRANSES
EN PETER VERHOEF
Hoogleraar Erasmus
U
 niversiteit Rotterdam,
hoogleraar Rijksuniversiteit Groningen
600
ESB
In dit onderzoek is voor zes jaar gegevens over studentenevaluaties van opleidingen aan verschillende
universiteiten verzameld uit de jaarlijkse uitgave van
het weekblad Elsevier waarin deze gegevens gerapporteerd worden. Dit geeft een steekproef van 835
waarnemingen. In dit onderzoek worden studenten
van verschillende opleidingen en universiteiten
gevraagd de totale opleiding te beoordelen met een
rapportcijfer van 1 tot en met 10. Daarnaast wordt
gevraagd om verschillende elementen van de opleiding een rapportcijfer te geven. Er wordt eerst bekeken hoe deze scores verschillen tussen verschillende
universiteitssteden, opleidingsgroepen (alfa zoals
letteren, bèta zoals natuurkunde en gamma zoals
economie) en of de scores verschillen over de zes
jaren heen. Vervolgens wordt de uiteindelijke evalu-
5 oktober 2007
atie verklaard. Hiervoor worden de evaluaties over de
volgende procesonderdelen: faciliteiten, inrichting
van de opleiding, docenten, onderwijs, toetsing en
de organisatie, gebruikt als verklarende variabelen.
Verschillen tussen universiteiten
In de eerste analyse wordt onderzocht of er daadwerkelijk verschillen bestaan in evaluaties tussen
universiteiten. De vraag hierbij is of er universiteiten
zijn die over de zes jaren significant hoger scoren
dan andere universiteiten. In figuur 1 worden de
gemiddelden van de universiteiten weergegeven.
De universiteiten worden beoordeeld op een schaal
van 1 (zeer ontevreden) tot en met 10 (zeer tevreden). Statistisch gezien verschillen de scores van
de universiteiten significant van elkaar. Opvallend is
echter wel dat verschillen tussen de universiteiten
relatief klein zijn. De TU Delft scoort met een 6,86
het laagst, terwijl Wageningen het hoogst scoort met
een 7,39. Dit is een verschil van iets meer dan een
half punt. Wageningen en Delft hebben echter een
zeer specifieke richting: landbouw en techniek. Bij
de bredere universiteiten zijn de verschillen kleiner.
De scores liggen daar rond de 7,1. Studenten zijn
dus redelijk tevreden over de aan deze universiteiten
aangeboden opleidingen.
Ontwikkelingen over de tijd
In het maatschappelijke debat is er een continue discussie over de kwaliteit van het onderwijs. Zo gingen
in 2005 duizenden studenten naar Den Haag om
te demonstreren voor een betere onderwijskwaliteit.
Maar is er daadwerkelijk sprake van een verslechterende onderwijskwaliteit aan universiteiten, althans
volgens de studenten zelf? Om dit uit te zoeken zijn
de gemiddelden per jaar bekeken. De resultaten van
deze analyse staan in figuur 2. De scores lijken over
de tijd licht te stijgen, en dus lijkt er geen bewijs
voor dalende evaluaties van opleidingen te zijn. Dit
betekent nog niet dat de objectieve kwaliteit niet is
afgenomen. Zo kunnen de eisen voor een opleiding
verlaagd zijn, of kunnen aangeboden vakken minder
zwaar geworden zijn. De resultaten laten alleen zien
dat studenten de kwaliteit van de opleidingen over
de tijd gemiddeld iets beter waarderen.
Verschillen tussen typen opleidingen
Bij universitaire opleidingen wordt vaak het onderscheid gemaakt tussen alfa-, bèta- en gammaopleidingen. De beoordelingen van deze typen
opleidingen verschillen significant van elkaar.
Alfa-opleidingen scoren gemiddeld het hoogst met
een score van 7,1, terwijl bèta-opleidingen gemiddeld een 7,10 scoren.
De grote gamma-opleidingen, zoals
economie, scoren relatief het laagst
met 6,99.
Determinanten van evaluaties
De resultaten
laten alleen zien
dat studenten de
kwaliteit van de
opleidingen over
de tijd gemiddeld
iets beter
waarderen
Tot nu toe is in dit artikel vooral
gekeken naar verschillen tussen universiteiten en type opleidingen en de
ontwikkelingen over de tijd. Maar hoe
zouden de evaluaties kunnen worden
verbeterd? Moet er bijvoorbeeld meer
aandacht worden besteed aan de faciliteiten of moet er vooral geïnvesteerd worden in de
onderwijskwaliteit door bijvoorbeeld training van docenten? Om het effect hiervan te bepalen worden de
totale scores op de scores van onderliggende kwaliteitselementen zoals faciliteiten (computers, locatie
tentamens), inrichting van de opleiding (keuzemogelijkheden in opleiding, stagemogelijkheden, studeren
buitenland), docenten, kwaliteit van het onderwijs,
de toetsing van kennis (aansluiting tentamens bij
studiestof), en de organisatie (communicatie naar
student en roosters), geregresseerd.
In het regressiemodel worden naast deze scores ook
universiteit, evaluatiejaar, en het type studie meegenomen. Dit wordt gedaan om te zien of de al gerapporteerde gevonden verschillen tussen universiteiten,
evaluatiejaren, en opleidingstypen blijven bestaan,
ook wanneer gecontroleerd wordt voor de scores op
onderliggende elementen.
In tabel 1 worden alleen de coëfficiënten met bijbehorende significantieniveaus voor de onderliggende
elementen gerapporteerd. De grootte van de coëfficiënt laat zien, wat het mogelijke effect zou kunnen
zijn van een mogelijke verandering in de beoordeling van een element op de totale evaluatie. Omdat
er geen veranderingen gemodelleerd worden over
de tijd, moet daar wel voorzichtig mee omgegaan
worden. Alle meegenomen elementen hebben een
significante invloed op de totale evaluatie (P-waarde
<0,01) De kwaliteit van het onderwijs heeft de
grootste coëfficiënt met een waarde van 0,28. Dit
betekent dat wanneer een opleiding een punt hoger
scoort op de factor onderwijs, de totale evaluatie
0,28 hoger is. Vervolgens zijn er een aantal elementen van een opleiding, die een ongeveer even grote
invloed hebben, en dat zijn de docenten, de aangeboden faciliteiten en de inrichting van de opleiding. De
beoordeling van de organisatie en de toetsing hebben
een relatief beperkte invloed.
Zoals aangegeven zijn in de analyse ook variabelen
meegenomen die controleren voor de universiteit,
het type opleiding en het jaar van de evaluatie.
Opvallend is dat er geen significante verschillen
tussen universiteiten gevonden worden. Dit lijkt erop
te wijzen, dat de verschillen tussen universiteiten
vooral ontstaan door de verschillen in beoordeling
van de onderliggende elementen, zoals onderwijs
en faciliteiten. Er zijn echter nog steeds significante
verschillen over de tijd. De resultaten bevestigen de al getoonde
stijging van de totale evaluaties over de tijd. Dus ook wanneer
gecontroleerd wordt voor de ontwikkeling in de scores op aspecten van een opleiding, blijft er een stijging in de totale evaluatie
zichtbaar. Deze stijging is echter wel kleiner. Dit wordt veroorzaakt doordat er ook stijging zichtbaar is in onderliggende dimensies, zoals het onderwijs zelf.
Economie en bedrijfskunde
In de laatste analyse in dit artikel wordt specifiek ingegaan
op de situatie bij economie- en bedrijfskunde-opleidingen aan
Nederlandse universiteiten. Wanneer de totale evaluaties over de
jaren geanalyseerd worden zonder rekening te houden met scores
op onderliggende elementen (zie figuur 3), scoort Maastricht het
hoogst, de UVA het laagst, en tussen deze twee universiteiten zit er een significant verschil van 0,4 punt. De verschillen zijn dus relatief klein. Tilburg scoort
gemiddeld genomen ongeveer 0,1 punt lager dan Maastricht. Erasmus, VU en
figuur 1
figuur 2
Evaluaties van universiteiten, gemiddeld over jaren en opleidingen
(N=835)
Gemiddelde evaluaties van universitaire opleidingen in Nederland per jaar.
(N=835)
ESB
5 oktober 2007
601
Utrecht bevinden zich in de middenmoot. Ook bij de economie- en
bedrijfskunde-opleidingen is er een stijgende lijn in de evaluaties
zichtbaar. Gemiddeld genomen is in 2006 de evaluatiescore 0,4
punt hoger dan in 2000.
Voor de economie- en bedrijfskunde-opleidingen is ook gekeken
naar de invloed van de verschillende elementen. De resultaten
van deze analyse staan in tabel 2. Ook bij economie- en bedrijfskunde-opleidingen is de onderwijskwaliteit het meest van belang.
Opvallend is wel dat inrichting van de opleiding minder belangrijk
is in vergelijking met de analyse voor alle opleidingen (zie tabel
1: 0,10 versus 0,19). Ook in deze analyse blijkt weer dat het
effect van de universiteit wegvalt als de scores op verschillende
elementen van de opleiding meegenomen worden.
tabel 1
De kleinere
bèta- en alfaopleidingen
worden beter
gewaardeerd
dan de grotere
gammaopleidingen
Effect van aspecten van een opleiding op de totale evaluatie van een
u
 niversitaire opleiding (R 2 =0,98) (N=835)
Verklarende varabele Coëfficiënt P-waarde
Faciliteiten
0,18
<0,01
Inrichting opleiding
0,17
<0,01
Docenten
0,19
<0,01
Onderwijskwaliteit
0,28
<0,01
Toetsing van kennis
0,07
<0,01
Organisatie
0,10
<0,01
figuur 3
tabel 2
Evaluaties van opleidingen economie en bedrijfskunde gemiddeld over
jaren (N=91)
Effect van aspecten van een opleiding op de totale evaluatie van een
e
 conomie of bedrijfskunde opleiding (R2 =0,98) (N=91)
Verklarende varabele Coëfficiënt P-waarde
Faciliteiten
0,19
<0,01
Inrichting opleiding
0,12
<0,01
Docenten
0,19
<0,01
Onderwijskwaliteit
0,28
<0,01
Toetsing van kennis
0,10
<0,01
Organisatie
0,10
<0,01
602
ESB
5 oktober 2007
Conclusies
Universiteiten scoren verschillend
op evaluaties, maar deze verschillen
zijn wel relatief klein. Wageningen
komt gemiddeld het best uit de bus,
terwijl Delft het laagst scoort. De
vraag is echter of deze verschillen
totaal veroorzaakt worden door een
betere onderwijskwaliteit of juist ook
gedeeltelijk ontstaan door verschillen tussen studenten en de omgeving van de universiteit. Zo zouden
studenten in Maastricht positiever
kunnen zijn vanwege hun expliciete
keuze voor het specifieke onderwijssysteem van Maastricht. De uitgevoerde analyse kan
deze oorzaken niet uitsluiten. De kleinere bèta- en
alfa-opleidingen worden beter gewaardeerd dan de
grotere gamma-opleidingen. Vast staat wel dat de
oordelen van de studenten sinds 2000 elk jaar wat
meer positief zijn. De kwaliteit van het onderwijs is
de belangrijkste determinant van de totale evaluatie
van een opleiding, met op een ruime afstand gevolgd
de kwaliteit van de docenten staf. De organisatie van
de opleiding heeft maar een relatief beperkte invloed
op de totale evaluatie van het onderwijs. Een belangrijke conclusie, voor wat het de studenten betreft, is
dus dat universiteiten zich vooral moeten richten op
het primaire proces en dat is onderwijs. Tot slot is er
geen bewijs voor de veelgehoorde uitspraak dat het
onderwijs als minder goed ervaren wordt, door de
nadruk op onderzoek.