In 2008 hebben Nederlandse universiteiten het vereiste onderwijsniveau voor wetenschappelijk personeel vastgelegd in de Basiskwalificatie Onderwijs (BKO). Welk effect heeft het behalen van een BKO door docenten op de onderwijsevaluaties?
In het kort
– Een Basiskwalificatie Onderwijs heeft binnen de WUR een positief effect op vak- en docentscores.
– De effecten zijn echter beperkt en vergen een forse tijdsinvestering van docenten.
– Nader onderzoek moet uitwijzen of het efficiënter is om de Basiskwalificatie te beperken tot een aantal onderdelen.
Bij de opening van het academisch jaar 2016 ontstond er enige ophef over het ontbreken van onderwijskwalificaties bij veel wetenschappelijke medewerkers (NRC, 2016). Dit ondanks het feit dat al in 2008 alle Nederlandse universiteiten het vereiste niveau voor onderwijzend personeel hebben vastgelegd in de Basiskwalificatie Onderwijs (BKO). Universiteiten bepalen de BKO-vereisten op instellingsniveau en zijn verantwoordelijk voor opleidingstrajecten, toetsing en toekenning van de BKO. Het percentage medewerkers met een BKO verschilt nogal per universiteit. Maar dit lijkt niet sterk samen te hangen met de ervaren onderwijskwaliteit door studenten. Zo heeft Wageningen University & Research (WUR) het op een na laagste percentage docenten met een BKO, terwijl het al jaren op nummer één in de Keuzegids Universiteiten staat (NRC, 2016).
Dit artikel beschrijft de opzet en resultaten van een studie uitgevoerd binnen de WUR met als doel de relatie tussen de BKO en vak- en docentscores in vakevaluaties te onderzoeken. De studie is gebaseerd op uitkomsten van meer dan 12.000 evaluaties uit acht recente collegejaren die zijn gekoppeld aan de BKO-status van betrokken docenten (kader 1).
Beginnende docenten zijn verplicht deel te nemen aan het BKO-traject, terwijl dit voor ervaren docenten sterk wordt aangeraden. Er zijn daardoor grofweg drie groepen docenten aan de WUR: ten eerste beginnende docenten die bezig zijn met het BKO-traject, ten tweede docenten met een officiële BKO-kwalificatie, en ten derde ervaren docenten zonder officiële BKO-kwalificatie (tabel 1). Deze ervaren docenten hebben veelal andere kwalificaties. Zo had de WUR al vóór de invoering van de BKO een eigen opleidingstraject voor beginnende docenten.
Vakevaluaties door studenten
Studenten van de WUR hebben na afloop van ieder vak de mogelijkheid om het vak en de betrokken docenten te evalueren. Het vak wordt beoordeeld op verschillende aspecten die te maken hebben met opzet en inhoud ervan. Er kunnen scores op een vijfpuntsschaal van helemaal oneens (1) tot helemaal eens (5) gegeven worden. Studenten beoordelen ook het vak als geheel op een vijfpuntsschaal, de zogenaamde vakscore. In dezelfde evaluatie worden betrokken docenten beoordeeld middels de docentscore op Engels, presentatievaardigheden, mate van inspiratie en gebruikte lesmethodes.
Kader 1: Het Wageningse BKO-programma
Het BKO-programma van de WUR behelst ongeveer 250 uur en richt zich op zeven competenties: vakontwikkeling, doceren, begeleiden van studenten, examinering, vakevaluatie, professionalisering en onderwijsvisie. Voor iedere deelnemende wetenschappelijk medewerker bestaat het BKO-programma uit drie thematische keuzevakken, drie blokken algemene didactiek en twee praktische opdrachten. Er zijn ongeveer twintig thematische keuzevakken, zoals bijvoorbeeld college geven, ontwerpen van groepsopdrachten, ontwikkelen van tentamens en het doceren van een online-vak. Deze thematische keuzevakken geven de docent de mogelijkheid om het programma naar zijn of haar wensen in te vullen.
Aan het einde van het BKO-programma wordt het portfolio van de docent beoordeeld en indien voldoende bevonden, ontvangt de docent het BKO-certificaat.
Factoren van invloed op vakevaluaties
De vakscore is idealiter alleen gebaseerd op de opzet en inhoud van het vak en de docentscore alleen op de geleverde prestaties van de docent. De centrale hypothese in deze studie is dat de BKO leidt tot hogere vak- en docentscores omdat docenten met een BKO beter in staat zijn hun vak in te richten en te doceren.
Verschillende studies laten echter zien dat ook andere factoren de evaluatiescores beïnvloeden, zoals bijvoorbeeld ervaring van de docent, groepsgrootte, responsepercentage en moeilijkheidsgraad van het vak. Harris en Sass (2011) concluderen uit vijftien studies dat meer ervaring van docenten meestal tot een hogere beoordeling door studenten leidt.
Een grotere groep leidt tot lagere evaluatiescores (Badri et al., 2006; Andrade en Rocha, 2012). In grotere groepen is minder persoonlijke aandacht, wat studenten als negatief kunnen ervaren. Bovendien verandert de dynamiek door de grotere groep, bijvoorbeeld omdat studenten zich meer bezwaard voelen om vragen te stellen en om deel te nemen aan discussies. Dit kan voor studenten een reden zijn om het vak een lagere beoordeling te geven.
McPherson (2006) constateert voor vakken op een hoog niveau dat de evaluatiescores negatief correleren met het responsepercentage. Een verklaring hiervoor is dat studenten zich met name laten horen wanneer een vak niet voldoet aan de verwachtingen.
Het vakniveau speelt ook een rol in de evaluaties door studenten, maar de literatuur is niet eenduidig. Chye Koh en Meng Tan (1997) vinden dat eerste- en derdejaarsvakken aan de universiteit hogere evaluaties krijgen dan andere vakken. Badri et al. (2006) vinden echter dat tweede- en vierdejaarsvakken beter worden beoordeeld.
Beschikbare gegevens en onderzoeksmethode
Voor dit onderzoek was een dataset beschikbaar van 5.107 vakscores en – omdat veel vakken door meerdere docenten worden verzorgd – 12.231 docentscores van de WUR uit de collegejaren 2007–2008 tot en met 2014–2015 (kader 2). Elke evaluatie is door minimaal acht studenten ingevuld. De grote tevredenheid van Wageningse studenten blijkt uit de gemiddelde scores in de dataset. Die schommelt in de onderzochte periode tussen 3,8 en 3,9, terwijl de gemiddelde docentscore zelfs licht steeg van 4,0 naar bijna 4,2.
Kader 2: Onderzoeksmethode
De dataset is een ongebalanceerd panel met docent als eenheid van observatie en onderwijsperiode binnen een collegejaar als tijdsindicator. Wanneer een docent betrokken is bij meerdere vakken, is de gemiddelde docentscore in die periode genomen.
Van alle docenten zijn de BKO-statussen in de dataset omgezet naar twee dummyvariabelen: BKO gestart en BKO afgerond. Daarbij wordt geen onderscheid gemaakt tussen een BKO aan de WUR of elders. Wanneer een docent is gestart met het programma, is ook de begindatum vermeld. Sommige docenten zijn gedurende de onderzoeksperiode veranderd van status doordat ze hun BKO behaalden.
De variabele Aantal vakken in periode geeft weer hoeveel vakken een docent in één periode heeft gegeven. De ervaring van een docent kan alleen binnen de dataset gemeten worden, omdat de dataset geen gegevens bevat over leeftijd of totaal aantal werkzame jaren in het (academisch) onderwijs. Daarom is voor ieder jaar dat een docent aanwezig is in de dataset, de variabele Ervaring met één verhoogd.
Het niveau van de vakken is opgedeeld in drie niveaus. Daarnaast worden zogenaamde minorvakken en vaardigheidsvakken apart onderscheiden. Een variabele die enige verduidelijking behoeft is Opmerkelijk lage evaluatiescore. Wanneer in een evaluatie bepaalde vragen opvallend laag scoren, wordt dit aangemerkt met een opmerking. Een voorbeeld hiervan is een slagingspercentage van 25 procent of een eindscore van 2,3 op een schaal van 1 tot 5. Door de wijze waarop opmerkingen gegeven worden, kan dit sterk correleren met het slagingspercentage en de eindbeoordeling van een vak.
De overige verklarende variabelen zijn het Responspercentage, het Slagingspercentage en de Groepsgrootte. Verder zijn er jaareffecten opgenomen en houdt de fixed effects-schattingsmethode rekening met constante niet-waargenomen verschillen tussen docenten.
Resultaten
Er bestaat een positief verband tussen het behalen van de BKO en de vak- en docentscore (tabel 2). Het effect op de vakscore is echter klein, een afgeronde BKO leidt tot een stijging van de vakscore van 0,05 punt op een schaal van 1 tot 5. Hierbij moet wel bedacht worden dat de vakscore een totaalscore is die ook gebaseerd is op andere docenten in een vak. De docentscore is specifiek voor de docent in kwestie en het effect van de BKO is hier dan ook groter. Docenten met een afgeronde BKO scoren gemiddeld twee tiende punt hoger op dit onderdeel.
Een gestart BKO-traject heeft weliswaar geen effect op de totale vakscore, maar hangt ook positief samen met de docentscore. Van een verstorend selectie-effect lijkt geen sprake te zijn in deze resultaten. De fixed effects-schattingsmethode houdt immers rekening met niet waargenomen docentverschillen, zoals verschillen in enthousiasme. De ervaring van de docent is niet van invloed op de scores. Dit kan echter komen doordat de onderzochte periode relatief kort is.
Wat verder opvalt is dat er veel factoren zijn die samenhangen met vak- en docentscores, maar dat de effecten veelal klein zijn. Zo scoren voortgezette bachelorvakken en vakken op masterniveau gemiddeld slechts enkele honderdste punten hoger dan inleidende bachelorvakken. Hetzelfde geldt voor specifieke minorvakken en vaardigheidsvakken. Voor docentscores zijn de effecten echter wel groter dan voor vakscores. Dat betekent dat docenten in vakken van een hoger niveau en specifieke vakken hoger scoren ten opzichte van collega’s in basisvakken, terwijl studenten tussen de vakken als geheel minder grote kwaliteitsverschillen ervaren.
Een stijging van een procent in slagings- of responspercentage maakt ook slechts enkele duizendsten uit op de scores. Interessant is daarbij wel dat het responspercentage positief samenhangt met de scores, in tegenstelling tot de verwachting dat studenten zich vooral laten horen als er iets te klagen valt, zoals geconcludeerd werd door McPherson (2006). Groepsgrootte daarentegen hangt zoals verwacht negatief samen met scores. Honderd studenten meer, leidt gemiddeld genomen tot een tiende lagere vakscore.
Er bleken ook verschillen te zijn tussen vakscores in bepaalde onderwijsperiodes en tussen verschillende jaren, waarbij met name de stijging van docentscores in de loop der jaren opviel, zeker gezien de stijging van studentenaantallen in Wageningen in dezelfde periode. De oorzaak van deze stijging is niet verder onderzocht. Dit kan een effect zijn van verbeteringen in het onderwijs in het algemeen, maar het kan ook zijn dat docenten met een BKO voorstellen doen voor aanpassingen in vakken, waarvan andere docenten ook profiteren.
Tot slot laten de waarde van R-kwadraat en de uitkomst van de test op niet-waargenomen docent-specifieke effecten zien dat een groot deel van de variatie in vak- en docentscores niet verklaard is en dat dit deels ligt aan niet-waargenomen docentkarakteristieken.
Conclusies en discussie
Voor de WUR blijkt er een positief verband te zijn tussen een afgeronde BKO en vak- en docentscores in studentenevaluaties. Tegelijkertijd zijn deze effecten in absolute zin beperkt en liggen de gemiddelde evaluatiescores al behoorlijk hoog. Het feit dat ook docenten die begonnen zijn met het BKO-traject hoger scoren, roept de vraag op hoeveel training optimaal is voor een docent om tot hogere scores te komen. Het Wageningse BKO-traject van 250 uur wordt door veel beginnende docenten als tamelijk intensief ervaren, zeker omdat onderwijs slechts een deeltijdtaak is van universitair docenten. Zo worden Wageningse docenten in tenure track geacht maximaal dertig procent van hun tijd aan onderwijs te besteden, wat neerkomt op maximaal 540 uur per jaar. Naast tijd zijn er uiteraard ook operationele kosten van het hele BKO-programma, en de vraag is of de beperkte stijging in vak- en docentscores deze kosten rechtvaardigen. Een aanbeveling is daarom om verder te onderzoeken welke onderdelen van de BKO het meest bijdragen aan onderwijskwaliteit om zo tot een optimale en kostenefficiënte opzet van het BKO-traject te komen.
Literatuur
Andrade, E.C. en B. P. Rocha (2012) Factors affecting the student evaluation of teaching scores: evidence from panel data estimation. Estudos Econômicos (São Paulo), 42, 129–150.
Badri, M.A., M. Abdulla, M.A. Kamali en H. Dodeen (2006) Identifying potential biasing variables in student evaluation of teaching in a newly accredited business program in the UAE. International Journal of Educational Management, 20(1), 43–59.
Chye Koh, H. en T. Meng Tan (1997) Empirical investigation of the factors affecting SET results. International Journal of Educational Management, 11(4), 170–178.
Harris, D.N. en T.R. Sass (2011) Teacher training, teacher quality and student achievement. Journal of Public Economics, 95(7-8), 798–812.
McPherson, M.A. (2006) Determinants of how students evaluate teachers. The Journal of Economic Education, 37(1), 3–20.
NRC (2016) Bijna 30 procent van docenten universiteit heeft geen diploma. NRC, 4 september.
Auteurs
Categorieën
