Veni et abii
Aute ur(s ):
P.H.B.F. Franses (auteur)
De auteur is hoogleraar Econometrie aan de (auteur)
Erasmus Universiteit Rotterdam. franses@few.eur.nl
Ve rs che ne n in:
ESB, 89e jaargang, nr. 4448, pagina 589, 10 december 2004 (datum)
Rubrie k :
economentop
Tre fw oord(e n):
“Ik kwam en ik ging weer”. Zo vergaat het opvallend veel kandidaten, wanneer zij een economisch of bedrijfskundig georiënteerd
onderzoeksvoorstel indienen bij het veni-programma van de nwo. De vraag is of het opmerkelijk hoge aantal afwijzingen komt door de
beoordeling van die voorstellen of door de voorstellen zelf. In dit artikel laat ik zien dat het aan de voorstellen zelf moet liggen. Hiervoor
gebruik ik gegevens die ik zelf heb verzameld als lid van de veni-commissie.1
De binnengekomen veni-voorstellen worden als volgt behandeld. In de eerste ronde worden alle voorstellen ingedeeld in drie groepen, te
weten psychologie en pedagogiek, economie en bedrijfskunde en de groep rechten en bestuurskunde, sociologie en sociaal-culturele
wetenschappen. De voorstellen worden beoordeeld door wetenschappers uit de betreffende discipline, oftewel economen en
bedrijfskundigen vellen een oordeel over economische voorstellen. Deze eerste ronde levert een selectie op van voorstellen. De
indieners zullen in de tweede ronde worden gevraagd hun voorstel mondeling toe te lichten. In deze tweede ronde verschijnen de
kandidaten voor een commissie waarin leden zitten uit alle drie de disciplines. De voorstellen van economen en bedrijfskundigen worden
ditmaal ook door bijvoorbeeld juristen en psychologen beoordeeld.
De beoordelingen
De veni-rondes van 2003 en 2004 hebben tot op heden gegevens opgeleverd voor tweemaal een eerste ronde en eenmaal een tweede
ronde. Ik begin met ronde één. In tabel 1 staan de be-oordelingen.
Tabel 1 laat zien dat er 171 voorstellen werden ingediend en dat de meeste tot de eerste disciplinegroep behoren. Verder valt op dat erg
veel voorstellen van economen eindigen in de categorie met score 3. Een statistische toets leert dat dit verschil significant is op het 7,4procentsniveau2. Het lijkt er op dat economen anders beoordelen dan psychologen: ze zijn minder snel geneigd de scores ‘zeer goed’ of
‘goed’ te geven.
Analyse
Nu kan het zijn dat de voorstellen van economen ook daadwerkelijk minder goed zijn dan die van de andere twee disciplinegroepen. Dit
kan nu worden bestudeerd aan de hand van de uitslagen van ronde twee. Hierbij zijn immers beoordelaars uit alle drie de
disciplinegroepen betrokken. Ik beschik over gegevens van de beoordelingen van 31 voorstellen. De beoordelingen betreffen het
innovatieve karakter van het voorstel, de kwaliteit van het onderzoeksvoorstel, de kwaliteit van de onderzoeker en een gewogen
eindoordeel. In tabel 2 zet ik de scores van economen af tegen die van de grootste groep: de psychologen.3
Tabel 2. Gemiddelde beoordelingen van veni-voorstellen in de tweede ronde, waarbij wederom een lage score beter is dan een
hoge score
beoordeling
disciplinegroep
1
2
innovatieve karakter
2,05
2,75
kwaliteit voorstel
2,00
2,80
kwaliteit onderzoeker 1,60
2,05
eindoordeel
1,82
2,41
p-waarde(a)
(0,01)
(0,01)
(0,10)
(0,01)
(a) De p-waarde geeft aan of beide beoordelingen gelijk aan elkaar zijn
Uit tabel 2 blijkt dat de economen op alle aspecten behalve ‘de kwaliteit van de onderzoeker’ significant lager scoren. Er lijken dus wel
goede jonge onderzoekers te zijn in de economische en bedrijfskundige discipline, maar deze lijken niet voldoende in staat te zijn om
innovatieve en kwalitatief hoogstaande voorstellen samen te stellen, in vergelijking met de psychologische voorstellen.
De gedachte dat anderen ons niet voldoende op waarde kunnen schatten, wordt gelogenstraft door de cijfers in tabel 1.
Tabel 1. Het aantal voorstellen per disciplinegroep dat een score 1 (hoog) tot en met 5 (laag) kreeg, opgeteld over twee rondes
score
1
2
3
4
5
totaal 171
disciplinegroep
1
20
14
14
9
10
67
2
8
11
21
7
5
52
3
13
10
8
14
7
52
De economen geven elkaar onderling immers al lagere scores. Als enkele voorstellen dan toch de volgende ronde halen, dan blijkt dat
een gemengd gezelschap van beoordelaars daar niet anders over denkt.
Conclusie
De resultaten suggereren dat jonge economen het schrijven van goede en innovatieve voorstellen niet voldoende onder de knie hebben.
Ik heb de volgende suggesties. Ten eerste, denk na over economische vraagstukken die creatief kunnen worden aangepakt. Ten tweede,
maak methoden ondergeschikt aan dat vraagstuk. Je kunt wel methoden willen ontwikkelen, maar die moeten een duidelijk omschreven
doel hebben. Tot slot, volg een presentatietraining om een voorstel zo goed mogelijk uit te leggen aan een geïnteresseerd en
gemotiveerd gezelschap van beoordelaars.
Philip Hans Franses
1 Het veni-programma richt zich op post docs. De veni-beoordelingscommissie magw 2004 bestaat uit zo’n vijftien leden die afkomstig
zijn uit verschillende disciplines. Ze zijn mede geselecteerd op basis van hun brede belangstelling voor onderzoek op alle relevante
magw-gebieden. In mijn ervaring zijn de evaluaties in de tweede ronde nagenoeg zonder uitzondering unaniem.
2 Een Pearson chi-kwadraattoets voor de nulhypothese dat de kolommen dezelfde frequentieverdeling laten zien, levert de genoemde
significante waarde op. Het is ook mogelijk de tabel op te delen in drie groepen: die met hoge (1-2), midden (3) en lage (4-5) scores. In dat
geval is de significantie van de toets, waar uitkomt dat disciplinegroep twee vooral middenscores geeft, zelfs één procent.
3 Voor disciplinegroep 3 worden vergelijkbare resultaten verkregen.
Copyright © 2004 – 2005 Economisch Statistische Berichten (www.economie.nl)