In Nederland eten we jaarlijks meer dan 67 miljoen oliebollen. Afgelopen week was er behoorlijk wat ophef over de jaarlijkse AD oliebollentest. Bij deze test worden de oliebollen van 160 bakkers en oliebollenkramen door een panel blind geproefd en van een score tussen de 1-10 voorzien. Bij de hoogst scorende oliebollenbakkers moesten soms dranghekken worden geplaatst om de klantenstroom in goede banen te leiden, terwijl een van de laagstscorende bakkers overwoog om een rechtzaak tegen het AD aan te spannen. Toen er daar echter ook heel veel klanten kwamen opdraven om een “loserbol” te proeven, zag hij snel van dat voornemen af. Al met al kunnen we concluderen dat de economische impact van de AD oliebollentest substantieel is. De test kan een oliebollenbakker maken of kraken. Maar hoe verantwoord is die test eigenlijk? Uit de economische literatuur over peer review weten we dat panels vaak erg subjectief zijn, in de zin dat factoren een rol spelen die niets met de kwaliteit van het product te maken hebben (Spierdijk en Vellekoop, 2009). Hoe zit dat bij deze oliebollentest? Een voorbeeld. Het AD is een Rotterdamse krant en relatief veel geteste bollen komen uit Rotterdam en omstreken. Door regionale smaakverschillen is het testpanel misschien wel onbewust bevooroordeeld naar Zuid-Hollandse of Randstedelijke bollen (“eigen bollen eerst”). En dat zou dan wel erg sneu zijn voor die oliebollenbakkers elders in het land. Gelukkig kan mijn vakgebied, de econometrie, hier uitsluitsel bieden. De resultaten zijn verrassend!
Opzet onderzoek
Allereerst heb ik de volledige gegevens van de oliebollentest 2016 van internet gescraped. Hoewel de testgegevens van voorgaande jaren ook beschikbaar zijn, heb ik me beperkt tot dit jaar. Voor elke oliebollenbakker heb ik op deze wijze de volgende gegevens: score (1-10), gewicht oliebol, vetpercentage (in laboratorium bepaald), soort bakker (kraam of bakkerij), prijs per stuk, korting (bijv. 0.1 euro korting als je 10 stuks koopt) en de plaats waar de bakker gelokaliseerd is en de bijbehorende provincie. Deze gegevens kunnen we gebruiken om een econometrisch model te schatten dat de score verklaart uit de eigenschappen van de bol (prijs, korting, gewicht, vetpercentage) en de eigenschappen van de bakker (bakkerij of kraam, plaats en/of provincie). Het is belangrijk te benadrukken dat de bollen blind geproefd worden. De panelleden weten dus niet of de bol van een kraam of een bakker komt. Evenmin weten ze uit welke plaats de bol komt of wat de prijs en het voordeel is. Wel kunnen ze natuurlijk zelf een inschatting van het gewicht en het vetpercentage maken als ze de bol in de hand houden en proeven. Voor de liefhebbers: het model dat ik hierbij gekozen heb is een proportional-odds logistic model waarbij ik de score net zoals op de website van het AD heb gecategoriseerd in de categorieën top (10-8.5), goed (8), (ruim) voldoende (7.5-6), onvoldoende (5.5-5), (zeer) slecht (4.5-3) en oneetbaar (2.5-1).
Wat statistieken
Allereerst wat simpele statistieken. De gemiddelde bol weegt 91.2 gram met een gemiddeld vetpercentage van 10.12%. De gemiddelde prijs per stuk is 93 eurocent en de gemiddelde kortingsprijs is 81 eurocent. Iets meer dan 40% van de geteste bollen komt uit Zuid-Holland en 60% uit de provincies Zuid-Holland, Noord-Holland en Utrecht (wat ik voor het gemak maar even de Randstad noem). De verhouding kramen-bakkerijen in de test is 60-40%.
Even ter info: in een uitzending van het TV programma De Rekenkamer (2014) komt de beroemde Rotterdamse oliebollenbakker Richard Visser aan het woord. Volgens hem is de winstmarge per oliebol ongeveer 50%! Dit zou neerkomen op een gemiddelde kostprijs van iets meer dan 45 eurocent. Volgens een andere oliebollenbakker bestaat slechts 20-25% van de oliebollenprijs uit de kosten voor grondstoffen. De rest is het vakmanschap, personeel en apparatuur. En dus een ruime winstmarge.
De resultaten
De resultaten van het econometrisch model zal ik hier enigszins informeel en zonder technische details beschrijven. De formele econometrische schattingen zijn op verzoek beschikbaar. De resultaten zijn best verrassend. Er zijn geen statistisch significante regionale voorkeuren in de testuitslag te vinden. Bollen uit Zuid-Holland (of uit de Randstad) worden niet significant lekkerder gevonden dan bollen uit de provincie. Ook de bollen uit enkele grote steden verschillen niet significant van de bollen uit andere plaatsen. Wel is er een significant veteffect. Hoe vetter de bol, hoe beter de score! Waarschijnlijk leidt een hoger vetpercentage tot een smeuigere en minder droge bol, wat het effect verklaart. Ook is er een significant gewichtseffect: hoe groter de bol, hoe beter de score. De overige factoren hebben geen significant effect: kraam of bakkerij maakt niet uit, prijs en voordeel evenmin. Merk op dat deze factoren voor het blind proevende panel ook niet zichtbaar zijn, terwijl gewicht en vetpercentage dat tot op zekere hoogte wel zijn. Toch wel een verrassende uitslag. Niks “eigen bollen eerst” zoals in de media wel geopperd werd (“in Amsterdam houden we nou eenmaal van kaneel in de bollen”).
Conclusie
Wil je als oliebollenbakker hoog scoren, dan moet je dus een grote, vette bol bakken. Uit het commentaar bij de testscores – dat in het econometrisch model niet is meegenomen omdat het bij lang niet alle geteste oliebollen aanwezig is – kun je ook nog concluderen dat je als bakker maar beter geen oliebol met poespas kunt bakken. Vooral geen overmatige smaakaccenten aan de bol toevoegen, niet teveel vulling maar ook niet te weinig, maar een lekkere krokante korst mag dan weer wel. Het AD panel houdt dus van een grote, vette bol zonder opsmuk. Pakt een bakker het slim aan, dan kan hij of zij volgens de eerder genoemde TV uitzending de omzet wel vervijfvoudigen middels een gunstige testuitslag. Dan moeten ze dus gaan voor een grote, vette en beetje saaie bol.
Ik heb geen regionale voorkeuren kunnen vinden in de testuitslag, maar er moet wel worden opgemerkt dat de geteste bollen geen representatieve steekproef vormen. Met name Zuid-Hollandse bollen zijn zwaar oververtegenwoordigd. Uit de econometrische literatuur weten we dat dit tot een vertekend beeld kan leiden.
Wie weet analyseer ik de testen van voorgaande jaren ook nog eens, om trends en ontwikkelingen te ontdekken. Maar voorlopig kan ik even geen oliebol meer zien.
Disclaimer
De auteur van dit artikel heeft geen banden met het AD, noch met de oliebollenindustrie. Zij houdt zelf absoluut niet van oliebollen en heeft haar laatste oliebol in de vorige eeuw gegeten.
Bronnen
Spierdijk, L., & Vellekoop, M. (2009). The structure of bias in peer voting systems: lessons from the Eurovision Song Contest. Empirical Economics, 36 (2), 403-425. DOI: 10.1007/s00181-008-0202-5
De uitslag van de AD oliebollentest 2016: http://www.ad.nl/redactie/oliebollentest/2016/lijst.html
De TV uitzending van De Rekenkamer over oliebollen: http://www.npo.nl/de-rekenkamer/11-12-2014/KN_1663955
2 reacties
Sluit mij aan bij de heer Kamminga. Leuke analyse. Maakt nieuwsgierig naar het succesvolle recept. Ik denk een beetje roomboter door het beslag (smeuig) en niet te karig met de bigarreaux of goed gewelde rozijnen (zwaarte). En het belangrijkste de temperatuur van de olie en de baktijd, net als bij frites...anyway ik eet ze ook nooit LOL.
Dank voor deze analyse. Lekker even geen belangen.