Naar wie moeten we dan luisteren?

Naar wie moeten we dan luisteren?
Aute ur(s ):
Glesjer, H. (auteur)
Heyndels, B. (auteur)
De eerste auteur is werkzaam aan de Facultés Universitaires Notre Dame de la Paix, Namen en de Vrije Universiteit Brussel. De tweede auteur
werkt aan Vakgroep Micro-economie van de Vrije Universiteit Brussel. Met dank aan Michel-Etienne Van Neste voor het ter b eschikking stellen
van de gegevens.
Ve rs che ne n in:
ESB, 86e jaargang, nr. 4298, pagina 228, 9 maart 2001 (datum)
Rubrie k :
Tre fw oord(e n):
informatie

De volgorde van beoordeling van musici of bedrijven blijkt van cruciale invloed op wie als beste wordt beoordeeld. Kunnen
consumenten op experts vertrouwen?
Zowel liefhebbers van klassieke muziek als liefhebbers van populaire muziek verkiezen goede boven slechte muziek. Wanneer ze
naar een concert gaan, wensen ze hun schaarse middelen, tijd danwel geld, optimaal aan te wenden. Helaas bestaat er niet zoiets als
een objectieve standaard om goede muziek te identificeren. Het is voor de consument die de culturele bijlage in zijn dagblad openslaat
bijgevolg zeer moeilijk om te achterhalen welke de ‘beste’ concerten zijn binnen het enorme aanbod. Concertmuziek is een
ervaringsgoed (‘experience good’). Dit houdt in dat het voor de consument moeilijk is om op voorhand te weten of een concert de moeite
loont. Na het concert, bij het verlaten van de concertzaal, weet hij of zij dit allicht wél.
Om dit informatieprobleem te bekampen – een consument kan bezwaarlijk álle concerten bijwonen – kan de consument beroep doen op het
advies van experts. De situatie is niet uniek voor de muziekwereld. Ook bijvoorbeeld de consument die een restaurant binnenstapt, hoopt
op een geslaagde lunch of diner. Ook voor hem is het geen sinecure om een goede voorspelling te maken van de prijs/kwaliteitverhouding van een gegeven restaurant. Expert-advies, bijvoorbeeld uitgedrukt via Michelin-sterren, kan de consument helpen bij zijn
keuze.
In de wereld van de klassieke muziek vormen muziekwedstrijden één van de instituties via welke kwaliteitslabels worden gecreëerd 1. In
wat volgt bespreken we de totstandkoming van expert-opinies in de Koningin Elisabethwedstrijd voor viool en piano (KEW). We
illustreren hoe de expert-opinies worden beïnvloed door het kader waarbinnen ze tot stand komen. Daartoe analyseren we de resultaten
van de KEW-edities voor viool en piano over de periode 1956-1999 2.
Expert-opinies
Expertadvies inzake klassieke muziek kan verschillende vormen aannemen. Een consument kan zich laten leiden door de opinie van
muziekrecensenten. Het betreft hier veelal een (eigengereide) opinie van één individu. In andere gevallen kan het expert-advies de opinie
weerspiegelen van meerdere experts. Dergelijk advies wordt bijvoorbeeld gegenereerd via muziekwedstrijden. Een goede klassering in
een wedstrijd betekent dat een musicus een positieve beoordeling kreeg van meerdere experts. Hij of zij krijgt zo een kwaliteitslabel
opgekleefd. De consument kan hieruit afleiden dat het bijwonen van een concert de moeite loont.
Rangschikking via wedstrijden
In muziekwedstrijden neemt de expert-opinie de vorm aan van een rangschikking van kandidaten. Twee technologieën komen daarbij aan
bod. In de eerste plaats is er de technologie die toelaat dat individuele experts hun opinie vormen. Vervolgens is er de technologie die de
respectievelijke opinies aggregeert tot één rangschikking. In wat volgt, besteden we aandacht aan de eerste technologie, namelijk deze
waarbij individuele juryleden in een muziekwedstrijd de kandidaten beoordelen.
De technologie van de opinie-vorming door een individuele expert is een uiterst complex psychologisch proces waarbij de individuele
prestaties van de deelnemende musici de belangrijkste input vormen. In een ideale wereld is de productie van dergelijke opinies
gebaseerd op volledige informatie en volkomen gedecentraliseerd: experts reizen de wereld af en wonen M*Co*O concerten bij. Daarbij
geeft m het totale aantal muzikanten in de wereld; Co is het aantal mogelijke concertprogramma’s en O is het aantal denkbare
omstandigheden, zoals klimaat, toeschouwersaantallen, akoestiek, enzovoort. Het voordeel van een dergelijk productieproces is dat de
expert-opinie tot stand komt op een efficiënte wijze, dat wil zeggen, onafhankelijk van de manier waarop de informatie wordt verzameld.
Het nadeel is dat dit praktisch onmogelijk is! De productie houdt haast oneindige kosten in, want experts zouden enkele miljoenen
concerten moeten bijwonen.
Het organiseren van muziekwedstrijden is dan een haalbaar alternatief. Een wedstrijd centraliseert de productie van de expert-opinie in
tijd én ruimte. Dit bespaart heel wat kosten. Mogelijk, echter, gaat dit ten koste van de efficiëntie en dus van de kwaliteit van het expertadvies.

De wedstrijd
De KEW wordt jaarlijks georganiseerd in Brussel. In een cyclus van vier jaar worden respectievelijk een wedstrijd voor viool, piano, zang
en compositie georganiseerd 3. De KEW loopt over drie ronden, namelijk de eerste schiftingsronde, de halve finale met 24 deelnemers en
tenslotte de eindronde. Voor de eindronde dienen de twaalf laureaten behalve een solowerk en een concerto naar keuze tevens een
onuitgegeven concerto te vertolken.
De KEW behoort tot de meest prestigieuze en veeleisende in haar genre. De ongeveer vijftien leden tellende jury bestaat uit de meest
vooraanstaande musici. Bovendien getuigt het wedstrijdreglement van de indrukwekkende inspanningen van de organisatoren om de
kwaliteit van het expert-advies te maximaliseren.
Vertekening
Zoals gesteld vormt het organiseren van muziekwedstrijden een haalbaar alternatief voor het hypothetische model waarbij individuele
juryleden de wereld rondreizen en een haast oneindig aantal concerten bijwonen. De haalbaarheid heeft echter een prijs: mogelijk
beïnvloedt de manier waarop de wedstrijd wordt georganiseerd de eindrangschikking van de deelnemers en krijgen de consumenten dus
‘vertekende’ informatie. Anders uitgedrukt: mogelijk zijn de twaalf finalisten van de KEW niet de twaalf beste muzikanten ter wereld (of in
de KEW-volgorde).
Om te weten waar mogelijke invloeden zich doen gelden, kunnen we de KEW vergelijken met het hypothetische model van volledige
informatie. In tegenstelling tot dit model, worden in de finale van de KEW niet M*Co*O, maar wel 12*1*1 concerten geëvalueerd: twaalf
finalisten brengen ieder één concert binnen één set van omstandigheden. Mogelijke vertekeningen van de informatie die de KEW
verstrekt moeten dus verband houden met de respectieve stappen van m naar twaalf; van Co naar één en van O naar één. Dit gaat als
volgt:
» M: in het ideale model worden alle musici geëvalueerd; in de KEW is dit slechts een subset. Het spreekt voor zich dat – indien de beste
musici ter wereld niet deelnemen aan de wedstrijd – ze dan niet tot de finalisten zullen behoren. De aantrekkingskracht van de KEW op de
musici en de mogelijke zelfselectie van kandidaten zullen de kwaliteit van de expert-opinies van de KEW beïnvloeden.
» Co: de KEW rangschikking is gebaseerd op één concert dat de finalisten geven. Mogelijk geeft dit onvoldoende informatie voor de
juryleden om een ‘finaal’ oordeel te vellen.
» O: kew-finalisten brengen één concert onder één gegeven set van omstandigheden. Door de centralisatie in ruimte en plaats, zullen
heel wat omstandigheden gelijk zijn voor de finalisten, al kunnen uiteraard ‘optimale omstandigheden’ verschillen van musicus tot
musicus.
Het is één van de centrale doelstellingen van het reglement van de KEW om de omstandigheden waaronder de musici optreden gelijk te
maken. Echter, volledig identieke omstandigheden creëren is niet mogelijk. Zo is het bijvoorbeeld praktisch onmogelijk dat alle musici op
hetzelfde moment optreden. Ze moeten één na één komen. De finale loopt over zes avonden waarop telkens twee finalisten aantreden. De
volgorde waarin de musici aantreden wordt bepaald door lottrekking.
Volgorde-effecten
Uit tal van uitlatingen van gewezen finalisten van de kew kunnen we afleiden dat er belang wordt gehecht aan een “goede lottrekking” 4.
De meningen omtrent wat onder deze term nu precies dient te worden verstaan, lopen wel eens uiteen. Het feit echter dat er zoiets als een
‘goede lottrekking’ zou zijn, laat het bestaan vermoeden van een verband tussen de volgorde van optreden en de klassering van
kandidaten door de wedstrijdjury.
Het ‘vermoeden’ van dergelijk verband is ruimer dan de specifieke context van de KEW. Iedere docent die mondelinge examens afneemt,
kent het fenomeen. Meer formeel, zijn volgorde-effecten bekend in verschillende disciplines. Zo kent men in de politieke wetenschappen
het bestaan van zogenaamde ballot position effects waarbij het aantal voorkeurstemmen dat een bepaald politicus behaalt mede afhangt
van de plaats die hij krijgt toegewezen in de lijst, alsook van de layout van het kiesbiljet. Ook in de psychologie, de marketing en, meer
algemeen, bij alle survey-onderzoek is het fenomeen bekend.
Wie het eerst komt…
Het bestaan van zeer sterke volgorde-effecten wordt geïllustreerd in figuur 1. Daarbij maken we gebruik van alle wedstrijdresultaten over
de periode 1956-1999. Op de horizontale as lezen we de orde van optreden. Deze gaat van één tot twaalf. Op de verticale as lezen we de
gemiddelde plaats die bereikt werd door alle finalisten 5. Bijvoorbeeld: alle kandidaten die als eerste optraden op de eerste dag van de
finale, eindigden gemiddeld 8,75ste. Diegenen die als tweede optraden en dus de eerste wedstrijddag afsloten, eindigden gemiddeld als
6,23ste, enzovoort.

Figuur 1. Gemiddelde rangschikking in volgorde van optreden
figuur 1 vertoont een opmerkelijk ‘zaagtand’-patroon. Kandidaten met een ‘even orde van optreden’ (diegenen die als tweede, vierde,
zesde, enzovoorts, optraden), halen systematisch een beter resultaat dan diegenen met een ‘oneven orde’. Enkel voor de twaalfde
kandidaat is dit verschil weinig uitgesproken. Dit is een overduidelijke illustratie van een ‘dag-effect’: kandidaten in orde twee, vier,
enzovoort, zijn immers die welke als tweede optraden op een dag! De beste resultaten worden gehaald door kandidaten met orde tien. Dat
zijn de finalisten die als tweede optreden op de vijfde wedstrijddag. Gemiddeld halen deze een 4,73ste plaats: méér dan vier plaatsen beter
dan de musici die de wedstrijdfinale openen! De figuur geeft – zij het veel minder uitgesproken – ook het weekeffect aan: naarmate de
wedstrijd vordert halen kandidaten doorgaans een beter eindresultaat 6.
Verklaringen
Het is met de beschikbare informatie onmogelijk om de eigenlijke oorzaken van de vastgestelde effecten te meten. Mogelijk liggen
psychologische wetmatigheden aan de grondslag van het fenomeen: mogelijk is een artiest die als eerste moet optreden meer
gestresseerd, mogelijk reageert het publiek anders, mogelijk speelt het orkest meer ontspannen naarmate de avond vordert en mogelijk
evalueren juryleden milder op het einde van een avond wanneer – door vermoeidheid – hun aandacht voor technische tekortkomingen
verslapt. Voor het weekeffect kan, behalve analoge psychologische fenomenen, ook de aanwezigheid van het opgelegde werk in het
programma een rol spelen. Het is denkbaar dat de taak van de juryleden bij het begin van de wedstrijdweek – wanneer ze het werk voor
het eerst horen – veel moeilijker is. Allicht geldt hetzelfde voor het orkest, dat op de laatste wedstrijddag tenslotte twaalf uitvoeringen
heeft gebracht, hetgeen allicht de routine en de flexibiliteit om in te spelen op de laureaat ten goede komt. Anderzijds kan er natuurlijk
nonchalance optreden.
Probleem speelt overal
Waar brengt dit ons? Enerzijds is er de onmiskenbare vaststelling dat een fenomeen als het dag- en weekeffect bestaat. Dit betekent dat
de informatie die de KEW geeft vertekend is, want de informatie, dat wil zeggen, de klasseringsvolgorde van de finalisten, zou anders zijn
mochten dezen in een andere volgorde aantreden! Anderzijds kennen we niet de werkelijke oorsprong van het fenomeen. Een oplossing
ligt dus niet voor de hand. De consument die wil weten welke pianist of violist hij bij voorkeur moet gaan beluisteren, krijgt via de KEWrangschikking hooguit een vertekend beeld krijgt van de ‘echte’ opinie van de juryleden. De kind-en-badwater-analogie indachtig,
betekent zulks uiteraard niet dat de KEW-informatie waardeloos is. Integendeel, wij zijn van mening dat de KEW-rangschikking, ondanks
de ‘ruis’ zeer waardevolle informatie onthult.
Meer algemeen, en rekening houdend met de enorme inspanningen die de organisatoren van de KEW zich getroosten, illustreert onze
analyse de moeilijkheid om ‘expert-opinies zonder ruis’ tot stand te brengen 7. Dit geldt allicht ook in diverse sectoren van de economie.
Bij de uitreiking van Michelin-sterren, film-Oscars, turnmedailles, veiligheidscertificaten en ISO-attesten aan bedrijven worden experts
geconfronteerd met de inherente beperkingen van de toekenningsprocedure. De ‘ruis’ is tenslotte ook welbekend in de academische
wereld: voorbeelden van artikelen die – nadat ze geweigerd werden door gerenommeerde tijdschriften – elders werden gepubliceerd en nu
als baanbrekend worden bestempeld, zijn legio.
Een oplossing?
De minimalisering van de ruis vergt een zeer kritische uittekening van de procedures die worden gehanteerd door de respectieve
organisaties die de kwaliteitslabels toekennen. Technieken die opinies van meerdere experts samenbrengen kunnen hierbij helpen,
evenals het waar mogelijk objectiveren van de evaluatiecriteria. Wanneer echter – zoals in de KEW – de subjectiviteit van de beoordeling
cruciaal is, lijkt ‘ruis’ haast even onvermijdelijk als de zwaartekracht.
De aanwezigheid van ‘ruis’ dient de consument aan te zetten om kritisch te blijven en waar mogelijk meerdere expert-signalen te
vergelijken

1 Dergelijke labels zijn óók ervaringsgoederen, waarbij de consument via ‘consumptie’ kan leren welke labels de beste garanties bieden.
2 H. Glejser en B. Heyndels, The efficiency and inefficiency in the ranking in competitions: the case of the Queen Elisabeth Music
Contest, Journal of Cultural Economics, 2001, te verschijnen.
3 Om alle misverstanden te vermijden: uiteraard is het verstrekken van expert-informatie niet het enige – zelfs niet het eerste – doel van de
KEW. Muziekwedstrijden zijn in de eerste plaats zeer specifieke evenementen die, net als sportwedstrijden, aan een welbepaalde
marktvraag tegemoet komen.
4 Zie interviews met ondermeer Kees Kooper, Frans Brouw, Jean-Claude Vanden Eynden, Marjeta Korosec en Rian De Waal in: F.
Brouwers, De koniginnewedstrijd, Brussel, BRT, 1987.
5 Sinds de Wedstrijdeditie van 1995 worden enkel de eerste zes finalisten gerangschikt. Voor onze berekeningen gingen we er daarom

vanuit dat de ‘niet geklasseerde’ finalisten op plaats 9,5 eindigden [(7+8+..+12)/6].
6 Beide effecten blijven statistisch significant, ook in een ruimer (ordered probit)-model waarbij de rangschikking van de laureaten niet
enkel wordt verklaard door hun volgorde van optreden, maar ook door andere potenti ële determinanten (zie H. Glejser en B. Heyndels,
2001, op. cit.).
7 De volgorde-effecten waren niet de enige vorm van ‘ruis’ die we vonden. De rangordening van de KEW bleek ook op significante wijze
beïnvloed door de aard van het keuzeconcerto (oudere of zeer populaire werken vallen systematisch minder in de smaak van de
juryleden) alsook door het feit of een vertolker man of vrouw is (in piano-edities van de KEW eindigen vrouwelijke finalisten doorgaans
op een slechtere plaats) en tenslotte door de nationaliteit (vóór de val van de Berlijnse muur eindigden finalisten uit de Sovjet-Unie
systematisch hoger). Voor een gedetailleerde discussie, zie Glejser en Heyndels, 2001, op cit.

Copyright © 2001 – 2003 Economisch Statistische Berichten (www.economie.nl)