De pers is goed in het opblazen van wetenschappelijke bevindingen. De Wereld Draait Door is misschien wel Nederlands kampioen. De manier waarop de pers met onderzoek omgaat verraadt een denkfout over wat wetenschap eigenlijk is. Als één groep onderzoekers een opmerkelijk resultaat vindt, gaat men er van uit dat het definitief wetenschappelijk bewezen is. Het idee is kennelijk dat er zoiets bestaat als DE wetenschappelijke aanpak en dat als je die aanpakt volgt, een onbetwistbare conclusie volgt. Alsof er een kookboek bestaat waarin wetenschappers precies kunnen lezen hoe ze het aan moeten pakken, om met zekerheid iets vast te kunnen stellen.
Wetenschappelijk onderzoek is echter vooral een creatief proces. Voor vragen waarvan we denken dat die niet of moeilijk te beantwoorden zijn, bedenkt de onderzoeker een mooie aanpak en voor zaken die we met zekerheid denken te weten, bedenkt de onderzoeker een argument waarom dat toch niet hoeft te kloppen. Wat dit creatieve proces wetenschappelijk maakt, is de voortdurende dialoog tussen onderzoekers. De een heeft een probleem, de ander bedenkt een oplossing en weer een ander bekijkt die oplossing en komt met een goed argument waarom die oplossing misschien niet tot het juiste antwoord leidt. Kennis en inzichten die lang vol weten te houden in dit creatieve proces krijgen zo een hogere mate van zekerheid.
Dinsdag werd bij De Wereld Draait Door een onderzoek gepresenteerd over het effect van de starter op de tijd van een schaatser bij de 500 meter sprint. Ook de Volkskrant, NOS Sport, en NRC Handelsblad brachten dit nieuws. Hoe langer het duurt voor de schaatser van start kan, hoe langer zijn tijd en dus hoe slechter zijn race. Hieronder staat de grafiek uit het betreffende artikel in Frontiers in Psychology dat gebaseerd is op de 500 meter sprint bij mannen en vrouwen tijdens de Olympische Spelen in Vancouver 2010. Het effect is erg groot. Bij de dames betekent een seconde langer stilstaan, een gemiddeld 0.67 seconde langere race. De onderzoeker aan tafel, oud-schaatser Beorn Nijenhuis, pleitte daarom voor strakkere startprocedures. De manier waarop de starter de race start, kan het verschil betekenen tussen de eerste of de vijfde plaats. Andere schaatsers die als gast aan tafel zaten of door de NOS werden geïnterviewd, hadden hun bedenkingen bij de resultaten van het onderzoek of de conclusies die daaraan werden verbonden. Nijenhuis vond dat wetenschap serieus moest worden genomen. Hij vond het raar om te gaan discussiëren in een talkshow over iets dat wetenschappelijk vast was komen te staan. Hij maakte de vergelijking met het debat over de opwarming van de aarde. Terwijl de wetenschap duidelijk aangeeft dat de mens mede de oorzaak is van deze opwarming, zijn er nog steeds politici die hier een andere mening over hebben.
Het grote verschil lijkt mij dat het bij deze schaatsanalyse gaat om een enkele grafiek, terwijl de opwarmingsdiscussie met recht een discussie genoemd kan worden, waarin vele wetenschappers zich kritisch hebben gebogen over de vele analyses die zijn gedaan. De auteurs geven dat zelf ook aan. Het artikel is geplaatst als perspective article: “Perspective articles present a viewpoint on an important area of investigation. They focus on a specific field or discipline, and discuss current advances or future directions, and may include original data as well as personal insights and opinions.” Verder schrijven ze in het artikel dat er mogelijk ook andere verklaringen voor het getoonde verband kunnen zijn en dat dit daarom verder onderzocht moet worden.
Het is creatief om te kijken naar het verband tussen de duur van de startprocedure en de tijd die de schaatser neerzet, maar deze analyse roept ook nog de nodige vragen op. Is het resultaat van de race echt beter doordat de start kort duurde, of duurt de startprocedure korter bij de betere schaatsers? Om dat te bekijken zou je kunnen kijken of de duur van de startprocedure ook de tijden bij andere wedstrijden voorspelt. Als dat zo is dan kan de duur van de startprocedure niet puur toeval zijn, maar zijn het inderdaad de betere schaatsers die in kortere tijd starten. Het mooie van de 500 meter sprint is dat dit makkelijk getest kan worden. De 500 meter bestaat immers uit twee rondes en we kunnen dus kijken of de starttijd in de eerste ronde niet alleen de racetijd in de eerste, maar ook in de tweede ronde voorspelt. Dat blijkt zo te zijn. De auteurs van het artikel waren zo vriendelijk om mij hun data te sturen, zodat ik dit kon bekijken. Onderstaande grafieken laten in groen het verband tussen de duur van de startprocedure en de race zien, zoals dat ook in het artikel is opgenomen. In rood heb ik daar aan toegevoegd het verband tussen de starttijd in de ene ronde en de racetijd in de andere ronde. De starttijd van de eerste ronde voorspelt dus nu de racetijd van de tweede ronde en de starttijd van de tweede ronde de racetijd van de eerste ronde. Voor iedere seconde die de startprocedure bij vrouwen langer duurt, doet de schaatster gemiddeld 0.67 seconde langer over de betreffende race, maar ook 0.51 seconde langer over de andere race. Het effect is dus iets kleiner als gekeken wordt naar de andere race, maar dit verschil is niet significant. Bij mannen duurt dezelfde race gemiddeld 0.20 seconde langer en de andere race 0.23 seconde langer als de startprocedure een seconde langer in beslag neemt. Ook dit verschil is niet significant.
De starttijdenanalyse biedt dus een interessante kijk op schaatswedstrijden, maar het laatste woord is hier nog niet over gezegd. Cruciaal is dat er eerst meer onderzoekers naar deze samenhang kijken, voordat de conclusie wordt getrokken dat de starter echt een grote invloed op de resultaten heeft. Ook de feedback van mensen uit de praktijk is hierbij erg nuttig, zoals uit de interviews uit dit schaatsvoorbeeld bleek. Wat dat betreft is er een belangrijk cultuurverschil tussen economie en psychologie. Mede dankzij het werk van Edward Leamer is er in de economie een gewoonte ontstaan waarbij onderzoek al voor het wordt gepubliceerd van alle kanten op robuustheid en plausibiliteit wordt getest. Van auteurs wordt verwacht dat ze naast de hoofdanalyse ook robuustheidschecks toevoegen aan hun paper en door het onderzoek al vooraf in working papers te circuleren en in seminars te presenteren, wordt het commentaar van andere onderzoekers al verzameld en verwerkt voor publicatie. Voor het uiteindelijke proces hoeft het niet uit te maken welke aanpak wordt gevolgd, als de noodzakelijke wetenschappelijke discussie maar niet achterwege blijft. Sommige psychologen zijn overigens jaloers op hoe economen dit doen, al betekent het wel dat het veel langer duurt voordat papers in economie worden gepubliceerd.
Het betreffende paper is:
Dalmaijer ES, Nijenhuis BG and Van der Stigchel S (2015) Life is unfair, and so are racing sports: some athletes can randomly benefit from alerting effects due to inconsistent starting procedures. Front. Psychol. 6:1618. doi: 10.3389/fpsyg.2015.01618*
Auteur
Categorieën