Morgen verschijnt het eindrapport over de wetenschappelijke fraude van Diederik Stapel. Het rapport zal waarschijnlijk aanbevelingen geven over hoe dergelijke fraude in de toekomst voorkomen kan worden. Journalisten zitten met de vraag hoe zij kunnen voorkomen dat onjuiste onderzoeksresultaten in hun krant terecht komen (Volkskrant, NRC). In mijn ogen is dat niet echt een interessante vraag. Als zelfs goede wetenschappelijke tijdschriften deze resultaten publiceren, kan niet van een journalist verwacht worden dat hij doorziet dat er fraude in het spel is. Het probleem van de pers is dat zij onderzoeksresultaten van sociaal-wetenschappelijk onderzoek vaak totaal verkeerd duiden.
Het beeld dat er lijkt te leven is dat wetenschappers onderzoek doen op basis van een vast stramien en dat uitkomsten – als dat stramien strikt is gevolgd – wetenschappelijk en dus waar zijn. Iemand die dit stramien niet volgt is dan een rommelaar. De essentie van wetenschap is echter niet de methode die wordt gevolgd. Cruciaal voor wetenschap is dat bevindingen uitgebreid worden blootgesteld aan kritiek van vakgenoten. Naarmate onderzoek deze intense kritiek meer kan doorstaan worden de bevindingen wetenschappelijk belangrijker. Ieder onderzoek heeft potentieel zwakke plekken en de inschatting van de waarde van een onderzoeksresultaat is dus gebaseerd op een inschatting van de problemen die deze zwakke plekken kunnen veroorzaken. Er bestaat geen onderzoek dat boven iedere twijfel verheven is. Zelfs als vrijwel iedereen overtuigd is van een onderzoek kan er over een paar jaar een slimme onderzoeker met tegenargumenten komen die nog niemand had bedacht.
Voor een journalist die onderzoek op een verantwoorde manier wil duiden is dus de vraag van belang in welke mate het artikel waar hij over wil schrijven aan wetenschappelijke kritiek is blootgesteld. Daar gaat het vaak mis.
Een paar voorbeelden:
Een belangenorganisatie brengt op maandag een persbericht naar buiten met daarin de bevindingen van een onderzoeksrapport dat op donderdag gepubliceerd zal worden. Radio, TV en de kranten rollen die dag over elkaar heen om de implicaties van het onderzoek te bespreken, maar een geïnteresseerde onderzoeker kan alleen wachten. Als hij dan op donderdag eindelijk het betreffende rapport kan lezen en ziet dat er heel wat haken en ogen aan de conclusies zitten is de belangstelling voor het thema al weer weggezakt.
Een onderzoekster verwijst tijdens een radio-interview, om haar argumenten kracht bij te zetten, naar resultaten uit een onderzoek dat ze heeft gedaan. Omdat het mij interessant lijkt, stuur ik haar een email met de vraag of ze het paper kan sturen. Het antwoord is dat dat helaas niet gaat omdat het paper nog niet af is.
Een landelijk dagblad brengt opmerkelijke onderzoeksresultaten als groot voorpaginanieuws. Het gaat om een statistisch gezien uiterst lastige vraag. Het onderzoek is gepubliceerd, maar in een Nederlandstalig juridisch tijdschrift. De vraag is of daar de afweging of alle statistische complicaties afdoende zijn ondervangen, in goede handen was.
Ik zit in de beoordelingscommissie van een proefschrift. Geen heel sterk proefschrift maar op zich goed genoeg om het diploma te kunnen halen. Met name de conclusies van één hoofdstuk gaan mij en enkele andere leden van de commissie te ver. Maar juist dat hoofdstuk is de volgende dag weer voorpaginanieuws.
Onderzoekers plaatsen een ingezonden brief in de krant, waarin ze wijzen op onderzoek met grote relevantie voor de maatschappelijke discussie. Ze noemen twee papers die tot dezelfde conclusies zouden zijn gekomen. Door die papers te lezen kom je er achter dat het om twee versies van hetzelfde onderzoek gaat. In dat onderzoek geven de auteurs aan – op basis van in mijn ogen zeer degelijk onderzoek – dat ze voor mannen een resultaat vinden dat tegengesteld is aan wat een groot aantal papers met een vergelijkbare methodiek eerder hadden gevonden. Voor vrouwen vinden ze het gebruikelijke resultaat. En juist dit afwijkende resultaat voor mannen is de bevinding waar deze onderzoekers in hun ingezonden brief op wijzen.
In al deze gevallen gaat het om onderzoek waarvoor onderzoekers serieus en degelijk werk hebben geleverd. Daar is niets mis mee. Ieder onderzoek kent echter ook zijn beperkingen, waardoor de betekenis van de bevindingen pas duidelijk wordt in het licht van wat al bekend is in de literatuur en wat andere onderzoekers vinden van de gevolgde aanpak.
Mijn conclusie is daarom dat de pers veel meer moet en kan doen om onderzoeksbevindingen in perspectief te plaatsen. Is dit onderzoek wel serieus onder de loep genomen door vakgenoten? Hoe beoordelen zij dit onderzoek? Waar is het onderzoek gepubliceerd? Hoe verhouden de conclusies uit dit onderzoek zich tot eerder onderzoek? En geven de onderzoekers zelf niet al duidelijk aan wat de beperkingen van het onderzoek zijn?
Auteur
Categorieën