Ga direct naar de content

Statistische significantie?

Geplaatst als type:
Gepubliceerd om: juni 26 2012

Op 25 juni 2012 kwam er weer een hoogleraar in het nieuws die had gefraudeerd door middel van data massage. Hij had zijn data zo gemanipuleerd opdat het resultaat statistisch significant zou zijn. Waarom eigenlijk? Ook als een onderzoek niet statistisch significant is kan het wetenschappelijke betekenis hebben.
Als wetenschapper raakt een fraude me en dat komt niet alleen omdat het de reputatie van de wetenschap raakt. Fraude vraagt om reflectie. De uitkomst van deze reflectie kan zijn dat het gedrag uitsluitend aan het individu wordt toegeschreven: ‘mij of ons zou dit echt nooit gebeuren’. Mogelijk is deze redenering correct en gaat het hier om een uniek geval. En handelingen van individuen kunnen nooit zonder meer veralgemeniseerd worden, daar zijn volgens mij alle wetenschappers het wel over eens. KNAW voorzitter Hans Clevers, die op radio 1 over deze hoogleraar aan de tand werd gevoeld, maakte dat punt ook. De journalisten vroegen zich af of de publicatiedruk in de wetenschappelijke wereld niet bepalend was geweest. Uit de ‘wetenschappelijke wereld’ hadden zij vernomen dat dat een dominante factor zou kunnen zijn. Clevers betwijfelde dat. Er waren tot nu toe slechts enkele, nauwelijks een handvol, wetenschappers die zich hieraan schuldig hadden gemaakt. En bovendien hoort publicatiedruk bij een competitieve wetenschappelijk wereld. Wie de wetenschappelijke wereld in gaat, moet deze publicatiedruk kunnen weerstaan. Ik denk dat hij gelijk heeft. En zelfs als publicatiedruk een verklaring zou zijn, dan is het nog geen legitimatie voor frauduleus handelen.
Tegelijkertijd is het te makkelijk om deze discussie in de kiem te smoren door te zeggen dat het om een individueel geval gaat. Want ook van individuele gevallen kunnen we leren. Dat publicatiedruk wordt geopperd als reden zou in ieder geval een motivatie moeten zijn om het te onderzoeken.  Zonder meer veronderstellen dat de zaken niets met elkaar te maken hebben is net zo onwetenschappelijk als het bij voorbaat veralgemeniseren. Het lijkt me op z’n minst een hypothese die getest kan worden. Maar wat te doen als er geen significante relatie is tussen fraude en de publicatiedruk?
Ingrijpen om er voor te zorgen dat er wel een significante relatie is, is geen optie. Laten we ook niet te snel aannemen dat de afwezigheid van een significante relatie betekent dat we de problematiek dan maar over boord moeten zetten. Statistische onderbouwde methodologie is een (belangrijke en dominante) methode binnen het wetenschappelijk denken, maar het is niet de enige. Ook zaken die statistisch niet significant bleken (of niet eens onderzocht zijn) kunnen een wetenschappelijke betekenis hebben. Daar hebben we met de financiële crisis genoeg voorbeelden van gezien. Laten we oog hebben voor de wetenschappelijke betekenis van het niet significante, dat biedt ook extra ruimte om te publiceren. Ook voor wetenschappers geldt: ‘never waste a crisis’.

Auteur

Categorieën