Laat verschillende economen dezelfde hypothese onderzoeken met dezelfde dataset, en ze komen tot één conclusie. Toch? Nee, zo laten Menkveld et al. zien in een experiment met 164 onderzoeksteams, die stuk voor stuk een dataset met 270 miljoen observaties kregen. Verschillen tussen de teams ontstaan door verschillende proceskeuzes, bijvoorbeeld bij het econometrische model, het opschonen van de data en de statistische software. De variatie in resultaten die dit oplevert is tussen de 0,6 en 2,1 maal zo hoog als de gemiddelde standaarddeviatie van de schattingen zelf. De ervaring van de onderzoekers maakt weinig uit – de peer review slaagt er wel in om de variatie in resultaten door proceskeuzes te verkleinen.
Auteur
Categorieën