Economen worden vaak afgerekend op hun publicaties in wetenschappelijke tijdschriften. Maar ze worden ook geacht om bij te dragen aan het maatschappelijke debat. Dragen wetenschappelijk succesvolle economen ook vaker bij aan het maatschappelijke debat, via ESB?
In het kort
– Wetenschappelijk succesvolle economen publiceren vaker in ESB, laat een vergelijking van artikelen en de Economentop zien.
– Vooral de best presterende wetenschappers (de top 40-procent) schreven in de periode 2015-2019 vaak artikelen voor ESB.
– Het aantal auteurs in ESB neemt toe en ook wetenschappers met een lagere score weten het blad steeds beter te vinden.
Zoals ieder jaar publiceert ESB ook dit jaar weer de Economentop 40 in het decembernummer (Lukkezen, 2020, in dit nummer). Een lijst zoals de Economentop past in een traditie waarin wetenschappelijke prestaties worden gemeten aan de hand van publicaties of citaties, zoals bijvoorbeeld de Hirsch-index. Dergelijke indexen zijn van dermate groot belang voor de carrière van een academicus dat de praktijk vaak, enigszins cynisch, omschreven wordt als ‘publish or perish’ (De Rond en Miller, 2005).
Ondertussen wordt de kritiek op de invloed van performance-indexen steeds luider. Uit onderzoek blijkt dat de invloed van een selecte groep toptijdschriften binnen de economie groter is dan in andere wetenschapsdisciplines (Ductor et al., 2020). Het zou bijdragen aan een in zichzelf gekeerde beroepsgroep, die er slechts op uit is om ‘publiceerbaar onderzoek’ te produceren (Akerlof, 2020). Zo wordt economen verweten dat ze onderzoek doen dat weliswaar theoretisch gestuurd en wiskundig elegant is, maar zonder enige maatschappelijke relevantie (Gorga, 2009). Zeker in tijden van economische of financiële crises rijst de vraag wat de maatschappij heeft aan al dat economische onderzoek dat vaak grotendeels met publiek geld wordt gefinancierd.
De laatste jaren besteden overheden steeds meer aandacht aan de maatschappelijke invloed van het door hen gefinancierde onderzoek. Zo staat valorisatie al jaren hoog op de agenda van de Nederlandse overheid (OCW, 2014). Dit leidt tot de vraag of wetenschappelijk succes ook iets zegt over maatschappelijke invloed.
Naar de relatie tussen de wetenschappelijke performance en maatschappelijke bijdragen van wetenschappers is nog nauwelijks empirisch onderzoek gedaan. Het fundamentele probleem bij de beantwoording van deze vraag is dat maatschappelijke invloed zich niet makkelijk laat meten. Mede hierdoor is er nauwelijks kwantitatief onderzoek gedaan naar de relatie tussen wetenschappelijke en maatschappelijke invloed.
Het meetprobleem kan omzeild worden door de focus te verleggen van maatschappelijke invloed naar de input, dat wil zeggen: naar de maatschappelijke bijdragen van wetenschappers. Een wetenschapper kan op vele manieren zijn kennis of onderzoeksresultaten delen met de maatschappij. Denk hierbij aan media-optredens, (opinie)stukken schrijven voor de krant, het bijhouden van blogs of lezingen geven. Het in 2010 gelanceerde ‘altmetrics’-manifest (kort voor alternative metrics) roept op tot het aanboren van alternatieve databronnen om de impact van de wetenschap buiten de traditionele tijdschriften te kwantificeren (Priem et al., 2010). Voorbeelden zijn de onderzoeken die kijken naar internetbronnen, zoals publicaties of pageviews op Facebook, Twitter of Mendeley (Tahamtan en Bornmann, 2020).
Voor economen behoort het schrijven van een artikel voor ESB tot de mogelijkheden. ESB is geen academisch tijdschrift in traditionele zin. Het publiceren van een artikel hierin draagt dus niet bij aan de scores voor wetenschappelijke impact, zoals de Economentop of de H-index. ESB presenteert zich als een communicatieplatform voor ‘economie en beleid in brede zin’ en heeft daarbij een duidelijke maatschappelijke focus. Een bijdrage aan dit vakblad kan dus gezien worden als een manier waarop een wetenschapper zijn of haar kennis ten goede kan laten komen aan het bredere publiek en het politieke of maatschappelijke debat.
In dit artikel wordt het aantal publicaties in ESB, als een proxy voor het leveren van maatschappelijke bijdragen, gekoppeld aan de scores van de Economentop. Dit leidt tot een eerste schatting van de kwantitatieve relatie tussen het wetenschappelijke succes en de maatschappelijke betrokkenheid van Nederlandse economen.
Data en methode
Voor de analyse zijn de gegevens van de Economentop voor de jaren 2015 tot en met 2019 gekoppeld aan de informatie uit het ESB-archief. De Economentop 40 wordt als volgt berekend: voor elke publicatie in een economisch wetenschappelijk tijdschrift in de voorgaande vijf jaar krijgt de auteur een score. Deze score hangt af van de impact-score van het tijdschrift en het aantal co-auteurs (Lukkezen, 2020).
Hoewel ESB alleen de hoogst scorende veertig economen publiceert, krijgt elke auteur die verbonden is aan een Nederlands onderzoeksinstituut een score mits deze ten minste één publicatie heeft die aan de eisen voldoet. Bij de koppeling krijgt elke ESB-auteur voor ieder jaar (2015–2019) een Economentop-score. Wanneer deze auteur niet voorkomt op de ‘brede lijst’ van de Economentop krijgt deze de score 0 voor dat jaar.
Omdat de Economentop berekend wordt over de voorafgaande vijf jaren, is ervoor gekozen om deze te vergelijken met de bijdragen aan ESB in dezelfde vijf jaren. Daarvoor is er een zogenaamde ESB-index berekend, die de som is van het aantal publicaties van de auteur. Wanneer de auteur geen publicaties heeft in ESB, maar wel voorkomt op de lijst van de Economentop, dan krijgt de deze voor dat jaar de ESB-index-score 0.
De complete dataset bestaat dus uit alle personen die voor een gegeven jaar aan ten minste een van de volgde twee voorwaarden voldoet: minimaal één publicatie in ESB in de voorgaande vijf jaren (ergo: ESB-index > 0), of minimaal één wetenschappelijke publicatie in de voorgaande vijf jaren (ergo: Economentop-score > 0).
De samengestelde dataset bevat veel observaties met de waarde 0 voor de ESB-index- óf Economentop-score. Immers, het overgrote deel van de auteurs op de Economentop-lijst publiceert niet in ESB, en heeft dus geen ESB-index-score. Dit geldt andersom ook. Meer dan de helft van de ESB-auteurs publiceert niet in wetenschappelijke tijdschriften en heeft een Economentop-score van 0. Tegelijkertijd zijn er uitschieters: auteurs die met enige regelmaat in ESB publiceren, of wetenschappers met een hele hoge Economentop-score. Om de statistische relatie in te schatten is er daarom gebruikgemaakt van een negatief-binomiaal regressiemodel, met de ESB-index als de afhankelijke variabele en de Economentop 40 als de verklarende variabele.
Beschrijvende statistieken
De afgelopen vijf jaar (2015–2019) had ESB gemiddeld 466 unieke auteurs per jaar (tabel 1). Van de ESB-auteurs was net iets meer dan een derde wetenschappelijk actief, dat wil zeggen: zij hadden in het jaar van de ESB-bijdrage een E40-score die hoger was dan 0.
Het academische profiel van de wetenschappelijke ESB-auteurs is relatief hoog. De gemiddelde Economentop-score van de wetenschappelijke ESB-auteurs schommelt tussen 2,46 en 3,28, de mediaan ligt tussen de 1,18 en 1,68. Dit zijn relatief hoge scores, want de gemiddelde Economentop-score van alle wetenschappelijke auteurs in de complete database is slechts 1,59, met een mediaan van 0,71. De ESB-auteur met de hoogste Economentop-score in 2019 was Erik Verhoef met een score van 14,7, gevolgd door Coen Teulings (13,7) en Robert Inklaar (13,2) (tabel 2).
Over het algemeen zijn de wetenschappelijke ESB-auteurs academisch dus relatief succesvol. De gemiddelde Economentop-score van alle auteurs samen (wetenschappelijk en niet-wetenschappelijk) neemt de laatste jaren echter af, van 1,24 in 2015 naar 0,81 in 2019. Deze trend lijkt onder andere te worden veroorzaakt door het afnemende aandeel van wetenschappelijke auteurs in het totaal van de ESB-auteurs (van 37,8 procent in 2015 naar 32,5 procent in 2019). Dat aandeel daalt doordat het aantal auteurs van buiten de universiteit relatief harder stijgt. Ook het gemiddelde academische profiel van de wetenschappelijke auteurs neemt af per jaar; voor deze subgroep daalde de gemiddelde score van 3,28 (2015) naar 2,46 (2019). Deze trend duidt erop dat ook auteurs met minder academische publicaties ESB steeds weten te vinden. Dit zou het dalen van de gemiddelde score verklaren terwijl het absolute aantal wetenschappelijke auteurs toeneemt.
Resultaten
Voor de analyse is er onderscheid gemaakt tussen de volgende subgroepen: volledige sample, alleen wetenschappelijke auteurs (Economentop-score > 0), alleen ESB-auteurs (ESB-index > 0), en alleen wetenschappelijke ESB-auteurs (Economentop-score én ESB-index > 0).
De schattingen voor het effect van de Economentop-score op de ESB-index zijn voor zowel de volledige sample als voor alle subgroepen positief en significant op het niveau van één procent (tabel 3). Het gevonden effect is een duidelijke aanwijzing dat er een positieve statistische relatie is tussen wetenschappelijk succes en het publiceren in ESB. Economen die wetenschappelijk succesvol zijn publiceren dus vaker in ESB dan hun minder succesvolle vakgenoten. Dit effect doorstaat robuustheidscontroles zoals de verschillende specificaties en schattingsmethodes (Stuart, 2020).
Onderlinge verschillen
Voor een verdere analyse is de groep wetenschappelijke auteurs (Economentop > 0) opgedeeld in vijf kwintielen. De resultaten laten zien dat de empirische relatie tussen de Economentop-score en het aantal ESB-bijdragen verschilt per kwintiel (tabel 3). Opvallend is dat het effect sterk significant en negatief is voor de wetenschappers in het laagste kwintiel (met een Economentop-score tussen de 0,01 en 0,32). Zij publiceren dus het minst vaak in ESB. Voor de economen die horen bij de top 40-procent is het effect juist sterk significant én positief. Het effect is niet significant voor het tweede en derde kwintiel. Dit is een sterke indicatie dat het gevonden effect met name bepaald wordt door de meest succesvolle economen. Het is niet mogelijk te concluderen dat een hogere Economentop leidt tot meer ESB-publicaties. Wel kunnen we constateren dat de empirische relatie tussen beiden significant en positief is.
Verklaringen en discussie
Succesvolle economen publiceren dus meer in ESB. Meerdere verklaringen zijn hiervoor denkbaar. Mogelijk vinden economen het belangrijk om hun succesvolle onderzoeksresultaten breed te delen, of is het voor onderzoekers met een gevestigde reputatie makkelijker om hun werk in ESB gepubliceerd te krijgen. Het kan ook zijn dat onderzoekers die reeds een succesvolle academische carrière hebben, zich minder genoodzaakt zien om al hun tijd te investeren in het publiceren in academische tijdschriften. Dit laat meer tijd vrij voor maatschappelijk relevante thema’s. Dit zou ook het negatieve effect verklaren dat gevonden wordt bij het laagste kwintiel: voor deze onderzoekers is er een grotere prikkel om hun tijd te besteden aan het opkrikken van hun plek op de wetenschappelijke ranglijsten.
Er zouden ook netwerkeffecten aan het gevonden effect ten grondslag kunnen liggen. De ESB-redactie vraagt regelmatig artikelen met bepaalde thema’s. Het is niet onwaarschijnlijk dat succesvolle onderzoekers eerder worden gevraagd, gezien hun reputatie of positie bij een onderzoeksinstituut, zodat ze makkelijker op de radar komen.
Hoewel voorzichtigheid geboden is bij de interpretatie van deze onderzoeksresultaten, is het een duidelijke eerste aanwijzing voor een positieve relatie tussen wetenschappelijk succes en maatschappelijke betrokkenheid. Goed nieuws voor de belastingbetalers die wat terugzien van het door hen gefinancierde onderzoek. En goed nieuws voor de ESB-lezer, die ervan uit mag gaan dat succesvolle economen ESB zeker weten te vinden.
Literatuur
Akerlof, G.A. (2020) Sins of omission and the practice of economics. Journal of Economic Literature, 58(2), 405–418.
Ductor, L., S. Goyal, M.J. van der Leij en G.N. Paez (2020) On the influence of top journals. Tinbergen Institute Discussion Paper, 2020-019/II.
Gorga, C. (2009) Concordian economics: tools to return relevance to economics. Forum of Social Economics, 38, 53-69.
Lukkezen, J. (2020) Economentop 40 2020. ESB, 105(4792), 564-567.
OCW (2014) Wetenschapsvisie 2025: keuzes voor de toekomst. Den Haag: Ministerie van Onderwijs, Cultuur en Wetenschap.
Priem, J., D. Taraborelli, P. Groth en C. Neylon (2010) Altmetrics: a manifesto. Tekst te vinden op altmetrics.org.
Rond, M. de, en A.N. Miller (2005) Publish or perish: bane or boon of academic life? Journal of Management Inquiry, 14(4), 321–329.
Stuart, T.S. (2020) Valorise or perish? An altmetric approach to measure the societal contributions of Dutch economists. Masterscriptie, Universiteit Utrecht. Te vinden op www.esb.nu/stuart.
Tahamtan, I. en L. Bornmann (2020) Altmetrics and societal impact measurements: match or mismatch? A literature review. El profesional de la información, 29(1), e290102.
Auteur
Categorieën