Hoe relevant is het onderzoek dat aan de Nederlandse economiefaculteiten plaatsvindt? Tekstanalyse kan inzichtelijk maken aan welke maatschappelijke uitdagingen het onderzoek kan worden gerelateerd.
Onderzoeksmethode
We richten ons qua relevantie op de sustainable development goals (SDG’s) en brengen voor alle 4.808 unieke publicaties van de Nederlandse economiefaculteiten tussen 2015 en 2019 (de tijdschriftenlijst van de ESB-Economentop (Lukkezen, 2020)) op basis van de tekst van de abstract in kaart of deze kennis gerelateerd is aan de SDG’s.
Die beoordeling gebeurt geautomatiseerd met behulp van de zogeheten RSM SDG-mapper. Het algoritme daarvoor is ontwikkeld met open technologie (het algoritme Bidirectional Encoder Representations from Transformers (BERT) van Google) en kijkt naar de betekenis van de zoekwoorden. De set zoekwoorden is opgebouwd uit vier open databestanden (AURORA project, Elsevier, Armitage et al. (2020) en TechnoAI) en voor de training van het algoritme gebruiken we open meta-data over onderzoek die beschikbaar zijn voor hergebruik, zoals de Springer Nature SiGraph.
Achtergrond
Het ‘mappen op SDG’s’ is onderdeel van de groeiende trend van sustainability reporting, waarbij organisaties de invloed van hun activiteiten op de maatschappelijke uitdagingen laten zien via indicatoren, verhalen en visualisaties. Het AURORA-project van de VU is de eerste toepassing in de Nederlanse universitaire context en de Vereniging van Universiteiten heeft recent een SDG-mapping gemaakt voor alle Nederlandse universiteiten. De Rotterdam School of Management (RSM) past de RSM SDG mapper toe op haar onderzoek, onderwijs en engagement, en bouwt zo een breed beeld op van de SDG-footprint van de school. Ook is de mapper toegepast op de 75.000 artikelen die deze eeuw verschenen zijn in tijdschriften op de FT50- en op de UTD-tijdschriftenlijst om de SDG-footprint van de triple crown business schools te meten (beschikbaar via rsmmetrics.nl).
Resultaten
Veel werk van economen aan Nederlandse universiteiten blijkt gerelateerd te zijn aan innovatie, instituties, consumptie en groei. Klimaat, emancipatie en armoede spelen daarentegen een veel kleinere rol. Uit een verdiepende analyse per instelling, die in de online-bijlage terug te vinden is, valt op dat de verschillende instellingen een vergelijkbaar palet aan SDG’s afdekken. Geen instelling springt er uit.
Wat verder opvalt is dat het aandeel van de publicaties van de economen aan Nederlandse universiteiten wat aan de SDG’s gerelateerd kan worden met de mapper lager is dan dat van de triple crown business schools. Omdat er substantiële overlap is in de gebruikte dataset, suggereert dit dat het gepubliceerde onderzoek aan de Nederlandse universiteiten daadwerkelijk minder maatschappelijk relevant is.
Toepassing
Het meten van maatschappelijke impact kent veel methodologische valkuilen, en dus is bescheidenheid op zijn plaats. Een belangrijke beperking vormt natuurlijk de gebruikte dataset. Zo dragen economen ook bij aan het halen van de SDG’s via publicatie in boeken, in andere tijdschriften dan die uit de ESB-ranking en door hun kennis te delen via de media of via contacten met beleidsmakers.
Maar als we dat in het achterhoofd houden, voegen de inzichten van de RSM SDG-mapper wel degelijk wat toe. Zo kan inzichtelijk gemaakt worden aan welke maatschappelijke thema de onderzoekers werken. Ook kan de informatie helpen de maatschappelijke impact van het onderzoek te valideren bij de aankomende nationale onderzoeksevaluatie voor economie en bedrijfskunde. Tot slot kunnen de instellingen zich via zo’n mapping benchmarken met de wereldtop, en zo bewuste keuzes maken om zich te onderscheiden in de impact-agenda.
De ontwikkeling van de onderliggende techniek en dataverwerking voor dit artikel vormt een gezamenlijke inspanning van de Rotterdam School of Management en het onderzoeks- en adviesbureau Dialogic
Literatuur
Armitage, C.S., M. Lorenz en S. Mikki (2020) Mapping scholarly publications related to the Sustainable Development Goals: do independent bibliometric approaches get the same results? Quantitative Science Studies, 1(3), 1092–1108.
Lukkezen, J. (2020) Economentop 40 2020. ESB, 105(4792), 564–567.
Auteur
Categorieën