Economie en bedrijfskunde evalueren

ontwikkeling

Economie en bedrijfskunde
evalueren
Dezer dagen worden de faculteiten economie en bedrijfs­
kunde in het land gevisiteerd. Geproduceerde wetenschappelijke artikelen in een tevoren geselecteerde lijst van
tijd­ chriften zullen tellen. Netwerk- en scientometrische
s
analyses laten zien dat economie en bedrijfskunde relatief los
van elkaar staan. Tijdschriften die de verbinding maken en
ook empirisch georiënteerde tijdschriften wegen niet mee.

D

Wilfred Dolfsma en
Loet Leydesdorff
Hoogleraar aan de Rijks­
universiteit Groningen en
universitair hoofddocent
aan de Universiteit van
Amsterdam.

280

ESB

e visitatiecommissie, ingesteld vanwege
de Vereniging van Samenwerkende
Nederlandse Universiteiten, de VSNU,
gebruikt een tijdschriftenlijst bij het
evalueren van economisch en bedrijfskundig onderzoek aan faculteiten en groepen die aan Nederlandse
universiteiten verbonden zijn. De productie van
tijdschriftartikelen weegt aanmerkelijk zwaarder dan
die van boeken of hoofdstukken. De lijst van tijdschriften fungeert als meetlat en is een selectie uit
een langere lijst van tijdschriften waaraan een zogenoemde impactfactor is toegekend. Hoe verhouden
de tijdschriften van de lijst zich tot elkaar? Welke
tijdschriften zijn opvallend aanwezig of afwezig?
Deze vragen worden beantwoord door citatiepatronen
te analyseren die er bestaan tussen tijdschriften
uit de Social Science Citation Index (SSCI), zoals
aangeleverd door Thomson Scientific in Journal
Citation Reports voor het jaar 2007 voor de categorieën Economie en Management. Tijdschriften die
opgenomen zijn in de SSCI krijgen een impactfactor.
De Journal Citation Reports bevat 268 tijdschriften
in deze categorieën, van in totaal 1865 tijdschriften
in de sociale wetenschappen. De lijst die de visitatiecommissie gebruikt, bevat een aantal tijdschriften die volgens Thomson Scientific geen primaire
classificatie hebben als economie- of managementtijdschrift. Hier vallen bijvoorbeeld de Annals
of Statistics en tijdschriften uit de informatie- en
beslissingswetenschappen onder. Scientometrisch
is het onverantwoord om een enkel tijdschrift uit
een groter veld van onderzoek in de analyse mee te
nemen, omdat onderzoekswijzen en citatiepatronen
per discipline sterk kunnen verschillen. Om een
gehele categorie waartoe zij behoren op te nemen,
leidt echter tot een vertroebeling waardoor de
betrouwbaarheid van een analyse ernstig beperkt
wordt. Bij het samenstellen van de lijst die de commissie gebruikt wogen niet alleen scientometrische
overwegingen mee.
Gesteld kan worden dat onderzoekers op een
bepaald terrein met hun citatiegedrag zelf aangeven
welk onderzoek belangrijk is. Het belang van weten-

94(4559) 1 mei 2009

schappelijk onderzoek dat in een bepaald tijdschrift
verschijnt, kan zodoende empirisch worden afgeleid.
Nieuwe gebieden voor onderzoek, of onderzoeks­
benaderingen die zich tussen gevestigde ­ isciplines
d
bevinden, kunnen over het algemeen minder
a
­ andacht verwachten dan gevestigde disciplines
(Laudel en Origgi, 2006).
Deze citatiedata worden zoals gebruikelijk is in
scientometrisch onderzoek genormaliseerd (cosinus
≥ 0,2; Ahlgren et al., 2003). De citatiepatronen
kunnen vervolgens met behulp van programmatuur
vanuit socialenetwerkanalyse (bijvoorbeeld Pajek;
De Nooy et al., 2005) worden gebruikt voor een
grafische presentatie en nadere analyse. Om een
dergelijk figuur enigszins leesbaar te houden is het
nodig drempelwaarden in te bouwen. Wanneer een
tijdschrift minder dan 25 citaties van een ander
tijdschrift krijgt, wordt het verband niet opgenomen
(k-core = 25). Figuur 1 laat zien hoe economisch en
bedrijfskundig onderzoek zich voor 2007 tot elkaar
verhouden. Tabel 1 geeft de top 25 van tijdschriften weer, gerangschikt naar de tussenliggende of
betweenness-centraliteit. Deze maatstaf geeft aan in
welke mate een tijdschrift een bepalende of sturende
factor is voor kennistransfer in het veld (Freeman,
1979; Leydesdorff, 2007). Aangezien het bij
wetenschap niet alleen gaat om kennisaccumulatie,
waarvoor citaties naar artikelen en de impactfactor
van een tijdschrift maatstaven kunnen zijn, maar ook
om het uitdragen van kennis en het opnemen van
inzichten die elders zijn ontwikkeld, is de tussenliggende-centraliteit een relevante indicator.
Welke tijdschriften zijn nu onlosmakelijk ingebed in
de beide velden, hebben een respectabele impactfactor, maar zijn niet opgenomen in de lijst voor de
commissie? Welke tijdschriften zijn wel opgenomen
in de lijst hoewel ze scientometrisch niet boven de
andere uitspringen? Welke tijdschriften hebben in
deze scientometrische analyse een andere positionering dan vermoed mag worden op grond van
aanwezigheid in de lijst voor de commissie of hun
impactfactor? Daarmee zouden zij wellicht juist wel
of niet een plek op de lijst verdiend hebben.

Twee delen
Zoals figuur 1 laat zien valt economisch en bedrijfskundig onderzoek uiteen in twee delen. Het is
opvallend om te zien hoe een relatief jong tijdschrift
als de Journal of the European Economic Association
toch al een belangrijke positie innemen kan. De
inzet van een aantal vooraanstaande economen
rendeert. Omdat de grootte van de cirkels in figuur 1

evenredig is aan het aantal citaten dat het tijdschrift
ontvangt, valt op hoe bijvoorbeeld de American
Economic Review (AER) belangrijker lijkt dan de
Quarterly Journal of Economics (QJE). De impactfactor van het laatste tijdschrift is echter groter dan
van het eerste. Bij het bepalen van de impactfactor
tellen echter alleen citaten naar artikelen in een tijdschrift in de laatste twee jaren. Anders dan onderzoeksartikelen, accumuleren review-artikelen citaties
op de langere termijn (Leydesdorff, 2008). AERartikelen zijn wellicht minder op de actualiteit of de
allerlaatste stand van de wetenschap gericht, maar
hebben eerder een langere houdbaarheid. Ditzelfde
geldt voor Strategic Management Journal (SMJ) in
verhouding tot Academy of Management Review
(AMR) en Academy of Management Journal (AMJ):
de laatste twee hebben een veel hogere impactfactor, maar krijgen geaggregeerd minder citaties in
2007, dus kleinere cirkels in figuur 1.
De Journal of Quantitative and Financial Analysis,
Accounting Horizons en Research in Organizational
Behavior zijn wel opgenomen in de lijst, maar
hebben geen impactfactor en komen daarom niet
voor in de analyse. Een blik op tabel 1 laat zien dat
er verschillende tijdschriften zijn die scientometrisch

hoog aan te schrijven zijn, maar geen plek op de lijst hebben. Een verklaring
hiervoor kan zijn dat zij als gevolg van hun tussen-disciplinariteit tussen de wal
en het schip vallen; de Journal of Economic Psychology is hiervan een voorbeeld.
Wanneer onderzoek in een tijdschrift sterk op analyse van empirisch materiaal
gericht is, zal immers de neiging om inzichten uit andere velden en disciplines
op te nemen ook groter zijn, omdat de werkelijkheid zich niet altijd iets aantrekt
van disciplinegrenzen. Mogelijk lijdt ook de California Management Review
hieronder. Een tijdschrift gericht op overzichtsartikelen krijgt bijvoorbeeld gemiddeld meer citaten dan een willekeurig ander tijdschrift, vooral in introducties van
artikelen; het kan een relatief hoge tussenliggende-centraliteit vertonen maar
mogelijk een lage impactfactor hebben. De Journal of Economic Surveys, de
Journal of Economic Perspectives en de Journal of Economic Literature zijn hier
voorbeelden van.

Scheiding der geesten
Het citatiepatroon laat zien dat er twee kernen zijn: economie en bedrijfskunde.
Beide velden, maar economie in het bijzonder, vertonen een sterke interne coherentie. Het is met deze scheiding der geesten echter niet evident dat een academicus die vooral in het ene veld actief is, een overzicht heeft van het andere. Er
is binnen die velden een duidelijke clustering te zien op thema’s als marketing
en finance binnen respectievelijk bedrijfskunde en economie. De scheiding
tussen de kernen tekent zich ook af in de lijst van de commissie. Slechts een
aantal tijdschriften die een verbinding maken tussen de beide velden zijn opgenomen in de tijdschriftenlijst. De verbindingen lopen vooral langs de Journal of
Industrial Economics, International Journal of Industrial Organization (IJIO) en

Figuur 1

Relaties tussen economie- en bedrijfskundetijdschriften op basis van onderlinge citaties in 2007.

Bron: Journal Citation Reports, ISI Thomson, 2007; normalisatie cos ≥ 0,2, k-core = 25

ESB

94(4559) 1 mei 2009

281

de Review of Industrial Organization, Research Policy, Industrial and Corporate
Change (ICC) , de Journal of Evolutionary Economics (JEE), en Small Business
Economics (SBE). Tijdschriften als Kyklos en Economica zitten aan de rand van
het sterk samenhangende economiecluster en vormen van daaruit een brug naar
management.
Tabel 1 presenteert de tijdschriften uit de populatie met de hoogste tussenliggende-centraliteitswaarden. Een hoge waarde betekent dat het tijdschrift in
kwestie op een cruciale route van kennistransfer gelegen is, zodat er veel kennis
via het tijdschrift loopt naar tijdschriften die zonder dat ene tijdschrift wellicht
onvoldoende van belangrijke kennis op de hoogte zouden zijn.
Een factoranalyse op grond van de citatiedata toont overigens aan dat de lijst
uiteenvalt in vijf groepen. Deze zijn grofweg te classificeren als ten eerste
kerntijdschriften in de economie, zoals AER, QJE, Journal of Political Economy
en European Economic Review; ten tweede kerntijdschriften in de managementwetenschappen, zoals AMR, ASQ en AMJ; ten derde tijdschriften voor
toegepaste economie, met Applied Economics, Economic Letters en Journal of
Macroeconomics; ten vierde evolutionaire en industriële economietijdschriften
zoals Journal of Industrial Econonomics, Research Policy, ICC, IJIO en R&D
Management; en ten vijfde publieke, fiscale en ontwikkelingseconomietijdschriften, met Journal of Public Economics, World Economy, en Fiscal Studies.
Tijdschriften in de eerste groep laden ook redelijk overtuigend op de derde groep
en in mindere mate op de vijfde groep. Tijdschriften uit groep twee laden ook op
de vierde groep. De eerste en de derde groep, maar ook de tweede en de vierde
groep, zijn daarmee relatief aan elkaar verwant.

Aan- en Afwezigheid
Bijna volledig afwezig uit de door de commissie gebruikte lijst zijn de derde
en vierde groep uit de factoranalyse: toegepaste economie en evolutionaire en
industriële economie krijgen weinig erkenning. Tijdschriften in de vierde groep
zijn in sterke mate empirisch georiënteerd. Groep vijf, waar zich een aantal
toepassingsgeoriënteerde tijdschriften bevinden, is niet ruim vertegenwoordigd.
Toepassingsgeoriënteerde tijdschriften op het focusgebied van transport, financiële markten, marketing en humanresourcesmanagement daarentegen zijn wel
vertegenwoordigd in de lijst van de commissie. Finance-, maar opvallend genoeg
ook hrm-tijdschriften bevinden zich in het economiegedeelte van de figuur, maar
blijken overigens, evenals accounting, in de factoranalyse niet duidelijk tot een
van de vijf groepen te behoren.

Tabel 1

Top economie- en bedrijfskunde­
tijdschriften in 2007.

Tijdschrift

Economica
J Ind Econ
Calif Man Rev
J Econ Psych
Man Sci
J Econ Lit
J Econ Perspec
Strat Man J
Harvard Bus Rev
Rev Econ Stat
Econ J
ICC
QJE
Rev Ind Org
ASQ
Organ Dyn
Acad Man Exec
J Mark Res
AER
Res Pol
Kyklos
J Econ Surveys
AMJ
AMR
Org Sci

Impactfactor
2007
0,50

Tussenliggendecentraliteit
0,1495

0,86
0,95
0,90
1,93
3,97
2,83
2,83
1,32
1,72
1,55
1,33
3,69
0,41
2,91
0,35
1,61
1,74
2,24
2,21
0,37
0,80
5,02
4,37
3,13

0,1237
0,0532
0,0504
0,0493
0,0353
0,0352
0,0333
0,0226
0,0206
0,0204
0,0201
0,0171
0,0168
0,0164
0,0141
0,0140
0,0139
0,0137
0,0122
0,0122
0,0101
0,0088
0,0088
0,0087

In lijst
commissie

√
√
√
√
√
√
√
√

√
√

√
√
√

Bron: Journal Citation Reports, ISI Thomson, 2007; eigen
berekeningen

Conclusie
Dezer dagen worden de faculteiten economie en bedrijfskunde in het land
gevisiteerd. Het onderzoek dat economie- en bedrijfskundewetenschappers
produceren wordt tegen het licht gehouden, waarbij vooral artikelen in een van
tevoren geselecteerde lijst van wetenschappelijke tijdschriften zullen tellen. Op
grond van netwerk- en scientometrische analyses zijn een aantal opmerkelijke
kenmerken van het te beoordelen veld en de ter beoordeling te gebruiken lijst
te zien. Ten eerste is het internationale onderzoeksterrein sterk opgesplitst in
twee delen: economie en bedrijfskunde. Tijdschriften die deze velden met elkaar
verbinden zijn niet opgenomen in de tijdschriftenlijst die de commissie gebruikt.
Factoranalyse toont aan dat er nog drie additionele groepen tijdschriften te zien
zijn. Deze groepen zijn vooral aan economie gerelateerd en kenmerken zich
door de aandacht voor empirisch onderzoek. Ook deze drie groepen tijdschriften
zijn ondervertegenwoordigd in de lijst. De commissie wordt derhalve geacht de
faculteiten met name te beoordelen op de mate waarin zij binnen de bestaande
disciplines specifiek onderzoek opleveren.

Literatuur
Ahlgren, P., B. Jarneving en R. Rousseau (2003) Requirement
for a cocitation similarity measure, with special reference to
Pearson’s correlation coefficient. Journal of the american society
for information science and technology, 54(6), 550–560.
Freeman, L. (1979) Centrality in social networks. Conceptual
clarification. Social networks (1), 215-239.
Laudel, G. en G. Origgi (red.) (2006) Introduction to a special
issue on the assessment of interdisciplinary research. Research
evaluation, speciale uitgave 15(1).
Leydesdorff, L. (2007) “Betweenness centrality†as an indicator
of the “interdisciplinarity†of scientific journals. Journal of
the american society for information science and technology, 58(9),
1303–1319.
Leydesdorff, L. (2008) Caveats for the use of citation indicators
in research and journal evaluation. Journal of the american
society for information science and technology, 59(2), 278–287.
Nooy, W. de, A. Mrvar en V. Batagelj (2005) Exploratory social
network analysis with Pajek. New York: Cambridge university
press.
VSNU (2008) Evaluation protocol 2008 for the review of the fields of
Economics and Business within the Netherlands, Period under review
2001–2007. Den Haag: VSNU.

282

ESB

94(4559) 1 mei 2009