De vuile markt voor contractonderzoek
Aute ur(s ):
Keuzenkamp, H.A. (auteur)
Pomp, J.M. (auteur)
De auteurs zijn als algemeen directeur respectievelijk senior projectleider verbonden aan de Stichting voor Economisch Onderzoek (SEO) te
Amsterdam. marcp@seo.fee.uva.nl
Ve rs che ne n in:
ESB, 88e jaargang, nr. 4417, pagina D22, 23 oktober 2003 (datum)
Rubrie k :
Tre fw oord(e n):
vraag, aanbod
Vaak wordt betoogd dat contractonderzoek niet ‘onafhankelijk’ kan zijn. Andere problemen in de markt voor beleidsonderzoek zijn
echter belangrijker: marktvervuiling en ondoelmatige aanbesteding.
“Bij contractonderzoek dreigt vaak uitholling van kwaliteit onder druk van schaarse middelen, soms in combinatie met inhoudelijke
sturing door de opdrachtgever naar de gewenste uitkomst. Dan is onderzoek niet meer informerend, maar legitimerend”, aldus Henk
Don, directeur van een van de belangrijkste instellingen voor beleidsonderzoek van ons land1. Contractonderzoek lijkt een typisch
voorbeeld van een ‘goed’ waarbij informatie asymmetrisch verdeeld is en moeilijk te verifiëren. George Akerlof heeft zijn meest geciteerde
artikel geschreven over de gevolgen van deze informatieproblemen2. Er is echter een mechanisme dat dit potentiële marktfalen verhelpt,
namelijk reputatie.
In deze bijdrage zetten wij de problemen op de markt voor contractonderzoek op een rijtje. Het eerste is dat van de kwaliteit. Onze stelling
is dat de kwaliteit van veel contractresearch de toets der kritiek glansrijk kan doorstaan. Het tweede probleem is de marktstructuur. Valse
concurrentie verstoort de verhoudingen. Het derde probleem is dat van de opdrachtgever. Zwak onderzoek is veelal het gevolg van
slecht opdrachtgeverschap en ondoelmatige aanbesteding.
Kwaliteit
Contractonderzoek bestaat in vele varianten. Het minst verheven is onderzoek dat uitgezet wordt als ‘kluitje in het riet’. Een wakker
kamerlid stelt een vraag, de minister zegt toe het probleem te laten onderzoeken en ambtenaren zoeken een bureau dat kampt met
leegloop. Indien de opdrachtportefeuille van de SEO representatief is, dan schatten wij het aandeel van dit soort onderzoek op vijf
procent.
Een andere variant is het legitimerende onderzoek, waarover Don spreekt. Voor zulk onderzoek bestaan bureaus die ‘economische
argumentatie’ verkopen. Vrager en aanbieder weten welk goed verhandeld wordt en iedereen is er tevreden mee. Ook bij de SEO komen
regelmatig verzoeken voor onderzoek binnen, waarbij de opdrachtgever een bepaalde uitkomst wenst. Je moet je als opdrachtnemer dan
afvragen of je je hiervoor wilt lenen. Soms zeggen we ‘ja’, zoals bij een projectje voor de club van kleine ziekenhuizen die de schaaltoeslag
in de verdeelsystematiek ter discussie wilde stellen, of bij de landelijke huisartsenvereniging die een probleem met de nma had. Het zijn
altijd gevallen waarvan we menen dat de uitkomst inderdaad goed onderbouwd kan worden. De omvang van zulk onderzoek in de totale
omzet van de SEO komt op misschien tien procent.
De derde variant van contractonderzoek dient een ander doel: het vinden van nieuwe kennis. Het leeuwendeel van de opdrachten voor
instituten als de SEO behoort tot deze variant. Het informatieprobleem zit er vooral in dat het resultaat van het onderzoek niet bij
voorbaat bekend is. De onderzoeker geeft daarom in de offerte een opzet van het project, met een inschatting van de benodigde
inspanning. De waarde van het onderzoek kan getoetst worden door het rapport openbaar te maken en mee te laten spelen in het
discours van vakgenoten. Het streven is dan ook om bij contractonderzoek spin-offs naar vaktijdschriften te genereren, of een bijdrage
aan de opiniepagina van de krant. Instituten als de SEO zijn op dit front actiever dan instellingen met vaste financiering.
Een apart geval is onderzoek dat bedoeld is om een partij in een conflict te adviseren. Mededingingszaken zijn hiervan een voorbeeld.
Mededingingsautoriteiten en marktpartijen hebben regelmatig behoefte aan externe deskundigheid. Meestal wordt het onderzoek niet
openbaar. Van ‘onafhankelijkheid’ lijkt dan geen sprake te zijn. Toch doen instituten als de SEO met enige regelmaat zulk werk. Het betreft
dan bijvoorbeeld een marktstructuuranalyse, of een afbakening van de ‘relevante markt’. De advocaat kan dan de argumenten inzetten die
kansrijk zijn. De advocaat kan echter niet selectief winkelen in onderzoeksresultaten en zich vervolgens beroepen op het
onderzoeksbureau: in dat geval zullen de onderzoekers het ‘complete verhaal’ naar buiten brengen.
Natuurlijk monopolie en marktvervuiling
Vaste financiering voor een onderzoeksinstituut is te rechtvaardigen indien er sprake is van een natuurlijk monopolie. Grote
rekenmodellen hebben inderdaad schaalvoordelen. Het CPB doet tegenwoordig steeds meer dan alleen modellenwerk, bijvoorbeeld
onderzoek rond pensioenen, arbeidsmarkt, infrastructuur enzovoorts. De meeste van deze activiteiten worden betaald uit de
basisfinanciering van het CPB. Daarnaast krijgt het bureau voor sommige projecten extra onderzoeksbudget van ministeries.
Toen een van ons (Pomp) nog bij het CPB werkte, vroeg hij aan een ambtenaar bij een ministerie wat de reden was om het CPB in te
huren in plaats van een ander bureau. Het antwoord luidde: “Omdat jullie goedkoper zijn”. Kwaliteit en onafhankelijkheid speelden geen
doorslaggevende rol. Dat het CPB goedkoper is, komt doordat het slechts een deel van de marginale kosten doorberekent. Het CPB
rechtvaardigt deze subsidies met het argument dat het zelf ook belang bij heeft bij dit onderzoek.
Het CPB doet dus aan concurrentievervalsing, maar het argument daarvoor is plausibel. Het bureau is de economisch adviseur bij uitstek
van de overheid. Het werk van het planbureau rond ramingen zorgt voor intensieve contacten met de departementen, zodat het bureau
ideaal gepositioneerd is om inzichten uit de economische wetenschap hun weg te laten vinden naar beleidsmakers. Een voorwaarde is
dat de interactie met de wetenschap goed is: verschillende visitatierapporten van het planbureau geven aan dat hier een probleem ligt.
Samenwerking afdwingen
In plaats van het niet-modelgebonden onderzoek zelf uit te voeren, zou het CPB vaker kunnen samenwerken met externe onderzoekers.
Dit heeft een aantal voordelen boven de huidige praktijk, waarbij het CPB vrijwel altijd zelf onderzoeksprojecten uitvoert. Intensievere
contacten tussen CPB-ers en andere onderzoekers genereren positieve leereffecten en de prestaties van externen leveren
vergelijkingsmateriaal op waarmee het CPB de eigen prestaties kan beoordelen.
Hoe valt te bereiken dat het CPB deze weg inslaat? Vertrouwen op de goede intenties van het bureau is onverstandig, want het CPB
heeft net als de ministeries een bezuinigingstaakstelling opgelegd gekregen. Hierdoor zal het planbureau de komende jaren eerder minder
dan meer onderzoek willen uitbesteden. Daarom stellen wij voor een deel van het CPB-budget, om te beginnen tien procent, over te
hevelen naar een geoormerkt uitbestedingsbudget.
Aanbesteding
Voor goed contractonderzoek is een goede aanbesteding nodig. Vaak is de aanbesteding volstrekt ondoelmatig. Opmerkelijk is dat dit
juist in de overheidssfeer het geval is. Offerteverzoeken van bedrijven bestaan zelden uit meer dan een vraagstelling en een korte
toelichting. Veelal wordt slechts één partij aangezocht, vaak op basis van eerdere ervaring en reputatie. Dat er meer dan drie offertes
gevraagd worden, komt eigenlijk niet voor.
Offerteverzoeken van de overheid zijn daarentegen vaak omvangrijke documenten waarin allerlei aanwijzingen zijn opgenomen voor de
manier waarop het onderzoek moet worden uitgevoerd. Soms beperkt het aantal te offreren partijen zich tot drie, maar vaak zijn het er vijf
of meer. Voor een pietluttig project van de nma werd de SEO eens gevraagd te offreren in een spel met negen andere aanbieders,
waarvoor we dan ook vriendelijk bedankten. Hoe lager de (te verwachten) aanneemsom en hoe hoger het aantal mededingers, des te
slechter is de kwaliteit van de offerte. Omgekeerd wil de overheid soms dat aanbieders met elkaar gaan samenwerken. Dit komt
bijvoorbeeld voor wanneer er meerdere departementen bij een aanbesteding betrokken zijn en ze het niet eens kunnen worden over de
opzet van een onderzoek. Op deze wijze afgedwongen samenwerking leidt vaak tot zwakke onderzoeksresultaten.
De gedetailleerde suggesties van ambtelijke opdrachtgevers voor de onderzoeksaanpak sluiten vaak niet aan bij de inzichten van de
onderzoekers zelf. Je zou zeggen dat de onderzoekers het beter moeten weten – onderzoek is immers hun vak.
Betere prikkels
Het is dus wenselijk dat er iets verandert. Geef ambtenaren/opdrachtgevers een groter belang bij de kwaliteit van de uitkomsten van het
onderzoek. Omdat een goede offerte-aanvraag medebepalend is voor de kwaliteit van het onderzoek, lost dit het door ons gesignaleerde
probleem op. Bovendien geeft dit de opdrachtgever een prikkel op zoek te gaan naar het beste bureau. In de huidige situatie is die prikkel
minder sterk.
Wie moet de kwaliteit van het door de ministeries uitgezette onderzoeken gaan beoordelen? We hebben het CPB zojuist tien procent van
zijn onderzoeksbudget ontnomen; ter compensatie bieden we het bureau deze taak aan. Als het aan ons ligt, komt er een verplichting om
uitbesteed economisch onderzoek na afronding te laten beoordelen door het CPB. Het bureau is hier prima toe in staat: zie bijvoorbeeld
de recente kritiek van het bureau op het Rekenkameronderzoek naar energiesubsidies in de glastuinbouw. Slechte beoordelingen hebben
gevolgen voor het onderzoeksbudget van het betreffende departement in het volgende jaar. Deze extra taak voor het CPB kan
budgetneutraal worden gefinancierd via een opslag op de prijs van onderzoeksprojecten. Bij gelijkblijvende onderzoeksbudgetten
kunnen de departementen dan minder onderzoek uitbesteden, maar daar staat een forse kwaliteitsverbetering tegenover.
Conclusies
Dit alles overziende, komen we tot drie conclusies. Ten eerste is het veelgehoorde bezwaar dat contractonderzoek niet onafhankelijk zou
zijn, sterk overdreven. Het reputatiemechanisme werkt immers. Ten tweede doet het CPB op goede gronden aan concurrentievervalsing.
Om de nadelen hiervan te beperken stellen wij voor een deel van het CPB-budget over te hevelen naar een geoormerkt
uitbestedingsbudget. Ten derde zijn offerteverzoeken van departementen vaak nodeloos gedetailleerd. Het aantal bureaus dat gevraagd
wordt te offreren is regelmatig te groot. Dit gaat ten koste van de kwaliteit van het onderzoek. Om dit tegen te gaan, dient uitbesteed
economisch onderzoek na afronding ter beoordeling te worden voorgelegd aan het CPB.
Hugo Keuzenkamp en Marc Pomp
Dossier: Beleidseconomie
R. Gerritse, J.W. Oosterwijk en M.A. Ruys: voorwoord Tussen al het geweld…
D.J. Kraann: Inleiding: Positieve economie en beleidseconomie
B.M.E. Geurts en S.E.P. Raes: De Januskop van de beleidseconomie
J.W.M. Mevissen: reactie Januskop of symbiose?
M.C.W. Janssen: reactie Een wetenschapper in de beleidswereld
J. van Sinderen: Het nieuwe strategische denken
T.R.P.J. Kroes: reactie Tussen droom en werkelijkheid
A.W.A. Boot: De Amerikaanse economische adviseurs
E.E.C. van Damme: London: the place to be?
C.W.A.M. van Paridon: Beleidsadvisering in Duitsland
A. Kapteyn: reactie Wie is de beste?
D.J. Wolfson: De rol van de planbureaus
F.J.H. Don: reactie De rol van het cpb
F.J.M. Crone: De hobbelige brug tussen politici en economen
H.A. Keuzenkamp en J.M. Pomp: De vuile markt voor contractonderzoek
B.M.E. Geurts en D. Kabel: reactie Vuile cocktail
P. Rietveld en E. Verhoef: Universiteiten in de markt
A.P. Ros: reactie: De praktijk is soms sterker dan de leer
M.R.P.M. Camps, L.B.J. van Geest en J.A. Vijlbrief: Beleidseconomie binnen de departementale muren
P.A. Donker van Heel: De onwelkome boodschap
S.G. van der Lecq: epiloog We moeten toch wat
1 F.J.H. Don, De positie van het Centraal Planbureau, ESB, 6 maart, 1996, blz. 208 – 212.
2 G. Akerlof, The market for lemons: quality uncertainty and the market mechanism, Quarterly Journal of Economics, 1970, blz. 488-500.
Copyright © 2003 – 2004 Economisch Statistische Berichten (www.economie.nl)