De laatste jaren wordt er steeds meer gebruikgemaakt van econometrische methoden om de effecten van innovatiebeleid te bepalen. Tegelijkertijd vinden er omwentelingen plaats in het soort innovatiebeleid dat gevoerd wordt. Helaas staan deze twee parallelle ontwikkelingen op gespannen voet met elkaar.
In het kort
– Evaluaties van innovatiebeleid maken steeds vaker gebruik van econometrische controletechnieken.
– Systeemveranderingen en kennis-spillovers als gevolg van transformatief innovatiebeleid laten zich echter lastig meten.
-Enquêtes onder deelnemers helpen om een indruk te krijgen van de effecten van transformatief beleid.
Het meten van de effecten van innovatiebeleid is typisch lastig vanwege selectie-effecten: gesubsidieerde bedrijven hebben vaak inherent al meer innovatiepotentie dan bedrijven waarvan de subsidieaanvraag wordt afgewezen of die geen aanvraag hebben gedaan. Als ter evaluatie van het beleid simpelweg gekeken wordt naar de gerealiseerde innovatie, dan kan dit ervoor zorgen dat beleidseffecten te positief worden ingeschat. Mogelijk zou de gestimuleerde innovatie immers ook zonder stimulering hebben plaatsgevonden.
De laatste jaren is de evaluatiepraktijk aangescherpt, mede als gevolg van de toegenomen roep om meer evidence-based policy (Tweede Kamer, 2011; Commissie Theeuwes, 2012). Evaluaties worden meer in lijn gebracht met de techniek die gangbaar is in wetenschappelijke empirische studies. Weliswaar staat loting (dé manier om zelfselectie of selectie met een bias voor succes te vermijden) binnen het innovatiedomein nog in de kinderschoenen, maar de second best-oplossing – het hanteren van econometrische methoden, waarbij men een controlegroep samenstelt die zo veel mogelijk lijkt op de experimentele groep – wordt steeds vaker toegepast (Roelandt en Van der Wiel, 2017).
Het toegenomen gebruik van econometrische methoden bij evaluaties verhoudt zich echter moeizaam tot de verschuiving in de richting van transformatief innovatiebeleid die de laatste jaren gelijktijdig plaatsvindt.
Transformatief innovatiebeleid
Veel innovatiebeleid was in Nederland lange tijd generiek, gericht op het voorkómen van R&D-onderinvesteringen door bedrijven als gevolg van marktfalen (Dialogic, 2015). Het afgelopen decennium voltrekt zich echter een kentering richting meer transformatief beleid, een vorm van specifieker beleid dat erop gericht is om systeemfalen te ondervangen (Weber en Rohracher, 2012; Schot en Steinmueller, 2016). Onder andere de Green Deals, Health Deals en de SBIR-innovatieregeling zijn voorbeelden van transformatief beleid, terwijl ook de Topsectorenaanpak mogelijkheden in deze richting biedt (Dialogic, 2017).
Systeemfalen treedt op als structurele weerstanden vernieuwing tegenhouden, bijvoorbeeld via belemmerende wet- en regelgeving, marktmacht van gevestigde partijen of afwijzende publieke opinie en voorkeuren. Met transformatief innovatiebeleid beogen overheden dit falen te doorbreken. Dat is onder andere een kwestie van richting geven, juridische belemmeringen wegnemen en het genereren van belangstelling of zelfs van markten voor vernieuwingspaden. Succesvol transformatief beleid leidt zo tot een vernieuwing die zowel economische als bredere maatschappelijke doelen ten goede komt.
Collectieve effecten
Een fundamenteel aspect van transformatief innovatiebeleid is dat het niet slechts om de som van de inspanningen van individuele bedrijven draait, maar om op elkaar aangrijpende, collectieve veranderingen. Bepaalde innovaties kunnen bijvoorbeeld het bestaande systeem in beweging brengen, waardoor er meer ruimte ontstaat voor soortgelijke innovaties. Hoewel de initiatiefnemer – first mover – private voordelen kan ondervinden, reikt de impact dan verder: de collectieve waarde is dat de innovatie bijdraagt aan het creëren van momentum voor bepaalde vernieuwingspaden die voorheen geen kans hadden.
Als beleid resulteert in systeemveranderingen, dan kan dit ook leiden tot collectieve effecten in de vorm van kennis-spillovers. Hiervan is sprake als kennis over de werking en effectiviteit van de innovatie ook naar andere partijen vloeit. Daarbij kan het ook een kwestie zijn van een kenniscumulatie, bijvoorbeeld als er bij het uitrollen van de pilot of bij het imiteren en repliceren door anderen, aanpassingen plaatsvinden die de innovatie alsmaar beter maken. Zo zijn het vaak juist de second-movers die commercieel succes bereiken, terwijl de initiële innovator maar weinig vruchten plukt van de gedane inspanningen (Querbes en Frenken, 2017).
Evaluatie transformatief beleid
Collectieve effecten maken evaluatie van transformatief beleid lastig. Bij evaluatie van beleid dat ingrijpt op één soort falen is het wat betreft effectmeting de crux om te bepalen of het probleem in kwestie door de interventie wordt weggenomen. Een dergelijk statisch uitgangspunt leent zich voor het soort impactmetingen waarbij er zo zuiver mogelijk gecontroleerd wordt voor bias.
Wanneer dat beleid niet een bepaald type probleem probeert te verhelpen, maar ingrijpt op een specifieke transformatie, is het beduidend ingewikkelder om betrouwbare uitspraken te doen over de aan het beleid toe te schrijven impact. Vanwege de collectieve effecten is de koppeling tussen ‘gesteunde actor’ en gerealiseerde transformatieve impact allesbehalve eenduidig. Afzonderlijke partijen kunnen gesteund worden om hun inspanningen wat betreft specifieke thema’s te intensiveren, maar het proces waarbij dit culmineert in veranderingen op ‘meso-niveau’ is complexer doordat het een samenspel vergt met zo veel socio-technische factoren.
Evenals de ontwikkeling van transformatief beleid staat ook de evaluatie ervan nog in de kinderschoenen (Janssen, 2016). Bij onderzoek naar het doorwerken van beleidseffecten ligt de focus vaak primair op wat de gedragsveranderingen bij de beleidsdeelnemers zelf teweegbrengen – bijvoorbeeld als het gaat om hun werkgelegenheid, omzet of winst. Op dit moment is de aandacht voor spillovers in veel evaluatiestudies beperkt, zelfs als het de reden is waarom het beleid gevoerd wordt. Ook is er nog maar weinig ervaring met het bestuderen van systeemveranderingen.
Eerste verkenning effectmeting
Om de collectieve effecten van innovatiebeleid beter in kaart te brengen, zijn hierover, bij wijze van verkenning, vragen gesteld aan deelnemers van de diverse innovatieregelingen. Dit is onder andere gebeurd in de marge van de beleidsevaluatie van de SBIR en de Valorisation Grant/het Take-off-programma (Dialogic en UNU-MERIT, 2017; zie kader 1). Een econometrische component van deze evaluatie, conform de gangbare wetenschappelijke standaarden, liet zien dat er maar weinig robuuste indicaties waren, en dat de deelnemers zelf significant beter waren gaan presteren dan de niet-deelnemers (Dialogic en UNU-MERIT, 2017). De antwoorden van 276 survey-respondenten wijzen echter wel op interessante patronen als het gaat om de collectieve effecten.
Kader 1: Geëvalueerde innovatieregelingen
De collectieve effecten van drie regelingen zijn verkend: de SBIR Direct, de SBIR Katalytisch en de Valorisation Grant/het Take-off-programma (VG/TO).
De SBIR Direct betreft een aanpak waarbij ondernemers worden uitgedaagd om nieuwe oplossingen te vinden die overheden helpen hun publieke taken beter te vervullen. SBIR omvat haalbaarheidsonderzoeken (fase 1) en experimenten (fase 2). De opdrachtgevers bij deze regeling zijn ministeries en andere aanbestedende diensten die zo’n oplossing zelf zouden kunnen afnemen. Denk bijvoorbeeld aan Rijkswaterstaat die naar oplossingen zoekt om overlast bij bouwwerkzaamheden te reduceren. De bedoeling is dat de gerealiseerde oplossingen vervolgens mogelijk ook voor andere markten en toepassingen relevant zijn.
De SBIR Katalytisch is een variant op het SBIR-instrument, waarbij opdrachtgevers niet een oproep doen voor specifieke oplossingen voor zichzelf, maar innovaties vragen op een bepaald thema om in de breedte meer beweging te ontlokken op dat gebied. Het Ministerie van EZK vraagt bijvoorbeeld om innovaties met betrekking tot flexibele gassamenstelling, in de hoop dat dit thema vervolgens in zijn algemeenheid meer wordt opgepikt.
De Valorisation Grant, inmiddels het Take-off-programma, van NWO-TTW biedt ondersteuning bij het toepassen van onderzoeksresultaten die zijn voortgebracht door de universitaire kennisinfrastructuur.
Figuur 1 laat zien in hoeverre beleidsdeelnemers ervaren dat hun innovatieproject heeft geleid tot systeemveranderingen. Veel respondenten uit de groepen VG/TO en SBIR Katalytisch geven aan dat hun project bijdraagt aan het aanjagen van zowel onderzoek als kennisontwikkeling. De overige drie aspecten hebben meer te maken met de toepassing van kennis. De SBIR Katalytisch springt er hier steeds uit, en wordt daarmee het meest gerelateerd aan veranderingen die de basis vormen voor bredere toepassing van nieuwe kennis. De andere twee regelingen blijven achter op dit punt. Bij VG/TO-projecten komt dat wellicht doordat ze uitgaan van verschillende stukjes kennis; bij de SBIR Direct is dat mogelijk doordat er vooral gemikt wordt op het invullen van een specifieke inkoopbehoefte.
Als er gekeken wordt naar kennis-spillovers (figuur 2), valt het ook op dat de SBIR Katalytisch volgens respondenten relatief vaak tot navolging leidt. Net als de VG/TO scoort de SBIR Katalytisch verder hoger dan de SBIR Direct als het gaat om in hoeverre respondenten hun projecten zien als voorlopers van een brede ontwikkeling.
Figuur 3 laat zien welke typen kennis-spillovers er volgens de respondenten plaatsvinden. Dat andere bedrijven iets hebben kunnen leren over wat er technologisch mogelijk is, wordt bij alle regelingen het vaakst genoemd; SBIR Direct scoort hierbij relatief het hoogst. Veel minder respondenten stellen dat de kennis uit hun project al door andere bedrijven wordt gebruikt, of anderen heeft geholpen om in te zien dat er een afzetmarkt is voor een bepaalde innovatie. VG/TO scoort relatief hoog als het gaat om het gebruik van nieuwe kennis, maar alleen het verschil met de SBIR Direct is statistisch significant. Bij het creëren van inzicht in nieuwe afzetmarkten scoort de SBIR Katalytisch relatief goed ten opzichte van de VG/TO (het verschil ten opzichte van de SBIR Direct is niet significant).
Conclusie
Het uitgangspunt bij transformatief innovatiebeleid is dat overheden een impuls beogen te geven aan elkaar versterkende economische en socio-technische transformaties. Beleidsimpact kan zich daarbij manifesteren via systeemveranderingen en kennis-spillovers. Evaluaties dienen daarom niet enkel te focussen op projecten die direct door een interventie worden gesteund, maar ook op dergelijke collectieve effecten. Mogelijk doet de echte toegevoegde waarde zich pas voor na de afronding van een subsidietraject, zelfs al lijkt het onderliggende project niet eens een succes.
Het optreden van collectieve effecten bemoeilijkt evidence-based policy op basis van evaluaties die in lijn zijn met de aanbevelingen van de Commissie Theeuwes (2012). Enquêtes onder deelnemers aan innovatieregelingen kunnen echter wel een eerste beeld geven van de bewerkstelligde transformatie. De in dit artikel gepresenteerde onderzoeksresultaten tonen aan dat beleidsmaatregelen kunnen variëren in de manier waarop ze impact teweegbrengen. Van de onderzochte regelingen lijkt de SBIR Katalytisch zich bijvoorbeeld het meest te lenen om veranderingen in gang te zetten die tot buiten de gesubsidieerde projecten reiken.
Het doen van betrouwbare uitspraken vergt een verdere conceptuele en methodologische uitwerking van de hier besproken verkenning. Dit kan door meer gebruik te maken van enquêtevragen die de subjectiviteit minimaliseren, door niet alleen aan projectleiders zelf vragen te stellen, of door andere indicatoren te ontwikkelen die zicht geven op de collectieve effecten. Hierbij is het uiteraard aan te bevelen om zo veel mogelijk rekening te houden met biases, bijvoorbeeld als gevolg van zelfselectie (Commissie Theeuwes, 2012). Ook is er nog behoefte aan technieken die helpen om te onderscheiden wie er baat heeft bij de collectieve effecten, en wie er een échte controlegroep vormt.
Literatuur
Commissie Theeuwes (2012) Durf te meten. Eindrapport Expertwerkgroep Effectmeting, november.
Dialogic (2015) Innoveren en ondernemen met beleid. Rapport in opdracht van het Ministerie van Economische Zaken, te vinden op www.dialogic.nl.
Dialogic (2017) Evaluatie Topsectorenaanpak. Rapport in opdracht van het Ministerie van Economische Zaken, te vinden op www.topsectoren.nl, onder “publicaties’.
Dialogic en UNU-MERIT (2017) Evaluatie smal business innovation research (SBIR). Rapport in opdracht van het Ministerie van Economische Zaken, te vinden op www.rijksoverheid.nl.
Janssen, M. (2016) What bangs for your bucks? Assessing the design and impact of transformative policy. CID research fellow and graduate student Working Paper, 69. Center for International Development at Harvard University.
Querbes, A. en K. Frenken (2017) Evolving user needs and late-mover advantage. Strategic Organization, 15(1), 67–90.
Roelandt, T. en H. van der Wiel (2017) Durf te meten: hoe evalueren we het Nederlandse innovatiebeleid? Artikel op www.mejudice.nl, 11 september.
Schot, J. en W.E. Steinmueller (2016) Framing innovation policy for transformative change: Innovation Policy 3.0. Science Policy Research Unit (SPRU), University of Sussex, 4 september. Te vinden op www.johanschot.com.
Tweede Kamer (2011) Innovatiebeleid. Rapport Algemene Rekenkamer, 33009(2).
Weber, K.M. en H. Rohracher (2012) Legitimizing research, technology and innovation policies for transformative change: combining insights from innovation systems and multi-level perspective in a comprehensive ‘failures’ framework. Research Policy, 41(6), 1037–1047.
