Een blik op de toekomst is belangrijk bij het nemen van beslissingen voor bedrijven, personen en de overheid. Ramingen van de economische ontwikkeling bieden zo’n blik, maar hoe goed zijn die ramingen eigenlijk?
In het kort
– Voorspellingen met een economisch model zijn beter dan een naïeve raming die gelijk is aan de laatste realisatie.
– Geen van de ramingsinstanties doet het systematisch beter dan de anderen.
– Ramingen onderschatten de groei in een opgaande conjunctuur en overschatten de groei in een neergaande conjunctuur.
Ramingen zijn onvermijdelijk omgeven met onzekerheid (Don, 2001). Eerder onderzoek van Kranendonk et al. (2009) leert ons dat de onderlinge verschillen in trefzekerheid tussen instanties voor de groeiramingen van het bruto binnenlands product (bbp) klein zijn. Dit artikel bevat een uitgebreidere evaluatie van de trefzekerheid van gepubliceerde kortetermijnramingen voor de Nederlandse economie. Nieuw is dat we naast de bbp-groei ook kijken naar onderliggende componenten, en de voorspelfouten relateren aan de stand van de conjunctuur. Daarnaast zoeken we naar verklaringen voor variaties in voorspellingskwaliteit. Zo gaan we na of de voorspelfouten bij het bbp verband houden met de openheid van een economie, en relateren we deze aan onzekerheid zoals financiële stress en gedragsfactoren zoals vertrouwen.
Trefzekerheidsanalyse
Onze trefzekerheidsanalyse breidt de analyse van Kranendonk et al. (2009) van 1998–2007 uit met de periode 2008–2015. We berekenen de trefzekerheid van de ramingen van acht macro-economische kernvariabelen (bbp, particuliere consumptie, bedrijfsinvesteringen, import, export, relevante wereldhandel, werkloosheid en de geharmoniseerde prijsindex) voor het lopende en komende jaar. Iedere variabele wordt vier keer geraamd, in juni en december van het voorgaande jaar, en in juni en december van het jaar zelf. De trefzekerheid wordt afgemeten aan het absolute verschil tussen de voorspelling en de definitieve realisatiecijfers van het CBS voor acht instanties over het tijdvak 1998–2015. De acht bronnen zijn ABN Amro, Consensus Economics, CPB, DNB, Europese Commissie, ING, OESO en Rabobank. Verder gebruiken we een ‘naïeve’ raming als benchmark, waarbij de voorspelling voor het lopende en komende jaar gelijk is aan de meest recente realisatiecijfers in het voorafgaande jaar.
Omdat de verschillen tussen de voorspellende instanties relatief klein zijn, richten we ons in dit artikel op de trefzekerheid van het gemiddelde van de acht instanties per ramingsronde. Alleen DNB wordt afzonderlijk getoond. Als maatstaf voor de spreiding van de absolute voorspelfout laten we de trefzekerheid zien van de instantie met de hoogste en die met de laagste voorspelfout per ramingsronde. Het onderliggende databestand bevat uitsluitend openbare informatie en is bij de auteurs opvraagbaar.
Economische groei
Tabel 1 geeft een overzicht van de trefzekerheid van ramingen voor acht macroeconomische grootheden, waaronder de economische groei. Zoals verwacht neemt de gemiddelde absolute voorspelfout toe naarmate de voorspelling verder in de toekomst ligt. Voorspellen voor december van het lopende jaar is eenvoudiger dan voor juni van het komende jaar, aangezien er in het eerste geval meer informatie beschikbaar is. Zo loopt de gemiddelde absolute voorspelfout van alle instanties op van 0,56 procentpunt voor het lopende jaar in december tot 1,61 procentpunt voor het komende jaar in juni.
De gevonden voorspelfouten voor juni van het komende jaar zijn iets groter dan die gerapporteerd door Kranendonk et al. (2009), die voor alle instanties gemiddeld een voorspelfout van 1,4 procentpunt vonden. Dit is toe te schrijven aan de crisis. Wanneer het sterk afwijkende crisisjaar 2009 niet wordt meegenomen in de analyse, daalt de gemiddelde absolute voorspelfout voor juni van het komende jaar naar 1,4 procentpunt.
In lijn met eerdere bevindingen vinden we relatief kleine verschillen in trefzekerheid voor de bbp-groei tussen de onderzochte instanties. Over het algemeen verschilt de gemiddelde absolute voorspelfout tussen de instantie met de hoogste en de laagste voorspelfout niet meer dan 0,2 procentpunt.
Verder blijkt dat elke instantie de naïeve raming ruimschoots verslaat. Naarmate de voorspelling verder in de toekomst ligt, neemt de meerwaarde van de ramingsinstanties echter af ten opzichte van de naïeve raming. Waar de gemiddelde absolute voorspelfout van de naïeve raming voor december van het lopende jaar drie keer zo groot is als van de ramingsinstanties, is de voorspelfout van de naïeve raming voor juni van het komende jaar nog maar veertig procent hoger dan het gemiddelde van alle instanties.
Overige economische grootheden
In het onderzoek hebben we ook de trefzekerheid van de ramingen voor de groei van de bestedingscomponenten, de wereldhandelsgroei, het werkloosheidspercentage en de inflatie geanalyseerd. We beschrijven slechts de belangrijkste kwalitatieve bevindingen.
Van de onderdelen van het bbp zijn de bedrijfsinvesteringen het moeilijkst te ramen. De naar verhouding lage trefzekerheid houdt verband met de relatief grote variatie in de ontwikkeling van deze bestedingscomponent: de standaardafwijking van de bedrijfsinvesteringen is ruim drie keer zo groot als van het bbp in de beschouwde periode. De trefzekerheid van de particuliere consumptie is vergelijkbaar met die van het bbp.
De invoer en de uitvoer houden qua trefzekerheid en variatie het midden tussen de particuliere consumptie en de bedrijfsinvesteringen. Een belangrijke determinant van de export is de relevante wereldhandel. Deze laat zich niet eenvoudig voorspellen. De gemiddelde absolute voorspelfout is relatief omvangrijk, en loopt sterk op naarmate de voorspelhorizon langer wordt. Door het open karakter van de Nederlandse economie hangt de trefzekerheid van kernvariabelen nauw samen met de kwaliteit van de ramingen voor de relevante wereldhandel. Ter illustratie hiervan is voor DNB een alternatieve voorspelling van het bbp berekend, waarin de realisatiecijfers van de relevante wereldhandel als bekend worden verondersteld. De gemiddelde absolute voorspelfout van DNB voor de bbp-groei voor het komende jaar in juni neemt hierdoor substantieel af, van 1,6 procentpunt tot 0,8 procentpunt. Dit betekent evenwel niet dat voorspellen bij een open economie moeilijker is dan bij een meer gesloten economie (kader 1).
De gemiddelde absolute voorspelfouten van de werkloosheidsvoet en de inflatie zijn relatief klein. De verklaring hiervoor moet gezocht worden in de relatief lage variatie in de ontwikkeling van beide variabelen, die ongeveer de helft van de variatie in de ontwikkeling van de bbp-groei bedraagt.
Net als bij de bbp-groei, zijn ook de verschillen in trefzekerheid van de zojuist genoemde grootheden beperkt.
Voorspellen in open economie niet moeilijker
De leidende gedachte is dat voorspellen voor een open economie moeilijker is dan voor een gesloten economie. Openheid gaat volgens deze redenering gepaard met hogere volatiliteit van de bbp-groei, als gevolg van toegenomen kwetsbaarheid voor de internationale conjunctuur. Aan de andere kant kan openheid ook zorgen voor geringere kwetsbaarheid voor binnenlandse conjunctuurcycli en daarmee lagere volatiliteit. Empirisch is er geen consensus over het verband tussen de openheid van een economie en de voorspelkwaliteit. Zo vindt Pons (2000) voor voorspellingen van een jaar vooruit voor de G7-landen in 1973–1995 geen relatie. Voor een grotere groep landen suggereert een studie van de OESO (2014) in 2008–2009 een negatief verband tussen de openheid en trefzekerheid. Dit resultaat lijkt evenwel te worden vertekend door een uitbijter.
Tegen deze achtergrond hebben wij voor een relatief lange steekproefperiode (1970–2015) de trefzekerheid van de bbp-ramingen van de OESO voor vijftien ontwikkelde economieën afgezet tegen de openheid van een economie. De trefzekerheid is afgemeten aan de gemiddelde absolute voorspelfout voor ramingen uit december voor het komende jaar. De openheid is gemeten als de som van de import en export van een economie als percentage van het bbp. Figuur 2 toont veel variatie in voorspelkwaliteit, maar weinig samenhang met de maatstaf voor openheid. Zo is voor de meest gesloten economie, die van de VS, de absolute voorspelfout nagenoeg even groot als voor de meest open economie, te weten België. Dit resultaat verandert nauwelijks als we andere deelperiodes beschouwen, zoals de periode na de tweede oliecrisis (1985–2015) of de periode voorafgaand aan de financiële crisis (1970–2007). Ook blijft de correlatie laag als openheid wordt beschouwd vanuit het perspectief van grensoverschrijdende financiële relaties zoals directe investeringen.
Rol conjunctuur
Economische golfbewegingen blijken een belangrijke bron van onzekerheid. Zo laten Konchitchki en Patatoukas (2016) zien dat de variatie in voorspelfouten van ramingen voor de bbp-groei in de VS systematisch samenhangt met de stand van de conjunctuur. De ramingen zijn gemiddeld genomen te optimistisch in de neergaande fase van de conjunctuur, en te pessimistisch in de opgaande fase. Dit betekent dat op- en neerwaartse bewegingen van de economie over het algemeen onderschat worden.
Voorspelfouten beïnvloed door de conjunctuur
Voor ramingen van de Nederlandse bbp-groei van alle instanties vinden we eveneens bewijs dat de trefzekerheid samenhangt met de conjunctuur. Figuur 1 bevat de gemiddelde voorspelfout, uitgesplitst naar de neergaande en opgaande fase van de conjunctuur. Gemiddeld is de bbp-groei in de neergaande fase overschat met 1,3 procentpunt, en in de opgaande fase is de bbp-groei gemiddeld onderschat met 0,9 procentpunt. Dit heeft niet alleen te maken met het niet goed timen van omslagpunten in de conjunctuur, maar de voorspelfouten zijn nagenoeg altijd negatief (positief) tijdens een opgaande (neergaande) conjunctuur. De amplitude van de conjunctuurcyclus wordt dus onderschat.
Oorzaken voor onderschatten cycliciteit
Er zijn twee belangrijke oorzaken voor het onderschatten van de cyclische component in de voorspelfout. Een is statistisch van aard, de andere heeft een economische oorsprong.
Een belangrijke bijdrage aan de onderschatting tijdens een opgaande conjunctuur komt van de bijstellingen van de Nationale Rekeningen in de beschouwde periode. Het CBS publiceert achtereenvolgens vijf realisatiecijfers van de bbp-groei, waarbij het eerste jaarcijfer (flash) 45 dagen na afloop van het vierde kwartaal wordt gepubliceerd, en het definitieve cijfer tweeënhalf jaar later uitkomt. Gemiddeld heeft het CBS de bbp-groei in de periode 2000–2015 opwaarts bijgesteld met 0,2 procentpunt. Omdat voorspellers voor de meest recente informatie afhankelijk zijn van de flash, draagt een te lage inschatting van de flash bij aan een onderschatting van de bbp-groei. De gemiddelde opwaartse bijstelling van 0,2 procentpunt maskeert echter dat in een opgaande conjunctuur de bbp-groei opwaarts is bijgesteld met gemiddeld 0,5 procentpunt, terwijl in een neergaande conjunctuur de flash min of meer gelijk is aan het definitieve cijfer. Als de ramingen tegen de flash worden afgezet, is er nagenoeg geen sprake meer van onderschatting bij een opgaande conjunctuur, terwijl de overschatting tijdens een neergaande conjunctuur relatief sterk blijft (zie figuur 1).
De overschatting in de neergaande fase hangt mogelijk samen met de relatief grote en lastig in te schatten onzekerheid in die fase van de cyclus. Zo laten Bloom et al. (2012) zien dat de neergang van de conjunctuur mede wordt veroorzaakt door de toenemende onzekerheid. Een andere veelgenoemde reden is het onvolkomen modelleren van vertrouwensinvloeden (DNB, 2014). Als we voor de acht beschouwde instanties de gemiddelde voorspelfouten voor het bbp tussen 1998 en 2015 relateren aan de financiële stressindicator van DNB en aan veranderingen in het consumentenvertrouwen, vinden we een sterke samenhang (zie tabel 2). Hierbij past wel de kanttekening dat het aantal observaties beperkt is. De resultaten zijn robuust voor het weglaten van de stressindicator of het consumentenvertrouwen, en voor de toevoeging van de vertraagde voorspelfout. Ook als we de regressie herhalen met DNB-ramingen vanaf 1990 vinden we een significante negatieve relatie tussen de voorspelfout en veranderingen in het consumentenvertrouwen en een significante positieve relatie tussen financiële stress en de voorspelfout. Al met al suggereert dit dat het onvolkomen modelleren van onzekerheid en/of vertrouwensindicatoren een onderliggende bron is voor het overschatten van de bbp-groei.
Verder blijkt – in lijn met de resultaten van Bloom et al. – dat de Granger-causaliteit voor DNB vanaf 1990 loopt van veranderingen in consumentenvertrouwen en de financiële stressindicator naar de voorspelfout. Met andere woorden, als we rekening houden met informatie over consumentenvertrouwen en financiële stress van het jaar waarin de raming wordt gemaakt, kan dit de trefzekerheid vergroten.
Bij de resultaten is het belangrijk om op te merken dat de gebruikte voorspellingen gebaseerd zijn op modellen die destijds werden gebruikt. Het kan zijn dat bij huidige voorspellingen gedragsfactoren wel worden meegenomen. Het consumentenvertrouwen wordt bijvoorbeeld door DNB vanaf december 2014 expliciet meegenomen in de voorspellingen van de consumptie en de huizenmarkt (DNB, 2014).
Conclusie
De voorspelfouten van de kortetermijnramingen voor de Nederlandse economie van alle acht beschouwde instituten zijn aanzienlijk. De onderlinge verschillen tussen de instanties voor ramingen van de bbp-groei en de andere componenten zijn relatief klein. Dit is in internationaal perspectief in lijn met evaluaties door de ECB (2013), de OESO (2014) en de Federal Reserve Board (2017) van de macro-economische voorspelkwaliteit.
Uit onze analyse komt naar voren dat de cycliciteit van de Nederlandse economie door alle instanties wordt onderschat. De ramingen van de bbp-groei zijn gemiddeld genomen van elke instantie te optimistisch in de neergaande fase van de conjunctuur en te pessimistisch in de opgaande fase. De onderschatting tijdens een opgaande fase komt grotendeels door de opwaartse bijstellingen van de (flash‑)ramingen van het CBS. Deze zijn in de beschouwde periode vooral opwaarts tijdens een opgaande conjunctuur. Daarnaast zou het niet toereikend modelleren van onzekerheid en/of vertrouwensfactoren een oorzaak kunnen zijn voor het onderschatten van de conjunctuurbeweging.
Literatuur
Bloom, N., M. Floetotto, N. Jaimovich et al. (2012) Really uncertain business cycles. NBER Working Paper, 18245.
DNB (2014) Economische ontwikkelingen en vooruitzichten, nr. 8; p. 17, box 1.
Don, F. (2001) Forecasting in macroeconomics: a practitioner’s view. De Economist, 149(2), 155–175.
ECB (2013) An assessment of Eurosystem staff macroeconomic projections. ECB Monthly Bulletin, mei, 71–84.
Federal Reserve Board (2017) Gauging the uncertainty of the economic outlook using historical forecasting errors: the Federal Reserve’s Approach. Finance and Economics Discussion Series, 2017-020.
Konchitchki, Y. en P. Patatoukas (2016) Accounting information and turning points in the business cycle. Working paper, University of California.
Kranendonk, H., J. de Jong en J.P. Verbruggen (2009) Trefzekerheid CPB-prognoses 1971–2007. CPB Document, 178.
OESO (2014) OECD forecasts during and after the financial crisis: a post mortem. OECD Economic Policy Note, 23; p. 4, figuur 2.
Pons, J. (2000) The accuracy of IMF and OECD forecasts for G7 countries. Journal of Forecasting, 19, 53–63.
