De eerste informatie die beschikbaar is over de economische groei van dat moment wordt al 12,5 jaar gegeven door de EICIE. Tijd voor een evaluatie. Hoe doet deze indicator het eigenlijk en kan hij worden verbeterd?
In het kort
– De EICIE is een goede indicator voor bbp-kwartaalgroei gebleken, maar het kan beter.
– Sentimentvariabelen en machine learning-technieken liggen aan de basis van een nog betere indicator.
In het kort
Dit onderzoek is mogelijk gemaakt door de Goldschmeding Foundation
Aangemoedigd door Frits Goldschmeding, oprichter van Randstad, werd eind 2004 de EICIE ontwikkeld. EICIE staat voor Econometric Institute Current Indicator of the Economy, waarbij het woord current cruciaal is. Het Centraal Bureau voor de Statistiek presenteert de eerste versie van de economische groeicijfers 45 dagen na afloop van een kwartaal, en voor sommigen zou dit wat aan de late kant kunnen zijn. De EICIE voorziet derhalve in een mogelijke behoefte om niet pas na afloop van een kwartaal te weten hoe de economie ervoor stond, maar juist al tijdens het lopende kwartaal. Het is de enige indicator op kwartaalbasis voor het Nederlandse bbp.
De EICIE is gebaseerd op een eenvoudig econometrisch tijdreeksmodel. De kwartaalgroei van het bruto binnenlands product (dit kwartaal tegenover hetzelfde kwartaal het jaar ervoor) wordt verklaard door het eigen verleden, maar vooral door voorspellingen van de kwartaalgroei van het aantal werkenden via Randstad. De eerste versie van het model was gepubliceerd in ESB (De Groot en Franses, 2005). Door de jaren heen heeft het model kleine aanpassingen ondergaan. Er is steeds gewerkt met de meest actuele gegevens, en per kwartaal zijn er dan ook twee of drie quotes van de EICIE.
Nu de EICIE 12,5 jaar bestaat, is het een goed moment om twee vragen te stellen. Hoe heeft de EICIE het in de afgelopen periode gedaan? En, kan de EICIE worden verbeterd, bijvoorbeeld door andere inputvariabelen en/of andere modellen en technieken te gebruiken?
Prestaties van de EICIE
We vergelijken de EICIE met drie verschillende quotes van het CBS voor bbp-groei. Dat zijn de zogeheten flashquote (na 45 dagen), de eerste quote (na 90 dagen) en de finale quote (na zo’n drie jaren). Figuur 1 geeft een vergelijking van de EICIE met de finale quotes weer.
Tabel 1 presenteert getalsmatig de verschillen tussen de EICIE- en de CBS-quotes. De gemiddelde voorspelfouten wijken iets af van 0, maar verschillen niet significant van 0. We zien dat de EICIE de CBS-quotes beter benadert naarmate de tijd vordert. De EICIE is minder goed om de flashquote te voorspellen, maar is behoorlijk goed in het voorspellen van de laatste quote. De absolute voorspelfout lijkt redelijk constant, hoewel de mediaan iets toeneemt. Figuur 1 laat zien dat de EICIE niet systematisch te hoog of te laag voorspelt, en dat de grootste misser plaatsvond in 2005 kwartaal 2 en in 2009 kwartaal 2. Al met al blijkt dat de EICIE goed presteert, en dat er niet echt grote verschillen zijn met de CBS-quotes.
De EICIE is de enige indicator op kwartaalbasis voor het Nederlandse bbp, en een vergelijking met andere indicatoren (zoals die bijvoorbeeld van het CPB, DNB en IMF) kan alleen maar nadat de EICIE-quotes zijn vertaald naar jaargegevens. Dit resulteert in tien jaarlijkse quotes. Wanneer die worden vergeleken met andere indicatoren dan blijkt vooral die van het CPB beter te zijn. De belangrijkste oorzaak hiervan is dat de EICIE er voornamelijk in het begin van 2009 flink naast zat. Het is de moeite waard te bestuderen of de EICIE kan worden verbeterd.
Andere variabelen
Een eerste onderzoek betreft de mogelijkheid of er variabelen zouden kunnen zijn, anders dan de werkenden bij Randstad, die een verklarend effect kunnen hebben op de huidige bbp-groei. Hiervoor zijn vele honderden variabelen bestudeerd. Veel ervan zijn zogeheten sentimentvariabelen, die via Google-trends en andere zoekalgoritmen zijn gevonden, en gerelateerd zijn aan zoektermen als ‘inflatie’ of ‘op zoek naar een baan’. Daarnaast is voor al die variabelen ook de voorlooptijd bestudeerd – dat wil zeggen dat sommige variabelen slechts een paar maanden voorlopen op economische ontwikkelingen, andere meer dan een jaar.
Een belangrijke variabele blijkt het consumentenvertrouwen te zijn. Om deze te meten, is gebruikgemaakt van een nieuwe methode (Segers et al., 2017), waarbij een roterend panel is gebruikt. Deze nieuwe vertrouwensindex maakt het mogelijk om opeenvolgende waarnemingen statistisch met elkaar de vergelijken. Met de index als die van het CBS kan dat niet, omdat hiervoor maandelijks steeds nieuwe respondenten worden ondervraagd.
Al met al is de conclusie dat vooral sentimentvariabelen, vertrouwen van consumenten en producenten, ontwikkelingen in de wereldhandel en rentes in belangrijke mate de EICIE verbeteren. Het is zelfs zo dat de bijdrage van werkenden bij Randstad eigenlijk wegvalt.
Andere modellen en methoden
De oorspronkelijke EICIE was gebaseerd op een eenvoudig lineair foutencorrectiemodel. Een tweede onderzoek betreft dan ook de mogelijkheid of de prestaties van dit eenvoudige model wellicht kunnen worden verbeterd door gebruik te maken van machine learning. Hiervoor worden support vector machines (SVM), neurale netwerken en zogeheten random-forest-technieken bestudeerd. Deze ML-technieken maken het mogelijk om, als ze er zijn, willekeurig welke verbanden te vinden tussen de input- en outputvariabelen. Deze technieken zijn echt vooral behulpzaam om betere voorspellingen te leveren, en daar worden ze ook op beoordeeld. De verbanden die worden gevonden, hebben vaak niet of nauwelijks een economische betekenis.
Uitgebreid testen op data van bbp-kwartaalgroei, die niet ook zijn gebruikt om de methoden op toe te passen, leert dat vooral de neurale netwerken een uitstekende prestatie leveren, en dat de prestaties van de andere twee methoden wat tegenvallen, in het onderhavige geval van bbp-kwartaalgroei in Nederland.
Op weg naar een nog betere EICIE
Wanneer de nieuwe variabelen en de nieuwe methoden met elkaar worden gecombineerd, dan ontstaat er een EICIE met een mediane absolute voorspelfout van rond de 0,5, zoals blijkt uit tabel 2.
Vergeleken met de scores in tabel 1 betekent een andere methode ruwweg een halvering van de voorspelfout. De originele EICIE lijkt dus vervangen te kunnen worden door een indicator waarin steeds nieuwe variabelen, met mogelijke variatie in voorlooptijden, worden betrokken, en waarbij gebruik wordt gemaakt van technieken aangaande het machinaal leren. Deze nieuwe EICIE wordt nu nog verder getest, maar de verwachting is dat de eerste quote zal worden gegeven gedurende het derde kwartaal van het huidige jaar.
Literatuur
Glorie, K. P.H. Franses et al. (2017) Construction of a novel indicator for Dutch GDP using Machine Learning and Sentiment Analysis, ongepubliceerd manuscript.
Groot, E.A. de, en P.H. Franses (2005) Een real time indicator van het bruto binnenlands product. ESB, 90(4450), 8.
Segers, R., P.H. Franses en B. de Bruijn (2017) A novel approach to measuring consumer confidence. Econometrics and Statistics, te verschijnen.
