Raming en realisatie van
CPB-prognoses
Telkens weer benadrukt het CPB
(Centraal Planbureau) in zijn publicaties het voorwaardelijke karakter van
de prognoses. Voorwaardelijk, omdat
zowel externe data en beleidsuitgangspunten kunnen wijzigen als omdat ons inzicht in het economisch proces zodanig fragmentarisch is dat
geen econoom de pretentie kan en
mag hebben met grote zekerheid voorspellingen te doen. Hier worden de
CPB-ramingen met de realisaties vergeleken en de ongelijkheidscoefficienten van het CEP (Centraal Planbureau)
en MEV (Macro Economische Verkenning) beknopt naast elkaar gezet. Ook
wordt een vergelijking gepresenteerd
met een ander stelsel ramingen, die
aan de eis van onderlinge consistentie
voldoet, namelijk de Grecon-ramingen. Voor meer gedetailleerde informatie verwijzen we naar bij het CPB
verkrijgbare documentatie.
De hier uitgevoerde exercitie heeft
overigens een beperkte betekenis omdat deoorzaken van verschillen tussen
raming en realisatie niet worden uitgediept. Daarom kunnen aan de in dit
artikel gepresenteerde becijferingen
dusookgeen harde uitspraken worden
ontleend omtrent de voorspelkracht
van de door het CPB gehanteerde ramingsmethoden. Immersdaarvoorzou
een zodanige decompositie plaats
moeten vinden dat duidelijk zou worden in hoeverre de verschillen tussen
raming en realisatie het gevolg zijn van
ramingsfouten van de exogenen (externe data en beleidsuitgangspunten)
dan wel zijn toe te schrijven aan de
door het CPB gebruikte prognosetechnieken.
Voorts dient erop te worden gewezen dat de nauwkeurigheid van ramingen van belang is, maar binnen de
uitdrukkelijke randvoorwaarde van
consistentie. In de wet van 21 april
1947, houdende de voorbereiding van
de vaststelling van een Centraal Economisch Plan wordt niet expliciet
gesproken over nauwkeurigheid van
de schattingen, maar wel van ‘evenwtehtig samenstel’ ten behoeve van de
coordinatie. Vergelijk ook het recente
boek van D.B.J. Schouten, Het wanketeevenwichtindeeconomie, waarin hij
in de inleiding stelt: „Macro economie
moet, niet zozeer om te kunnen voorspellen, maar vooral als hulpmiddel bij
de zo noodzakelijke coordinatie van de
economische politick”.
Methode
Bij de vergelijkingen wordt de gebruikelijke ongelijkheidscoefficient U’
gehanteerd 1). Als raming en realisatie
steeds aan elkaar gelijk zijn is er sprake van een perfecte raming en dan is
U’ = 0. BijU’ = 1 iserslechtgeraamd,
U’ is ongeveer gelijk’aan 1 als raming
minus realisatie veelal in dezelfde orde
van grootte liggen als de realisatie. Of
een ongelijkheidscoefficient van bij
voorbeeld 0,5 als goed of als matig
moet worden bestempeld is echter niet
duidelijk. Men kan echter ook de hoogte van de ongelijkheidscoeffient van
verschillende ramingsmethoden vergelijken. Zo worden de ongelijkheidscoefficienten van CPB-ramingen wel
met die van ‘naTeve’ methodes vergeleken 2). Een lagere ongelijkheidscoefficient zou dan op een betere ramingsmethode duiden. Bij een dergelijke
‘naTeve’ werkwijze gaat men er bij
voorbeeld van uit, dat ,,de mutatie hetzelfde zal zijn als die in het voorafgaand jaar”. Een dergelijke methode
gaat echter geheel voorbij aan de eis
van onderlinge consistentie van de cijfers. Deze consistentie kan worden
verzekerd door de definitie-vergelijkingen in het achterliggende model, terwijl de confrontatie van middelen en
bestedingen een handzaam hulpmiddel vormt. Bij de CPB-prognoses wordt
gestreefd naar zo nauwkeurig mogelijke ramingen, maar steeds binnen de
strikte randvoorwaarde van consistentie van de cijfers. De naTeve methode
doet bovendien geen recht aan met
een redelijke mate van betrouwbaarheid te voorspellen effecten. De lezer
van het Centraal Economisch Plan
1986 zou vreemd opkijken als daarin
een consumptieprijsstijging van 2,3%
werd geraamd, even hoog als in 1985.
De olieprijsdalingen en de recente wisselkoersbewegingen hebben immers
met zekerheid gunstige effecten op de
inflatie. Een vergelijking van de CPBramingen met de uitkomsten van naTeve extrapolaties ligt derhalve minder
voor de hand. Daarom moet de voorkeur worden gegeven aan een vergelijking van de CPB-ramingen met een
ander samenstel van ramingen, die
evenals die van het CPB, voldoen aan
de eis van consistentie in het samenstel. De Grecon-voorspellingen
die sedert 1977 ongeveer een maand
voor het CEP worden gepubliceerd voldoen aan die eis. De ongelijkheidscoefficienten van de CPB-ramingen
zullen daarom hier naast die van
de Greconramingen worden gezet.
Voorts worden het CEP en de MEV vergeleken, een en ander op beknopte
wijze 3). We wijzen er overigens op dat
het bij de raming- en realisatievergelijking gaat om exercities met een beperkte betekenis. Voor zover het gaat
om de verbetering van de modellen
dient men immers veel dieper te gaan
dan onder een vergelijking van raming
en realisatie van endogene variabelen
wordt verstaan; men komt dan uit op
het (her)schatten van modellen 4).
1) Zie Voorspelling en realisatie, CPBmongrafie nr. 10,1965, biz. 16 e.v. De definitie
van de ongelijkheidscoefficient is als volgt:
voor de raming van een variabele van een jaar
is deze gedefinieerd als:
U
‘i,t –
u.
Hier staat U j t voor het verschil tussen voorspelling en reaiisatie van variabele i in jaar t.
Dit verschil wordt genormeerd door te delen
door de wortel uit het gemiddelde der kwadraten van de realisaties gedurende een relevante periode.
Hanteren we de ongelijkheidscoefficienten
voor m variabelen op tijdstip t, dan wordt deze:
1 I
2
U’, = U’..
‘t
m 1 i,t
Analoog geldt voor de ongelijkheidscoefficient van een variabele, maar voor verschillende perioden:
1s
n t
,2
i,t
waarin n het aantal perioden voorstelt.
Ten slotte definieren we de maatstaf voor m
variabelen over n perioden:
111 2
——
U’
mm 1 t
i,t
Aan deze ongelijkheidscoefficient zijn nadelen verbonden. We stippen aan, dat de uitkomst afhankelijk is van het niveau van de realisatie. Dat is weliswaar de primaire bedoeling
van de normering, maar leidt er toe dat misschattingen van bij voorbeeld de inflatie in tijden van een hoge inflatie tot een lagere
ongelijkheidscoefficient leiden dan in tijden
van lagere prijsstijgingen. Bovendien heeft U
als bezwaar, dat er geen absolute norm aan
kan worden ontleend.
2) Zie bijvoorbeeld J.L. van der Leeuw, De
toekomst in retrospectief, ESB, 15 februari
1984.
3) Voor uitvoeriger beschouwingen kan worden verwezen naar de vele publikaties over ramingen en realisaties. We noemen hier twee
recente publikaties en verwijzen naar de vele
verwijzingen naar andere die daarin staan:
J.L. van der Leeuw, De toekomst in retrospectief, ESB, 15 februari 1984; N.J. de Beer, Voorspelprestaties CPB in de periode 1953 tot en
met 1980, research memorandum, Tilburg,
1985.
4) Zie over het nut van macro-economische
modelbouw de door L. van der Geest in ESB in
1983 aangezwengelde discussie.
727
Voorzover het gaat om een vergelijking
van de raming en realisatie van exogene variabelen, die toch ook – zij het niet
langs modelmatige weg – worden geraamd, gaat het om veel meer dan het
lijstje kerngegevens dat in de gebruikelijke vergelijking van raming en realisaties wordt gehanteerd.
De CPB-ramingen
vergeleken met Grecon
Sedert 1977 worden er in het voorjaar in ESB Grecon-ramingen voor het
lopende jaar gepubliceerd. De gemiddelde publicatiedatum over de te beschouwen periode 1977-1984 was medio maart 5). Dat is een maand eerder
dan de gemiddelde afsluitingsdatum
van het CEP (over de periode 19771984 medio april) en ongeveer twee
maanden eerder dan de gemiddelde
Voor alle variabelen – uitgezonderd
de werkloosheid – geldt dat de ramingen van Grecon minder adequaat zijn
dan die in het CEP en van de combinatie CEP/MEV (6/8 CEP + 2/8 MEV).
Ook blijkt voor alle jaren dat de totale
ongelijkheidscoefficient van Grecon
slechter is.
Dit verschil kan zowel het gevolg zijn
van een geringere voorspelkracht van
het Grecon-model als van een minder
goede inschatting van exogenen.
Vergelijkt men de Grecon-ramingen
met die welke het CPB een half jaar
daarvoor uitbrengt in de MEV dan blijkt
ongeveer (marge 0,06) dezelfde ongelijkheidscoefficient te gelden voor loonvoet, volume bnp, werkgelegenheid,
volume goederenuit- en invoer, en consumptieprijs. Ten dele wordt dit veroorzaakt door het feit dat in het Greconmodel sommige cjepredetermineerde
variabelen worden ontleend aan de
MEV. Grecon raamt de bedrijfsinves-
Tabel. Ongelijkheidscoefficienten per variabele (1977-1984)
MEV
Loonvoet bedrijven
Invoerprijs
Volume bruto nationaal produkt (bnp)
Werkgelegenheid bedrijven (incl. zelfstandigen)
Werkloosheid
Volume particuliere consumptie
Volume investeringen bedrijven (excl. woningen)
Volume goederenuitvoer
Volume goedereninvoer
Consumptieprijs
Alle variabelen
CEP
(6/8 x CEP
+ 2/8 MEV)
Grecon
0,28
0,12
0,43
0,60
0,48
0,52
0,38
0,44
0,75
0,48
0,10
0,47
(0,16)
(0,50)
(0,65)
(0,54)
(0,54)
(0,48)
(0,48)
(0.82)
(0,56)
(0,12)
(0,53)
0,24
0,50
0,72
0,81
0,72
0,62
0,79
0,58
1,03
0,80
0,19
0,69
publicatiedatum van het CEP in de periode 1977-1984. Hier worden de ramingen van Grecon en CEP vergeleken. Verder worden ook de Ongelijkheidscoefficienten van de MEV die
8 maanden voor het CEP uitkomt gepresenteerd alsmede – tussen haakjes – 6/8 maal de ongelijkheidscoefficient van het CEP en 2/8 maal die van
de MEV 6).
In label 1 worden de Ongelijkheidscoefficienten gegeven van de grootheden die zowel in de kerngegevenstabel
van het CPB als Grecon voorkomen.
Het blijkt dat zowel bij het CPB als bij
Grecon de ongelijkheidscoefficient het
laagst is bij lonen en consumptieprijsmutatie. Verder zijn de CEP-ramingen
over de hele linie beter dan die uit de
MEV. In het bijzonder de ramingen van
de invoerprijs, het volume van particuliere consumptie, de goederenuitvoer
en de goedereninvoer zijn beter. Het
gegeven dat de CEP-ramingen aanmerkelijk beter zijn dan die uit de MEV
kan niet aan het model liggen, en is dus
het gevolg van het feit dat 8 maanden
later veel meer informatie beschikbaar
is. Voor de macro-grootheden die ook
in de MEV voorkomen gaat het daarbij
om meer recente informatie met betrekking tot het beleid en de externe
ontwikkeling, terwijl bij de CEP raming
voorts van meer bedrijfstakgewijze informatie gebruik wordt gemaakt.
728
0,80
0,67
0,49
0,56
0,83
1,04
0,79
0,25
0,66
teringen slechter, maar de invoerprijs,
het volume van de particuliere consumptie en de werkloosheid beter dan
een halfjaar eerder in de MEV gebeurde. De ongelijkheidscoefficient van alle variabelen van tabel 1 te zamen is
over de totale periode waarover thans
een vergelijking mogelijk is voor de
MEV ongeveer gelijk aan Grecon. In
combinatie met het gegeven dat de
MEV eerder uitkomt suggereert dit dat
aan de MEV ramingen een model alsmede inzichten met een grotere voorspelkracht ten grondslag liggen.
thodieken minstens gelijke tred hield
met de toegenomen complexiteit van
een economie die twee oliecrises
doormaakte.
Het CEP blijkt vrijwel steeds nauwkeuriger ramingen op te leveren dan
de MEV. Dat komt omdat het CEP ongeveer een halfjaar later dan de MEV
uitkomt, waardoor ten tijde van het
CEP meer informatie voorhanden is.
Het gaat daarbij om verschillende vormen van extra informatie.
– er is meer statistisch materiaal beschikbaar; de reeksen zijn in het algemeen twee kwartalen langer. Zo
is er ten tijde van het CEP wat consumptieprijzen, werkloosheid en
wisselkoers betreft al statistische
informatie beschikbaar betreffende
het begin van het jaar waarop de ramingen betrekking hebben. Er is in
principe meer zicht op de vermoedelijkeontwikkelingen in het buitenland. Vooral het beschikbaar komen (meestal eind december) van
de Economic Outlook van de OESO
is daarbij van belang. De beleidsuitgangspunten, zoals verwoord in de
Miljoenennota, kunnen inmiddels
zijn bijgesteld, bij voorbeeld op
grond van de behandeling in de
Tweede Kamer. Voorts kan een
realistischer schatting worden gemaakt van het tijdstip van invoering
van bepaalde beleidsmaatregelen;
– ten tijde van het CEP vindt – anders dan bij de MEV – een onderbouwing op meso- en sectorniveau
plaats. De MEV is – ook historisch
gezien – niets anders dan een
voorloper van de CEP, een macroplaatje bij de beleidsvoornemens
zoals die in de Miljoenennota staan.
Ten tijde van de MEV heeft de ronde van bedrijfstakonderbouwing
nog niet plaats gevonden en zijn de
sectorspecialisten er veelal slechts
zijdelings aan te pas gekomen. Ook
kan bij de MEV nog geen gebruik
worden gemaakt van informatie uit
de CPB-Conjunctuurenquete die
als sinds 1957 jaarlijks wordt ge-
MEV en CEP vergeleken
We bezien hier of de kwaliteit, althans de nauwkeurigheid van de raming van de kerngegevens, van MEV
en CEP in de loop van de jaren beter is
geworden. In de grafiek (zie fig.) wordt
daartoe voor ieder jaar de ongelijkheidscoefficient van 21 kernvariabelen van
MEV en CEP weergegeven 7). De grafiek suggereert dat de nauwkeurigheid
van de raming der kerngegevens in de
loop der jaren ongeveer hetzelfde is
gebleven 8). Wat het CEP betreft suggereert de grafiek dat er sinds 1973
een lichte verbetering heeft plaatsgevonden. Dat suggereert dat de aanpassing en verbetering van de ramingsme-
5) Over 1985 zijn er nog onvoldoende realisatiecijfers.
6) In de Grecon-publicaties vergelijkt men
met de MEV, terwijl een vergelijking met het
CEP toch meer voor de hand ligt.
7) Hierbij wordt aangetekend dat de ramingen
betreffende 1973 en later in tegenstelling tot
de betreffende eerdere jaren niet zijn gecorrigeerd voor het effect van onvoorziene wijzigin-
gen in economisch beleid en re- en devaluaties.
8) Een regressieberekening laat ook zien:
MEV = 0,0017+0,62
(0,2)
(6,6)
R2 = 0,00
vNR = 1,98
MEV = ongelijkheidscoefficient MEV
T = trend
ter nog is verbeterd. Met een kwartaalmodel Ran immers beter dan met een
jaarmodel rekening worden gehouden
met de meest recente statistische informatie. Voorts werden de modellen
uitgebreid zodat met meer vrucht gebruik kon worden gemaakt van de kennis van de specialisten. Zo werden de
modellen uitgebreid met een monetair
blok.
Minstens zo belangrijk als een goede voorspelkracht is de consistentie.
Een theoretisch fundament is daarvoor
nodig alsmede aanvulling van de
macro-modellen met additionele informatie, waaronder die afkomstig van
partiele modellen.
CEP
MEV
,1.21.0.
.8..
6
.4-
M. van Schaaijk
..
2
1965
1970
1975
1980
1985
Jaar
houden 9). Vlak voor de jaarwisseling hebben diverse specialisten
immers vertrouwelijke gesprekken
met een honderdtal bedrijven met
te zamen ruim een half miljoen
werknemers. Op die manier wordt
de vinger aan de pols van de economie gehouden en komt ook informatie binnen over verwachtingen
en actuele kwesties.
De vraag is nu in welke mate deze
extra informatie leidt tot de grotere
nauwkeurigheid van de CEP-ramingen
ten opzichte van die in de MEV. Daarover kan enige idee worden verkregen
door de jaarlijkse ongelijkheidscoefficient van het CEP te bezien in relatie
tot de afsluitdatum. Bij het CEP varieert deze datum anders dan bij de
MEV namelijk tussen eind mei van het
betreffendejaar(in 1982) en november
van het voorafgaande jaar (die van
1988 werd in november 1986 afgesloten). De precieze afsluitdatum lijkt
vooral van belang voor het verwerken
van additionele externe informatie
(statistisch materiaal, buitenland exogenen, beleidsbeslissingen e.d.). Behalve de afsfuitdatum spelen er nog
meer factoren een rol. Zo is in het ene
jaar voorspellen moeilijker dan in het
andere jaar en verder is de ongelijkheidscoefficient gevoelig voor schaalproblemen. Dat geldt zowel voor het
CEP als de MEV zodat aan dit probleem tegemoet kan worden gekomen
door de ongelijkheidscoefficient van
de MEV onder de verklarende variabelen op te nemen. Hoe later de afsluitdatum, hoe lager de ongelijkheidscoefficient van het CEP ten opzichte van die
van de MEV, zo mag worden verwacht.
De invloed van de afsluitdatum op de
totale ongelijkheidscoefficient lijkt echter uiterst zwak te zijn 10). Bij uitsplitsing naar diverse groepen variabelen
wordt er alleen bij de instrumentvaria-
ESB 23-7-1986
belen een significant van nul afwijkende coefficient van de variabele afsluitdatum gevonden 11). Voorzichtigheid
is echter geboden bij het trekken van
conclusies want het is denkbaar dat er
nog andere factoren in het spel zijn. Zo
kan achter een late afsluitdatum en
een hoge ongelijkheidscoefficient een
gemeenschappelijke verklarende variabele schuilgaan: een moeilijk jaar zowel wat betreft raming als beleidsvoorbereiding. Men denke aan 1974, het
jaar van de oliecrisis. Onder dat voorbehoud lijkt het echter – behalve bij
de instrumentvariabelen – weinig uit
te maken of het CEP in december dan
wel mei wordt afgesloten. De bijdrage
van additionele statistische informatie
op macro-niveau aan de betere voorspelkwaliteit van het CEP lijkt dus beperkt tot de instrumentvariabelen. Dat
betekent dat de betere voorspelkracht
van het CEP ten opzichte van de MEV
met name ook lijkt te moeten worden
gezocht bij de andere bron van extra
informatie: de onderbouwingen op
meso- en sectorniveau. Aan CEP en
MEV liggen immers dezelfde macromodellen ten grondslag.
Voor een raming met een hoge voorspelkracht zijn dus drie factoren van
belang:
* De auteur is werkzaam bij het CPB. Hij
dankt W. Winkler voor het uitvoeren van de berekeningen en L. Knegt voor zijn commentaar
op een eerdere versie van deze bijdrage.
9) Mede omdat de conjunctuurenquete altijd
voorhanden is ten tijde van het CEP is ze hier
bij de interne informatie ingedeeld.
10) Van zowel het totaal als van groepjes variabelen is over de jaren 1963-1984 de relatie
tussen ongelijkheidscoefficient (0) en afsluitdatum (A = aantal maanden vanaf begin van
het jaar) geschat:
totaal:
OCEP= 0,5 OMEV –
(5,6)
0,02 A + 0,23
R 2 = 0,63
(4,0)
vNR = 2,10
(1,2)
instrumentvariabelen:
0,22
R2 = 0,49
(2,0)
(2,4)
vNR = 2,23
0,02 A -f
0,20
R2 = 0,46
(0,7)
(2,4)
vNR = 2,53
0,24
R2 = O,63
OCEP= 0,60 OMEV- 0,04 A +
(3,7)
externe variabelen:
OCEP = 0,4 OMEV-
(4,0)
endogene variabelen:
OCEP= 0,40 OMEV-0,01 A +
(5,6)
(1,1)
(4,3)
11) Onder instrumentvariabelen wordt hier in navolging van Monografie nr. 10 – verstaan: loonvoet bedrijven, loonvoet overheid;
overige overheidsconsumptie; overheidsinvesteringen en volume woningbouw. Onder
externe variabelen zijn opgenomen: invoerprijs; volume wereldhandel; concurrerende
uitvoerprijs.
– snelle toevoer van recente statistische informatie (instrumentvariabelen);
– onderbouwing door bedrijfstak- en
sectorspecialisten alsmede gebruik
maken van informatie uit de conjunctuurenquete; en uiteraard een
model dat optimaal kan inspelen op
deze beide punten.
De voorgaande indicaties ondersteunen een feitelijke ontwikkeling.
Sinds het begin van de jaren zeventig
wordt voor de korte-termijnramingen
een kwartaalmodel gehanteerd, dat la-
729