De betrouwbaarheid van macro
economische voorspellingen
Een bijdrage van Grecon
De voorspelkracht van een econom(etr)isch model wordt in de praktijk veelal afgemeten
aan de resultaten van een onderzoek naar de mate waarin het model in het verleden in
staat is geweest of in staat zou zijn geweest realistische voorspellingen te genereren. Als
deze resultaten gunstig uitvallen, wordt wel de conclusie getrokken dat de gebruikte
voorspelprocedure bevredigend is en dat het gebruikte model voor de toekomst een
vergelijkbare voorspelkracht zal vertonen. Een andere benaderingswijze om de
betrouwbaarheid van voorspellingen aan te geven is het construeren van
betrouwbaarheidsintervallen met behulp van de geschatte standaarddeviatie van de
verstoringen. In dit artikel worden de resultaten gegeven van toepassing van beide criteria
op voorspellingen van de zes belangrijkste macro-economische variabelen van het
Grecon-model in de jaren 1977-1984. Wat betreft het eerstgenoemde criterium worden de
resultaten tevens vergeleken met de resultaten van de voorspellingen die het Centraal
Planbureau jaarlijks in zijn Macro Economische Verkenning publiceert alsmede met het
gemiddelde van CPB- en Grecon-voorspellingen ex ante. Tevens wordt een overzicht
gegeven van mogelijke oorzaken van voorspelfouten.
DR. W. VOORHOEVE*
Of een voorspelling betrouwbaar kan worden geacht,
hangt af van de verwachting omtrent de mogelijke fluctuaties van de voorspelfout, het absolute verschil tussen voorspelling en realisatie. Een bekende maatstaf hiervoor is de
geschatte standaarddeviatie van de verstoringen, die kan
worden gebruikt om een betrouwbaarheidsinterval voor de
voorspelling te geven in plaats van een puntvoorspelling.
Indien op deze wijze voor een aantal opeenvolgende jaren
intervallen zijn berekend, dan is het vervolgens mogelijk
na te gaan in hoeveel gevallen de realisaties in het interval
zijn terecht gekomen. Een nadeel van zulke voorspelintervallen is dat de lokatie afhankelijk is van de veronderstelde
waarden van de gepredetermineerde variabelen. Wil men
daarom uit een confrontatie van de realisaties met de voorspelintervallen conclusies trekken ten aanzien van de betrouwbaarheid van het model, dan dient men de intervallen opnieuw te berekenen, nu met gebruik van de gerealiseerde waarden van de gepredetermineerde variabelen.
Helaas worden niet voor alle macro-economische voorspellingen standaarddeviaties berekend om de betrouwbaarheid aan te geven. In dergelijke gevallen kan men realisaties slechts met puntvoorspellingenvergelijken. Niettemin kan een dergelijke confrontatie iets zeggen over de
voorspelkracht in het verleden. Indien men vervolgens veronderstelt dat de beschouwde voorspelprocedure ook in
de toekomst even goed of even slecht zal functioneren, geven de conclusies op grond van genoemde confrontatie
enig inzicht in de betrouwbaarheid van te genereren voorspellingen. In de literatuur worden voor een dergelijke confrontatie diverse mogelijkheden aangegeven 1), die ruwweg in twee groepen kunnen worden onderscheiden. De
eerste groep is gebaseerd op een regressie tussen realisaties en voorspellingen. De tweede groep kan worden samengevat onder het begrip ‘gemiddelde voorspelfout’,
1158
waarbij veelal een kwadratisch of een absoluut gemiddelde wordt gehanteerd.
In dit artikel wordt de betrouwbaarheid van de Greconvoorspellingen onderzocht. Nagegaan zal worden in hoeverre de standaarddeviaties van de geschatte herleidevormverstoringen (op basis waarvan de betrouwbaarheidsintervallen worden bepaald) kunnen worden gehanteerd
als maatstaf voor de betrouwbaarheid van de voorspellingen. Tevens zullen de realisaties worden geconfronteerd
met zowel de gepubliceerde voorspellingen ex ante als de
voorspellingen ex post. Voorafgaand aan de presentatie
van de resultaten volgen eerst enkele opmerkingen over
het Grecon-model zelf, alsmede over de mogelijke oorzaken van voorspelfouten.
Het Grecon-model
In 1976 werd aan het Econometrisch Instituut van de
Rijksuniversiteit Groningen het econometrische model
Grecon geconstrueerd, waarmee jaarlijks voorspellingen
(inclusief de standaarddeviaties van de geschatte
herleidevorm-verstoringen) worden gemaakt van de belangrijkste Nederlandse macro-economische variabelen.
* Wetenschappelijk hoofdmedewerker aan het Econometrisch Instituut van de Rijksuniversiteit Groningen. De auteur is dank verschuldigd aan drs. H.W.A. Dietzenbacher en drs. A.G.M. Steerneman voor
nun kritische opmerkingen op een eerdere versie van dit artikel.
1) Zie b.v. L.R. Klein, An essay on the theory of economic pedriction,
Chicago, 1971; M.D. Intriligator, Econometric models, techniques and
applications, Amsterdam, 1978; D.J. Smyth, Short-run macroeconimic forecasting: the OECD performance, Journal of Forecasting,
1983, nr. 2, biz. 37-49.
Deze voorspellingen worden gepubliceerd als alternatief
voor de officiele voorspellingen van het Centraal Planbureau (CPB). Het Grecon-model is een lineair simultaan
econometrisch model, waarvan de gedragsvergelijkingen
zijn gespecificeerd op grand van zowel economisch relevante als statistisch significante causale verbanden. Het
model is relatief klein (circa tien gedragsvergelijkingen) en
de parameters zijn geschat met de methode van de kleinste kwadraten in twee ronden, op basis van officieel, voor
ieder toegankelijk cijfermateriaal vanaf 1952, dat grotendeels is ontleend aan de Nationale Rekeningen van het
Centraal Bureau voor de Statistiek. Vanaf 1977 worden
jaarlijks de Grecon-voorspellingen gepubliceerd en wordt
een rapport uitgebracht waarin een zo volledig mogelijke
verantwoording wordt afgelegd over onder meer het gebruikte cijfermateriaal, van de wijzigingen in de modelspecificatie en van de veronderstellingen die ten grondslag
liggen aan de voorspellingen.
Oorzaken van voorspelfouten
Indien de voorspellingen zijn gemaakt met behulp van
een econometrisch model, kunnen voorspelfouten (de verschillen tussen de voorspelde en de gerealiseerde waarden) het gevolg zijn van vier onzekerheden: de gekozen
modelspecificatie; de waarden van de parameters; de
waarde van de storingsterm in de te voorspellen periode;
en de waarden van de gepredetermineerde variabelen.
We gaan nu nader in op de genoemde oorzaken.
De model-specificatie. Een model is in wezen niet meer
dan een benadering van het systeem zoals dit in werkelijkheid functioneert. Deze benadering kan de volgende afwijkingen ten opzichte van de werkelijkheid vertonen:
– het is niet mogelijk rekening te houden met alle relaties
binnen een economisch systeem. Zowel’de relaties als
de variabelen in het model kunnen niet beschouwd
worden als een volledige beschrijving van de werkelijkheid;
– het is mogelijk dat een model niet-relevante relaties of
variabelen bevat, bij voorbeeld doordat gehanteerde
economische theorieen in werkelijkheid niet opgaan
voor het beschouwde systeem of de beschouwde periode;
– zelfs indien een model beschouwd kan worden als een
bevredigende beschrijving van het systeem in het verleden, behoeft dit niet op te gaan voor de te voorspellen
periode. Er kan een structuurverandering optreden tussen verleden en toekomst;
– ook indien verondersteld kan worden dat de in het model opgenomen causaliteiten en variabelen relevant
zijn, bestaat de mogelijkheid dat de relaties op een andere wijze dienen te worden gedefinieerd. Men kan wat
dit betreft bij voorbeeld denken aan een in feite nietlineaire reactie die wordt benaderd door een lineaire
functie.
De waarden van de model-parameters. Het feit dat een
model geschatte waarden in plaats van de echte waarden
voor de parameters bevat, is op zich al een vanzelfsprekende bron van voorspelfouten. Daarnaast kunnen onderstaande omstandigheden van invloed zijn op de geschatte waarden zelf:
– toepassing van verschillende (al of niet simultane)
schattingsmethoden resulteert in verschillende sets
van schattingen van parameter waarden en daardoor in
verschillende sets van voorspellingen;
– het gebruik van verschillende steekproefperioden voor
het schatten van de parameters kan eveneens tot alternatieve uitkomsten leiden. Wat dit betreft kan men zich
afvragen of het redelijk is cijfermateriaal uit de jaren
vijftig te gebruiken voor het schatten van een model dat
vervolgens wordt gebruikt voor het genereren van voorspellingen in de jaren tachtig;
– de betrouwbaarheid van de schatting van de parameters hangt vanzelfsprekend af van de betrouwbaarheid
ESB26-11-1986
en van de beschikbaarheid van adequaat cijfermateriaal. Voor Nederland is men aangewezen op door het
CBS in de Nationale Rekeningen gepubliceerde jaarcijfers. Wil men in het najaar van jaar t een model schatten ten behoeve van voorspellingen voor jaar t +1 op
basis van de recentste Nationale Rekeningen zoals
Grecon doet, dan heeft men de beschikking over cijfermateriaal voor de jaren t -1 en eerder. Bovendien hebben de gegevens voor jaar t -1 en t – 2 een voorlopig
karakter.
De waarde van de storingsterm. Een voorspelling op basis van een model is in wezen een puntschatting van de betreffende variabele in een bepaald jaar, waarbij de storingsterm gelijk aan 0 wordt gesteld. Per definitie is de
waarde van de storingsterm onvoorspelbaar.
De waarden van de gepredetermineerde variabelen.
Voorspellingen gemaakt met een simultaan model, zijn
conditioneel, gegeven de waarden van de gepredetermineerde variabelen in het te voorspellen jaar. In de praktijk
worden deze waarden niet door het model geschat, maar
op grond van additionele kwantitatieve informatie over de
economische situatie geraamd. Het is duidelijk dat de kwaliteit van deze raming van invloed is op de kwaliteit (en dus
op de betrouwbaarheid) van de voorspelprocedure als geheel. Dit geldt te meer voor variabelen die zich moeilijk laten ramen. Ashley merkt hierover op: ,,An explanatory variable may appear to be quite significant, and be highly
useful even outside the sample when actual values of it are
available. Yet the errors in forecasting it may nevertheless
overshadow its explanatory power”. 2)
Op basis van het Grecon model, versie 79-D, werden
een aantal experimenten uitgevoerd met het doel na te
gaan hoe groot de invloed op de kwaliteit van de voorspellingen is van het voorlopig cijfermateriaal uit de Nationale
Rekeningen, van de geraamde waarden van de exogene
invloeden die op het model inwerken en van de onzekerheden die voortvloeien uit het werken met modellen als benaderende beschrijving van de werkelijkheid 3). Hiertoe is
het model met cijfermateriaal voor de periode 1952 -1976
geschat op basis van drie verschillende datasets: de
laatste twee jaren voorlopig, het laatste jaar voorlopig en
ten slotte alle cijfers definitief. Met elk van deze drie zijn
vervolgens voor 1976 (het recentste jaar waarvoor ten tijde
van de experimenten definitieve gegevens beschikbaar
waren) voorspellingen berekend op basis van eveneens
drie verschillende sets waarden voor de gepredetermineerde variabelen. In totaal dus 9 voorspellingen voor elke
variabele. Deze voorspellingen zijn vervolgens geconfronteerd met wederom drie verschillende sets van realisaties
voor 1976. Behalve deze confrontaties is voor elke variabele de standaarddeviatie van de herleide-vormverstoringen berekend. Onder andere werden de volgende conclusies uit het onderzoek getrokken:
– het effect op de voorspellingen van het gebruik van
voorlopige gegevens voor de laatste twee jaren van de
schattingsperiode bleek te kunnen worden verwaarloosd;
– niet verwaarloosbaar klein bleken de verschillen ten
gevolge van de onzekerheid met betrekking tot de
waarden van de gepredetermineerde variabelen;
– de grootste bron van onzekerheid waren de herleidevormverstoringen, gezien de relatief hoge waarden van
de standaarddeviaties hiervan.
Het hierboven aangehaalde onderzoek is op twee punten beperkt te noemen. Enerzijds is slechts een versie van
het Grecon-model in beschouwing genomen, anderzijds is
slechts de invloed onderzocht van het al of niet voorlopige
karakter van de cijfers voor 1975 en 1976. In het hierna volgende wordt evenwel verondersteld dat de eerstgenoem2) R. Ashley, On the usefulness of macroeconomic forecasts as inputs to forecasting models, Journal of Forecasting, 1983, nr. 2, biz.
211-223.
3) De resultaten van de hier bedoelde experimenten zijn gepubliceerd in ESB, 12 maart 1980, biz. 306-311.
1159
label 1. Gemiddelde, standaarddeviatie, maximum- en
minimum-waarde van de jaarlijkse procentuele toename
van enkele belangrijke variabelen van net Grecon-model,
1952-1976
Tabel 2. Gemiddelde jaarlijkse procentuele toename van
enkele belangrijke variabelen van het Grecon-model, perioden 1977- 1979, 1980- 1982 en 1983- 1984
Periode
Variabele
Particuliere consumptie
Invoer van goederen
Afzet van goederen
Consumptieprijs
Loonvoet
Particuliere
werkgelegenheid
Uitvoer van goederen
Standaarddeviatie
Maximum
2,3
8,1
3,5
3,4
3,6
7,8
24,0
6,2
4,5
9,9
1,3
9,4
1,6
5,0
3,8
16,7
Gemiddelde
5,0
8,4
Minimum
Variabele
10,9
11,5
15,7
0,3
-10,6
– 1,2
– 1,0
2,4
–
1,6
4,7
de conclusie eveneens voor andere modelversies en voor
andere jaren opgaat. Hierdoor is het mogelijk dat de verschillen voorspellingen ex ante (dat zijn de in de praktijk
gegenereerde voorspellingen, dat wil zeggen inclusief het
deels voorlopige karakter van het cijfermateriaal en inclusief de onzekerheid ten aanzien van de waarden van de
gepredetermineerde variabelen) en voorspellingen ex
post (in dit artikel te definieren als voorspellingen gegenereerd met een model waarvan de parameters zijn geschat
met definitief cijfermateriaal en waarbij voor de gepredetermineerde variabelen definitieve waarden zijn gesubstitueerd) hoofdzakelijk kunnen worden toegeschreven aan
het gebruik van onjuiste waarden voor de gepredetermineerde variabelen.
Particuliere consumptie
Invoer van goederen
Afzet van goederen
Consumptieprijs
Loonvoet
Particuliere werkgelegenheid
Uitvoer van goederen
1977-1979
1980-1982
1983-1984
3,9
-1,2
-2,7
-0,1
4,7
2,5
2,6
2,5
-1,6
5,8
5,1
3,8
4,7
7,2
0,9
3,7
-1,1
6,2
5,4
-1,6
0,4
Samenvattend kan worden gesteld dat de economische
situatie in de jaren 1977-1984 aanzienlijk afwijkt van de
daaraan voorafgaande jaren. Indien het voorspellen van
de economische ontwikkeling in deze periode gebaseerd
is op een modelspecificatie en op schatting van de parameters vanuit de jaren 1952-1976 (zoals met het
Grecon – model het geval is), is het duidelijk dat het model
moeite zal hebben de jaren 1977-1984 te verklaren.
Daarom zullen tevens confrontaties worden gepresenteerd van realisaties met alle puntvoorspellingen ex post,
berekend met de diverse specificaties van de Greconmodellen. Op deze wijze kan worden nagegaan of de voorspelkracht van het model beter wordt naarmate de specificatie is gebaseerd op meer informatie betreffende de periode 1977 -1984.
Grecon-voorspellingen 1977-1984
Voorspelintervallen
Het onderhavige onderzoek heeft betrekking op de zes
belangrijkste endogene variabelen van het Grecon-model,
die in alle tot nu toe geconstrueerde modelversies dezelfde definitie hebben. Het betreft de volgende variabelen:
– particuliere consumptie c;
– invoer van goederen m;
– afzet van bedrijven v’;
– Consumptieprijs pc;
– loonvoet I;
– particuliere werkgelegenheid a.
Voorafgaand aan de presentatie van de uitkomsten
volgt een korte samenvatting van het verloop van de beschouwde zes variabelen en van de uitvoer van goederen
in de periode 1977-1984 in vergelijking met de daaraan
voorafgaande jaren.
In een aantal opzichten verschilt de periode 1977 -1984
van de daaraan voorafgaande jaren 1952-1976. In 1976
leek de invloed van de oliecrisis op de Nederlandse economie nagenoeg te zijn verdwenen. De uitvoer van goederen
nam in 1976 met bijna 12% toe, na een daling van 5% in
1975. Hierdoor leek zich eveneens het verloop van de afzet en de invoer van goederen te herstellen: de afzet nam
in 1976 toe met meer dan 6%, een groei die vergelijkbaar
is met de voorafgaande jaren; de invoer steeg zelfs met bijna 9%, een hogere toename dan tevoren. De cijfers voor
1977 laten evenwel zien dat sprake was van een zeer incidenteel herstel: de uitvoer daalde met ruim 2%; de afzet
steeg slechts met 3% en de invoer met circa 2,5%. In tabel
1 en tabel 2 is een en ander weergegeven.
Niet zelden bedraagt de jaarlijkse procentuele verandering in de jaren na 1976 meer dan twee maal de standaarddeviatie van het gemiddeld in de periode 1952-1976.
Voor de particuliere consumptie is dit bij voorbeeld het geval voor alle jaren 1980 -1984; voor de afzet van goederen
voor de jaren 1981 en 1982; en voor de particuliere werkgelegenheid voor de jaren 1981 -1983. Bovendien blijkt
de jaarlijkse procentuele verandering na 1976 relatief vaak
te liggen beneden het minimum van de gehele periode
1952-1976.
1160
Hiervoor is reeds vermeld dat bij de jaarlijkse Greconvoorspellingen tevens de standaarddeviaties van de geschatte herleide-vormverstoringen worden gepubliceerd.
Tabel 3 geeft hiervan de samenvatting. De interpretatie
van deze cijfers is als volgt. Als deze kunnen worden beschouwd als een redelijke benadering van de standaarddeviaties van de voorspellingen 4) en als het achterliggende model als juist mag worden beschouwd, en ten slotte
als de gesubstitueerde waarden van de gepredetermineerde variabelen juist zijn, zal de realisatie gemiddeld in
circa 95% binnen een interval van twee maal de standaarddeviatie random de voorspelling liggen; binnen een
interval van een maal de standaarddeviatie zal gemiddeld
circa 68% liggen. Het is duidelijk dat de voorspellingen
des te betrouwbaarder zijn naarmate de standaarddeviatie
kleiner is. Op grond van deze constatering kan uit tabel 3
de conclusie worden getrokken dat de voorspellingen van
alle beschouwde variabelen (uitgezonderd de particuliere
werkgelegenheid) in de loop van de periode 1977-1986
steeds betrouwbaarder blijken te worden. Niettemin is het
zo, dat de cijfers relatief (beschouwd ten opzichte van de
waarde van de voorspelling zelf) nog steeds aan de hoge
kant zijn. Om een voorbeeld te noemen: voor 1986 is door
Grecon een stijging voorspeld van de particuliere consumptie van 2,0% met een standaarddeviatie van 1,3. Dit
betekent dat (onder de reeds genoemde veronderstellingen) de kans circa 68% bedraagt dat de stijging tussen de
0,7% en de 3,3% zal uitkomen. De kans bedraagt voorts
circa 95% dat de stijging zal uitkomen tussen de – 0,6%
ende +4,6%.
Voor een confrontatie van realisaties en voorspelinter4) Formeel is de variantie van de voorspelfout gelijk aan de som van
de variances van respectievelijk de verstoring en de voorspelling. De
grootste variabiliteit wordt evenwel veroorzaakt door de verstoring.
Voor een numerieke uitwerking van deze grootheden zie R.H. Ketellapper, B. Bos, M.A. Kooyman en W. Voorhoeve, A simultaneous econometric model for the Dutch economy, Statistica Neerlandica, jg. 31,
1977, nr. 3, biz. 141-159.
Tabel 3. Standaarddeviaties van de geschatte herleidevormverstorringen (ex ante) van de zes beschouwde variabelen, 1977- 1986
Tabel 4. Aantal malen dat de voorspelfout ten hoogste k
maal de standaarddeviatie van de geschatte herleidevormverstoring bedraagt in de periode 1977- 1984
Variabele
Variabele
Jaar
c
m
v’
PC
I
a
1977
2,1
1978
1979
1980
1981
1982
1983
1984
1985
1986
1,9
1.6
1,5
1,5
1,5
1,5
1.4
1,3
1,3
5,0
4,1
3,4
4,2
2,5
2,5
2,4
3,0
2,8
2,5
2,2
1,5
1,1
1,5
1,0
1,0
0,9
0,9
0,8
0,9
2,7
2,7
3,0
2,8
2,9
2,1
2,0
1,9
1,8
1,9
2,4
2,3
2,5
2,4
2,3
2,0
1,4
1,2
1,6
1,6
0,9
0,8
0,6
0,7
0,7
0,8
0,8
1,0
1,0
1,0
vallen kan gebruik worden gemaakt van de grootheid die
aangeeft het aantal malen dat een realisatie ten hoogste 1,
2 of 3 maal de standaarddeviatie van de voorspelling af
ligt. Theoretisch (indien het achterliggende model juist zou
zijn) vindt dit plaats in respectievelijk 68%, 95% en 99%
van de gevallen. Tabel 4 geeft hiervan een overzicht voor
de beschouwde variabelen in de jaren 1977-1984. Eerder onderzoek heeft uitgewezen dat met namen de eerste
modelspecificatie (versie 77-B) enigszins te wensen overNet wat betreft de voorspelkracht 5). Om deze reden is tevens tabel 5 opgenomen die hetzelfde cijfermateriaal bevat als tabel 4, met weglating van de cijfers voor 1977.
De cijfers dienen als volgt te worden gemterpreteerd,
aannemende dat de achterliggende modelspecificatie
juist is. Per variabele mag men verwachten dat in de jaren
1977-1984 (tabel 4) 5 a 6 keer de voorspelfout ten
hoogste 1 maal de standaarddeviatie bedraagt; 7 a 8 keer
ten hoogste 2 maal de standaarddeviatie en 8 keer ten
hoogste 3 maal de standdaarddeviatie. Voor de beschouwde zes variabelen als totaal zijn deze getallen
respectievelijk 32 a 33, 45 a 46 en 47 a 48. Voor de jaren
1978-1984 (tabel 5) mag men per variabele verwachten
dat de voorspelfout ten hoogste 1, 2 of 3 maal de standaarddeviatie bedraagt in respectievelijk 4 a 5, 6 a 7 en 7
gevallen. Voor het totaal zijn deze getallen respectievelijk
28 a 29, 40 en 41 a 42.
Indien het er om gaat de praktische voorspelkracht van
het model te beoordelen, kunnen de frequenties ex ante
worden vergeleken met de theoretische frequenties. Immers, ex ante voorspellen is wat men in de praktijk doet.
De hieruit te trekken conclusies zeggen iets over de voorspelprocedure als geheel. Wil men evenwel een oordeel
uitspreken overde juistheid van de modelspecificatie, dan
dient men de frequenties ex post te bezien, aangezien het
verschil tussen ex ante en ex post in de beschouwde situatie hoofdzakelijk kan worden toegeschreven aan het gebruik van onjuiste waarden van de gepredelormineerde
variabelen (zie de hierboven aangehaalde experimenten
met het model 79-D).
De cijfers in tabel 4 en tabel 5 dienen met voorzichtigheid te worden gehanteerd aangezien zij de resultaten zijn
van een zeer beperkt aantal waarnemingen: 6 variabelen
over 7 of 8 jaar. Wil men evenwel aan de cijfers enige betekenis ontlenen, dan lijken de volgende conclusies getrokken te kunnen worden:
– bezien wij de totaalkolommen in beide tabellen, dan
blijkt dat in 60% a 70% van de gevallen de realisatie
(zowel ex ante als ex post) ten hoogste een keer de
standdaarddeviatie van de voorspelling ligt. Ten
hoogste twee keer de standaarddeviatie ligt 80% a
90%. Met name wat betreft de voorspellingen ex post
zijn de resultaten met weglating van 1977 beter te noemen, een bevestiging van reeds eerdere conclusie dat
de voorspelkracht van het model 77-B te wensen
overlaat;
– de frequenties per variabele laten een wisselend beeld
zien. Met name blijken de voorspellingen van de partiFSR 2R-1 1-lQflfi
Totaal
c
m
v’
PC
I
a
absoluut
procentueel
67
Ex ante
– k=1
6
4
– k=2
– k=3
Ex post
7
8
7
8
3
6
8
8
8
8
8
8
8
3
6
32
42
8
48
88
100
–
6
6
8
6
8
8
6
7
8
5
6
8
5
6
7
3
4
6
31
37
45
65
77
94
K=1
– k=2
– k =3
Tabel 5. Aantal malen dat de voorspelfout ten hoogste k
maal de standaarddeviatie van de geschatte herleidevormverstoring bedraagt in de periode 1978- 1984
Variabele
Totaal
c
m
v’
PC
I
a
absoluut
procentueel
7
7
7
7
7
7
2
26
5
7
36
42
62
86
100
5
5
6
7
3
4
5
30
36
40
71
86
95
Ex
–
ante
k =1
k =2
k =3
5
6
7
3
6
7
2
5
7
Ex
–
post
K=1
k =2
k =3
6
6
7
5
7
7
6
7
7
6
7
culiere werkgelegenheid (a) in alle gevallen slecht te
zijn. Voor de overige variabelen komen de frequences
voor wat betreft de voorspellingen ex post in grote lijnen overeen met wat men mag verwachten, zeker indien het jaar 1977 buiten beschouwing wordt gelaten.
Ex ante laten de voorspellingen voor de invoer (m) en
de afzet van goederen (v’) te wensen over; dit wordt
kennelijk veroorzaakt door een onjuiste substitutie van
de waarden van de gepredetermineerde variabelen;
de resultaten zijn aanzienlijk beterte noemen indien de
slechte voorspellingen van de particuliere werkgelegenheid (a) buiten beschouwing worden gelaten. Zeker
als tevens het jaar 1977 niet in aanmerking wordt genomen, kan op basis van de frequenties in tabel 5 worden
berekend dat in dat geval 69% van de realisaties niet
meer dan een keer de standaarddeviatie van de voorspellingen ex ante afwijkt; voor de voorspellingen ex
post bedraagt dit percentage zelfs 77. Ten hoogste
twee keer de standaarddeviatie zijn deze percentages
respectievelijk 89 en 91.
Puntvoorspellingen ex ante
Een beoordeling van puntvoorspellingen wordt in dit artikel uitgevoerd met behulp van de ongelijkheidscoefficient van Theil 6). Een nadeel van het gebruik van deze
maatstaf is dat geen objectief oordeel kan worden gegeven of een voorspelling als redelijk kan worden beschouwd
of niet. Een perfecte voorspelling levert een waarde gelijk
aan 0; naTeve voorspellingen (geen verandering) leveren
een coefficient van 1. Op grond hiervan wordt wel als criterium gebruikt dat een waarde tussen 0 en 1 redelijk is en
dat een waarde groter dan 1 slecht is, omdat dan beter
naTef voorspeld had kunnen worden. Op deze wijze wordt
5) Zie b.v. W. Voorhoeve, Short-term economic forecasting in practice: the Grecon case, proefschriff, Rijksuniversiteit Groningen, 1986.
6) Zie H. Theil, Applied economic forecasting, Amsterdam, 1966.
llfil
Tabel 6. Ongelijkheidscoefficient van Theil voor de periode 1977- 1984 per variabele voor het totaal van de voorspellingen ex ante van CPB, Grecon en het gemiddelde
van beide
Variabele
Bron van
Totaal
Tabel 7. Ongelijkheidscoefficient van Theil voor de gehele periode 1977- 1984 per variabele en totaal: Grecon
voorspellingen ex post met de verschillende modelversies
Voorspelmodel
Variabele
Totaal
c
c
m
v’
PC
1
0,66
0,58
0,56
0,78
0,63
0,61
0,60
0,16
0,25
0,16
0,27
0,25
0,22
0,77
0,69
0,70
77-B
CPB
GRECON
Gemiddelde
0,82
0,79
0,59
0,57
0,56
de genoemde maalslaf dan ook gehanleerd als vergelijkingsmaat lussen verschillende voorspellingsuitkomsten.
Ook in dil artikel zal de ongelijkheidscoefficienl als vergelijkingsmaat worden gehanleerd. Daartoe zullen de
door hel Cenlraal Planbureau Jaarlijks in haar Macro Economische Verkenning gepubliceerde voorspellingen ex
anle als vergelijking dienen. Behalve de CPB- en
Grecon-voorspellingen ex anle zullen levens worden gebruikl de voorspellingen die worden berekend als een gewoon rekenkundig gemiddelde van beide. Deze soort
voorspelling is gekozen naar aanleiding van hel fell dal
empirisch onderzoek laal zien dal een gemiddelde van diverse voorspellingen vaak een belere voorspelling blijkt le
zijn dan elk van de beschouwde voorspellingen 7).
Uil tabel 6 blijkt dal hel verschil in voorspelkrachl lussen
CPB en Grecon klein is. De ongelijkheidscoefficienl laal
een iels belere voorspelkrachl zien van Grecon wal belreft
de particuliere consumplie en de werkgelegenheid, lerwijl
hel omgekeerde kan worden gezegd van de invoer van
goederen en de consumplieprijs. Over hel geheel lijken de
Grecon-voorspellingen enigszins beler dan de CPB-voorspellingen, hoewel hel verschil uilersl klein is 8). Op een
enkele kleine uilzondering na blijkt ook hier hel gemiddelde van beide voorspellingen een lagere ongelijkheidscoefficienl op le leveren dan elk van beide.
Puntvoorspellingen ex post
Jaarlijks wordt de specificatie van het Grecon-model
aangepasl op basis van nieuw voorhanden cijfermateriaal
en op basis van nieuw verworven inzichten. De in label 3
gepresenleerde standaarddeviaties van de geschatle herleide-vormversloringen lalen voor de beschouwde variabelen zien dal deze aanpassingen hebben geleid lol een
lagere standaarddevialie, mel uilzondering van die van de
particuliere werkgelegenneid. Een lagere slandaarddeviatie suggereert een belere modelspecificalie mel als gevolg
belrouwbaardere voorspellingen (indien de waarden van
de gepredelermineerde variabelen juisl zijn). Wij kunnen
deze conclusie nader onderbouwen door niet alleen het
verloop van de standaarddevialies le bezien, maar door
opnieuw mel elk van de lien versies van hel Grecon-model
voorspellingen le doen en deze uilkomsten te vergelijken
mel de realisalies. Vervolgens kunnen de resullalen van
de modelversies mel elkaar worden vergeleken.
Hiertoe hebben wij de volgende experimenlen uilgevoerd. Mel elk van de modelversies 77-B lol en mel 86-B 9)
zijn voor de periode 1977-1984 voorspellingen ex posl
berekend voor de beschouwde zes variabelen. De voorspelling ex posl voor jaar I op basis van modelversie X is
berekend door dil model X le herschalten op basis van de
jaren 1952 t/m 1-1. Vervolgens zijn de gerealiseerde waarden van de gepredelermineerde variabelen gesubslilueerd. Op deze wijze kunnen de verschillen lussen de uilkomslen van verschillende modelversies niel worden loegeschreven aan hel gebruikle cijfermaleriaal (sleekproef
en/of gepredelermineerde variabelen), maar uilsluilend
aan de modelspecificalie.
De uilkomslen van de experimenlen, wederom uilgedrukl in de Ongelijkheidscoefficient van Theil, zijn weerge-
1162
m
v’
PC
I
a
1,16
0,87
0,91
0,51
0,62
0,34
0,34
0,46
0,43
0,41
0,67
0,58
0,90
0,72
0,28
0,32
0,32
0,47
0,42
0,32
0,97
0,56
0,42
0,27
0,28
0,30
0,33
0,31
0,29
0,28
0,54
0,45
0,63
0,50
0,46
0,51
0,55
0,27
0,21
0,23
0,81
0,79
0,68
0,57
0,54
0,61
0,57
0,32
0,32
0,30
0,78
0,73
0,72
0,85
0,90
0,76
0,77
0,83
0,81
0,77
a
78-A
79-D
80-C
81 -A
82-B
83-B
84-D
85-B
86-B
0,85
0,68
0.73
0,60
0,56
0,50
0,51
0,48
0,45
0,42
geven in label 7. Hierin wordt in grote lijnen de conclusie
bevestigd dat, met uitzondering van de particuliere werkgelegenheid, alle beschouwde variabelen op bevredigender wijze worden voorspeld naarmate de modelversie van
recentere datum is. Ook de Ongelijkheidscoefficient voor
het totaal (laatste kolom) vertoont een steeds lagere
waarde.
Experimenten zoals het zojuist beschrevene kunnen
pas worden uitgevoerd wanneer cijfermateriaal voorhanden is omtrent de realisaties van zowel de gepredelermineerde variabelen als de voorspelde variabelen, dus pas
achteraf. Voor de praktijk, waarbij voorspeld moet worden
in onzekerheid, heeft dit vanzelfsprekend minder waarde.
Niettemin wijzen de ruwe overeenkomsten tussen het verloop van de cijfers in label 3 (welke gegevens wel ex ante
voorhanden kunnen zijn) en de cijfers in label 7 in de richting dat de standaarddeviaties kunnen worden gezien als
aanwijzing vooraf over de betrouwbaarheid van de voorspellingen.
Slotopmerkingen
Tol slol volgl een samenvalling van de belangrijksle
conclusies die hierboven van de experimenten zijn getrokken:
– de slandaarddevialie van de geschatte herleide-vormversloringen is een redelijke maal voor de (on)belrouwbaarheid van de Grecon-voorspellingen (uilgezonderd
de voorspellingen voor de particuliere werkgelegenheid) wal betreft de modelversies 78-A en laler;
– de jaarlijkse aan hel Grecon-model aangebrachte specificaliewijzigingen hebben geleid lot een betere voorspelkrachl van het model als geheel. Enerzijds blijkt dil
uil hel verloop van de standaarddeviaties van de geschatte herleide-vormversloringen van bijna alle zes
hier beschouwde variabelen; anderzijds kan dil worden
afgeleid uil de ongelijkheidscoefficienl van Theil voor
de voorspellingen ex posl berekend met de diverse
modelspecificaties;
7) Zie b.v. S. Makridakis, A. Andersen (e.a.), The accuracy of extrapolation (times series) methods: results of a forecasting competition,
Journal of Forecasting, jg. 1, 1982, biz. 111-153.
8) Van Schaaijk komt tot andere conclusies. (M. van Schaaijk Raming
en realisatie van CPB-prognoses, ESB, 23 juli 1986, biz. 727-729).
Ten onrechte vergelijkt hij echter de Grecon-voorspellingen met de
CPB-voorspellingen uit het CEP. Wij verwijzen naar de diverse publikaties van de Grecon-voorspellingen waarin onder meer wordt vermeld dat de voorspellingen voor jaar t in het najaar van jaar t-1 worden
berekend op basis van gegevens in de MEV en van de jaarlijkse
CBS-publikatie ,,Het jaar 19.. in cijfers”.
9) Elke modelversie van het Grecon-model wordt aangeduid met
twee cijfers en een letter. De twee cijfers verwijzen naar het jaar waarvoor met het betreffende model voorspellingen ex ante zijn berekend.
De letter is een interne code.
– het gemiddelde van de CPB- en Grecon-voorspellingen
ex ante blijkt in de hier beschouwde periode een redelijk alternatief voor beide, indien de ongelijkheidscoeff icient van Theil als maatstaf wordt genomen;
– de zwakke schakel van het Grecon-model is de particuliere werkgelegenheid. Met betrekking tot de standaarddeviatie van de geschatte herleide-vormverstoringen valt op te merken dat deze voor alle modelversies relatief hoog is ten opzichte van het niveau van de
variabele zelf, en bovendien geen goede maatstaf blijkt
te zijn voor de betrouwbaarheid van de voorspellingen.
Ook het verloop van de ongelijkheidscoeff icient voor de
voorspellingen ex post duidt niet op een verbetering
van de specificaties voor de recentere modelversies.
Als men met name aan de laatste conclusie een aanwijzing zou willen ontlenen omtrent de punten waarop men
de voorspelprocedure zou kunnen verbeteren, dan zal dit
in de richting gaan van een verlaging van de standaarddeviatie van de geschatte herleide-vormverstoringen. Dit kan
geschieden door verbetering van de specificatie van de
betreffende gedragsvergelijking. Een andere mogelijkheid zou zijn (indien de reeks van geschatte verstoringen
een systematisch gedrag lijkt te vertonen) te trachten tevens de waarde van de verstoring te voorspellen. Een simulatie met modelversie 86-B, waarin over de periode
1971-1984 aan de verstoringen een ARIMA-patroon
wordt aangepast, had als resultaat dat de ongelijkheidscoefficient van de particuliere werkgelegenheid wordt verlaagd van 0,82 tot 0,65 10).
W. Voorhoeve
10) Zie Voorhoeve, op.cit.