De toezichthouder beoordeeld

De toezichthouder beoordeeld
Aute ur(s ):
Post, G.T. (auteur)
De auteur is universitair docent b ij de capaciteitsgroep Finance and Accounting van de Erasmus Universiteit Rotterdam en consultant b ij het
b edrijfseconomisch adviesbureau New Frontiers.
Ve rs che ne n in:
ESB, 85e jaargang, nr. 4252, pagina 336, 21 april 2000 (datum)
Rubrie k :
Tre fw oord(e n):
regulering

De methode die voor de regulering van de Nederlandse elektriciteitssector wordt gebruikt, heeft een
aantal belangrijke beperkingen. Zijn regressietechnieken beter?
In het kader van de Europese liberalisatierichtlijnen heeft de liberalisatie zijn intrede gedaan in de Nederlandse elektriciteitssector.
Inmiddels zijn de 650 grootste industriële gebruikers al vrij in het kiezen van hun elektriciteitsleverancier. De komende jaren gaat
deze keuzevrijheid ook gelden voor middelgrote bedrijven en voor huishoudens. Om deze gebonden afnemers te beschermen tegen
mogelijk machtsmisbruik is tot die tijd reguleringstoezicht vereist. In Nederland is de Dienst uitvoering en toezicht elektriciteitswet
(DTe) verantwoordelijk voor dat toezicht.
Voor de periode 2000-2003 wordt de sector gereguleerd door het vaststellen van tariefplafonds (‘price caps’). De nadere invulling van
deze vorm van regulering is beschreven in het zogenaamde informatie- en consultatiedocument ‘Price cap-regulering in de
elektriciteitssector’ (verder: ICD) en het document ‘Richtsnoeren voor price cap-regulering in de elektriciteitssector’ (verder: Richtlijnen) 1.
Bij de vaststelling van de tariefplafonds geldt het economische uitgangspunt dat een efficiënt geleid bedrijf al zijn kosten kan
terugverdienen, inclusief een marktconform rendement op het geïnvesteerde vermogen. Om dit uitgangspunt in de praktijk toe te passen,
moet de DTe bepalen hoe efficiënt de afzonderlijke bedrijven op dit moment zijn en wat de verwachte ontwikkeling van de productiviteit
in de sector is. De dte gebruikt daarvoor momenteel de Data Envelopment Analysis-methode (DEA).
Hoewel DEA een waardevolle wetenschappelijke methode is, heeft deze een aantal beperkingen die niet algemeen onderkend worden.
Door die beperkingen lijkt een verantwoorde toepassing voor de regulering van de Nederlandse elektriciteitssector op voorhand
uitgesloten. Er bestaat een aantal alternatieve methodes dat meer geschikt lijkt. Helaas worden in het ICD en de Richtlijnen veel van de
beperkingen en alternatieven niet besproken of met onjuiste argumenten van de hand gewezen.
In dit artikel zetten we de beperkingen en de alternatieven uiteen. Het doel is nadrukkelijk niet om uitspraken te doen over de efficiëntie of
productiviteit van de elektriciteitssector of de afzonderlijke bedrijven die daarin werken. De nadruk ligt op de onderzoeksmethoden die
gebruikt kunnen worden om op een verantwoorde wijze tot zulke uitspraken te komen.
De methode
DEA is een populaire methode voor het analyseren van efficiëntie en productiviteit. De afgelopen twintig jaar heeft DEA een aanzienlijke
wetenschappelijke ontwikkeling doorgemaakt, zowel binnen de empirische micro-economie als binnen de vakgebieden van ‘Operations
Research’ en ‘Management Science’. Daarnaast wordt de methode op grote schaal toegepast in het bedrijfsleven en door
overheidsinstellingen.
DEA is gebaseerd op de neoklassieke micro-economische productietheorie. Daarin wordt productie beschouwd als een
optimalisatieprobleem onder technologische randvoorwaarden, weergegeven door een efficiënte productiegrenslijn. Inefficiëntie is
gedefinieerd als de afwijking van gerealiseerde productie van de ‘optimale’ productie op de grenslijn. Helaas kan deze productietheorie
niet direct worden toegepast in de praktijk, omdat de werkelijke grenslijn doorgaans niet (volledig) bekend is. DEA construeert daarom
op basis van een verzameling productiegegevens van vergelijkbare bedrijven een empirische grenslijn en meet vervolgens de efficiëntie
van de bedrijven ten opzichte van die empirische grenslijn.
De standaardmodellen van Charnes, Cooper en Rhodes, verder CCR, en Banker, Charnes en Cooper, verder BCC, worden in de praktijk
het veelvuldigst toegepast 2. Ook de DTe past deze modellen toe bij het evalueren van de distributiebedrijven in de Nederlandse
elektriciteitssector. In het CCR-model worden de bestaande bedrijven vergeleken met virtuele bedrijven die zijn geconstrueerd als positief
lineaire combinaties, dat wil zeggen gewogen gemiddelden met positieve gewichten, van de productiegegevens van bestaande bedrijven.
Het BCC-model vergelijkt alleen met convexe combinaties, dat wil zeggen gewogen gemiddelden met positieve gewichten die sommeren
tot de waarde één. In beide modellen wordt een bestaand bedrijf als inefficiënt geclassificeerd als er sprake is van Pareto-Koopmansdominantie door een virtueel bedrijf, oftewel als een virtueel bedrijf kan worden geconstrueerd dat met minder input meer output

produceert dan het bestaande bedrijf. De mate van inefficiëntie wordt gemeten met behulp van zogenaamde meerdimensionale
afstandsmaatstaven. Dit zijn maatstaven voor de afstand in de meerdimensionale input-output ruimte van het bestaande bedrijf tot het
best presterende virtuele bedrijf.
figuur 1 illustreert de werking van de standaardmodellen. De figuur toont een hypothetische verzameling bedrijven met een eenvoudige
productietechnologie met één input- en één output-variabele. De lineaire lijn gccr stelt de CCR-grenslijn voor. Deze lijn begrenst alle
virtuele bedrijven in het CCR-model, dat wil zeggen alle positief lineaire combinaties. De stuksgewijs lineaire lijn gbcc stelt de BCCgrenslijn voor en begrenst alle virtuele bedrijven in het BCC-model, dat wil zeggen alle convexe combinaties. Bedrijf A is inefficiënt ten
opzichte van de CCR-grenslijn, omdat positief lineaire combinaties, in casu veelvouden van de input-output combinatie van bedrijf B, het
bedrijf domineren. Het bedrijf is echter efficiënt ten opzichte van de BCC-grenslijn, omdat geen enkele convexe combinatie het bedrijf
domineert.

Figuur 1. De standaardmodellen ccr en bcc. De lijn gccr begrenst alle positief lineaire combinaties. De lijn gbcc begrenst alle convexe
combinaties
Micro-economische veronderstellingen
Zoals hierboven besproken, vergelijkt het CCR-model bedrijven met positief lineaire combinaties van de productiegegevens van andere
bedrijven. Daardoor worden bedrijven die onderling sterk verschillen in bedrijfsgrootte en productenpakket zonder meer met elkaar
vergeleken. Een dergelijke vergelijking is alleen zinvol als aan een aantal micro-economische veronderstellingen is voldaan. Helaas
sluiten die veronderstellingen allerlei verschijnselen op voorhand uit, zoals voordelen of nadelen van schaalgrootte en
productdiversificatie. Meerdere empirische studies hebben zulke verschijnselen aangetoond in verschillende bedrijfstakken 3. Ook voor
de Nederlandse elektriciteitssector kunnen deze verschijnselen niet op voorhand worden uitgesloten. Ze worden bijvoorbeeld vaak
genoemd als argument voor schaalvergroting en voor vorming van ‘multi-utilities’: ‘brede’ nutsbedrijven die naast elektriciteit ook andere
nutsgoederen leveren, zoals gas en water.
Het BCC-model was oorspronkelijk bedoeld als een model dat rekening houdt met de genoemde verschijnselen. Het bcc-model
veronderstelt echter dat vergelijking met convexe combinaties zinvol is. Die veronderstelling is onverenigbaar met schaalvoordelen door
toenemende marginale meeropbrengsten en met specialisatievoordelen.
figuur 2 illustreert het effect van toenemende marginale meeropbrengsten. De figuur voegt de hypothetische grenslijn f toe aan het
voorbeeld in figuur 1. De grenslijn heeft een gedeelte met toenemende marginale meeropbrengsten en een gedeelte met afnemende
marginale meeropbrengsten. Een dergelijke s-vorm wordt in vrijwel alle micro-economische standaardboeken verondersteld 4. Het
gekleurde vlak geeft de input-output combinaties aan die ten onrechte als haalbaar worden aangemerkt. Bedrijf D is bijvoorbeeld
efficiënt, maar wordt toch als inefficiënt geclassificeerd, omdat het gedomineerd wordt door convexe combinaties van bedrijf B en bedrijf
C, die buiten de productiemogelijkheden liggen. Daarom lijkt naast het CCR-model ook het BCC-model niet juist gespecificeerd voor de
Nederlandse elektriciteitssector.

Figuur 2. Het effect van toenemende meeropbrengsten
In de dea literatuur worden deze problemen al jarenlang onderkend. Inmiddels zijn er diverse alternatieve modellen ontwikkeld die de CCR
en BCC veronderstellingen vervangen door meer gangbare micro-economische veronderstellingen die wel ruimte laten voor schaal- en
diversificatie-effecten 5. Toch houdt de DTe vast aan de verouderde standaardmodellen, zonder de genoemde beperkingen en
alternatieven te noemen.
Meetfouten en weggelaten variabelen
De standaardmodellen veronderstellen dat alle relevante variabelen nauwkeurig zijn gemeten en in het model zijn opgenomen. Afgezien
van bepaalde laboratoriumexperimenten, moet in empirisch onderzoek echter rekening worden gehouden met verstoringen door
meetfouten of weggelaten variabelen. Voor de Nederlandse elektriciteitssector is het bijvoorbeeld onduidelijk wat de relevante variabelen
zijn. Zo is het onduidelijk of en hoe de invloed gecorrigeerd moet worden van de demografische verschillen tussen de werkgebieden van
de bedrijven. In dunbevolkte gebieden, zoals de Drentse veenkolonies, lijkt elektriciteitsdistributie bijvoorbeeld veel duurder dan in
dichtbevolkte gebieden zoals de Randstad. Bovendien zijn er belangrijke meetproblemen, bijvoorbeeld als gevolg van problemen bij de
kostenverbijzondering voor de brede nutsbedrijven.
dea is extreem gevoelig voor dergelijke verstoringen, omdat het berust op vergelijking met extreme observaties. Eén meetfout of één
weggelaten variabele kan de analyseresultaten daardoor volledig vertekenen.
figuur 3 illustreert het effect van verstoringen voor het bcc model. Als observatie E verschuift naar E’, dan wordt de gehele BCC grenslijn
verschoven van gbcc naar g’bcc, hetgeen de efficiëntiemeting voor de gehele steekproef verstoort. Het gekleurde vlak geeft de inputoutput-combinaties aan die door de verschuiving ten onrechte in de analyse worden betrokken.

Figuur 3. Het effect van verstoringen door meetfouten of weglaten variabelen
Het CCR model is nog veel gevoeliger voor meetfouten dan het BCC model. Het is bijvoorbeeld goed denkbaar dat grote bedrijven zoals
ENECO of NUON worden vergeleken met een veelvoud van de prestaties van een klein bedrijf als RENDO of Westland. Een minimale
verstoring in de gegevens voor zo’n klein bedrijf wordt dan vermenigvuldigd tot een grote fout voor de efficiëntiemeting van het
geconstrueerde grote bedrijf.
In de DEA-literatuur zijn inmiddels verschillende modellen ontwikkeld die wel rekening houden met verstoringen. Zo zijn er methodes
ontwikkeld voor het opsporen van uitbijters in de gegevensverzameling en voor het meten van de robuustheid van de resultaten voor
verstoringen. Ten slotte zijn stochastische modellen ontwikkeld die expliciet rekening houden met verstoringen 6. Toch wordt het belang
van verstoringen en de bestaande alternatieven niet onderkend in het icd en in de Richtlijnen.
Kleine steekproeven
In tegenstelling tot DEA, vereisen technieken die zijn gebaseerd op regressieanalyse doorgaans een expliciete specificatie van een
functioneel verband voor de productiegrenslijn, bijvoorbeeld een lineair of een kwadratisch verband, en van een statistische
verdelingsfunctie voor de inefficiënte afwijkingen van de grenslijn, bijvoorbeeld een zogenaamde half-normale verdeling 7. Doordat DEA
zo’n specificatie niet vereist, is het vergeleken met regressietechnieken relatief ongevoelig voor specificatiefouten. De keerzijde hiervan is
echter dat DEA sterk afhankelijk is van de kwaliteit van de gegevensverzameling en grote steekproeven vereist. Kleine steekproeven
bevatten doorgaans namelijk onvoldoende vergelijkingsmateriaal om efficiëntie en productiviteit te meten zonder aanvullende
veronderstellingen, bijvoorbeeld in de vorm van een functionele verband of een distributiefunctie.
figuur 4 toont het effect van de steekproefgrootte. Het gekleurde vlak stelt de input-output-combinaties voor die wel haalbaar zijn, omdat
ze onder de werkelijke grenslijn liggen, maar niet in de analyse worden betrokken omdat ze boven de BCC grenslijn liggen; er zijn geen

bedrijven die daar opereren. Daardoor classificeert het BCC model bedrijf A bijvoorbeeld als efficiënt, terwijl het in werkelijkheid
behoorlijk inefficiënt is.

Figuur 4. Onderscheidende kracht in kleine steekproeven
Dit is geen ongelukkig gekozen voorbeeld. De invloed van de steekproefomvang op de statistische kwaliteit van de standaardmodellen is
namelijk uitgebreid onderzocht. Econometrische analyse en simulatie-experimenten hebben overtuigend aangetoond dat dea resultaten in
kleine steekproeven uiterst onbetrouwbaar zijn 8.
Bovendien vereisen de specificatietoetsen in DEA grote steekproeven en is het in kleine steekproeven doorgaans onmogelijk om op een
verantwoorde manier te toetsen welke modelspecificatie van toepassing is. Dit verergert het bovengenoemde probleem van de
weggelaten variabelen.
Het effect van een kleine steekproef lijkt uiterst relevant voor de Nederlandse elektriciteitssector. In 1998 bedroeg het aantal
distributiebedrijven in deze sector namelijk slechts twintig en door schaalvergroting en concentratie is dat aantal inmiddels sterk
teruggelopen. In vergelijkbare studies in het buitenland is doorgaans gebruik gemaakt van veel grotere steekproeven. Een
toonaangevend onderzoek in opdracht van de Noorse toezichthouder maakte bijvoorbeeld gebruik van meerjarige gegevens van 150
bedrijven 9.
Een mogelijke oplossing is een vergelijking met buitenlandse distributiebedrijven. Dat vergroot echter weer de bovengenoemde
problemen met meetfouten en weggelaten variabelen, aangezien buitenlandse bedrijven vaak andere boekhoudmethodes hanteren en
onder andere condities opereren, bijvoorbeeld ten aanzien van demografie, geografie en regulering.
Evaluatie
Verantwoorde regulering van de Nederlandse elektriciteitssector met de DEA-methode lijkt op voorhand uitgesloten. De door de dte
gehanteerde standaardmodellen maken namelijk een aantal micro-economische en statistische veronderstellingen die uiterst twijfelachtig
zijn. Zo houden de standaardmodellen geen (of onvoldoende) rekening met schaal- en diversificatie-effecten en met meetfouten en
weggelaten variabelen, terwijl die complicaties juist uiterst relevant lijken. Tenslotte is het aantal bedrijven in de Nederlandse
elektriciteitssector veel te klein voor een verantwoorde toepassing van DEA.
Het verdient daarom de aanbeveling om andere methoden te gebruiken in plaats van of als aanvulling op de DEA-methode. Hierbij kan
worden gedacht aan de geavanceerde DEA-modellen die de afgelopen twintig jaar zijn ontwikkeld. Die modellen kunnen veel van de
beperkingen van de standaardmodellen opheffen. Ze vereisen echter nog grotere steekproeven dan de standaardmodellen. Daarom
kunnen ze waarschijnlijk alleen goed werken als de bestaande gegevensverzameling wordt uitgebreid, bijvoorbeeld met buitenlandse
bedrijven.
Daarnaast kan worden gedacht aan gedetailleerde casestudies waarin alle bedrijfsspecifieke informatie kan worden meegenomen. Een
gedetailleerd boekenonderzoek lijkt echter strijdig met het door het DTe gehuldigde principe dat gedetailleerde bemoeienis met de
bedrijfsvoering moet worden voorkomen.
Tenslotte vormen regressietechnieken zoals stochastische grenslijnanalyse een alternatief. Die technieken hebben het voordeel dat ze
minder gevoelig zijn voor meetfouten en voor de steekproefomvang dan DEA en dat er expliciete diagnostische toetsen zijn die kunnen
bepalen of een variabele of een veronderstelling moet worden opgenomen of niet. Daarom verdient deze methode de voorkeur boven de
DEA-methode.
Het standpunt van de DTe met betrekking tot regressietechnieken is dat de steekproef te klein is om deze technieken toe te passen. Dit
standpunt is om tenminste drie redenen twijfelachtig. Ten eerste zijn de technieken op grote schaal toegepast in vergelijkbaar
buitenlands onderzoek met kleine steekproeven. In een onderzoek in Engeland en Wales is de methode bijvoorbeeld toegepast op een
steekproef van maar twaalf bedrijven 10. Ten tweede is de DTe inconsistent in zijn argumentatie, omdat het regressieanalyse enerzijds
voorstelt voor het identificeren van de relevante variabelen, maar het anderzijds afwijst voor het meten van efficiëntie en productiviteit.
Ten derde is de steekproefomvang voor DEA meer beperkend dan voor regressie-analyse, zoals hierboven is besproken. De DEA-

methode geeft echter geen maatstaf voor de statistische kwaliteit van de analyseresultaten, waardoor gemakkelijk een schijn van
betrouwbaarheid kan ontstaan. In tegenstelling tot DEA modellen, kunnen regressietechnieken wel de kwaliteit van de
gegevensverzameling meten. Regressietechnieken geven namelijk maatstaven voor de verklarende kracht van de opgenomen variabelen
en daarmee een indicatie van het belang van weggelaten variabelen en van de statistische significantie van de gemeten inefficiënties.
Een lage verklarende kracht en niet-significante inefficiënties moeten natuurlijk worden geïnterpreteerd als een gebrek van de gegevens
en niet van de technieken! Zulke resultaten zijn zeker geen goed argument om een methode te gebruiken die nog gevoeliger is voor de
kwaliteit van de gegevens, zoals de DEA-methode.
Afgezien van de ongelukkige keuze voor DEA en de onjuiste beargumentering van die keuze, is het bezwaarlijk dat het ICD en de
Richtlijnen niet duidelijk zijn over de beperkingen van DEA en de bestaande alternatieven. Daardoor wekken deze documenten een schijn
van wetenschappelijke objectiviteit die moeilijk te rechtvaardigen is

1 De betreffende documenten zijn publiekelijk beschikbaar op http://www.dte.nl.
2 A. Charnes, W. Cooper, en E. Rhodes, Measuring the efficiency of decision making units, European Journal of Operational Research,
1978, blz. 429-444, en R.D. Banker, A. Charnes en W.W. Cooper, Some models for estimating technical and scale inefficiencies in data
envelopment analysis, Management Science, 1984, blz. 1078-1092.
3 Zie bijvoorbeeld G. Hasenkamp, A study of multiple-output production functions, Journal of Econometrics, 1976, blz. 253-262.
4 Toenemende marginale meeropbrengsten zijn niet onverenigbaar met de micro-economische wet van de afnemende marginale
meeropbrengsten. Die wet stelt dat het verhogen van enkele inputs uiteindelijk (dat wil zeggen: voor hoge productieniveaus) de
marginale meeropbrengsten verlaagt als gevolg van congestie van de constant gehouden inputs. Die wet laat ruimte voor toenemende
marginale meeropbrengsten voor lage productieniveaus en voor simultane verhoging van alle inputs.
5 Voor een literatuuroverzicht zie bijvoorbeeld: G.T. Post, Finding the frontier: methodological advances in data envelopment analysis,
proefschrift, Tinbergen Institute Research Series 211, Rotterdam, 1999, hoofdstuk 3.
6 G.T. Post, op cit., hoofdstuk 4.
7 Zie bijvoorbeeld P.W. Bauer, Recent developments in the econometric estimation of frontiers, Journal of Econometrics, 1990, blz. 3956.
8 Zie bijvoorbeeld I. Gijbels, E. Mammen,
9 Zie F.R. Forsund en S.A.C. Kittelsen, Productivity development of Norwegian electricity distribution utilities, Resource and Energy
Economics, 1998, blz. 207-224.
10 Zie Burns en Weyman-Jones, Cost functions and cost efficiencies in electricity distribution: a stochastic frontier approach, Bulletin
of Economic Research, 1996.

Copyright © 2000 – 2003 Economisch Statistische Berichten (www.economie.nl)