Benchmarken of de kunst van het vergelijken
Aute ur(s ):
Blank, J.L.T. (auteur)
Programmacoördinator Productie kwartaire sector b ij het Sociaal en Cultureel Planbureau. Met dank aan Evelien Eggink.
Ve rs che ne n in:
ESB, 83e jaargang, nr. 4154, pagina 432, 29 mei 1998 (datum)
Rubrie k :
Tre fw oord(e n):
marktw erking, regulering
Benchmarken, het vergelijken van de doelmatigheid van instellingen, wordt steeds vaker toegepast om de doelmatigheid in de
publieke sector te bevorderen. Dit gebeurt dikwijls door kenmerken van het productieproces te vergelijken. Deze methode levert
echter geen eenduidige resultaten op. Een integrale analyse van de productiestructuur, bijvoorbeeld met productie- of kostenfuncties,
is een betere manier om ondoelmatigheden op te sporen.
Er is een groeiende aandacht voor de doelmatigheid van publieke voorzieningen. Benchmarking als methode om hier inzicht in te
verkrijgen is daarbij een toverwoord geworden. Bij benchmarken wordt de doelmatigheid van instellingen met elkaar vergeleken.
Daarbij wordt vastgesteld wat haalbaar is (de bench-mark). De instellingen worden hieraan gespiegeld.
Door de ministeries van Volksgezondheid, Welzijn en Sport en van Financiën is het belang van deze methode onderkend. Zij stelden
onlangs een interdepartementale werkgroep in om de mogelijkheden te onderzoeken van benchmarking bij voorzieningen als verpleeg- en
verzorgingshuizen, thuiszorg en verschillende instellingen voor gehandicapten (de zogenaamde AWBZ-sector). Op basis van het
eindrapport van de werkgroep, dat in de zomer van 1998 wordt verwacht, zullen besluiten worden genomen om de doelmatigheid van
deze voorzieningen te monitoren. Er zouden bijvoorbeeld meer doelmatigheidsprikkels in de financieringssystematiek kunnen komen.
Het toepassen van benchmarking is echter niet zonder risico’s. Het is daarom zinvol benchmarking aan een nadere beschouwing te
onderwerpen en mogelijkheden en onmogelijkheden voor beleidstoepassing te onderzoeken.
De grens van het haalbare
Doelmatigheid of productiviteit gaat over de relatie tussen productie en ingezette middelen. Een instelling is doelmatig als er geen
mogelijkheid is om met dezelfde middelen meer te produceren of dezelfde productie te realiseren met minder middelen. De essentie van
doelmatigheidsonderzoek is dan ook die instellingen te vinden, die als doelmatig kunnen worden aangemerkt. De doelmatige instellingen
vormen samen een omhulling of grens van wat technisch en economisch op een bepaald moment haalbaar is. Deze grens fungeert dan
als referentie voor alle instellingen, die niet als doelmatig zijn aangemerkt. Met andere woorden, deze grens of de instellingen die deze
grens vormen, zijn de benchmarks voor andere instellingen.
Andere instellingen kunnen zich hier aan spiegelen, en eventueel hun bedrijfsprocessen aanpassen. Voor de overheid kunnen de
resultaten van de analyses aanleiding zijn om wijzigingen in de planningsprocedures van voorzieningen of de financieringssystematiek
aan te brengen.
Er zijn verschillende methodes om benchmarks te bepalen, die echter tot verschillende uitkomsten kunnen leiden. Gezien het grote belang
van dit type onderzoek en de consequenties hiervan voor de sector is het zaak hierbij stil te staan. De risico’s van het hanteren van een
verkeerd concept worden duidelijk aan de hand van het volgende voorbeeld.
Thuiszorg als voorbeeld
Onlangs voerden Bakkenist Management Consultants in opdracht van het ministerie van Volksgezondheid, Welzijn en Sport en de
Landelijke Vereniging voor Thuiszorg een onderzoek uit dat tot doel had inzicht te verkrijgen in de doelmatigheid van de thuiszorg, het
stimuleren van een verbetering van de productiviteit en het doen van suggesties voor aanpassingen van financieringsrichtlijnen 1.
Op basis van onderzoek bij zeven (!) instellingen voor thuiszorg 2, die geacht worden een representatieve steekproef te zijn, komt dit
onderzoek tot de conclusie dat de doelmatigheidspositie van de thuiszorg niet ongunstig aftekent tegen andere sectoren. De
doelmatigheid kan wel worden verbeterd, onder andere door resultaatgericht management, flexibele arbeid, kwaliteitssystemen, een
professionele backoffice en andere in de managementliteratuur dikwijls genoemde maatregelen. Er worden echter nergens concrete
aanbevelingen gedaan om bijvoorbeeld een andere mix van personeel in dienst te nemen, bepaalde bedrijfsactiviteiten uit te besteden en
dergelijke.
De conclusies worden getrokken op basis van een verzameling kengetallen over productie, ingezette middelen, proceskenmerken en hun
onderlinge verhoudingen. Zo wordt onder meer gekeken naar de aandelen uitvoerend, niet-uitvoerend, productief en niet-productief
personeel. Zorguren van wijkverpleging en gezinsverzorging worden in relatie gebracht met het totaal personeel of met het budget. Nietzorg personeel, zoals bijvoorbeeld leidinggevenden, wordt gerelateerd aan het zorgpersoneel. Van ieder verhoudingscijfer wordt een
‘best practice’ afgeleid. Dit is naar het inzicht van de onderzoekers het minimum of maximum van het betreffende kengetal over alle
instellingen. De verzameling best-practice kengetallen vormen samen een virtuele instelling. tabel 1 bevat een aantal voorbeelden van
dergelijke kengetallen.
Tabel 1. Kenmerken van het productieproces bij zeven onderzochte instellingen voor thuiszorg
Instelling
zorguren wijkverpleging per fte
uitvoering wijkverpleging
zorguren gezinsverzorging per fte
uitvoering gezinsverzorging
zorguren per Æ’ 10.000 budget
aandeel uitvoerend personeel (%)
waarvan productief (%)
leiding per 100 fte
verzorgend personeel
p&o-personeel per 100 fte
verzorgend personeel
financieel econ. personeel per
100 fte verzorgend personeel
automatiseringspersoneel per
100 fte verzorgend personeel
facilitair personeel per 100 fte
verzorgend personeel
ziekteverzuim (%)
aandeel variabel personeel (%)
parttime factor (%)
I
II
III
IV
V
VI
VII
966
1075
960
nb
726
865
954
1421
1401
1434
nb
1490
1449
1477
261
212
202
225
225
213
237
93
80
0,92
88
75
1,06
92
71
0,67
91
81
0,85
89
76
0,39
91
77
0,91
91
78
0,56
0,66
1,48
2,19
1,79
1,26
1,35
1,57
1,47
2,66
2,67
2,37
2,50
2,92
2,91
0,76
0,97
0,84
0,52
0,76
0,65
0,71
1,34
3,61
3,52
2,67
2,07
3,19
1,99
11
15
46
7
2
57
11
3
48
12
19
44
11
15
58
9
4
42
11
8
61
vet: ‘best practice’, nb = niet beschikbaar. Bron: Elias e.a., 1997.
Uit de productiviteitskengetallen blijkt direct al hoe diffuus het beeld is dat ontstaat bij deze methode. Voor het aantal zorguren per
voltijds arbeidsplaats (fte) in de wijkverpleging geeft instelling II de hoogste score (1075), voor de gezinsverzorging blijkt dit instelling V
(1490) te zijn. Bij het aantal zorguren per Æ’ 10.000 budget geeft instelling I de best practice aan (261). Welke instelling is nu de meest
doelmatige?
Bij de personeelssamenstelling doemt eenzelfde beeld op. Dan weer scoort de ene instelling beter, dan weer de andere. Duidelijk is dat
normatieve elementen een grote rol spelen. Zo worden het hoogste aandeel uitvoerend personeel en het geringste aantal
leidinggevenden per 100 fte verzorgend personeel als best practice opgevoerd (respectievelijk I en V). Het is maar zeer de vraag is of de
doelmatigheid gediend is met een gering aandeel niet-uitvoerend personeel of een mager bezette directiekamer. De minimale verhouding
tussen facilitair en uitvoerend personeel hoeft bijvoorbeeld geenszins de optimale verhouding weer te geven. De minimum situatie kan
juist een situatie zijn waarin uitvoerend personeel te veel facilitaire diensten zelf moeten uitvoeren en niet aan zijn eigenlijke taak toekomt,
namelijk verzorging.
Normatieve elementen komen ook tot uitdrukking in proceskenmerken als het aandeel variabel personeel en de parttime factor. Het wordt
als ‘goed’ beschouwd veel variabel personeel en weinig parttimers in dienst te hebben. Waarom dat zo goed is voor de doelmatigheid
wordt echter niet aangegeven, laat staan wat de omvang van dit effect zou zijn. Dat is een gemis. Uit dit najaar te publiceren SCPonderzoek over ziekenhuizen zal namelijk blijken dat deeltijders de doelmatigheid dikwijls bevorderen. Dit is een rechtstreeks gevolg van
de franchises in de werkgeversaandelen van premies voor sociale lasten en pensioenen. De bruto loonkosten voor twee half-timers zijn
hierdoor lager dan voor één full-timer.
De benchmarkstudie onthult ook verder niet veel over de achtergronden van de verschillen. Zo zullen ongetwijfeld schaaleffecten bij de
waargenomen verschillen een belangrijke rol spelen. Uit de cijfers kan nergens de grootte van de instelling en het eventuele effect
hiervan worden afgeleid. Toch zijn er vanwege de verschillen in overhead (bijvoorbeeld personeel en organisatie en het financieeleconomische personeel) duidelijke indicaties dat bijvoorbeeld instelling I een kleine en II een zeer grote instelling is. Dit is vanwege de
organisatie van de thuiszorg op het niveau van regio’s beleidsmatig een buitengewoon belangrijk gegeven. Uit onderzoek naar
verpleeghuizen blijkt bijvoorbeeld dat er voor kleine instellingen schaalvoordelen zijn te realiseren 3.
Evenmin wordt ingegaan op de invloed van de verdeling tussen wijkverpleging, gezinsverzorging en alfahulp op de totale productiviteit
van instellingen. De rol van prijzen van ingezette middelen, regionale verschillen en dergelijke komen in de benchmark-studie eveneens
niet aan bod.
Maximale productie, minimale kosten
Er bestaat een alternatief voor bovenstaande methode, dat veel meer tegemoet komt aan de complexiteit van het productieproces. Dit
alternatief heeft zijn oorsprong in de ideeën van Farrell 4, en kan geïllustreerd worden aan de hand van figuur 1.
Figuur 1. Doelmatige instellingen bevinden zich in punt XE of XE*: waar de productiemogelijkhedencurven L raken aan een isokostenlijn
De figuur geeft een situatie weer met twee ingezette middelen, x1 en x2. Verschillende combinaties hiervankunnen eenzelfde productie y
voortbrengen. De minimaal benodigde inzet van middelen bij een gegeven productie y, de ‘best practice’ is weergegeven met de isoquant
(productiemogelijkhedencurve) L(y). Daarnaast zijn er iso-kostenlijnen afgebeeld. Deze geven combinaties van de middelen x1 en x2 weer
die tegen dezelfde kosten ingezet kunnen worden. Een doelmatige producent kiest die inzet van middelen waarmee een bepaald
productieniveau y behaald wordt tegen minimale kosten. Dat wil zeggen: het punt waar de isoquant L(y) raakt aan de iso-kostenlijn die
het dichtste bij de oorsprong ligt; het punt XE. Dit punt bepaalt dus de optimale samenstelling van de ingezette middelen. Deze optimale
samenstelling kan verschillen bij verschillende productieniveaus. Bij een productie van y* gelden andere verhoudingen dan bij productie
y.
Efficiënties
Met deze methode kan de efficiëntie als volgt onderzocht worden. Voor iedere combinatie van ingezette middelen x1 en x2 (bijvoorbeeld
het punt XA) met een productie y geldt, dat de verhouding tussen de (gemaakte) kosten behorende bij XA en de minimale kosten bij het
productieniveau y, XE, een maat is voor de kostenefficiëntie. Hierbij wordt een onderscheid gemaakt tussen de technische en allocatieve
efficiëntie:
» de technische efficiëntie maakt duidelijk, in welke mate de ingezette middelen benut worden. In termen van de figuur gaat het om de
afstand tot de isoquant. Deze efficiëntie kan worden berekend door de ingezette middelen proportioneel zo te verminderen dat er nog
steeds een hoeveelheid y kan worden geproduceerd, dat is in het snijpunt XT met de isoquant L(y)). De technische efficiëntie is nu gelijk
aan OXT /OXA;
» de allocatieve efficiëntie geeft aan in hoeverre de samenstelling van de ingezette middelen de optimale is. De optimale samenstelling bij
productieniveau y is er in het minimale-kostenpunt XE. De verhouding van het kostenniveau dat in dit punt geldt (en dus ook in XB) en
het kostenniveau dat bereikt wordt bij een technische efficiënte productie bij de huidige samenstelling van de ingezette middelen (zoals
in XT ), is een maat voor de allocatieve efficiëntie.
Naast de allocatieve en technische efficiëntie kan ook nog de schaalefficiëntie worden onderscheiden, dat is de efficiëntie die
samenhangt met de omvang van productie. Als bij uitbreiding van de productie de inzet van middelen meer of minder dan proportioneel
groeit is er sprake van schaalefficiëntie. De schaal-efficiëntie komt in figuur 1 tot uiting doordat bij een ander niveau van productie een
andere isoquant geldt.
Zo’n andere isoquant kan ook een andere vorm hebben, zodat er bij een ander productieniveau ook andere technische en allocatieve
efficiënties worden gevonden. Zo wordt expliciet rekening gehouden met de invloed van prijzen, de schaal en samenstelling van
productie en de substitueerbaarheid van ingezette middelen en productie. Dikwijls worden de gevonden efficiënties in een tweede ronde
nog verder geanalyseerd. Hierbij worden de efficiënties met behulp van regressie-analyse gerelateerd aan bedrijfskenmerken, zoals de
bezettingsgraad, het niveau van uitbestedingen, de mate van automatisering, beheersvorm, samenwerkingsverbanden, gezamenlijke
inkoop en dergelijke 5.
Het bovenstaande concept wordt al jaren door het Sociaal en Cultureel Planbureau toegepast op voorzieningen in de publieke sector 6.
Daarbij is in de loop der tijd in het onderzoek het accent verschoven naar het vinden van de best-practice en het geven van verklaringen
van efficiëntieverschillen tussen instellingen. De best-practice wordt daarbij niet bepaald door een virtuele instelling die op verschillende
variabelen een maximum of minimum waarde scoort, maar door instellingen van vlees en bloed die blijkbaar in staat zijn geweest hun
productieproces zo in richten dat zij in totaliteit doelmatiger zijn dan andere instellingen.
Toepassing: verpleeghuizen
Er zijn verschillende manieren waarop dit concept vorm kan worden gegeven 7. Een in de laatste jaren populair geworden techniek voor
de empirische invulling daarbij is de data-omhullingsmethode 8. In deze methode wordt iedere instelling vergeleken met andere
instellingen of combinaties hiervan, die eenzelfde productie leveren. De instelling die dit doet met de minste inzet van middelen, wordt
efficiënt genoemd. De mate waarin de inzet van middelen van de andere instellingen proportioneel kan worden verminderd, wordt de
inefficiëntie van die instellingen genoemd.
Uit een op deze wijze opgezet onderzoek naar verpleeghuizen blijkt dat de gemiddelde efficiëntie hier 0,70 bedraagt (tabel 2). Ofwel,
dezelfde productie kan worden gerealiseerd met 30% minder middelen. Deels is deze inefficiëntie toe te schrijven aan een verkeerde
samenstelling van de ingezette middelen (allocatieve inefficiëntie), en deels aan het niet maximaal benutten van de ingezette middelen
(technische inefficiëntie). De technische inefficiëntie bedraagt 0,88. Dat wil zeggen dat door betere benutting 12% efficiëntievoordeel te
realiseren is. De schaalefficiëntie bedraagt 0,94, met andere woorden door verschuivingen in de schaal van productie kan ook nog een
kostenbesparing van 6% worden gerealiseerd.
Tabel 2. Efficiënties verpleeghuizen (1 is het meest efficënt) en de bijdrage hieraan voor verschillende kenmerken, 1984, 198793
Totale efficiëntie
w.v.
allocatieve efficiëntie
schaalefficiëntie
technische efficiëntie
Bijdrage kenmerken productieproces aan de technische efficiëntie
aandeel leerling-verpleegkundigen
kwaliteitsprijs gediplomeerd verpleegkundigen
kwaliteitsprijs overige personeel
0,20
eigen apotheek
0,01
bezettingsgraad
0,30
ziekteverzuim
uitbesteed werk
inbesteed werk
afdelingsgrootte
0,70
0,85
0,94
0,88
-0,12
0,22
-0,05
-0,05
-0,03
-0,04
Bron: Blank en Eggink, 1996.
De afzonderlijke efficiëntiescores kunnen met een regressie-analyse verder worden onderzocht. Op basis hiervan kan voor ieder
proceskenmerk worden vastgesteld wat de bijdrage aan de efficiëntie van een instelling is. Uit een nadere analyse van de technische
inefficiënties blijkt dan dat een hoog aandeel leerling-verpleegkundigen, een hoog ziekteverzuim, veel uit- en inbesteeed werk en grote
afdelingen de technische inefficiëntie op een nadelige manier beïnvloeden. Hoog gekwalificeerd personeel en een hoge bezettingsgraad
dragen daarentegen wel bij aan een verbetering van de technische efficiëntie. Om een indruk te krijgen van de grootte van een effect is
gekeken naar het verschil in technische efficiëntie bij een maximale en minimale waarde van de desbetreffende variabele. Instellingen met
het hoogste en het laagste ziekteverzuim blijken alleen op grond hiervan al een verschil in technische efficiëntie te hebben van 5%. En
ook voor instellingen met een lage bezettingsgraad valt er nog veel te winnen.
Conclusies
Verbetering van de doelmatigheid dient een belangrijke onderdeel van het beleid te zijn. Hierdoor wordt het immers mogelijk binnen de
financiële kaders meer beleidsdoelstellingen te realiseren. Zo geeft een grotere doelmatigheid bijvoorbeeld ruimte voor kortere
wachtlijsten in de gezondheidszorg, kleinere klassen in het basisonderwijs en meer blauw op straat.
De aandacht voor de doelmatigheid van publieke sector voorzieningen is de laatste jaren sterk gegroeid. Het begrip benchmarking is
daarbij bijzonder populair geworden: het meten of spiegelen van instellingen aan elkaar.
Door onderzoek kunnen de mogelijkheden voor verbetering van de doelmatigheid zichtbaar worden. Het is daarbij wel van groot belang
dat in een onderzoek rekening wordt gehouden met de complexiteit van het productieproces, met name wat betreft de samenhang tussen
ingezette middelen en productie, en het institutionele kader waarbinnen publieke voorzieningen moeten opereren. Indien dit niet het
geval is kan beleid gebaseerd op deze onderzoeken vervelende gevolgen hebben. Instellingen kunnen hierdoor in de financiële
problemen geraken, of zich bijvoorbeeld genoodzaakt voelen de toegankelijkheid, kwaliteit of bereikbaarheid van de voorziening te
verminderen. Benchmarking blijkt dan vooral een methode te zijn die leidt tot de worst-practice
1 J. Elias, J.Th. van Ieperen, F.C.M. Luisman, P.J. van der Net en W. van Santen, Doelmatigheid in de thuiszorg, Bakkenist Management
Consultants. Amsterdam, 1997.
2 Er zijn negen instellingen onderzocht. In de meeste onderlinge vergelijkingen betreft het echter slechts zeven instellingen, aangezien
twee instellingen een specifiek karakter hebben.
3 Zie J.L.T. Blank en E. Eggink, Zuinig op zorg: een empirisch onderzoek naar de productiestructuur van verpleeghuizen, Sociaal en
Cultureel Planbureau. Rijswijk, 1996, blz. 145-146.
4 Zie M.J. Farrell, The measurement of productive efficiency. Journal of the Royal Statistical Society, 1957, blz. 253-281.
5 Zie Blank en Eggink, 1996, op.cit.
6 Zie bijvoorbeeld J.L.T. Blank en E. Eggink, Zuinig op zorg, een empirisch onderzoek naar de productiestructuur van verpleeghuizen in
Nederland, Sociaal en Cultureel Planbureau/VUGA, Rijswijk, 1996. Binnenkort verschijnt een publicatie over de doelmatigheid van
algemene en academische ziekenhuizen.
7 Zo is het mogelijk de inhoud van figuur 1 te representeren met productie- en kostenfuncties. Zie voor een overzicht van alle mogelijke
representaties bijvoorbeeld R. Färe en D. Primont, Multi-output production and duality: theory and applications, Kluwer Academic
Publishers, Dordrecht, 1995. Zie ook J.L.T. Blank, Productiestructuur van bedrijven en instellingen: meting van productiviteit en
efficiëntie, in Van der Laan et.al. (redactie), Econometrie in beweging (liber amicorum prof. dr. A.H.Q.M. Merkies), Vrije Universiteit,
Amsterdam, 1997, blz. 23-41.
8 Voor een fraai overzicht van technieken zie bijvoorbeeld: C.A.K. Lovell, Production frontiers and productive efficiency, The
measurement of productive efficiency: techniques and applications, Oxford University Press. 1993.
Copyright © 1998 – 2003 Economisch Statistische Berichten (www.economie.nl)