Meting klanttevredenheid bij overheidsorganisaties

ESB Openbare financiën

Openbare financiën

Meting
klanttevredenheid
bij overheidsorganisaties
Het klanttevredenheidsonderzoek is de meest gebruikte vorm
van prestatiemeting bij overheidsorganisaties. De onderzoeken
verschillen sterk van elkaar en de kwaliteit is niet duidelijk. Een
aanzet is gegeven voor het ontwikkelen van een standaard, met
aandacht voor verwachtingen, matrixopbouw van de vragenlijst,
berekende rapportcijfers en het nut van een dergelijk onderzoek.

Geert Thijssen
Expert monitoring
en effectmeting bij
het Ministerie van
Economische Zaken,
Rijksdienst voor
Ondernemend
Nederland
Bert van
­Engelenburg
Onderzoeks­
methodoloog bij
Methonder

502

E

r is steeds meer aandacht voor het meten van
overheidsprestaties. Ten eerste kunnen politieke
opdrachtgevers en het management met zulke
metingen de overheidsorganisaties gerichter
aansturen, en ten tweede levert prestatiemeting
informatie voor de verantwoording over de maatschappelijke
effecten die zijn bereikt (outcome), welke resultaten daarvoor
zijn geleverd (output), welke activiteiten hiervoor zijn uitgevoerd (throughput) en welke middeleninzet daarvoor nodig is
(input). Hoe beter de activiteiten leiden tot de gewenste output
en outcome, des te groter is de doeltreffendheid van het beleid.
Hoe moet je deze prestaties meten? In evaluaties van
het beleid staat het meten van de doeltreffendheid van het
beleid centraal. Hierbij is er een onderscheid tussen enerzijds
de voorgenomen beleidsmaatregelen en de doeltreffendheid
daarvan, en anderzijds de doeltreffendheid van de uitgevoerde
beleidsmaatregelen. Voor het meten van de doeltreffendheid
van voorgenomen beleidsmaatregelen in termen van output
en outcome is de maatschappelijke kosten-batenanalyse ontwikkeld. Hiervoor hebben het CPB en PBL een algemene leidraad opgesteld (Romijn en Renes, 2013). Voor het meten van
de ex post doeltreffendheid zijn ook standaarden ontwikkeld,
zie bijvoorbeeld het rapport Durf te meten van de Commissie
Theeuwes (2012) en de Algemene Rekenkamer (2011).

De monitoring van het beleid meet de doelbereiking
van het beleid. De monitoring kan zich richten op alle niveaus: input, throughput, output en outcome. Op het niveau
van output en outcome is een grote diversiteit aan indicatoren ontwikkeld. Standaardisatie hiervan is maar in beperkte
mate mogelijk. Op het niveau van throughput voert vrijwel
elke overheidsorganisatie een klanttevredenheidsonderzoek
(KTO) uit. De throughput betreft de activiteiten die de overheid uitvoert, bijvoorbeeld subsidieverlening, uitvoering van
wet- en regelgeving, voorlichting & advies en bevorderen en
ondersteunen van netwerken. Het KTO meet de waardering
over de wijze waarop de overheid deze activiteiten uitvoert.
Het verbeteren van de kwaliteit van de dienstverlening staat
hoog op de agenda van veel overheidsorganisaties. Voor het
KTO is echter geen standaard ontwikkeld, waardoor zulke
onderzoeken in sterke mate van elkaar verschillen en de kwaliteit niet duidelijk is.
Bij het opzetten en uitvoeren van een klanttevredenheidsonderzoek spelen een aantal methodologische vraagstukken. Ook hierbij is een onderscheid te maken in ex ante,
de verwachtingen ten aanzien van de dienstverlening, en de
ex post beoordeling. De waardering over de activiteiten van
de overheid is te achterhalen door ernaar te vragen. Hoe is
de vragenlijst opgebouwd: staat één vraag centraal of is de
opbouw volgens een matrixstructuur? Hoe om te gaan met
niet-gebruikers? Vragen die heel geschikt zijn om aan respondenten voor te leggen zijn in de praktijk vaak niet rechtstreeks
geschikt voor de rapportage. Daarnaast zijn er twijfels over
het nut van het uitvoeren van een KTO. Op basis van theorie
en ervaringen worden beschikbare methoden tegen elkaar afgewogen om een bijdrage te leveren aan een standaardisering
van het KTO.
Verwachtingen en niet-gebruikers

De klassieke standaardaanpak voor een KTO is het
SERVQUAL­-model (Parasuraman et al., 1988). Hierin
wordt verondersteld dat tevredenheid een resultante is van de

De auteur heeft verklaard dit artikel alleen te publiceren in ESB en niet elders
te publiceren in wat voor medium dan ook. Het is wel toegestaan om het artikel voor eigen gebruik
en voor publicatie op een intranet van de werkgever van de auteur aan te wenden.

Jaargang 99 (4691) 14 augustus 2014

Openbare financiën ESB

verwachting omtrent de kwaliteit van dienstverlening en de
perceptie ervan. Een bij de verwachting achterblijvende perceptie resulteert in een lagere mate van tevredenheid. Als we
de klanttevredenheid willen weten, zo volgt uit dit model, dan
moeten we de kwaliteit van dienstverlening en de verwachtingen hieromtrent vaststellen. Dit is omslachtig: elk onderdeel
moet dus twee keer bevraagd worden, een eerste keer om te
meten wat de klant verwacht en daarna nog een keer om de
beoordeling te geven. Vaak weten respondenten achteraf niet
meer precies wat hun verwachtingen vooraf waren.
Ook Hoogwout (2011) signaleert de rol van verwachtingen. Als de verwachtingen laag zijn, dan zal men eerder
tevreden zijn over de dienstverlening. Een merkwaardige implicatie is de volgende. Als we aannemen dat de verwachtingen van de klant sterk samenhangen met de ervaringen die
hij al heeft, dan zullen geleidelijke veranderingen in de kwaliteit van dienstverlening slechts geringe veranderingen in de
tevredenheid veroorzaken. De mate waarin de tevredenheid
wijzigt, wordt immers gedempt door de inmiddels gewijzigde
verwachtingen. Als de perceptie hoog is en daarmee de verwachtingen hoog zijn, zal de gemeten tevredenheid nauwelijks meer toenemen bij geleidelijke verandering in de kwaliteit. Er is sprake van afnemende meeropbrengsten van de
kwaliteit van de dienstverlening op de mate van tevredenheid.
Een ander aandachtspunt is dat in een KTO veelal alleen
de klanten van een organisatie worden bevraagd. Klanten die
zijn vertrokken of potentiële klanten, die zich niet melden,
worden niet bevraagd. Het KTO geeft hierdoor waarschijnlijk
een te rooskleurig beeld van de werkelijke klanttevredenheid.
Het meenemen van niet-gebruikers in een KTO leidt echter
tot het probleem dat het voor niet-gebruikers moeilijk is vragen te beantwoorden over de geboden dienstverlening. Ook
zijn de niet-gebruikers niet geschikt als counterfactual voor de
wel-gebruikers, omdat ze niet toevallig van elkaar verschillen.
Een of meerdere vragen

In de aanpak van marktonderzoekbureaus is de totaalscore
voor klanttevredenheid vaak gebaseerd op slechts één vraag:
“Welk rapportcijfer zou u geven voor de dienstverlening?†In
de commerciële wereld is de Net Promotor Score (NPS) van
Reichheld (2003) zeer populair. De NPS-vraag is: “Zou u ons
bedrijf bij anderen aanbevelen? (op een schaal van 0 tot 10).â€
Een andere aanpak is gebaseerd op het meervoudig
operationaliseren, waarbij over een moeilijk begrip, zoals de
kwaliteit van de helpdesk, meerdere vragen worden gesteld.
Dit kan op verschillende manieren. Een elegante manier is
die waarbij de vragenlijst is opgebouwd volgens een matrix.
In de rijen staan de diverse vormen van dienstverlening, in
de kolommen staan de kwaliteitsaspecten. De matrixaanpak
geeft houvast bij de vragenlijstconstructie. Het geeft een operationele definitie van het construct kwaliteit van de dienstverlening.
In de psychometrie is het de overheersende opvatting
dat één vraag naar een abstracte zaak in het algemeen niet
volstaat bij het vaststellen van subjectieve zaken (Lord en
Novick,­1968; Hambleton et al., 1991). Scores die gebaseerd
zijn op meerdere specifiekere vragen, zijn in het algemeen betrouwbaarder dan de score van een enkele vraag – en als de
vragenlijst zorgvuldig geconstrueerd is, gewoonlijk ook meer
valide. Het hele principe van het maken van vragenlijsten en
Jaargang 99 (4691) 14 augustus 2014

tests is gebaseerd op het idee dat het construct dat we willen meten niet door directe observatie of een enkele vraag te
beantwoorden is.
Bij specifiekere vragen of vragen naar meer concrete
zaken weet men beter wat de respondent precies voor ogen
stond bij de beantwoording (Brinkman, 1994). Op basis van
de NPS-aanpak weet je niet wat je moet doen om de tevredenheid te vergroten (Leppik, 2013). De NPS-vraag wordt
nauwelijks toegepast bij overheidsorganisaties. Een onderzoek door Picker Institute Europe (2012) voor de gezondheidszorg laat zien dat de NPS-vraag niet geschikt is, de term
‘aanbevelen’ lijkt in de gezondheidszorg vaak verkeerd te worden begrepen. Een NPS-achtige vraag voor overheidsorganisaties die wellicht wel bruikbaar is, is de vraag hoe de klant
over de overheidsorganisatie praat met collega’s of anderen.
Er zijn pleidooien om met een mix van methoden te

Klanten die zijn vertrokken
of potentiële klanten, die zich niet melden,
worden niet bevraagd. Het
klanttevredenheidsonderzoek geeft hierdoor
waarschijnlijk een te rooskleurig beeld

werken. Bijvoorbeeld Verhoef (2011) meet klantprestaties
bij Nederlandse banken aan de hand van relatiewaarde, NPS,
prijs-kwaliteitsverhouding, prijs en emoties.
Data-inwinning en rapportage

Veelal is de relatie tussen de data-inwinning en rapportage
een-op-een. De rapportage bevat de antwoorden op de gestelde vragen, bijvoorbeeld de antwoorden op de vraag “Welk
rapportcijfer zou u geven voor het gemak om iets te vinden
op de website?†In de rapportage staan de rapportcijfers, deze
zijn eenvoudig te interpreteren. Voor de data-inwinning is
een vijfpuntsantwoordschaal veelal beter geschikt om aan respondenten voor te leggen. Voor de rapportage kan dan een
rapportcijfer worden berekend, waarbij 1 (zeer slecht) wordt
omgezet in het rapportcijfer 1 en 5 (zeer goed) in het rapportcijfer 10. De tussenliggende waarden worden omgezet in
gelijke numerieke intervallen, bijvoorbeeld 3 (matig) wordt
5,5 (Dawes, 2008).
In een KTO gaat veel aandacht uit naar het totaaloordeel
over de dienstverlening. De rapportage is een-op-een als de
data-­nwinning is gebaseerd op de vraag “Welk rapportcijfer
i
zou u geven voor de dienstverlening?†Een andere mogelijkheid is om specifiekere vragen te stellen op een vijfpunts­
antwoordschaal. Het totaalcijfer is dan te berekenen als het
gemiddelde van de berekende rapportcijfers per vraag. Een belangrijk voordeel hiervan is dat de interpretatie eenvoudig is.

De auteur heeft verklaard dit artikel alleen te publiceren in ESB en niet elders
te publiceren in wat voor medium dan ook. Het is wel toegestaan om het artikel voor eigen gebruik
en voor publicatie op een intranet van de werkgever van de auteur aan te wenden.

503

ESB Openbare financiën

Het berekende totaalcijfer is een samenvatting van alle gegeven
antwoorden en kan worden uitgesplitst naar vorm van dienstverlening, aspect of naar regeling. De resultaten zijn altijd consistent. Indien blijkt dat het berekende cijfer relatief laag is, dan
kan men nagaan aan welke vorm(en) van dienstverlening dit
ligt en of misschien sommige aspecten lager beoordeeld worden dan andere. Het tegenargument voor het gebruik van een
berekend cijfer is dat de klant andere aspecten mogelijk mee-

neemt in het eindoordeel. Dit is een argument om de vragenlijst te verbeteren en die zaken dan mee te nemen in de vragenlijst. Hetzelfde geldt voor de weging van diensten en aspecten.
Als dat zo is, dient van tevoren te worden bepaald hoe de verschillende diensten en aspecten te wegen. Het grote voordeel
is dan dat expliciet wordt gemaakt hoe een cijfer tot stand is
gekomen. Anders gebeurt dit impliciet, en is het onduidelijk
wat men meet. Dit is met name kwalijk voor de diagnostiek:

KTO bij de Rijksdienst voor Ondernemend Nederland
Verwachtingen
De Rijksdients voor Ondernemend Nederland (RVO.nl) meet
de verwachtingen niet in het KTO. De verwachtingen van een
klant achterhaalt RVO.nl door analyse van signalen en klachten van klanten en via klantpanels. Er blijkt sprake te zijn van
afnemende meeropbrengsten. De tevredenheid van klanten
over het Octrooicentrum (onderdeel van RVO.nl) is hoog
(7,8), maar is al jaren op vrijwel hetzelfde niveau, ondanks
inspanningen om de tevredenheid verder te verbeteren (Eco-

kader 1

nomische Zaken, meerdere jaren). De score voor Dienst Regelingen (inmiddels gefuseerd met Agentschap NL tot RVO.nl)
is dankzij forse inspanningen toegenomen van een 6,3 in 2011
naar een 6,9 in 2013 (Tweede Kamer, 2013).
Een vraag
RVO.nl hanteert een matrixaanpak. In tabel 1 staan voor vier
informatiekanalen en twee processen kort de kernwoorden
uit de vragen in de vragenlijst.

Matrix-opbouw vragenlijst
Informatiekanalen

Helpdesk: telefoon
Helpdesk: e-mail
Advisering

Snelheid

Transparantie

Inhoudelijke kwaliteit

Bruikbaarheid

Taalgebruik

Website

Behulpzaam

Gemak iets te
vinden

Duidelijke
informatie

Volledigheid

Bruikbaarheid van
de informatie

Vriendelijkheid
medewerker

Snelheid
beantwoording

Duidelijkheid
antwoord

Deskundigheid
medewerker

Bruikbaarheid van
de informatie

Taalgebruik

Snelheid
beantwoording

Duidelijkheid
antwoord

Volledigheid

Bruikbaarheid van
de informatie

Behulpzaamheid
adviseur

Snelheid
beantwoording

Duidelijkheid
informatie

Deskundigheid adviseur

Bruikbaarheid van
de informatie

Processen

Behulpzaam

Snelheid

Transparantie

Bruikbaarheid

Aanvraag

Gemak online
tool

Administatieve
lasten

Duidelijk wat in
te vullen

Duidelijke wijze van
beoordeling

Beslissing

Behulpzaamheid
medewerker

Snelheid
beslissing

Transparantie
beslisprocedure

Zorgvuldigheid procedure

Niet-gebruikers
Het KTO bij RVO.nl wordt uitgevoerd onder zijn klanten. In
het KTO van RVO.nl is een NPS-achtige vraag opgenomen
om de geluiden van niet-klanten van RVO.nl te horen: “In
uw zakelijke omgeving spreken mensen misschien wel eens
over RVO.nl. Hoe vaak hoort u positieve geluiden over RVO.
nl? Hoe vaak hoort u negatieve geluiden over RVO.nl?â€
Rapportage
RVO.nl maakt gebruik van berekende rapportcijfers. Vanwege de gestandaardiseerde aanpak is aggregatie naar elk
niveau van de organisatie mogelijk. Zo kan men bijvoorbeeld zien of advisering (een vorm van dienstverlening) of
behulpzaamheid (een kwaliteitsaspect) bij de ene regeling
beter beoordeeld wordt dan bij een andere regeling. Om te
voorkomen dat men verwijt dat RVO.nl zichzelf een hoog
cijfer toerekent, is een correctiefactor in de berekening toe-

504

gevoegd. Uitgangspunt is dat het (RVO.nl totaal) berekende
cijfer gelijk is aan het (RVO.nl totaal) gegeven cijfer. Feitelijk
wordt hierdoor het berekende cijfer geijkt op de (intuïtieve)
schaal die bij de gegeven rapportcijfers gehanteerd wordt.
Nut
Het KTO wordt gebruikt in de evaluaties van regelingen van
RVO.nl. Het KTO is goed verankerd in de organisatie, door
regelmatig de uitkomsten te bespreken in het directieteam,
de vragenlijsten samen met de afzonderlijke afdelingen op
te stellen en de resultaten per regeling met de afdelingen te
bespreken. Door de frequentie van uitvoering per kwartaal
versterkt het KTO de aandacht voor de klant gedurende het
hele jaar. Het KTO maakt het mogelijk om op een efficiënte
wijze te bepalen of de organisatie met een breed scala aan
diensten en veel interne en externe stakeholders op de goede weg is qua kwaliteit van de dienstverlening.

De auteur heeft verklaard dit artikel alleen te publiceren in ESB en niet elders
te publiceren in wat voor medium dan ook. Het is wel toegestaan om het artikel voor eigen gebruik
en voor publicatie op een intranet van de werkgever van de auteur aan te wenden.

Jaargang 99 (4691) 14 augustus 2014

Openbare financiën ESB

wat kunnen we verbeteren, wat zijn onze sterke punten?
De voordelen van een NPS-vraag is de eenvoudige relatie
tussen de data-inwinning en de rapportage, en de aandacht
voor de uiteinden van de scores: de zeer tevreden en de zeer
ontevreden klanten. De interpretatie van de antwoorden op
een NPS-vraag is eenvoudig.
Nut KTO

Thomassen (2003) stelt dat er jaarlijks voor tientallen miljoenen euro’s wordt verspild met klanttevredenheidsonderzoeken, omdat de onderzoeksresultaten niet concreet genoeg
zijn, de frequentie te laag is, er uitgegaan wordt van de gemiddelde klant en acceptatie van de resultaten binnen de organisatie gering is.
Het is belangrijk om binnen de overheidsorganisaties te
inventariseren welke wensen er leven. Veelal is het doel van
een KTO bij een overheidsorganisatie om zich te verantwoorden. Een ander belangrijk doel kan zijn om diagnostische informatie te verzamelen over wat er wel goed gaat en wat er beter kan. Het KTO moet enig detailniveau hebben om aan te
geven waar eventuele problemen zich voordoen, open vragen
in de vragenlijst kunnen hierbij behulpzaam zijn. Veelal heeft
een KTO een routinematig karakter, waardoor de informatie niet zeer gedetailleerd zal zijn. In sommige gevallen is het
nodig om vervolgonderzoek uit te zetten, om te achterhalen
welke verbeteracties in gang gezet moeten worden.
Bij een routinematige aanpak mag het KTO niet tijdrovend zijn, noch voor de respondenten, noch voor de organisatie van het onderzoek. Een korte vragenlijst is vanuit
dit oogpunt dus wenselijk. Vanwege efficiency-overwegingen
kan worden gekozen voor een gestandaardiseerde aanpak, een
die steeds weer hergebruikt kan worden. Hierdoor kunnen de
resultaten van het KTO goed vergeleken worden tussen de
verschillende diensten. Maar het is redelijk om aan specifieke
wensen binnen de organisatie tegemoet te komen. Hiermee
bevordert men dat het KTO gedragen wordt door de verschillende afdelingen.
Het is gewenst om gedurende het hele jaar het thema
‘klant’ te laten leven in een organisatie en het frequent uitvoeren van een KTO kan hieraan bijdragen. In de rapportage van
het KTO moet aandacht zijn voor de zeer tevreden en de zeer
ontevreden klanten (kader 1).

regels’) tot stand is gekomen verdient de voorkeur boven een
klinisch oordeel (‘een algemene impressie’). Het gebruik van
een matrixstructuur geeft houvast bij de vragenlijst constructie en in één oogopslag is duidelijk welke diensten en aspecten
hoger gewaardeerd worden, en welke lager. Het toevoegen
van vragen in de sfeer van de Net Promotor Score (“zou u
ons bedrijf bij anderen aanbevelenâ€; op een schaal van 0 tot
10) kan hierbij nuttig zijn. De relatie tussen data-inwinning
via de vragenlijst en de rapportage hoeft niet een-op-een te
zijn. Respondentvriendelijke vraagstelling is te combineren
met berekende rapportcijfers. Het voordeel van berekende
rapportcijfers is dat er een consistente samenhang is tussen de
scores op het niveau van een dienst, een regeling, stakeholders
en de organisatie als geheel. Het is belangrijk om het klanttevredenheidsonderzoek goed te verankeren in de organisatie.

Literatuur
Algemene Rekenkamer (2011) Handreiking effectevaluaties van subsidies: randvoorwaarden, uit­
voering en benutting. Den Haag: Algemene Rekenkamer.
Brinkman, J. (1994) De vragenlijst. Groningen: Wolters-Noordhoff.
Commissie Theeuwes (2012) Durf te meten. Eindrapport expertwerkgroep effectmeting. Publicatie op www.rijksoverheid.nl.
Dawes, J. (2008) Do data characteristics change according to the number of scale points
used ? An experiment using 5-point, 7-point and 10-point scales. International Journal of Mar­
ket Research, 51(1), 61-77.
Economische Zaken (meerdere jaren) Rijksjaarverslag. Den Haag: Ministerie van Economische Zaken.
Hambleton, R.K., H. Swaminathan en H.J. Rogers (1991) Fundamentals of item response theory.
New York: Sage Publications.
Hoogwout, M. (2011) Klantonderzoek door overheden: Wat te meten? Blog op www.hoogwoutkennistransfer.nl.

Conclusies

Leppik, P. (2013) Stop the Net Promotor Madness. Blog op www.customerthink.com.

Prestaties van de overheid zijn te meten op en tussen het niveau van input, throughput, output en outcome. Hiervoor
zijn een aantal leidraden ontwikkeld. De meest gebruikte
prestatiemeting betreft het meten van de waardering over
de wijze waarop de activiteiten (throughput) door een overheidsorganisatie worden uitgevoerd. Dit type onderzoek is
minder kostbaar dan evaluaties, maar hiervoor is geen standaard ontwikkeld. Er zijn echter wel een aantal methodologische issues die aandacht behoeven. Naast het meten van de
perceptie is het niet wenselijk om ook verwachtingen te meten in een klanttevredenheidsonderzoek. Het is wel belangrijk om bij de analyse van de uitkomsten de rol die verwachtingen spelen in het achterhoofd te houden. Het is gewenst
om de vragenlijst voor een klanttevredenheidsonderzoek te
laten bestaan uit meerdere vragen, opgebouwd volgens een
matrixstructuur. Een oordeel dat actuarieel (‘volgens reken-

Lord, F.M. en M.R. Novick (1968) Statistical theories of mental test scores. Reading, Mass.:

Jaargang 99 (4691) 14 augustus 2014

Addison-Wesley.
Parasuraman, A., V.A. Zeithaml en L.L. Berry (1988) SERVQUAL: a multiple-item scale for
measuring consumer perceptions of service quality. Journal of Retailing, 64(1), 12–40.
Picker Institute Europe (2012) Overarching questions for patient surveys: development report for
the Care Quality Commission (CQC). Oxford: Picker Institute Europe.
Reichheld, F. (2003) The one number you need to grow. Harvard Business Review, 81(12),
46–54.
Romijn, G. en G. Renes (2013) Algemene leidraad voor maatschappelijke kosten-batenanalyse.
Den Haag: Centraal Planbureau, Planbureau voor de Leefomgeving.
Thomassen, J-P.R. (2003) Klanttevredenheid, de zin en onzin : grotere winstgevendheid door stu­
ring op de waarde van en voor de klant. Deventer: Kluwer.
Tweede Kamer (2013) Vragen vaste commissie EZ over fusie agentschappen EZ. Tweede Kamer,
33744(1).
Verhoef, P. (2011) Klantprestaties bij Nederlandse banken 2011. ESB, 96(4614/4615), 455–457.

De auteur heeft verklaard dit artikel alleen te publiceren in ESB en niet elders
te publiceren in wat voor medium dan ook. Het is wel toegestaan om het artikel voor eigen gebruik
en voor publicatie op een intranet van de werkgever van de auteur aan te wenden.

505