Schaarse hulpgelden
Evaluatie van ontwikkelingsactiviteiten
DR. A. KUYVENHOVEN*
De Nederlandse ontwikkelingshulp heeft, vergeleken met die van vele andere rijke landen, een relatief
forse omvang. Relateert men de omvang van het Nederlandse hulpprogramma aan de behoefte aan
middelen in ontwikkelingslanden, dan is de bijdrage van Nederland zeer bescheiden. In dit opzicht zijn
hulpgelden uiterst schaars, zodat een zo effectief mogelijke besteding een belangrijke zaak is. Goede
evaluatie van hulpverlening kan helpen de effectiviteit ervan te verhogen. In dit artikel worden
evaluatiemethoden besproken die internationaal bij ontwikkelingssamenwerking worden toegepast.
Naar de mening van de auteur verdient het aanbeveling de Nederlandse evaluatiemethodiek meer te
laten aansluiten bij methoden die door verscheidene andere donoren reeds worden toegepast. Op deze
wijze kan een beter onderbouwde en gekwantificeerde effectwaarneming plaatsvinden, die
bovendien het vergelijken van evaluatiebevindingen mogelijk maakt.
Inleiding
Goed voorbereide projecten en programma’s zijn van
essentiele betekenis voor het realiseren van sociaal-economische
ontwikkeling in landen van de derde wereld. Niet alleen komt
door uitvoering van deze activiteiten ontwikkeling in feite tot
stand, de wijze waarop toekomstige projecten en programma’s
worden geidentificeerd, geselecteerd, vorm gegeven en
uitgevoerd, bepaalt in hoge mate de aard en richting van het
ontwikkelingsproces zelf.
Kenmerkend voor alle projecten en programma’s is dat zij op
een bepaalde wijze beogen bij te dragen aan verschillende
ontwikkelingsdoelstellingen (d.w.z. baten genereren) en beslag
leggen op doorgaans schaarse middelen (d.w.z. kosten met zich
mee brengen). Aangezien de mate waarin dit het geval is per
activiteit sterk uiteen kan lopen, zal goede voorbereiding onder
meer een kritische beoordeling hiervan dienen in te houden. Met
behulp van projectbeoordelingsmethoden als kosten-batenanalyse kan op systematische worden nagegaan welke projecten of
programma’s verwacht kunnen worden het doelmatigst bij te
dragen tot het bereiken van ontwikkelingsdoelstellingen gegeven
de daarvoor beschikbare middelen.
Voor alle landen geldt dat het fundamentele economische
probleem bestaat uit het verdelen van schaarse middelen (arbeid,
scholing, kapitaal, land, natuurlijke hulpbronnen, organisatievermogen) over verschillende aanwendingsmogelijkheden. Een
soortgelijk probleem bestaat voor alle instellingen die financiele
of andere middelen tot hun beschikking hebben om bepaalde beleidsdoeleinden te bereiken. Zo zullen die instellingen die speciaal belast zijn met ontwikkelingssamenwerking gei’nteresseerd
zijn in beoordelingsmethoden met behulp waarvan aangegeven
kan worden welke projecten of programma’s op het terrein van
ontwikkelingssamenwerking een zo hoog mogelijk resultaat
opleveren. Resultaat in de zin van een zo groot mogelijke netto
bijdrage aan beleidsdoelstellingen van het ontwikkelingsland
waarin de beschikbare fondsen worden besteed 1, 2).
Deze laatste formulering houdt overigens in dat verondersteld
wordt dat een donor het in grote lijnen eens is met het beleid van
het betreffende ontwikkelingsland. Het hoeft echter niet zo te
zijn dat beide landen dezelfde waardering hebben voor of dezelfde prioriteit verlenen aan verschillende ontwikkelingsdoelstellingen. Verschillen in voorkeur kunnen tot uitdrukking worden
gebracht bij de beoordeling van projecten en programma’s; op
deze wijze kan dan ook de selectie van activiteiten worden bei’nvloed.
Waarom evaluatie?
Gesteld dat projecten en programma’s op een juiste wijze zijn
voorbereid en met redelijk succes zijn uitgevoerd, heeft het dan
650
wel zin deze activiteiten aan een beoordeling achteraf te
onderwerpen? Onder goede voorbereiding wordt hier verstaan
dat projecten overeenkomstig gangbare procedures zijn
geidentificeerd en geselecteerd, naar algemeen aanvaardbare
normen zijn ontworpen en gespecificeerd, dat alternatieve
oplossingen in beschouwing zijn genomen en afgewogen, en dat
bij de uiteindelijke beoordeling met alle relevante aspecten
rekening is gehouden. Een geslaagde implementatie houdt onder
meer in dat de juiste procedures in acht zijn genomen bij
onderhandelingen en aanbesteding c.q. aanschaf van middelen,
dat de supervisie toereikend was om crop toe te zien dat de
activiteiten werden uitgevoerd volgens plan, dan wel dat
noodzakelijke wijzigingen hierin tijdig werden doorgevoerd, en
dat de algemene voortgang en het bereiken van geplande
resultaten zorgvuldig is bijgehouden via een systeem van
monitoring.
Ook al is aan de hierboven genoemde voorwaarden voldaan,
dan is daarmee nog geen inzicht verkregen in de feitelijke werking van een project of programma op basis van ervaring die met
de betreffende activiteit is opgedaan. Zorgvuldige voortgangscontrole tijdens de implementatie van projecten en programma’s zal in principe een nauwkeurig beeld kunnen geven van afwijkingen tussen begrote en gerealiseerde kosten. Een soortgelijk inzicht in de mate waarin verwachte baten zijn gerealiseerd
kan daarentegen in de meeste gevallen pas na afloop van de gebruikelijke implementatieperiode worden verworven, en vergt
daarom in het algemeen een afzonderlijk onderzoek. Een zodanig onderzoek ligt voor de hand daar waar de realisering van baten in sterke mate afhankelijk is van veranderingen in attitudes,
institutionele factoren en beleid (zoals bij gezondheidsprogramma’s, plattelandsontwikkelingsprojecten, introductie van nieuwe landbouwmethoden en technieken), maar is, naar de ervaring
* Hoofd van de afdeling Balanced International Growth van het Nederlands Economisch Intituut en wetenschappelijk hoofdmedewerker aan
de Erasmus Universiteit Rotterdam.
1) Door het Directoraat-Generaal Internationale Samenwerking van het
Ministerie van Buitenlandse Zaken zijn zulke beoordelingsmethoden onlangs gepubliceerd in: Arie Kuyvenhoven en L.B.M. Mennes, Guidelines
for project appraisal. An introduction to the principles of financial, economic and social cost-benefit analysis for developing countries, Staatsuitgeverij, Den Haag, 1985. Verscheidene bilaterale en multilaterale donoren passen deze beoordelingsmethodiek reeds geruime tijd toe.
2) Voor Nederland zijn methoden en technieken voor beleidsvoorbereidende analyse bij de rijksoverheid beschreven in: Evaluatiemethoden,
een introductie, Rapport van de afdeling Beleidsanalyse van het Ministerie van Financien, 2e geheel herziene druk, Staatsuitgeverij, ‘sGravenhage, 1984.
leert, niet minder zinvol voor die activiteiten waarbij de realisering van baten in sterkere mate afhankelijk lijkt van technische
factoren en (nationale en internationale) marktontwikkelingen
grippen te definieren en afwijkend gebruik op voorhand te
(zoals bij grootschalige landbouw, Industrie, infrastructuur).
vindt plaats voordat een beslissing over verdere uitvoering wordt
Kermis over de wijze waarop projecten en programma’s functio-
genomen, en is noodzakelijkerwijs gebaseerd op analyse ex ante.
Worden activiteiten goedgekeurd en ondernomen dan zullen als
regel tijdens de implementatiefase een aantal toezichthoudende
neren, welke effecten ze hebben, en hoe de feitelijke baten tot
stand zijn gekomen, zal dus doorgaans via speciaal evaluatieonderzoek verkregen moeten worden.
Het is gebruikelijk bij evaluatie een drietal typen onderzoek te
onderscheiden:
a. effectiviteitsonderzoek: in welke mate zijn de doelstellingen
van de activiteit bereikt, d.w.z. de verwachte baten
gerealiseerd;
signaleren.
Beoordeling (,,appraisal”) van projecten en programma’s
en controlerende functies worden uitgevoerd. Supervisie of monitoring (voortgangscontrole) heeft ten doel erop toe te zien dat
uitvoering van activiteiten effectief, doelmatig en volgens plan
geschiedt. Controle (,,audit”) behelst het normale toezicht op financieel beheer van activiteiten in termen van juistheid en rechtmatigheid bij de besteding van fondsen. Bij overheidsmiddelen
b. doelmatigheidsonderzoek: staan de behaalde resultaten (baten) in een redelijke verhouding tot de gemaakte kosten;
zal interne controle onder de verantwoordelijkheid van de
Comptabele van een ministerie vallen, bij externe controle onder
c. ,,impact”-onderzoek: wat zijn de lange-termijneffecten van
die van de Algemene Rekenkamer. Zijn activiteiten eenmaal vol-
de activiteit voor alle belanghebbenden, en welke beleidsim-
tooid, dan zal evaluatie op basis van analyse ex post kunnen aan-
plicaties kunnen hieraan worden verbonden? Effecten zijn
geven in welke mate de verwachtingen, zoals die bij de oorspron-
hier in brede zin bedoeld en omvatten naast directe effecten
ook ,,linkage”- of indirecte produktie-effecten, ,,multiplier”- of secundaire effecten, prijseffecten en externe effecten.
kelijke beoordeling bestonden, zijn gerealiseerd.
Bij een aantal donoren, met name bij USAID, maar ook in
Nederland, overheerst de opvatting dat evaluatie een min of
meer permanente functie van intern project- en programmabeheer dient te zijn. Bij activiteiten met een lange implementatieperiode (zoals bij technische-hulpprojecten) kan dit zinvol zijn,
In de praktijk is het onderscheid tussen effectiviteits- en doelmatigheidsonderzoek enerzijds, en ,,impact”-onderzoek anderzijds niet altijd even duidelijk omdat hierbij van gedeeltelijk
overlappend onderzoek sprake is. Wel is ,,impact”-evaluatie
doorgaans grondiger en tijdrovender, en kan er bij andere evaluaties veelal met eenvoudiger vormen van onderzoek worden
volstaan.
Uit het bovenstaande zal duidelijk zijn dat systematische evaluatie onontbeerlijk is voor de beantwoording van welbekende
en regelmatig terugkerende vragen over ontwikkelingsinspanningen: zijn de activiteiten ten goede gekomen aan diegenen
voor wie ze bedoeld waren, en in welke mate? Hoe is succes tot
stand gekomen en kan het herhaald worden? Waarom zijn er zoveel tegenvallende resultaten en mislukkingen, en hadden die
voorzien kunnen worden? Waren doelstellingen achteraf niet
onrealistisch? Waren uitvoerenden berekend voor hun taak?
Voerde het ontvangende land een beleid dat consistent was met
de project- of programmadoelstellingen?
Bij deze vragen moet overigens worden bedacht dat in de
meeste ontwikkelingslanden voorspelling van kosten en baten
aan grote onzekerheid onderhevig is. Ofschoon de inzichten in
het ontwikkelingsproces de afgelopen decennia aanmerkelijk
zijn toegenomen, blijft het schatten van effecten die voor een
groot deel het gevolg zijn van varanderingsprocessen vaak zeer
problematisch. Daarbij komt dat in veel ontwikkelingslanden
planning van projecten niet het sterkste onderdeel van algemene
beleidsvoorbereiding pleegt te zijn, deels omdat lokale deskundigheid en ervaring met betrekking tot goede projectvoorbereiding veelal ontbreken 3). Onder die omstandigheden is verbetering van de voorbereidingscapaciteit vanzelfsprekend een eerste
prioriteit, maar zal tevens de noodzaak tot evaluatie des te meer
klemmen omdat kennis over de te verwachten effecten ontbreekt
of onrealistisch is.
In veel donorlanden vormt de publieke opinie een belangrijke
factor in de meningsvorming over besteding van ontwikkelingsfondsen. Misstanden vinden gemakkelijk hun weg naar de publiciteit en de Wereldbank concludeert waarschijnlijk niet ten onrechte dat de ,,frustrations of development assistance ministers
who find themselves unable to respond to parliamentary questions about effectiveness must be profound. Disappointment and
occasional failure in development are inevitable. But if such cases are not to dominate and thereby distort all perceptions of the
effectiveness and management of development assistance, they
must be seen in context” 4). Regelmatige evaluatie van opgedane
ervaringen en terugkoppeling naar beleids- en activiteitenvoorbereiding verschaft die context.
Begrippen en definilies
Naast evaluatie worden begrippen als beoordeling, monitoring, controle en inspectie gehanteerd, die deels een soortgelijke,
deels echter een andere betekenis hebben dan wat hier onder evaluatie wordt verstaan. Het lijkt daarom goed de verschillende beESB 26-6-1985
hoewel evaluatie dan in feite met supervisie en monitoring sa-
menvalt. Om in die gevallen toch het externe karakter dat evaluatie kenmerkt te behouden, is de figuur van de tussentijdse evaluatie gei’ntroduceerd. Op grond van een vOorlopige afweging
van resultaten en inspanningen kan dan tot eventuele bijstelling
van activiteiten worden besloten.
Het feit dat aan veel uitgaven het bereiken van speciale
doelstellingen ten grondslag ligt, heeft het besef doen groeien dat
conventionele ,,audit”, met zijn nadruk op kostencontrole,
noodzakelijkerwijs te kort schiet waar het gaat om een totaalbeoordeling van projecten en programma’s. Naast ,,traditional
audit” heeft zich dan ook ,,performance audit” of ,,value for
money audit” ontwikkeld, waarbij naast gemaakte kosten ook
baten worden getoetst 5). Deze verbreding van taakopvatting
van in het bijzonder Algemene Rekenkamers leidt er in de praktijk toe dat evaluatie en ,,performance auditing” in feite voor
dezelfde activiteit staan.
In een aantal gevallen zal het spraakgebruik kunnen afwijken
van de hier gegeven begripsomschrijvingen. Zo wordt in Nederland door het Ministerie van Financien zowel de beoordeling van
activiteiten en beleid ex ante als de evaluatie van afgesloten activiteiten en bestaand beleid ex post met de uitdrukking evaluatie
aangeduid 6). Het Directoraat-Generaal Internationale Samenwerking van het Ministerie van Buitenlandse Zaken kent de Inspectie Ontwikkelingssamenwerking te Velde (IOV), die, krachtens haar taakomschrij ving, typisch met de externe evaluatie van
projecten en programma’s is belast 7). Aansluitend bij de
bestaande conventies wordt daarbij externe ,,inspectie” zorg-
vuldig onderscheiden van interne ,,evaluatie”, een activiteit die
volgens de hier gehanteerde definities eerder met monitoring of
tussentijdse evaluatie zou worden aangeduid.
Methodiek
Qua methode wijkt evaluatie niet in sterke mate van beoorde3) Voor een meer uitvoerige beschouwing hierover, zie: lan M.D. Little,
Economic development. Theory, policy and international relations, Basic Books, New York, 1982, deel III.
4) ODA, The evaluation of aid projects and programmes, HMSO, Londen, 1984, biz. 98.
5) De rationale van ,,performance auditing” laat zich treffend illustreren aan de uitspraak dat, waar het aannemen van steekpenningen is af te
keuren, het niet nakomen van de daarmee aangegane verplichtingen meer
te betreuren valt. Toenemende zorg over de effectiviteit van veel grootscheepse overheidsprogramma’s en teleurstellende ontwikkelingsresultaten in een aantal landen lijken de achterliggende redenen voor de snel
groeiende belangstelling voor “performance auditing” te zijn.
6) Vgl. voetnoten 2 en 8.
7) Inspectie Ontwikkelingssamenwerking te Velde, Profiel, Ministerie
van Buitenlandse Zaken, juni 1982.
651
lingsonderzoek af. Een beoordelingsmethode als kosten-
van effecten en prijsontwikkelingen en het formuleren van uit-
der”-situatie uitgegaan. Waar een verandering het gevolg van ‘
verscheidene factoren kan zijn, is effectenanalyse in het algemeen te prefereren als men de bijdrage van een specifieke factor
wenst te bepalen. In geen van beide benaderingen wordt echter
rekening gehouden met van te voren geformuleerde doelstellingen of verwachtingen. Aangezien beoordeling doorgaans op ba-
voeringsvoorwaarden, bij evaluatie gaat het om het zo juist mogelijk waarnemen, vaststellen en waarderen van alle relevante ef-
sis hiervan heeft plaatsgevonden, zijn doelstellingen of verwachtingen een voor de hand liggend vergelijkingspunt waaraan de
fecten. Vervolgens worden deze uitkomsten vergeleken met de
feitelijke uitkomsten kunnen worden getoetst.
oorspronkelijke schattingen; verschillen worden toegerekend
aan specifieke verklarende factoren van technische, sociaaleconomische, institutionele en organisatorische aard.
ject de verwachting zijn uitgesproken dat, rekening houdend
batenanalyse kan bij voorbeeld zonder al te grote problemen zo-
wel ex ante als ex post op dezelfde activiteit worden toegepast.
Onderzoektechnisch doen zich meer verschillen voor. Ligt bij
beoordeling de nadruk op het zo betrouwbaar mogelijk schatten
Zo kan bij de voorbereiding van het irrigatieverbeteringspro-
projecten en programma’s onlangs door het Ministerie van Financien samengevat 8). Aansluitend bij de daarin gebezigde terminologie kan de kern van deze benaderingen aan het volgende
voorbeeld worden gei’llustreerd. Ter verbetering van een
met alle factoren, de opbrengst over n jaren met in totaal 60%
zal stijgen (B = 160). Wordt de feitelijk geconstateerde opbrengstverandering ten opzichte van de uitgangssituatie (A – U
= 45) gerelateerd aan de gewenste of verwachte opbrengstverandering ten opzichte van die zelfde uitgangssituatie (B – U = 60),
dan is sprake van doelbereikingsanalyse. In dit voorbeeld is 75%
bestaand irrigatiesysteem wordt voorgesteld extra voorraadbassins aan te leggen (opdat langer gepompt kan worden), distribu-
van de opbrengstverhoging gerealiseerd en zal via nader onderzoek inzicht moeten worden verkregen in de mogelijke knelpun-
In Nederland is een aantal benaderingen voor de evaluatie van
tiekanalen beter uit te lijnen (waardoor minder water wegsij-
ten die een hogere mate van doelbereiking in de weg hebben
pelt), en het netwerk van kanalen uit te breiden (zodat het be-
gestaan.
schikbare water beter kan worden benut). Met deze extra in-
Is op voorhand aannemelijk dat de opbrengstverandering niet
vesteringen wordt een aanzienlijke verhoging van de opbrengst
uitsluitend het effect is van de betreffende investering, dan zul-
van tarwe en rijst nagestreefd. Na enige jaren wordt het project
geevalueerd; de resultaten van de opbrengstenanalyse zijn samengevat in de volgende figuur.
len feitelijke (A = 145) en verwachte opbrengst (B = 160) met de
betreffende investering vergeleken moeten worden met de
respectievelijkachteraf(C = 115)envooraf (D = 125)geschatte
opbrengst zonder de beoogde irrigatieverbetering. Deze con-
Figuur. Evaluatiegegevens opbrengstenanalyse
frontatie van feitelijke effecten (A – C = 30), toegerekend aan
de betreffende investering, met de verwachte effecten (B – D =
Feitelijke opbrengsl
35) staat bekend als effectiviteitsanalyse. Vooropgesteld dat de
,,0-situatie” in redelijke mate zowel ex ante (D) als ex post (C)
kan worden bepaald, geeft deze benadering de meest complete
maatstaf voor de effectiviteit van een bepaalde activiteit. Toegepast op het voorbeeld blijkt dat van de met de investering beoogde opbrengsteffecten 86% is gehaald.
Feitelijke opbrengst
zonder investeringen
tigheideen belangrijk toetsingscriterium. Aannemend dat bij de
Opbrengst
Verwachle opbrengs!
met investeringen
Verwachle opbrengsl
zonder investeringen
Bij evaluatieonderzoek is naast doeltreffendheid ook doelma-
-Tijd
beoordeling door middel van kosten-batenanalyse of kostenvergelijkende analyse reeds een algemeen inzicht is verkregen in de
verwachte doelmatigheid waarmee middelen worden aangewend, zullen bij evaluatie de feitelijke en verwachte kosten (baten) niet alleen onderling maar ook in relatie tot de baten
(kosten) worden geanalyseerd. Tegenvallende resultaten kunnen
Verklaring van de symbolen:
t0 =
tn =
U =
A =
moment waarop met de investering een begin wordt gemaakt;
moment van onderzoek gedurende de periode waarin de hogere
opbrengsten zijn gerealiseerd;
oorspronkelijke opbrengst in jaar to (uitgangssituatie = 100);
feitelijk gerealiseerde opbrengst in jaar t n (ex post ,,met”-
situatie = 145);
B =
C =
verwachte opbrengst in jaar t n (ex ante ,,met”-situatie = 160);
toegerekende feitelijke opbrengst in jaar t n zonder dat debetreffende investering had plaatsgevonden (ex post ,,zonder”-situatie
= 115);
D =
verwachte opbrengst in jaar t n zonder dat de betreffende investering had plaatsgevonden (ex ante ,,zonder”-situatie = 125).
De eenvoudigste wijze van evaluatieonderzoek in dit voorbeeld is desituatie-analyse. Hierbij wordt de feitelijke opbrengst
daarbij in het algemeen in een vijftal categorieen worden
ingedeeld:
–
kostenoverschrijdingen bij de investering (zowel naar prijs
als naar volume);
– vertragingen tijdens de bouw (met als gevolg hogere kosten
en uitstel van opbrengsten);
– vertraging in het bereiken van geplande opbrengsten tijdens
de operatieperiode;
– hogere lopende kosten dan voorzien;
– lagere uiteindelijke opbrengsten (zowel naar prijs als naar
volume).
Zorgvuldige evaluatie zal het relatieve belang van elk van deze
vijf componenten kunnen aangeven. Zijn op deze wijze de
belangrijkste mee- en tegenvallers bekend, dan zal verdere ana-
(A = 145) gerelateerd aan die in de uitgangssituatie (U = 100);
lyse moeten uitwijzen welke oorzaken hieraan ten grondslag lig-
het verschil, d.w.z. de feitelijke opbrengstverandering (A – U
= 45), wordt toegeschreven aan de investering. Deze benadering
gen, en welke maatregelen ter verbetering kunnen worden getroffen 9).
is uiteraard alleen geldig als de geconstateerde verandering geheel en al voor rekening van de betreffende investering komt, en
niet mede het gevolg is van andere factoren. Mocht dit wel het
Ervaringen met evaluaties: de Wereldbank.
geval zijn, dan zal via een effectenanalyse getracht moeten wor-
aantal multilaterale en bilaterale donoren ontwikkelingsactivi-
den de specifieke bijdrage van de investering aan de opbrengstverandering te isoleren. Dit kan in principe gebeuren door een
schatting van de opbrengst te maken in de situatie die zou zijn
ontstaan als de investering achterwege was gebleven (C = 115).
Een schatting van deze z.g. ,,0-situatie” kan bij voorbeeld door
trendextrapolatie, waarneming in een controlegebied, of modelvoorspelling worden verkregen. Het feitelijke, zij het toegerekende effect van de investering bedraagt nu A – C = 30.
Ligt bij situatie-analyse het accent op een ,,voor en na”-benadering, bij effectenanalyse wordt steeds van een ,,met en zon652
Sinds de jaren zeventig worden in toenemende mate door een
8) Heeft beleid effect? Vier benaderingen voor evaluatie van bestaand
beleid, Rapport van de afdeling Beleidsanalyse van het Ministerie van Financien, Staatsuitgeverij, ‘s-Gravenhage, 1984.
9) De hier voorgestelde evaluatiemethodiek is met succes toegepast bij de
opzet van een systeem van ,,performance auditing” door de Algemene
Rekenkamer in Pakistan. Met Nederlandse technische hulp is deze me-
thodiek door prof. dr. J.A. Bottomley nader uitgewerkt in: Department
of the Auditor General of Pakistan, Performance audit guidelines, Vol.
I, Measuring performance. Vanguard Books, Lahore, 1984.
teiten systematisch geevalueerd ter verbetering van de effectiviteit en kwaliteit van hun hulpprogramma’s. Met dit doel zijn
door vrijwel alle donororganisaties speciale evaluatieafdelingen
in het leven geroepen. Dienen deze afdelingen enerzijds met de
grootst mogelijke onafhankelijkheid te kunnen opereren, anderzijds is het van essentieel belang dat de resultaten van evaluatieonderzoek binnen de organisatie doeltreffend worden terugge-
koppeld, zodat bij het opstellen van nieuwe projecten en programma’s met evaluatiebevindingen rekening kan worden
gehouden.
Tot nu toe is de meeste ervaring met de evaluatie van ontwikkelingsactiviteiten ongetwijfeld opgedaan door de Wereldbank.
Tijdens de uitvoering van door de Bank gefinancierde projecten
worden deze grondig gesuperviseerd (een vijfde van de tijd van
de operationele staf is hiermee gemoeid), bevindingen worden
vastgelegd en na voltooiing van het project verwerkt in een ,,project completion report”. Op basis van deze rapporten wordt enige tijd daarna ongeveer 60 procent van alle projecten aan een afzonderlijke evaluatie onderworpen door een onafhankelijk
,,Operations Evaluation Department” (met een stafomvang van
ongeveer 3 procent van de operationele staf). In de helft van de
gevallen wordt hierbij het project opnieuw bezocht. De resultaten van de evaluatie worden vastgelegd in een ..project performance audit memorandum”. Jaarlijks wordt een vergelijkende
studie op basis van de in het afgelopen jaar voltooide zowel als
geevalueerde projecten gepubliceerd waarin de belangrijkste resultaten naar sector en aandachtsgebied zijn vermeld 10).
Door het ..Operations Evaluation Department” worden tevens speciale ,,impact”-studies uitgevoerd; hiertoe wordt vijf
tot zeven jaar na voltooiing een aantal projecten opnieuw onderzocht. Vanwege de tijd die met deze studies is gemoeid is hiervan
tot nu toe slechts een beperkt aantal uitgevoerd, onder meer op
het gebied van landbouwvoorlichting, waterbeheer in irrigatieprojecten, plattelandsontwikkeling in Afrika, en onderwijs.
Op basis van de evaluatie van meer dan 800 door de Bank gefinancierde projecten en programma’s kunnen onder meer de volgende conclusies worden getrokken:
• ruim 90 procent van deze projecten kan in die zin gunstig
worden beoordeeld dat ten minste een interne rentevoet van
10 procent is behaald. Vergeleken met het geschatte rendement bij beoordeling geeft die bij evaluatie in het algemeen
een gemiddelde daling met 4 tot 6 procentpunten te zien. De
verklaring voor dit door de Bank niet ongunstig beoordeelde
resultaat ligt deels in het feit dat de Bank slechts de betere
projecten financiert, deels ook in het nauwgezette toezicht
dat daarop wordt uitgeoefend. Ruim 60 procent van de projecten veranderde van opzet tijdens de uitvoering;
• als belangrijkste redenen voor tegenvallende resultaten worden genoemd: a. zwak management met als gevolg kostenoverschrijdingen, vertragingen en lagere opbrengsten; b.
veranderingen in politiek en economisch beleid; c. onvoldoende deelname door het ontvangende land aan de voorbereiding, leidend tot misverstanden over projectdoelstellingen
en aanpak van de Bank; en d. tekortschietende voorbereiding, inclusief ontwerpfouten;
• het is naar de mening van de Bank zinvol projecten waarbij
het gedragspatroon van mensen een belangrijke rol speelt op
een speciale wijze te begeleiden door middel van intensieve
monitoring en interne evaluatie (b.v. bij geboortebeperkings- en gezondheidsprogramma’s). Naast doeltreffendheid en doelmatigheid besteedt de Bank tevens grote aandacht aan institutionele factoren en aan de vraag aan wie de
baten in feite ten goede zijn gekomen.
Behalve algemene resultaten geeft de Bank tevens uitvoerige
evaluatiebevindingen voor specifieke sectoren. Projecten en
gen, en g. slechte projectanalyse ex ante.
Ervaringen van andere donoren
Naast multilateral organisaties als de Wereldbank, regionale
ontwikkelingsbanken, gespecialiseerde VN-organisaties en de
DAC Expert Group on Aid Evaluation van de OECD, spelen bilaterale donoren een belangrijke rol bij de evaluatie van projecten en programma’s. USAID (Verenigde Staten) en CIDA (Canada) kennen reeds lang een intern evaluatiesysteem gebaseerd
op de z.g.,,logical framework”-benadering van procjectorganisatie. Hierbij ligt de nadruk op strak geformuleerde (en zo mogelijk gekwantificeerde) doelstellingen, weldoordachte voorwaarden voor het slagen van een activiteit, en het opstellen en toepassen van operationele indicatoren voor het meten van succes in
het bereiken van de doelstellingen.
Onlangs heeft ODA (Verenigd Koninkrijk) uitvoerig verslag
gedaan van haar bevindingen met betrekking tot de evaluatie
van door haar gefinancierde projecten en programma’s 12). Organisatie en inhoud van evaluatieonderzoek, terugkoppeling
van resultaten binnen ODA, en methodische aspecten van evaluatie worden onder meer besproken. Voor een aantal sectoren
zijn de resultaten van uitgevoerde evaluaties samengevat; de eveneens opgenomen discussies benadrukken nog eens dat dit type
onderzoek tevens een belangrijke bijdrage kan leveren tot beter
inzicht in het feitelijk functioneren van belangrijke sectoren in
landen met een uiteenlopend ontwikkelingsniveau. Interessant
in deze studie is de poging tot evaluatie van programmahulp in
de vorm van betalingsbalanssteun. ODA concludeert onder
meer dat, voor korte-termijnbetalingsbalanshulp, deze steun in
eerste instantie gericht dient te zijn op het handhaven van de bezettingsgraad van bestaande produktiecapaciteit, en derhalve
geen investeringsleveranties dient te omvatten. Voor steun op
langere termijn wordt, mede om administratieve redenen, sectorconcentratie aangeraden, toepassing van normale investeringsselectiecriteria, en combinatie met technische hulp.
Nederlandse ervaringen. Conclusies
Met een budget voor ontwikkelingssamenwerking van ruim
boven de f. 4 mrd., waarvan bijna f. 1,4 mrd. voor bilaterale
projecten en programma’s, heeft Nederland een relatief om-
vangrijk hulpverleningsprogramma. De snelle groei van dit programma in de jaren zeventig, met de daarmee gepaard gaande
problemen van bestedingsdwang en kwaliteitsbeheersing, vormden in 1977 aanleiding tot de oprichting van de eerder genoemde
Inspectie Ontwikkelingssamenwerking te Velde (IOV). Sinds en-
kele jaren verricht de IOV op uitgebreide schaal evaluaties met
als doel betere besteding van bilaterale ontwikkelingsfondsen en
verbetering van beleidsvorming en -uitvoering door terugkoppeling van evaluatiebevindingen. Inspectierapporten zijn niet
openbaar; wel wordt er naar gestreefd algemene resultaten per
land, sector en thema te publiceren 13).
Naast de IOV ziet de Algemene Rekenkamer toe op de wijze
waarop ontwikkelingsgelden worden besteed. Jaarlijks worden
hiertoe enige onderzoeken op eigen initiatief ondernomen. Zo
werd voor het Verslag 1984 de betekenis van de International Finance Corporation, waaraan Nederland bijdraagt, in grote lij-
nen nagegaan, werd een onderzoek ingesteld naar vooruitbetaalde betalingsbalanssteun aan Jamaica in de periode 1978- 1980
ten bedrage van f. 100 mln., en werd het kunstmesthulpprogramma aan India (ruim f. 600 mln. gedurende de periode
1979 – 1983) doorgelicht. De vernietigende kritiek op het Nederlandse hulpbeleid ten aanzien van Suriname in het Verslag 1982
trok grote aandacht en leidde tot uitvoerige discussies.
De opzet en werkwijze die bij de evaluatie van Nederlandse
ontwikkelingsactiviteiten door de IOV wordt gevolgd zijn on-
programma’s in de landbouwsector 11) realiseren bij voorbeeld
een gemiddeld rendement bij evaluatie van 20 procent. Kredieten irrigatieprogramma’s, met name kleinschalige grondwaterprojecten, geven daarbij de beste resultaten te zien, maar ook ru-
rale ontwikkelingsprojecten, gericht op kleine boeren en de armere plattelandsbevolking, blijken bij evaluatie op een alleszins
bevredigend rendement van 17 procent uit te kunnen komen. Tegenvallende resultaten komen met name door a. vertragingen bij
de Uitvoering, b. toepassing van te geavanceerde landbouwmethoden of te snelle invoering van vernieuwingen, c. onvoldoende
voorlichting, d. onbekendheid met sociale omgevingsfactoren,
e. zwakke administratieve structuren, f. tekortschietend sectorbeleid ten aanzien van producentenprijzen en belastingheffinESB 26-6-1985
10) A nnual report on operations evaluation en A nnual review of project
performance audit results.
11) Samengevat in: J. Price Gittinger, Economic analysis of agricultural
projects, tweede editie, Johns Hopkins University Press, Baltimore,
1982.
12) ODA, op.cit.
13) Zie: IOV, Nederlandse drinkwateractiviteiten aangegaan in de perio-
de 1975-1980, Rapport no. 154/S-l, Ministerie van Buitenlandse Zaken, juni 1983; en IOV, Globule evaluatie van de Nederlandse bilaterale
ontwikkelingssamenwerking, Rapport no. 1687A-l, Ministerie van Buitenlandse Zaken, april 1984.
653
langs als volgt gekenschetst 14): ,,Evalueren, onverschillig of het
intern dan wel extern gebeurt, is waarde bepalen. Het veronderstelt een methode van vragen stellen en antwoorden zoeken,
maar ook een methode Sets meer met de antwoorden te doen …
de evaluator moet vervolgens vaststellen welk positief of negatief gewicht elk afzonderlijk antwoord, gezien vanuit de samen-
hang, heeft, en welk positief of negatief gewicht het gehele complex van antwoorden heeft in verhouding tot het soortelijk gewicht van het gehele object van onderzoek. Veel evaluatoren
voeren deze weging min of meer ,,op de hand” uit. Ook de Inspectie is in haar aanlooptijd op die manier te werk gegaan, maar
ze probeert thans haar bevindingen naar vermogen nauwkeurig
aan normen te toetsen. Vrijwel vanaf het begin van haar bestaan
heeft zij drie hoofdnormen gesteld, namelijk beleidsmatigheid,
doelmatigheid en doeltreffendheid.” 15).
wijs kort, geschetste ervaringen met evaluatie van Nederlandse
hulpactiviteiten vergeleken met overeenkomstige ervaringen elders, dan kunnen daaruit de volgende voorlopige conclusies
worden getrokken.
Met behoud van de sterke punten in de huidige evaluatiemethodiek verdient het aanbeveling meer aan te sluiten bij de hiervoor beschreven en reeds door een aantal andere donoren toegepaste methoden van evaluatieonderzoek. Op deze wijze zal
strakker onderbouwde en gekwantificeerde effectwaarneming
kunnen plaatsvinden, op grond waarvan generalisatie van evaluatiebevindingen systematisch kan worden nagestreefd. Met inachtneming van de gewenste vertrouwelijkheid zullen de resultaten van evaluaties, bij voorkeur per sector of thema gegroepeerd, op korte termijn voor gei’nteresseerden beschikbaar moeten zijn. Een goede aanzet hiertoe vormt het niet lang geleden
Sluiten de drie genoemde Criteria redelijk aan bij wat elders ge-
uitgebrachte sectorrapport over drinkwater. Wel zou er daarbij
bruikelijk is, nadere uitwerking wekt de indruk dat de hiermee
naar gestreefd kunnen worden de reeds aanwezige sectorerva-
verkregen resultaten van evaluatie in hoge mate op kwalitatieve
ring bij overeenkomstige instellingen op te nemen 18) en de eigen
oordeelsvorming berusten 16). De daarbij gevolgde werkwijze
legt grote nadruk op beleidsmatige, organisatorische, institutio-
bevindingen daaraan mede te toetsen.
A. Kuyvenhoven
nele en procedurele factoren, die, naar het oordeel van de IOV,
tot aan het begin van de jaren tachtig de doelmatigheid van projecten en programma’s in sterke mate nadelig hebben be’invloed
14) Zie: J.H. Kramer, Inspectie van ontwikkelingsactiviteiten, Interna-
17). Wat bij deze aanpak echter wordt gemist is een onderbouwde oordeelsvorming over de meer technische, financiele en
tionale Spectator, maart 1983, biz. 137 – 144. Het artikel is een uiteenzetting van de Nederlandse evaluatiepraktijk door de Chef van de Inspectie
en sluit gedeeltelijk aan bij een eerdere bijdrage van P. W. Streefland, Het
sociaal-economische aspecten van de betreffende activiteiten.
De relatieve onderbelichting van deze factoren brengt het niet
onaanzienlijke risico met zich mee, dat bij terugkoppeling van
evaluatieresultaten het effect op de kwaliteitsverbetering van de
hulp beperkt blijft.
Relateert men de omvang van het Nederlandse hulpprogram-
ma aan de werkelijke behoefte aan middelen in ontwikkelingslanden waarmee relaties worden onderhouden, dan kan de
bijdrage hierin door Nederland in de meeste gevallen slechts be-
scheiden zijn. In dit opzicht zijn beschikbare hulpfondsen
schaars en dient de besteding zo effectief mogelijk te zijn. Gezien
de mate waarin evaluatie tot betere aanwending van middelen
kan bijdragen, verdient het aanbeveling op inhoud en organisatie ervan zorgvuldig toe te zien. Worden de hier, noodzakelijker-
evalueren van ontwikkelingsprojecten, Internationale Spectator, december!982, biz. 697-705.
15) J.H. Kramer, op.cit., biz. 142- 143.
16) Letterlijk wordt gesteld: ,,Grotere precisie kan worden bereikt in
projecten die een meetbaar doel hebben en die zich derhalve gemakkelijker lenen tot kwantificatie: zoveel meer gierst geproduceerd, werkgele-
genheid met zoveel arbeidsplaatsen toegenomen, kindersterfte voor zoveel procent teruggedrongen. Dat deze kwantificatie een particle en mogelijk misleidende uitdrukking is van de werkelijke waarde van het project, is evident, …..”; J.H. Kramer, op.cit., biz. 143.
17) IOV, Globaleevaluatie, op.cit., biz. 27-28.
18) Zulke ervaringen zijn bij voorbeeld verwerkt in G.A. Bridger en J.T.
Winpenny, Planning development projects, ODA, HMSO, Londen,
1983.