Hoe succesvol is een ontwikkelingsproject? Ton Dietz, directeur van het Amsterdam institute for Metropolitan and International Development Studies (AMIDSt), bedacht een methode voor een betrouwbare, holistische evaluatie van projecten in ontwikkelingslanden. De protestantse organisaties voor ontwikkelingssamenwerking ICCO, Woord en Daad en Prisma, besloten de methode toe te passen.

‘De manier waarop ontwikkelingsorganisaties hun projecten evalueren, stond mij al langere tijd tegen', vertelt AMIDSt-directeur Ton Dietz. De evaluaties zijn vaak gericht op een veel te korte termijn en ze zijn vrijwel altijd donorgestuurd - de organisatie zelf evalueert haar eigen project.' Non-gouvernementele organisaties (ngo's), zo weet Dietz, gaan krampachtig om met evaluaties vanwege pr-redenen. Immers, goede resultaten leveren goodwill en dus financiële steun op van het publiek; slechte resultaten voeden de ontwikkelingsscepsis. ‘Als wetenschapper moet je constateren dat dergelijke evaluaties vaak de plank misslaan en nauwelijks iets zeggen over de praktijk van maatschappelijke ontwikkeling op langere termijn.'

Plaatselijke bevolking

Zo'n zes jaar geleden bedacht Dietz daarom een nieuwe methode om het effect te meten van ontwikkelingsprojecten. De focus ligt niet op de projecten, maar is veel meer holistisch. ‘We richten ons op de mening van de plaatselijke bevolking over de veranderingen in hun leven. Ze krijgen vragen voorgelegd als: Wat is er de afgelopen dertig jaar in uw leven veranderd? Welke positieve en negatieve invloeden van buitenaf kwamen op uw pad - projecten, subsidies, maar bijvoorbeeld ook oorlogen. Ten slotte geeft de bevolking zelf aan hoe hoog zij bepaalde zaken waardeert.'

Weggehoond

Toen Dietz het model in 2003 voor het eerst onder de aandacht bracht, werd hij weggehoond door collega-wetenschappers. De antropologen namen hem kwalijk dat hij kwalitatieve gegevens wilden kwantificeren; de meer kwantitatief gerichte academici konden niet overweg met het gegeven dat Dietz niet met ‘enge modellen' werkte. Maar het tij keerde - een paar jaar later werd de roep onder ngo's om een beter evaluatiesysteem steeds luider. Dietz presenteerde zijn model opnieuw en daagde de ontwikkelingsorganisaties uit om het te omarmen. De protestantse organisaties ICCO, Woord en Daad en Prisma hapten toe.

Ghana en Burkina Faso

Inmiddels is Dietz met een groep wetenschappers (waaronder collega en coördinator Fred Zaal), studenten International Development Studies en medewerkers van de protestantse ngo's naar Ghana en Burkina Faso geweest, waar ze samenwerkten met collega's van plaatselijke universiteiten. Ze selecteerden drie gebieden waar de Nederlandse ngo's lang actief zijn geweest en nog zijn. In elk van die drie gebieden stelden ze een groep van 60 mensen samen die representatief was voor de plaatselijke bevolking. Vervolgens gingen zij door middel van driedaagse workshops aan de slag om de benodigde informatie te verzamelen.
‘Die workshops leverden een schat aan informatie op. Zo vertelden de mensen ons wat de vijf beste en de vijf slechtste projecten van de afgelopen 30 jaar waren geweest en waarom. Uit de interviews bleek dat de bevolking continuïteit van een project als uitermate belangrijk beschouwt; mensen moeten vertrouwen hebben in een organisatie en weten dat het die organisatie niet om het eigen gewin gaat. ‘Fast hit'-projecten worden erg slecht gewaardeerd.' Daarnaast vinden mensen het belangrijk dat een project respectvol wordt uitgevoerd. ‘Sommige organisaties doen loze beloften en oefenen druk uit op de lokale bevolking, dat wordt uiteraard niet gewaardeerd.'
Ten slotte geven de respondenten aan dat een project moet voortkomen uit de aanwezige behoeften bij de bevolking. ‘Er is nu een organisatie die overal ‘luxe' toiletten plaatst. Op zich een aardig idee, maar daar is lang niet overal behoefte aan. Daarnaast is het in veel landen not done dat jongens en meisjes naar hetzelfde toilet gaan - dat ene toilet bij scholen blijft dus ongebruikt.'

Gebieden met veel en weinig inbreng

Volgend jaar gaan Dietz en de zijnen weer naar Afrika, ditmaal om drie gebieden te onderzoeken waar in het verleden activiteiten zijn geweest van de Nederlandse organisaties, maar nu niet meer. Op deze manier kan worden onderzocht wat het effect op de langere termijn is. Vervolgens onderzoeken de wetenschappers drie gebieden waar geen of weinig inbreng is geweest van Nederlandse organisaties (binnen Ghana bijvoorbeeld in islamitische gebieden). Over drie jaar gaan studenten terug naar de drie eerste onderzoeksgebieden in Ghana en Burkina Faso om dezelfde workshops opnieuw uit te voeren. ‘De data die al deze onderzoeken en workshops opleveren, zijn van grote waarde voor zowel de evaluaties van ontwikkelingsorganisaties als voor onderzoeksdoeleinden.'