Monitoren, Evalueren en Leren: meten is weten, leren is presteren

Abstract

Een kernonderdeel van het WorldCoaches-programma, het internationale maatschappelijke programma van de Koninklijke Nederlandse Voetbalbond (KNVB) is de periodieke verantwoording van overheidssubsidies aan het Ministerie van Buitenlandse Zaken (BuZa). KNVB WorldCoaches is een middenveldorganisatie die zich committeert binnen de Sport for Development and Peace (SDP) sector. Om te kunnen bepalen hoeveel impact KNVB WorldCoaches levert worden MEL-aanpakken ontworpen om de Theory of Change (ToC) te meten. De afgelopen jaren heeft KNVB WorldCoaches veel ervaring opgedaan over MEL en heeft, mede door het Shiraka-project, uitgesproken inzicht te willen hebben in de manier waarop de afgelopen jaren de MEL-aanpakken zijn vormgegeven, zodat opgedane ervaringen over MEL niet verloren gaan. Aangezien elke MEL uniek is, wordt beoogd de cumulatieve kennis van afgeronde WorldCoaches-projecten te achterhalen aangaande het MEL. De praktijk wijst uit dat MEL niet eenduidig te vatten is omdat elk project verschilt. MEL is uniek, tijdrovend en doorgaans ontbreekt organisatiekennis over MEL. Uniformiteit binnen MEL kan hierop inspelen. Dit onderzoek is erop gericht om ervaringen over MEL van drie afgeronde WorldCoaches-projecten te achterhalen zodat kennis uit het verleden over MEL binnen KNVB WorldCoaches kan worden achterhaald, alsmede patronen en verschillen kunnen worden geduid, om aanknopingspunten te kunnen bieden om uniformiteit binnen MEL mogelijk te maken. Hierbij worden ook de invloeden vanuit consortia onderzocht om contextinvloeden op MEL mee te nemen. De onderzoeksvraag luidt: “Wat kan organisatorisch geleerd worden van de manier waarop de Monitoren, Evalueren en Leren (MEL) aanpakken van WorldCoaches-projecten zijn ingericht en uitgevoerd en wat is de invloed van partnerorganisaties in de consortia op hoe de MEL-aanpakken worden vormgegeven?” Uit de onderzoeksbevindingen blijkt dat het accent binnen de drie projecten hoofdzakelijk lag op een outputgerichte impactmeting waarbij de traditionele M&E-frameworks de overhand hadden. Hoewel binnen het SFD 16-19 project een participatief MEL-component aanwezig is, is het potentieel hiervan onvoldoende benut wegens discrepanties tussen de consortiumorganisaties. Hoewel het belang van de lokale context binnen elk project naar voren komt, komt het gedeelde leercomponent minimaal naar voren. Zo waren de M&E-frameworks binnen F4W 16-19 en SaHA 16-19 te rigide omdat de focus voornamelijk lag op verantwoording richting subsidiegever BuZa. Dit kan worden verklaard omdat BuZa, hoewel enigszins genuanceerd, een machtspositie inneemt in de consortia. In de praktijk hadden de consortiumorganisaties ruimte in de uitvoering van de frameworks, en omdat de organisaties hoofdzakelijk langs elkaar heen bewogen, alsmede dat iedere organisatie een eigen interventie had om de ToC na te streven, voerde iedere partij afzonderlijk de dataverzameling uit. In het verlengde hiervan bestond, zoals binnen F4W 16-19, geen eenduidigheid over het overkoepelende M&E-framework, waardoor ook verschillen tussen de organisaties ontstonden in de interpretaties van de mee te tellen aantallen begunstigden. Al met al zorgden de discrepanties en organisatorische verschillen ervoor dat gedeeld leren in de consortia niet reëel was. Ten slotte is onderzocht dat uniformiteit binnen MEL haalbaar is door organisaties een eigen MEL-strategie te laten ontwikkelen. Allereerst wordt aanbevolen dat de organisatieverschillen moeten worden overbrugd om gedeeld leren mogelijk te maken. Ook wordt aanbevolen om organisaties een MEL-strategie te laten ontwikkelen om het minder tijdrovend te maken. Om de frameworks beter aan te sluiten op het project wordt aanbevolen dat het potentieel van de frameworks initieel moeten worden geëxpliciteerd. Verder wordt aanbevolen MEL-budget op te nemen in de subsidieaanvraag om het leercomponent toe te voegen.