Norme 18: Identifier et valoriser des leçons et des résultats pendant la clôture.
Impliquer les participants, partenaires, bailleurs de fonds, gouvernements hôte ou local et autres parties prenantes dans l’évaluation de la clôture du projet et les activités de réflexion pour tirer des leçons et des bénéfices du projet.
Faire une évaluation finale ou une revue après l’action qui implique les parties prenantes dans l’interprétation des résultats et l’identification des leçons.
-
Pourquoi
Les processus d’évaluation finaleUne évaluation finale évalue systématiquement la pertinence, l’efficacité, l’efficience, l’impact et la pérennité du projet dans une population définie et se base sur les données de suivi et d’évaluation collectées par le système de suivi ainsi que d’autres données plus détaillées. Une évaluation finale comprend habituellement une enquête de fin pour permettre la comparaison avec les données de base (si elles existent) pour des indicateurs clés du projet. et de revue après l’actionUne revue après l’action est une réflexion sur les réussites et les échecs d’un projet (ou d’activités à l’intérieur d’un projet). Elle réunit une équipe pour discuter d’un projet qui vient de se terminer de manière ouverte et honnête et ne nécessite pas de collecter des données supplémentaires auprès des participants du projet (Définition de la revue après l’action adaptée de « Better evaluation »). à la fin du projet visent à impliquer les parties prenantes clés, comme les membres de la communauté, CRS et ses partenaires, pour comprendre l’ensemble du projet et identifier et documenter les choses apprises afin d’aider CRS et ses partenaires à concevoir de meilleurs projets à l’avenir. Un processus efficace d’évaluation finale ou de revue après l’action :
- Répond à des questions clés sur la pertinence, l’efficacité, l’efficience, l’impact et la pérennitéNotez qu’il s’agit là des critères standard d’évaluation du projet. Ils ne seront pas tous applicable aux revues après l’action. du projet.
- Réunit les perspectives de parties prenantes diverses pour remettre en cause les biais et interpréter les constatations.
- Crée un espace où CRS et ses partenaires peuvent identifier ensemble et documenter les leçons apprises, y compris pour ce qui concerne la théorie du changement.
- Génère des informations utiles qui bénéficient aux projets futurs.
- Facilite l’internalisation de ce qui est appris dans le projet, augmentant ainsi la capacité de parties prenantes de tirer parti de cet apprentissage et de l’utiliser.
-
Qui
- Principal responsable : Gestionnaire de projet ou directeur de projet (PM/CoP) et responsable MEAL pour l’évaluation (avec l’évaluateur externe le cas échéant)
- Pour les évaluations, le responsable MEALLe responsable de MEAL pour l’évaluation peut être le responsable du MEAL du programme-pays, la coordinateur du MEAL du projet ou un autre employé MEAL. Pour les évaluations internes, cette personne dirige habituellement l’équipe d’évaluation de CRS. Pour les évaluations externes en particulier, cette personne prend souvent le rôle de « chargé d’évaluation, » servant de point de contact principal dans l’équipe du projet et vérifiant en général que l’évaluation se passe bien et qu’elle est réalisée dans les temps. /la personne désignée comme « gestionnaire de l’évaluationLe « gestionnaire de l’évaluation » sert de principal point de contact entre l’équipe du projet et un évaluateur externe et vise à garantir le bon déroulement de l’évaluation et son achèvement dans les temps. Pour plus de détails sur le rôle du gestionnaire de l’évaluation, référez-vous à Gestion et mise en œuvre d’une évaluation. » supervise le processus d’évaluation avec l’appui du PM/CoP. Le responsable MEAL/gestionnaire d’évaluation (ou un consultant externe pour l’évaluation, le cas échéant) prépare aussi les données d’évaluation qui seront étudiées pendant la session de réflexion de l’évaluation.
- Habituellement, l’évaluateur prépare, anime et documente la session de réflexion de l’évaluation.
- Le PM/CoP dirige la revue après l’action ou travaille avec un animateur de CRS qui ne fait pas partie de l’équipe du projet pour planifier et mettre en œuvre une revue après l’action.
- Autres personnes impliquées : Membres de l’équipe du projet de CRS et des partenaires (dont les spécialistes sectoriels, le personnel MEAL et le personnel des opérations) ; équipe de direction du programme-pays (SMT) ; conseillers techniques régionaux ; personnel de mobilisation des ressources (BD) du programme-pays et/ou de la région ; membres de la structure de gouvernance du projet ; personnel d’IDEA le cas échéant
- Les membres de l’équipe du projet de CRS et des partenaires (personnel sectoriel et du MEAL ainsi que le personnel des opérationsLa participation du personnel des opérations variera selon les projets. Par exemple, pour les projets qui ont des volets importants de gestion de la chaine d'approvisionnement ou d’ICT4D, les employés de ces domaines seront étroitement impliqués dans l’évaluation. ) participent au processus de revue après l’action ou d’évaluation finale.
- Les membres de la SMT et de la structure de gouvernance du projetLa structure de gouvernance du projet est un groupe qui prend dans un projet les décisions qui dépassent la seule autorité du gestionnaire de projet. Si l’on établit une structure de gouvernance, cela garantit que l’on prendra les bonnes décisions au bon moment et avec le bon niveau de participation des parties prenantes. La taille et la composition des structures de gouvernance varient selon les projets, allant d’un tout petit organe comprenant le PM et un sponsor du projet jusqu’à un conseil d’administration du projet avec des représentant de diverses parties prenantes. peuvent participer au processus d’évaluation finale, y compris à la session de réflexion de l’évaluation.
- Les conseillers techniques régionaux (MEAL et sectoriels) aident l’équipe du projet à interpréter les constatations de l’évaluation finale.
- Le personnel de BD du programme-pays et/ou de la régionS’il y a en employé de BD dans le programme-pays, il peut participer. Les employés régionaux de BD peuvent participer quand c’est faisable pour des projets particulièrement stratégiques. peut participer à la session de réflexion de l’évaluation finale ; le personnel d’IDEA peut aussi participer à ces rencontres pour des projets stratégiques, financés au niveau central.
-
Quand
- Dans les 6 derniers mois du projet, sauf dispositions contrairesPar exemple, dans certains projets pluriannuels, les exigences du bailleur de fonds peuvent nécessiter de faire l’évaluation finale à la fin de l’avant-dernière année/au début de la dernière année du projet pour correspondre au calendrier de la collecte des donnée de base du projet.
- Programmez l’évaluation finale et la session de réflexion ou la revue après l’action dans le plan de clôture du projet. Faites surtout la session de réflexion de l’évaluation finale avant la finalisation du rapport d’évaluation (tenez compte des dates limites pour la soumission du rapport).
-
Comment
Cette action clé est mise en œuvre conformément aux Politiques et procédures MEAL de CRS, en particulier les procédures 3.6 et 3.7.Procédures 3.6 : Faire une évaluation finale pour mesurer et documenter la progression du projet et contribuer à l’apprentissage de l’agence dans son ensemble.
Procédure 3.7: Réfléchir avec les partenaires et autres parties prenantes aux constatations des évaluations pour produire les recommandations appropriées et servir à l’apprentissage de l’agence.Note : Il y a de nombreuses étapes communes entre les processus de revue après l’action et d’évaluation finale du projet, mais le processus d’évaluation finale est plus long et plus complexe. Étant donné que les évaluations finales sont plus courantes dans les projets de CRS, les directives ci-dessous sont écrites dans la perspective d’une évaluation finale. Les principales adaptations à ces directives et les autres différences pour les processus de revue après l’action sont indiquées dans la section sur la revue après l’action, ci-dessous.
Suivez ces étapes pour que le processus d’évaluation finale ou de revue après l’action soit efficace et participatif :
Évaluation finale (y compris la session de réflexion de l’évaluation)
- Le responsable du MEAL/le gestionnaire de l’évaluation (selon les cas) et le PM/CoP utilisent les directives de Managing and Implementing an Evaluation pour aider l’évaluateur interne ou externe à :
- Finaliser tous les outils d’évaluation et former les collecteurs de données à les utiliser
- Collecter des données de qualité
- Faire l’analyse préliminaire des données
Pour une évaluation interne, un employé MEAL de CRS dirige habituellement l’équipe interne d’évaluation.
- L’évaluateur (interne ou externe) travaille avec le PM/CoP et le personnel MEAL pour préparer un ordre du jour, du matériel pour la discussion et un guide d’animation pour la session de réflexion afin d’étudier et d’interpréter les constatations de l’évaluation et identifier les leçons tirées de l’évaluation.
- Utilisez Guidance on Monitoring and Evaluation de CRS et des autres réssources du procédure MEAL 3.7.Procédure MEAL 3.7 : Réfléchir avec les partenaires et autres parties prenantes aux constatations des évaluations pour produire les recommandations appropriées et servir à l’apprentissage de l’agence.
- CONSEIL : Trouvez une personne qui peut documenter les principaux points de discussion pendant la session, avec les leçons apprises, les conclusions et les recommandations finales. L’évaluateur a la responsabilité de préparer le rapport sur la session de réflexion mais, étant donné qu’il est responsable de l’animation, une aide pour la prise de notes peut aider à avoir un rapport plus complet et plus exact sur la réflexion.
- L’évaluateur anime la session de réflexion participative de l’évaluation avec les employés du projet de CRS et des partenaires.
- Le PM/CoP et le gestionnaire de l’évaluation (le cas échéant) aident l’évaluateur à finaliser le rapport sur la session de réflexion.
- Le rapport devra être succinct (dans l’idéal trois pages ou moins) et centré sur les principaux points de discussion relatifs aux constatations, aux recommandations et aux leçons apprises.
- Faites parvenir les notes de la réunion ou le rapport sur la session finale aux participants au cours de la semaine qui suit.
- L’évaluateur prépare une ébauche du rapport complet d’évaluation et les les autres livrables éventuelsPar exemple, des ébauches de documents de communication ou d’autres documents que CRS peut utiliser pour partager les constatations de l’évaluation avec les parties prenantes (conformément à la Procédure MEAL 7.2). Le cahier des charges de l’évaluation doit indiquer dans le détail les attentes de CRS et ses formats préférés pour ces livrables mais revoyez ces attentes quand l’évaluateur commence à travailler au rapport final et aux livrables correspondants. du cahier des charges, l’envoie à l’équipe du projet pour sa revue et son feedback et traite le feedback.
- Assurez-vous que le rapport d’évaluation suit la structure convenue dans les termes de référence de l’évaluation finale (y compris les annexes acceptées) et comprend un résumé de la méthodologie de l’évaluation et de ses limites éventuelles.
- Assurez-vous que le rapport répond clairement aux questions de l’évaluation, en faisant référence aux données probantes collectée par le processus d’évaluation, en soulignant les contributions des parties prenantes et en incorporant les leçons de la session de réflexion de l’évaluation.
- Coordonnez la revue interne et le feedback sur le projet de rapport dans un délai qui permette de finaliser à temps le rapport d’évaluation. Les relecteurs du rapport d’évaluation sont habituellement le PM/CoP, le gestionnaire de l’évaluation, les responsables techniques/conseillers techniques régionaux et le conseiller régional MEAL, le cas échéant, le directeur des programmes et d’autres employés clés de CRS et de ses partenaires.
- Si le rapport d’évaluation finale doit être soumis à un bailleur de fonds et que le temps le permet, demandez une revue par un employé d’IDEA ou un autre employé de CRS qui comprend bien les exigences et les intérêts du bailleur.
- Si l’évaluateur n’incorpore pas le feedback de CRS dans la version finale du rapport, assurez-vous qu’il le justifie.
- Le PM/CoP transmet le rapport d’évaluation finale à l’équipe du projet de CRS et des partenaires et aux membres de la structure de gouvernance du projet et intègre les réalisations de fin de projet, les principales constatations et leçons dans la référence des performances passées (PPR) finale du projet conformément à la procédure MEAL 8.1Procédure 8.1 : Remplir des Références de performance passée (PPR) de fin de projet pour documenter l’apprentissage du projet et les poster sur Gateway cf. Norme 18, action clé 5 pour des directives pour sauvegarder sur Gateway les PPR et les rapports de l’évaluation et de la réflexion).
- Le PM/CoP et l’équipe du projet amènent les choses apprises du processus d’évaluation finale à des rencontres de partage et de diffusion avec les parties prenantes du projet (cf. les directives détaillées dans la Norme 18, action clé 3).
- Cliquez ici pour des Directives pour les cas où une revue après l’action finale est nécessaire.
Les revues après l’action n’impliquent pas de collecter des données primaires mais les étapes 2-4 ci-dessus sont toujours applicables, avec les adaptations et les conseils qui suivent :
- Le PM et le responsable MEAL utilisent les questions de revues adaptées tirées des TOR de la revue après l’action (cf. Norme 18, action clé 1) pour finaliser l’ordre du jour et préparer un guide et des documents d’animation pour la rencontre de revue après l’action.
- Utilisez les bonnes pratiques du texte descriptif pour les procédures MEAL (Procédures 3.6 et 3.7).
- Ne sautez pas l’étape de l’élaboration d’un guide et de documents d’animation pour la revue après l’action ! Trop souvent, les équipes de projets adoptent pour la revue après l’action l’approche « cocher la case » et manquent l’occasion d’approfondir leur apprentissage. Adapter les questions standard pour la revue après l’action en y ajoutant des questions d’approfondissement ou des questions guides faites sur mesure pour les caractéristiques du projet est une manière d’éviter cela. Une autre étape clé est de préparer un guide d’animation indiquant en détail quelles données du projet préparer pour la revue et comment présenter les données du projet et structurer la discussion autour des questions de revue de manière à encourager une discussion plus approfondie et à générer des leçons significatives.
- Envisagez d’incorporer des documents et des activités qui aident les équipes à regarder les réalisations du projet, le feedback et les autres informations de manières différentes et à partir de points de vue différents. Il peut s’agir d’activités « Set de table des données/Gros titres des données » ou « Points à citer »Un « set de table des données » (data placemat) est un outil pour présenter les données qualitatives et quantitatives du projet en groupe thématiques conçus pour encourager l’interaction des parties prenantes avec les données et leur interprétation de celles-ci. Dans une activité « Gros titres des données » (data headlines), les participants repèrent les points clés qu’ils voient émerger des données du projet (par ex. les données fournies dans un « set de table des données). Une activité de « gros-titres des données » peut inclure des instructions pour écrire différents types de gros titres (positif, critique, etc.) afin de pousser les participants à regarder les données à partir de points de vue différents.
Dans une activité « Points à citer» (Quotables), les participants reçoivent une feuille avec des citations représentant les points de vue de différentes parties prenantes du projet. Après avoir étudié les citations, les participants tentent de relier les citations avec la partie prenante qui a dit cela.
- cf. les « Directives pour l’internalisation des données » dans les outils.
- Si une personne extérieure à l’équipe du projetLes animateurs de revues après l’action ne venant pas de l’équipe du projet peuvent être par exemple le directeur des programmes ou le conseiller régional MEAL. a accepté d’animer la revue après l’action, le PM le met au courant avant l’événement de tous les points sensibles dont elle doit être consciente.
- Si selon les termes de référence pour la revue après l’action, le processus comprend une enquête avant la revue pour collecter les points de vue du personnel de CRS et des partenaires sur l’expérience et les réalisations du projet, envoyez des rappels aux personnes invitées à répondre à l’enquête. Avant la rencontre de revue après l’action, le responsable MEAL ou l’animateur externe compile et analyse les réponses à l’enquête pour identifier les principaux thèmes et le feedback et se préparer à les partager lors de la rencontre en présence de revue après l’action.
- Si la revue après l’action doit comprendre une étude des réalisations finales du projet par rapport aux indicateurs correspondants, le responsable MEAL prépare les informations finales sur les indicateurs (par ex. tableau de suivi des indicateurs) et les éventuels supports visuels justificatifs.
- Dans certains cas, surtout quand les équipes du projet sont dispersées (par exemple dans un projet sur plusieurs pays), il peut être approprié d’organiser plusieurs rencontres de revue après l’action.
- Le conseil d’identifier un preneur de notes est tout aussi important, sinon plus, pour une revue après l’action car on oublie souvent de bien documenter les processus de revue après l’action.
- Même si la revue après l’action ne produit pas de données de fin de projet, il est quand même important d’intégrer un résumé de ce qui a été appris lors de la revue dans la référence des performances passées (PPR) (pour plus de directives, cf. Norme 18, action clé 5).
- Le PM et le responsable MEAL utilisent les questions de revues adaptées tirées des TOR de la revue après l’action (cf. Norme 18, action clé 1) pour finaliser l’ordre du jour et préparer un guide et des documents d’animation pour la rencontre de revue après l’action.
Réfléchissez au processus de clôture lui-même : Il est également important d’identifier ce que l’on apprend du processus de clôture du projetPensez à la définition générale de CRS pour la clôture du projet en tant que processus comprenant les activités des programmes et des opérations à la fois avant et après la date de fin du projet. Pour les projets financés par des bailleurs de fonds institutionnels, le terme « clôture du projet » comprend aussi les activités spécialisées de clôture de la subvention. lui-même pour toujours améliorer la gestion des projets. Les évaluations des projets ne comprennent habituellement pas ce type de revue étant donné le moment où cela se place à l’intérieur du processus de clôture. Si la session de réflexion pour étudier et interpréter les constatations de l’évaluation finale se tient près de la fin du processus de clôture du projet, envisagez d’intégrer à cet événement une revue interne des réussites et des difficultés dans le processus de clôture du projet. Autrement, organisez une brève revue après l’action centrée sur le processus de clôture pour le personnel de CRS et des partenaires. Utilisez l’outil Revue après l’action du processus de clôture.
-
Partenariat
- Impliquez pleinement les partenaires dans le processus de revue après l’action ou d’évaluation finale, y compris la session de réflexion de l’évaluation pour analyser et interpréter les constatations et identifier ce qui est appris du projet.
- Dans les projets où un partenaire ou plus est seulement impliqué dans des éléments distincts du projet, adaptez en conséquence la participation à la réflexion et assurez-vous qu’il y a des occasions pour le personnel des partenaires d’entendre parler de l’apprentissage de l’ensemble du projet (par ex. participation à des évènements de clôture de tout le projet).
- Dans le cas où les partenaires ont de grandes équipes de projets, travaillez avec les partenaires pour identifier les employés les mieux placés pour contribuer à la session de réflexion de l’évaluation. Appuyez au besoin les partenaires pour qu’ils partagent ce qui est appris de la réflexion avec les employés du projet qui n’ont pas participé à la session de réflexion ainsi que d’autres employés de leur organisation qui pourraient bénéficier de l’apprentissage du projet (cf. procédure MEAL 3.7.Procédure MEAL 3.7 : Réfléchir avec les partenaires et autres parties prenantes aux constatations des évaluations pour produire les recommandations appropriées et servir à l’apprentissage de l’agence. ).
Quand CRS est sous-récipiendaire- Le chef de file a la responsabilité de l’évaluation finale du projet et des rencontres d’apprentissage correspondantes.
- CRS peut organiser ses propres rencontres d’apprentissage avec les partenaires pour l’évaluation finale si l’événement organisé par le chef de file n’est pas suffisamment inclusif ou risque de ne pas produire le type d’apprentissage qui est plus utile pour CRS et ses partenaires. Suivez le processus présenté dans les étapes 2-4 ci-dessus pour les évènements organisés par CRS.
Projets d’urgence- Suivez le même processus pour les projets d’urgence, en télescopant les étapes selon les besoins.
Ressources Clés
Outils et modèles
-
Plus d’outils et de modèles pour les évaluations, les revues après l’action et les sessions de réflexion participatives (référez-vous aux procédures MEAL 3.6 et 3.7)
-
Série Short Cuts S&E : Communication et rapportage d’une évaluation
-
Série Short Cuts S&E : Gestion et mise en œuvre d’une évaluation
-
Site des politiques et procédures MEAL : Directives, modèles et exemples supplémentaires des PPM 3.6 et 3.7
Ressources Additionnelles
-
Renforcement institutionnel : développement de processus professionnels solides Chapitre 10 : Suivi et évaluation
- Dans les 6 derniers mois du projet, sauf dispositions contrairesPar exemple, dans certains projets pluriannuels, les exigences du bailleur de fonds peuvent nécessiter de faire l’évaluation finale à la fin de l’avant-dernière année/au début de la dernière année du projet pour correspondre au calendrier de la collecte des donnée de base du projet.
- Principal responsable : Gestionnaire de projet ou directeur de projet (PM/CoP) et responsable MEAL pour l’évaluation (avec l’évaluateur externe le cas échéant)