Estándar 18: Aprendizaje y aprovechamiento de los resultados durante el cierre.
Involucrar a los participantes, socios, donantes, gobiernos anfitriones o locales y otros actores interesados en las actividades de evaluación y reflexión del cierre de proyecto para aprender de- y apalancar el proyecto.
Realizar una evaluación final o revisión post acción que involucra a los actores interesados en la interpretación de los resultados y en el aprendizaje en general.
-
Por qué
Al final del proyecto, los procesos de evaluación finalUna evaluación final valora sistemáticamente la relevancia, eficiencia, efectividad, impacto y sostenibilidad del proyecto en una población definida y se desprende de los datos recolectados por medio del sistema monitoreo, y otros datos más detallados. Una evaluación final suele incluir una encuesta final para poder comparar con los datos de la línea de base, si está disponible, de los indicadores del proyecto relevantes. y revisión post acciónUna revisión post acción es una reflexión sobre los éxitos y fracasos de un proyecto (o las actividades dentro del proyecto). Una revisión post acción de final de proyecto reúne a un equipo para conversar de manera abierta y franca sobre un proyecto que pronto terminará o recién ha terminado y no requiere levantar datos adicionales de los participantes del proyecto (definición de Revisión post acción de Better Evaluation). se concentran en involucrar a los actores clave, incluyendo a miembros de la comunidad, CRS, y socios, en la comprensión del proyecto en general y en la generación y sistematización del aprendizaje, para ayudarle a CRS y los socios a diseñar mejores proyectos en el futuro. Un proceso efectivo de evaluación final o revisión post acción del proyecto logra lo siguiente:
- Responde a preguntas clave sobre la relevancia, efectividad, eficiencia, impacto y sostenibilidadTenga en cuenta que son criterios de evaluación de proyectos estándar. No todos serán aplicables a la revisión post acción de un proyecto. del proyecto.
- Reúne puntos de vista de una variedad de actores para confrontar los sesgos y para interpretar los hallazgos.
- Crea un espacio para que CRS y los socios juntos identifiquen y sistematicen lecciones aprendidas incluyendo aquellas con respecto a la teoría de cambio.
- Genera información útil que beneficie proyectos futuros.
- Facilita la interiorización de los aprendizajes del proyecto, y así aumenta la habilidad de los actores de apalancar y hacer uso de dicho aprendizaje.
-
Quién
- Principal responsable: Gerente de proyecto o director del proyecto (PM/CoP) con líder de MEAL o líder de evaluación designado
- En el caso de las evaluaciones, el líder de MEALEl líder de MEAL para la evaluación podría ser el gerente de MEAL del programa de país, el coordinador de MEAL del proyecto u otro personal de MEAL de CRS. En el caso de las evaluaciones internas, este individuo típicamente dirige el equipo de evaluación de CRS. En el caso de evaluaciones externas especialmente, este individuo a menudo toma el rol de "gerente de evaluación", sirviendo de principal punto de contacto entre el equipo de proyecto y generalmente se asegura que la evaluación se desarrolle de manera fluida y se complete de forma oportuna.
o individuo designado "gerente de evaluación"El "gerente de evaluación" sirve de principal punto de contacto entre el equipo de proyecto y el evaluador externo y se asegura de que la evaluación se desarrolle de manera fluida y se complete de forma oportuna. Para más información sobre el rol del gerente de evaluación, consultar el recurso Manejo e Implementación de una Evaluación. supervisa el proceso de evaluación, con apoyo del PM/CoP. El líder de MEAL/gerente de evaluación (o el consultor evaluador externo si corresponde) también prepara datos de la evaluación para su revisión durante el evento de reflexión de la evaluación. - El evaluador típicamente prepara, facilita y sistematiza el evento de reflexión de la evaluación.
- El PM/CoP dirige la revisión post acción o trabaja con un facilitador de CRS pero ajeno al equipo de proyecto, para planear e implementar la revisión post acción.
- En el caso de las evaluaciones, el líder de MEALEl líder de MEAL para la evaluación podría ser el gerente de MEAL del programa de país, el coordinador de MEAL del proyecto u otro personal de MEAL de CRS. En el caso de las evaluaciones internas, este individuo típicamente dirige el equipo de evaluación de CRS. En el caso de evaluaciones externas especialmente, este individuo a menudo toma el rol de "gerente de evaluación", sirviendo de principal punto de contacto entre el equipo de proyecto y generalmente se asegura que la evaluación se desarrolle de manera fluida y se complete de forma oportuna.
- Otros implicados: Miembros del equipo de proyecto de CRS y del socio (incluyendo especialistas de sector, personal MEAL y personal de operaciones); equipo directivo superior (SMT); asesores técnicos regionales; personal de crecimiento (BD) del programa de país y/o regional; miembros de la estructura de gobernanza de proyecto; personal de IDEA según proceda
- CRS y los miembros del equipo de proyecto (personal sectorial y de MEAL, así como personal de operacionesLa participación del personal de operaciones puede variar según el proyecto. Por ejemplo, en el caso de proyectos con componentes importantes de gestión de cadenas de suministro o ICT4D, el personal de dichas áreas estará involucrado de cerca con la evaluación. ) participan en el proceso de revisión post acción o de evaluación final.
- Los miembros del SMT y de la estructura de gobernanza de proyectoLa estructura de gobernanza de proyecto es un grupo que toma decisiones sobre un proyecto que están fuera de la autoridad del gerente de proyecto. Establecer una estructura de gobernanza de proyecto garantiza que se tomen decisiones correctas en el momento oportuno y con la participación debida de actores interesados. El tamaño y la composición de la estructura de gobernanza de proyecto puede variar de un proyecto a otro, desde una entidad muy pequeña compuesta por el PM y un patrocinador del proyecto, hasta una junta de proyecto con representantes de una variedad de actores. pueden participar en el proceso de evaluación final, incluyendo en el evento de reflexión de la evaluación.
- Los asesores técnicos regionales (MEAL y sectoriales) apoyan al equipo de proyecto con la interpretación de los hallazgos de la evaluación final.
- El personal BD del programa de país y/o regionalSi hay personal BD en el programa de país, éste puede participar. El personal de BD regional puede participar si es factible, particularmente en proyectos estratégicos. pueden participar en el evento de reflexión de la evaluación final; el personal de IDEA también puede participar en estos eventos en el caso de proyectos estratégicos con fondos centralizados.
-
Cuándo
- Los últimos 6 meses del proyecto, a menos que se exija otra cosaPor ejemplo, en algunos proyectos plurianuales, los requisitos del donante pueden requerir que se realice la evaluación final hasta el fin del penúltimo año/inicio del último año del proyecto, para estar en línea con el levantamiento de datos de línea de base del proyecto.
- Programe la evaluación final y el evento de reflexión o la revisión post acción en el plan de cierre de proyecto. Asegúrese de realizar el evento de reflexión de la evaluación final antes de finalizar el informe de la evaluación (tenga presente la fecha de presentación del informe).
-
Cómo
Esta acción clave se implementa de conformidad con las Políticas y Procedimientos para MEAL de CRS, específicamente los procedimientos 3.6 y 3.7Procedimiento 3.6: Realizar una evaluación final para medir y documentar el avance del proyecto y contribuir a un aprendizaje más amplio de la agencia.
Procedimiento 3.7: Analizar los hallazgos de la evaluación con los socios y otros grupos de interés para generar recomendaciones adecuadas e informar el aprendizaje de la agencia .Nota: Aunque el proceso de realizar una revisión post acción y una evaluación final de proyecto tienen muchos pasos en común, el proceso de evaluación final es más extenso y complejo. En vista de que las evaluaciones finales son más comunes en los proyectos de CRS, a continuación, se ha redactado la guía desde la perspectiva de una evaluación final. Las adaptaciones clave de la guía y otras diferencias en un proceso de revisión post acción se han señalado en la sección sobre revisión post acción más adelante.
Siga estos pasos para garantizar que sea efectiva la evaluación participativa final o proceso de revisión post acción:
Evaluación final (incluyendo evento de reflexión sobre la evaluación)
- El líder de MEAL o gerente de evaluación (según corresponda) y el PM/CoP usan la guía de Managing and Implementing an Evaluation,Manejo e Implementación de una Evaluación para apoyar al evaluador interno o externo, en lo siguiente:
- Finalizar todas las herramientas de evaluación, capacitar a los encuestadores para su uso.
- Levantar datos de calidad.
- Realizar análisis de datos preliminares.
En el caso de una evaluación interna, típicamente es un miembro de personal MEAL de CRS el que dirige al equipo evaluador interno.
- El evaluador (interno o externo) trabaja con el PM/CoP y personal de MEAL en la preparación de una agenda, materiales para discusión y una guía de facilitación para el evento de reflexión para revisar e interpretar hallazgos e identificar aprendizajes de la evaluación.
- Use la Guidance on Monitoring and EvaluationGuía de monitoreo y evaluación y los otros recursos del Procedimiento MEAL 3.7.Procedimiento MEAL 3.7: Analizar los hallazgos de la evaluación con los socios y otros grupos de interés para generar recomendaciones adecuadas e informar el aprendizaje de la agencia.
- CONSEJO: Identifique a un individuo que pueda sistematizar los puntos clave de discusión durante el evento, junto con las lecciones aprendidas, conclusiones y recomendaciones finales. Aunque el evaluador tiene la responsabilidad de elaborar un informe del evento de reflexión, dadas las responsabilidades de facilitación del evaluador, el apoyo en tomar notas puede ayudar a que el informe de reflexión sea completo y preciso.
- El evaluador facilita el evento de reflexión participativa de la evaluación con el personal de proyecto de CRS y el socio.
- El PM/CoP y gerente de evaluación (según corresponda) apoyan al evaluador con finalizar el informe del evento de reflexión.
- El informe debe ser conciso (idóneamente de tres páginas o menos) y se debe concentrar en los puntos de discusión clave sobre los hallazgos, las recomendaciones y lecciones aprendidas.
- Disemine las notas de la reunión o el informe final del evento entre los participantes a más tardar una semana después.
- El evaluador prepara un borrador del informe completo de la evaluación y otros productos a entregarPor ejemplo, los borradores de piezas de comunicación u otros documentos que pueda usar CRS para compartir los hallazgos de la evaluación con actores (de conformidad con el Procedimiento de MEAL 7.2). Aunque el alcance de trabajo de la evaluación debe cubrir los detalles de las expectativas y formatos preferidos de CRS para estos productos a entregar, revise estas expectativas cuando el evaluador comience a trabajar en el informe final y productos a entregar relacionados. solicitados en el alcance de trabajo, los comparte con el equipo de proyecto para su revisión y retroalimentación, y responde a la retroalimentación.
- Asegurar que la estructura del informe de la evaluación final sea la acordada en los términos de referencia de la evaluación final (incluyendo los anexos acordados) y que incluya un resumen de la metodología de evaluación utilizada y las limitaciones de la misma.
- Asegurar que el informe claramente responda a las preguntas de evaluación, haciendo referencia a la evidencia recopilada en el proceso de evaluación, subrayando los aportes de los actores, e incorporando los aprendizajes del evento de reflexión de la evaluación.
- Coordinar la revisión interna y retroalimentación del borrador de informe en un plazo que permita que se termine el informe de la evaluación de manera oportuna. Los revisores del informe de la evaluación típicamente incluyen el PM/CoP, gerente de evaluación, líderes de sector /asesores técnicos regionales y el asesor regional para MEAL, según corresponda, el director de programas y otros miembros de personal clave del proyecto de CRS y el socio.
- Si se va a presentar el informe de la evaluación final a un donante, si el tiempo lo permite, solicite que lo revisen miembros de personal de IDEA o algún otro miembro de personal de CRS con sólidos conocimientos de los requisitos e intereses del donante.
- Si el evaluador no incorpora la retroalimentación de CRS en la versión final del informe, asegúrese de que proporcione una justificación.
- El PM/CoP comparte el informe de evaluación final con el equipo de proyecto de CRS y el socio y con los miembros de la estructura de gobernanza de proyecto e integra logros alcanzados al final del proyecto, los hallazgos y aprendizajes clave a la versión final de la past performance reference (PPR)Referencias de desempeño pasado (PPR)
del proyecto de conformidad con el Procedimiento para MEAL 8.1Procedimiento 8.1: Completar la Referencia de Desempeño Pasado o PPR [Past Performance Reference] al finalizar el
proyecto para documentar su aprendizaje, y publicarlo en Gateway. (consulte la guía sobre guardar las PPR y los informes de evaluación y reflexión en Gateway en el Estándar 18, acción clave 5). - El PM/CoP y equipo de proyecto aportan los aprendizajes del proceso de evaluación final a los eventos de compartir y diseminación de fin de proyecto con los actores del proyecto (consultar la guía detallada en el Estándar 18, acción clave 3).
- Pulse aquí para ver la guía en el caso de que se necesite una revisión post acción.
Aunque la revisión post acción no implica levantar datos primarios, los pasos 2-4 y 6-7 antes mencionados siempre son válidos, con las siguientes adaptaciones y consejos:
- El PM y líder de MEAL usan las preguntas de revisión adaptadas tomadas de los TdR de la revisión post acción (consultar el Estándar 18, acción clave 1), para finalizar la agenda y desarrollar la guía y los materiales para la facilitación del evento de revisión post acción.
- Use las buenas prácticas de la Narrativa de Procedimientos para MEAL (procedimientos 3.6 y 3.7).
- ¡No se salte el paso que consiste en desarrollar guía y materiales de facilitación de la revisión post acción! Demasiado a menudo, los equipos proceden con la revisión post acción como si se tratara sólo de ir "marcando las casillas" y pierden la oportunidad de ahondar el aprendizaje del equipo de proyecto. Adaptar las preguntas estándar de la revisión post acción para que incluyan preguntas de sondeo o puntuales adaptadas a los aspectos específicos del proyecto es una manera para evitarlo. Otro paso clave es desarrollar una guía de facilitación detallando los datos de proyecto que hay que preparar para la revisión y cómo presentar los datos del proyecto y estructurar la discusión en torno a las preguntas de revisión de manera que se fomente la reflexión más profunda y se desprendan aprendizajes significativos del proyecto.
- Considere la posibilidad de incorporar materiales y actividades que le ayuden a los equipos a ver los logros del proyecto, la retroalimentación y otra información de manera novedosa y desde distintos puntos de vista. Podrían incluir "mantel de datos/titulares de datos" o actividades "citables"Un "mantel de datos" es una herramienta para presentar datos cualitativos y cuantitativos del proyecto en grupos temáticos diseñados para fomentar la interacción de los actores interesados con los datos y su interpretación. En la actividad llamada "titulares de datos" los participantes capturan los puntos clave que perciben que se desprenden de los datos del proyecto (p. ej., los datos que se presentan en el mantel de datos). La actividad de titulares de datos puede incluir instrucciones para desarrollar diferentes tipos de titulares (como en las noticias: positivo, crítico, etc.) para retar a los participantes a que miren los datos desde diferentes perspectivas.
En la actividad "citables" los participantes reciben una ficha con citas que representan las perspectivas de diferentes actores del proyecto. Después de revisar las citas, los participantes tratan de atribuir la cita al actor que la dijo - consultar "Guía de Internalización de Datos" bajo herramientas.
- Si un individuo ajeno al equipo de proyectoLos facilitadores de la revisión post acción ajenos al equipo de proyecto podrían incluir al director de programas o asesor regional para MEAL. ha accedido a facilitar el evento de revisión post acción, el PM lo pone en autos antes del evento en cuanto a cuestiones delicadas que hay que tomar en cuenta.
- Si de acuerdo con los términos de referencia para la revisión post acción, el proceso incluye una encuesta previa a la revisión para recopilar las perspectivas del personal de CRS y de los socios sobre la experiencia y los logros del proyecto, envíe recordatorios a los que han sido invitados a completar la encuesta. Antes del evento de revisión post acción, el líder de MEAL o facilitador externo recopila y analiza las respuestas de la encuesta para identificar y prepararse para compartir temas clave y retroalimentación en el evento presencial de revisión post acción.
- Si la revisión post acción incluye una revisión de los logros finales del proyecto con respecto a los indicadores relevantes del proyecto, el líder de MEAL prepara la información final sobre los indicadores (p. ej., la tabla de control de indicadores) y cualquier material visual de apoyo.
- En algunos casos, en particular cuando los equipos de proyecto están dispersos (p. ej., proyecto multi-país), podría ser apropiado organizar múltiples eventos de revisión post acción.
- El consejo en cuanto a identificar alguien que tome notas es de igual o mayor importancia en el caso de una revisión post acción, ya que se suele pasar por alto la sistematización exhaustiva en los procesos de revisión post acción.
- Aunque la revisión post acción no produzca datos de proyecto finales, sigue siendo importante integrar los aprendizajes resumidos de la revisión a la past performance reference (PPR)Referencias de desempeño pasado (PPR) ) del proyecto (consultar la guía en el Estándar 18, acción clave 5).
- El PM y líder de MEAL usan las preguntas de revisión adaptadas tomadas de los TdR de la revisión post acción (consultar el Estándar 18, acción clave 1), para finalizar la agenda y desarrollar la guía y los materiales para la facilitación del evento de revisión post acción.
Reflexione sobre el proceso de cierre mismo: La identificación de aprendizajes del proceso de cierre de proyectoTenga en cuenta la definición amplia que le da CRS al cierre de proyecto, como proceso que incluye actividades de programas y operaciones, tanto antes como después de la fecha final del proyecto. En el caso de proyectos con donantes institucionales, el término "cierre de proyecto" también abarca las actividades especiales del cierre de adjudicación. mismo es también importante para la mejora continua de la gestión de proyectos. Típicamente, las evaluaciones de proyecto no incluyen este tipo de revisión, debido al momento que se programan en el proceso de cierre. Si el evento de reflexión para revisar e interpretar los hallazgos de la evaluación final se realiza en un momento próximo al final del proceso de cierre de proyecto, considere la posibilidad de incluir en el evento una revisión interna de éxitos y desafíos del proceso de cierre de proyecto. De lo contrario, organice una revisión post acción breve con el personal de CRS y el socio, concentrado en el proceso de cierre. Use la Herramienta para la Revisión Después de la Acción.
-
Asocio
- Involucre plenamente a los socios en la revisión post acción o proceso de evaluación final, incluyendo el evento de reflexión de la evaluación para analizar e interpretar los hallazgos e identificar los aprendizajes del proyecto.
- En los proyectos dónde un socio o más están involucrados sólo en componentes discretos del proyecto, ajuste adecuadamente la participación en el evento de reflexión, y garantice que haya oportunidades para que el personal del socio pueda conocer los aprendizajes del proyecto en general (p. ej., participar en eventos de cierre de proyecto en general).
- En el caso que el equipo de proyecto del socio sea grande, trabaje con el socio para identificar al personal mejor posicionado para contribuir al evento de reflexión. Apoye a los socios según sea necesario para que compartan aprendizajes de la reflexión con los miembros de personal que no participaron en el evento de reflexión, y con otros miembros de personal de su organización que podría beneficiarse de los aprendizajes del proyecto (Procedimiento MEAL 3.7.Procedimiento MEAL 3.7: Analizar los hallazgos de la evaluación con los socios y otros grupos de interés para generar recomendaciones adecuadas e informar el aprendizaje de la agencia. )
Cuando CRS es subreceptor- El principal tiene la responsabilidad de la evaluación del proyecto final y los eventos de aprendizaje correspondientes.
- CRS podrá organizar sus propios eventos de aprendizaje con socios para la evaluación final si el evento organizado por el principal no es suficientemente incluyente, o si probablemente no extraiga los tipos de aprendizajes que sean más útiles para CRS y socios. Siga el proceso descrito en los pasos 2-4 para eventos organizados por CRS.
Proyectos de emergencia- Seguir el mismo proceso en el caso de proyectos de emergencia, usando la técnica del telescopio, según sea necesario.
Recursos Clave
Plantillas y Herramientas
-
Guía de Inicio: Aprendizaje Práctico en CRS (ejercicios)
-
Herramientas y plantillas adicionales sobre evaluaciones de proyectos, revisiones post acción, y eventos de reflexión (consulte los procedimientos 3.6 y 3.7 de MEAL de CRS)
-
Serie “shortcuts” de Monitoreo y Evaluación: Comunicación y Reporte de Informes de una Evaluación
-
Serie “shortcuts” de Monitoreo y Evaluación: Manejo e Implementación de una Evaluación
Otros Recursos
-
Fortalecimiento Institucional: Crear Procesos Fuertes de Gestión (ISG): Capítulo 10, Monitoreo y Evaluación
- Los últimos 6 meses del proyecto, a menos que se exija otra cosaPor ejemplo, en algunos proyectos plurianuales, los requisitos del donante pueden requerir que se realice la evaluación final hasta el fin del penúltimo año/inicio del último año del proyecto, para estar en línea con el levantamiento de datos de línea de base del proyecto.
- Principal responsable: Gerente de proyecto o director del proyecto (PM/CoP) con líder de MEAL o líder de evaluación designado