Estándar 18: Aprendizaje y aprovechamiento de los resultados durante el cierre.

• Principal responsable: Gerente de proyecto o director del proyecto (PM/CoP) con líder de MEALEl líder de MEAL para la evaluación podría ser el gerente de MEAL del programa de país, el coordinador de MEAL del proyecto u otro personal de MEAL de CRS. Para las evaluaciones internas, este individuo típicamente dirige el equipo de evaluación de CRS. En el caso de evaluaciones externas especialmente, este individuo a menudo toma el rol de "gerente de evaluación", sirviendo de principal punto de contacto entre el equipo de proyecto y el evaluador externo y generalmente se asegura que la evaluación se desarrolle de manera fluida y se complete de forma oportuna. Para más información del rol del gerente de evaluación, ver M&E Short Cuts: Preparándose para una Evaluación. o el "gerente de evaluación" designado
  • El PM/CoP se asegura de que se planifique de manera oportuna la evaluación final (interna o externa) o la revisión después de la acción.
  • El líder de MEAL trabaja con el PM/CoP en desarrollar los términos de referencia, alcance de trabajo y plan de evaluación detallado de la evaluación; en el caso de evaluaciones externas, el PM/CoP y el gerente de evaluación trabajan con el evaluador para desarrollar un plan de evaluación detallado.

• Otros involucrados: Personal de MEAL de CRS y del socio; el personal de proyecto de CRS y el socio, incluyendo los líderes de sector; director de programas (HoP); el representante de país (según proceda); asesor MEAL regional
  • El personal de CRS y del socio (MEAL y no-MEAL), incluyendo a los líderes de sector, contribuyen al desarrollo de los objetivos, preguntas y metodologías de evaluación y/o revisión, así como a los planes iniciales de difusión de la evaluación.
  • El HoP y, según corresponda (p. ej., proyectos estratégicos) el representante de país, contribuyen al desarrollo de los objetivos y preguntas de la evaluación o revisión post acción, y a revisar el borrador de los términos de referencia (TdR).
  • El asesor regional para MEAL revisa el borrador de los TdR de conformidad con las Políticas y Procedimientos para MEALProcedimientos para MEAL 3.3: Los Asesores de MEAL revisan los TdR de las evaluaciones y líneas de base para mejorar la calidad de la evaluación y asegurar que se adecúan a las necesidades de información. de CRS (MPP) para determinar su calidad e idoneidad para el alcance y las necesidades de información del proyecto.

Evaluaciones finales encargadas por el donante: En algunos proyectos complejos, la responsabilidad del proceso de evaluación final puede ser asumida por el donante, incluyendo la contratación del evaluador externo. En estos casos, el papel de CRS será de colaborar con el donante y el evaluador externo a medida que se desarrolle el proceso de planificación de la evaluación, asegurando que CRS contribuya de manera oportuna y apropiada y que haya una coordinación efectiva con el equipo del proyecto y otras partes interesadas.

• Inicie la planificación de la evaluación final o revisión post acción de manera que pueda llevarse a cabo en los últimos seis meses del proyecto o según los requisitos del donante (véase más adelante).
  • En el caso de una evaluación final del proyecto, inicie los preparativos con tiempo suficiente para poder desarrollar términos de referenciaProcedimiento 3.2: Desarrollar términos de referencia (TdR) para las líneas de base y evaluaciones. (TdR), alcance(s) de trabajo (SOW), hacer la selección de un equipo de evaluación y finalizar la metodología, las herramientas y el plan de trabajo de la evaluación.
  • Planee el proceso de evaluación o revisión post acción considerando el calendario de las actividades finales del proyecto y las transiciones del personal del proyectoEvite planificar una evaluación final demasiado pronto, cuando un número significante de actividades del proyecto todavía se están llevando a cabo y consumiendo el tiempo y la atención del equipo del proyecto. Del mismo modo, es importante no planificar la evaluación final o la revisión post acción demasiado tarde en el período de cierre, cuando el personal clave ya ha abandonado el equipo del proyecto. .
  • Al planificar la evaluación, tenga en cuenta las consideraciones estacionales (por ejemplo, calendarios académicos o agrícolas; condiciones de acceso afectadas por el clima, etc.) que pudieran incidir en la capacidad de los actores de recolectar datos para contribuir al proceso de evaluación.

Consideraciones sobre la planificación de la evaluación de proyectos complejos y plurianuales:

• En el caso de proyectos complejos plurianuales, elaborar los TdR y SOW, contratar una consultoría de evaluación, finalizar la metodología y las herramientas de la evaluación, realizar la evaluación, realizar el evento de reflexión, finalizar el informe de la evaluación y difundir los resultados, puede tomar hasta un año.
• En algunos proyectos plurianuales, los requisitos del donante pueden requerir que se realice la evaluación final hasta el fin del penúltimo año/inicio del último año del proyecto, para estar en línea con el levantamiento de datos de línea de base del proyecto. En estos casos, hay que iniciar los preparativos como parte de la planificación anual del penúltimo año del proyecto. Planifique una revisión post acción final del proyecto como parte del cierre de proyecto.

Siga estos pasos para planear una evaluación final o revisión post acción efectiva:

¿Qué diferencia hay entre una evaluación final y una revisión post acción?

Una evaluación final se desarrolla al final de un proyecto y típicamente incluye una encuesta final u otros métodos de levantamiento de datos según convenga, que permiten hacer una comparación con los datos de línea de base (si los hay) para los indicadores clave del proyecto. Una evaluación final valora sistemáticamente la relevancia, eficiencia, efectividad, impacto y sostenibilidad del proyecto en una población definida y se desprende de los datos de monitoreo y evaluación para responder preguntas de evaluación, responder a las demandas de información de los actores y generar aprendizajes. Una revisión post acción es una reflexión sobre los éxitos y fracasos de un proyecto (o las actividades dentro del proyecto). Reúne a un equipo para conversar de manera abierta y franca sobre un proyecto que pronto terminará o recién ha terminado y no requiere levantar datos adicionales de los participantes del proyecto. La revisión post acción se enfoca en asegurar de que haya aprendizaje en apoyo de la mejora continua. (La definición de revisión post acción fue adaptada de Better Evaluation). 

1. El líder de MEAL y el PM/CoP revisan los planes de la evaluación final (o revisión post acción) incluidos en la propuesta y presupuesto aprobados del proyecto.Durante el diseño del proyecto, CRS habrá desarrollado un calendario general y un presupuesto para la evaluación final o la revisión posterior a la acción, basado en las políticas y procedimientos para MEAL de CRS (véase el procedimiento 3.6) y en la información disponible sobre los requisitos de los donantes, según corresponda.
     . En el caso de proyectos con fondos externos, también retoman los requisitos y consideraciones adicionalesPor ejemplo, una evaluación intermedia o revisión de un proyecto puede haber generado aspectos para su seguimiento o áreas de enfoque en la evaluación final. Las necesidades e intereses de aprendizaje de CRS y de los donantes también pueden haber evolucionado durante la implementación del proyecto. para la evaluación o revisión post acción (basado en discusiones internas o conversaciones con un donante del proyecto).
2. El líder de MEAL y PM/CoP trabajan con el equipo de proyecto para identificar una serie de preguntas preliminares para la evaluación o revisión y para determinar el mejor momento para realizar el proceso.

• En lo posible, integre esta discusión a la última reunión de planificación y revisión trimestral o anual cuando el proyecto se acerque al último año (en el caso de proyectos plurianuales) o trimestre (proyectos de menos de 12 meses de duración).
• Para las evaluaciones finales de los proyectos financiados con fondos externos, involucre al HoP, al CR (según corresponda) y a otros miembros del personal con sólidos conocimientos del donante en una lluvia de ideas sobre los objetivos y las preguntas clave de la evaluación.
• Cerciórese de que el cronograma y la secuencia de la evaluación o revisión estén bien coordinados con otras actividadesPor ejemplo, para una evaluación final, asegúrese de que las principales actividades de evaluación no se crucen con períodos de ejecución intensiva de proyecto u otros eventos importantes del proyecto. En el caso de una revisión post acción o evento de reflexión del proyecto que sigue a la recolección de datos y análisis preliminar para la evaluación final (según las políticas y el procedimiento de CRS MEAL), programe el evento con la suficiente antelación para permitir la participación del personal clave del proyecto de CRS y de los socios, teniendo en cuenta que algunos puestos pueden desaparecer antes de la fecha de finalización del proyecto. y eventos del plan de cierre del proyecto, incluyendo el calendario de las transiciones del personal del proyecto.

¿Un evento de reflexión, o varios, para la revisión o evaluación? La decisión de planificar uno o varios eventos de reflexión para la revisión post acción o evaluación final, dependerá de varios factores, incluyendo la escala y el alcance geográfico del proyecto y de los asocios del proyecto, el número y el perfil de las partes interesadas que deben participar directamente en el proceso, el calendario y el presupuesto disponible. En el caso de proyectos complejos, lo apropiado podría ser organizar una serie de eventos dónde los productos de un evento sirvan de insumo para el evento que le sigue. En el caso de proyectos multi-país, lo apropiado podría ser organizar un evento con actores clave del proyecto de cada país, seguido de una discusión/evento final a nivel central, para analizar, interpretar y reflexionar más a nivel del proyecto en general.

3. Con los insumos de los equipos de proyecto de CRS y del socio y otros que fueron consultados en el paso 2, el líder de MEAL y el PM/CoP desarrollan los TdR de la evaluación o revisión post acción.

• Consulte las políticas y procedimientos MEAL (MPP) recursos para MPP 3.2Procedimiento para MEAL 3.2: Desarrollar términos de referencia (TdR) para las líneas de base y evaluaciones. para identificar buenos ejemplos que sean relevantes en el contexto del proyecto.
• Revise el análisis de actores de proyecto y de cualquier plan de comunicaciones del proyecto, para identificar las necesidades de información de los actores para ser abordadas en la evaluación o revisión post acción.
• Reflexione sobre puntos de discusión clave surgidos en reuniones trimestrales y anuales del proyecto para identificar éxitos y retos clave, o asuntos pendientes que sería apropiado examinar en el proceso de evaluación o revisión.
• Adapte las preguntas "estándar" para que se concentren en los temas más relevantes del proyecto.
  • Si el proyecto incluye enfoques programáticos u operativos nuevos para el equipo de proyecto o los actores en el área de influencia, nuevos asocios, u otros elementos nuevos (p. ej., uso de ICT4D), incluya preguntas relacionadas con estos elementos nuevos del proyecto.
  • Considere problemas de gestión de proyectos relacionados con programas u operaciones, p. ej., factores que incidieron en la gestión efectiva del tiempo, alcance, presupuesto y relaciones con los actores del proyecto, etc.
  • Consulte la Guidance on Monitoring and Evaluation de CRS, el capítulo sobre Planificar y Realizar una evaluación, para ver consejos adicionales.
• Nota: Pueden surgir temas delicados durante la revisión de los problemas de gestión de proyectos. Incluya en los TdR un enfoque para revisar estos problemas durante el proceso de evaluación o revisión post acción, así como la manera más apropiada para documentar y divulgar los hallazgos correspondientes. Tenga presente que los informes de evaluación final y revisión post acción podrían ser compartidos con terceros fuera del equipo de proyecto.

¡También es importante adaptar las preguntas para la revisión post acción! Si bien la revisión post acción presenta una valiosa oportunidad de aprendizaje, con demasiada frecuencia se abordan como un ejercicio de "marque la casilla" haciendo una revisión superficial de las preguntas. Los TdR de cualquier buen proceso de revisión post acción incluyen preguntas adaptadas y exploratorias que le ayudan al equipo de proyecto a alcanzar mayor profundidad en la reflexión o abordar una pregunta desde un punto de vista nuevo. Por ejemplo, en la pregunta estándar, "¿Qué podrían haber hecho mejor?", desarrolle un conjunto de subpreguntas o preguntas de puntuales para generar discusiones en torno a componentes específicos del proyecto (p. ej., el proceso de distribución, la selección de participantes, la coordinación del consorcio, planes de salida/transición, etc.). Piense en formas de incorporar enfoques de internalización de datosPor ejemplo, una actividad como "data placemat/data headlines" o "quotables" - ver la Guía de Internalización de Datos de USAID LEARN en "Other Resources". apropiados a los TdR, incluya metodologías y actividades para facilitar reflexión más profunda de las preguntas de la revisión post acción.

4. Después de finalizar los TdR, el PM/CoP y líder de MEAL desarrollan el alcance de trabajo (SOW) necesarios.

• En el caso de una revisión post acción, se necesita SOW si el facilitador es externo al equipo de proyecto. Asegúrese de que en el SOW se clarifiquen las responsabilidades en cuanto a preparación y seguimiento del facilitador y de los miembros del equipo de proyecto designados (p. ej., PM y líder de MEAL).
• En cuanto a proyectos complejos, tener un sólo evaluador puede que no sea suficiente. En estos casos, CRS podría tener que desarrollar un SOW para una agencia consultora con diversas capacidades de evaluación, o SOW puntuales para cada perfil que requiere el equipo evaluador.
• Para evaluaciones externas, el equipo de proyecto de CRS podría tener la opción de contratar a un evaluador externo a CRS, o a un miembro de personal de CRS con experiencia en evaluación que sea externo al equipo de proyecto.

5. En el caso de la evaluación final, el líder de MEAL/gerente de evaluación y el PM/CoP se aseguran de que el individuo/equipo evaluador diseñe una metodología de evaluación adecuada, con herramientas de recolección de datos y plan de trabajo detallado de la evaluación, de acorde con los TdR y SOW.

• En el caso de evaluaciones internas, el líder de MEAL de CRS suele servir de líder de equipo de evaluación, y toma la responsabilidad de desarrollar la metodología de evaluación, las herramientas de recolección de datos y el plan de trabajo.
• Busque la ayuda del personal técnico de MEAL, cuando sea necesario.
• Consulte la guía sobre los preparativos finales en la serie de documentos M&E Short Cuts: Preparándose para una Evaluación y Manejo e Implementación de una Evaluación.