Spanish E Guide

Canadian International Agencia Canadiense de Development Agency Desarrollo Internacional
GUA DE EVALUACIN DE LA ACDI
Superar los desafos
Producir resultados
Satisfacer las expectativas
Hacer una contribucin
Divisin de Evaluacin Direccin General de Gestin del Rendimiento y los Conocimientos Octubre de
Preparado por Robert Jones y Valerie Young, Divisin de Evaluacin Direccin General de Gestin del Rendimiento y los Conocimientos Agencia Canadiense de Desarrollo Internacional y Chris Stanley Oakron Consultants Inc., Ottawa, Canad
GUA DE EVALUACIN DE LA ACDI
Divisin de Evaluacin Direccin General de Gestin del Rendimiento y los Conocimientos
Octubre de
gua de evaluacin de la acdi
Prlogo
La Gua de evaluacin de la ACDI ha sido elaborada para garantizar que el personal, los consultores y los socios de la Agencia cuenten con la informacin adecuada sobre cmo deben realizarse las evaluaciones de las inversiones de la ACDI en proyectos de cooperacin para el desarrollo y cules son los resultados que se espera de ellas. La Gua se propone: lograr una mayor sensibilizacin y comprensin de la funcin de evaluacin y el papel de los evaluadores; optimizar los beneficios obtenidos de las inversiones de la ACDI en las evaluaciones; garantizar el cumplimiento de las exigencias establecidas por la Secretara del Consejo del Tesoro de Canad; fomentar prcticas de gestin y de trabajo eficaces y uniformes, tanto en la administracin central como sobre el terreno. Deseamos expresar nuestro agradecimiento a las numerosas personas que han contribuido a la preparacin de esta Gua. Ms concretamente, quisiramos dar las gracias a Goberdhan Singh, Director de la Divisin de Evaluacin de la Direccin General de Gestin del Rendimiento y los Conocimientos, por el nimo que nos ha infundido y su apoyo continuo.
Sus comentarios nos son de gran utilidad La Direccin General de Gestin del Rendimiento y los Conocimientos depende de la aportacin de los usuarios para mejorar sus prcticas de trabajo. Le invitamos por lo tanto a hacernos llegar cualquier comentario o sugerencia que pueda tener. Nuestra direccin de correo electrnico es: dggrc_pkmb@acdicida.gc.ca Las pginas web de la Agencia ofrecen una amplia gama de informacin sobre la estrategia de la ACDI en materia de medicin del desempeo y presentacin de informes al respecto. El acceso a algunos documentos puede estar reservado exclusivamente al personal de la Agencia.
Acrnimos
ACDI ACE ACNUR AOD CAD DGGRC
Agencia Canadiense de Desarrollo Internacional Agencia Canadiense de Ejecucin Alto Comisionado de las Naciones Unidas para los Refugiados Asistencia oficial para el desarrollo Comit de Asistencia para el Desarrollo (OCDE) Direccin General de Gestin del Rendimiento y los Conocimientos Gestin basada en resultados Igualdad de gnero Ministerio de Asuntos Exteriores y Comercio Internacional de Canad Marco de referencia Servicio Electrnico de Licitacin del Gobierno de Canad Oficina del Interventor General de Cuentas de Canad Organizacin no gubernamental Organismo de Servicio Especial Preaviso de Adjudicacin de Contrato Secretara del Consejo del Tesoro Unidad de Apoyo al Programa Fondo de las Naciones Unidas para la Infancia
GBR IG MAECI
MdR MERX OIGC ONG OSE PAC SCT UAP UNICEF
ndice
Acerca de esta Gua....................................................................................................1
1.
Nociones bsicas.................................................................................................3
2.
Consecucin de resultados como objetivo...........................................................9
3.
Desafos y expectativas......................................................................................13
4.
Consideraciones prospectivas............................................................................21
5.
Preparacin del marco de referencia.................................................................25
6.
Seleccin del evaluador......................................................................................33
7.
Preparacin del plan de trabajo de la evaluacin...............................................41
8.
Recopilacin y anlisis de la informacin...........................................................55
9.
Preparacin de los informes de la evaluacin....................................................63
10. Optimizacin de los resultados...........................................................................77
11. Preguntas ms frecuentes..................................................................................83
Anexos
A B C D E F Marco de resultados y factores claves de xito...............................................97 Evaluaciones participativas...........................................................................101 Integracin de la igualdad de gnero............................................................107 Texto modelo - Marco de referencia..............................................................113 Texto modelo - Plan de trabajo de la evaluacin...........................................121 Texto modelo - Resumen...............................................................................161
Acerca de esta Gua
a Gua de evaluacin de la ACDI informa al lector sobre el enfoque actual adoptado por la Agencia para la evaluacin de las polticas, programas y proyectos de cooperacin para el desarrollo y, adems, establece el proceso que debe seguirse, las normas aceptables de desempeo y las prcticas de trabajo adecuadas, as como pautas para lograr resultados exitosos. La Gua ha sido preparada con objeto de promover y facilitar la toma de decisiones fundamentadas en todas las etapas del proceso de evaluacin, a saber, la planificacin y diseo, la ejecucin, y la presentacin de informes y difusin de los resultados. Una lectura detenida de la Gua le permitir comprender en profundidad las actividades de evaluacin de la Agencia, si bien tambin puede consultarla rpidamente para encontrar respuesta a preguntas precisas. Los lectores menos familiarizados con el tema pueden aprender los aspectos fundamentales del proceso de evaluacin, mientras que los profesionales ya experimentados encontrarn en ella gran cantidad de consejos para completar con xito sus tareas.
La utilidad de las evaluaciones

Las evaluaciones de los programas y proyectos de la Agencia se realizan a fin de informar a la direccin de la ACDI, los socios de la Agencia en proyectos de cooperacin para el desarrollo y los canadienses en general de los resultados obtenidos, las mejoras que deben considerarse y las enseanzas extradas. Para ello, la Direccin General de Gestin del Rendimiento y los Conocimientos (DGGRC) constituye el centro de responsabilidad principal de la ACDI con relacin a la medicin del desempeo y la informacin sobre el desempeo. La ACDI examina las evaluaciones para determinar qu es lo que funciona y no funciona a la hora de lograr el desarrollo sostenible. Suministrar informacin plausible, pertinente y objetiva sobre el desempeo de las inversiones de la ACDI contribuye a mejorar la eficacia y eficiencia de las intervenciones de la Agencia. Las enseanzas extradas de las evaluaciones resultan estratgicas para tomar decisiones bien fundamentadas, lo que a su vez permite adoptar mejores polticas, estrategias y prcticas en materia de cooperacin para el desarrollo. De este modo, el anlisis del desempeo es el proceso que facilita la institucionalizacin de mejoras en la ACDI. Por otra parte, compartir los resultados de las evaluaciones con los principales pblicos demuestra la responsabilizacin y transparencia de la Agencia para con los canadienses, y repercute positivamente de forma general en la cooperacin para el desarrollo dentro de la comunidad de desarrollo internacional. Ayudando a comprender mejor sus intervenciones, la ACDI contribuye a generar apoyo para los objetivos que se propone obtener.
Contenido de esta Gua

La Gua se divide en once captulos:
1. Nociones bsicas Ofrece informacin fundamental acerca de la razn de ser de las evaluaciones de la ACDI y el modo en que se realizan Describe la importancia otorgada por la Agencia al logro de resultados en materia de cooperacin para el desarrollo Explica el contexto en el que se realizan las evaluaciones y lo que se espera de ellas Identifica las cuestiones clave que debe tener presentes el evaluador Precisa los requisitos y presenta un texto modelo Describe el proceso de otorgamiento de contratos y las cualificaciones que deben reunir los candidatos Describe los elementos esenciales del plan de trabajo y presenta un texto modelo Analiza distintos enfoques, estrategias y cuestiones pertinentes Explica en detalle las cuestiones relativas a la preparacin de los informes (incluye un texto modelo de resumen) Explica de qu manera los resultados de las evaluaciones pueden contribuir a la cooperacin para el desarrollo y sugiere distintas ideas para difundir dichos resultados Ofrece respuestas informativas a preguntas esenciales sobre las evaluaciones
2. Consecucin de resultados como objetivo 3. Desafos y expectativas 4. Consideraciones prospectivas 5. Preparacin del marco de referencia 6. Seleccin del evaluador 7. Preparacin del plan de trabajo de la evaluacin 8. Recopilacin y anlisis de la informacin 9. Preparacin de los informes de la evaluacin 10. Optimizacin de los resultados
11. Preguntas ms frecuentes
Captulo
Nociones bsicas
En este captulo: El porqu de las evaluaciones de la ACDI Tipos de evaluaciones Expectativas de la ACDI Distribucin de funciones Cmo y cundo se realizan las evaluaciones
n este captulo, abordamos las nociones bsicas del proceso de evaluacin de la ACDI. Qu es una evaluacin? Por qu realiza la ACDI evaluaciones? Cules son las expectativas de la direccin? Quin hace qu? Cmo se llevan a cabo las evaluaciones? Cmo se programan las evaluaciones? En el anlisis de estas cuestiones se insiste constantemente en el inters que revisten las evaluaciones para la ACDI y las ventajas que pueden aportar a las polticas, programas/proyectos, estrategias y prcticas de la Agencia. El captulo 11 de esta Gua, Preguntas ms frecuentes, tambin examina la funcin y procesos de evaluacin de la ACDI. Si bien existe una cierta redundancia con la informacin proporcionada en este captulo, consideramos til esta duplicacin para facilitar el acceso electrnico a informacin especfica en las pginas web de la ACDI. 1.1 El porqu de las evaluaciones de la ACDI El Grupo de trabajo sobre evaluacin de la ayuda del Comit de Asistencia para el Desarrollo (CAD) define una evaluacin en los siguientes trminos: Apreciacin sistemtica y objetiva de un proyecto, programa o poltica en curso o concluido, de su diseo, su puesta en prctica y sus resultados. Bsicamente, las evaluaciones ofrecen una oportunidad de aprendizaje para determinar lo que funciona y lo que no funciona, e identificar los aspectos que es necesario mejorar. Las evaluaciones demuestran integridad y objetividad, identificando resultados vlidos, ecunimes y precisos, respaldados por la informacin examinada.
Los ministerios y organismos pblicos deben rendir cuentas de su desempeo y adoptar a menudo decisiones difciles respecto a la utilizacin de los fondos del erario pblico. La ACDI utiliza las evaluaciones para examinar el desempeo, medir la eficacia, identificar los resultados logrados y determinar alternativas para conseguir sus objetivos. En efecto, las evaluaciones nos permiten reflexionar sobre nuestras iniciativas y decidir de qu modo podemos reforzar las intervenciones de la Agencia a fin de obtener mejores resultados en el futuro. La disponibilidad de esta informacin permite al Presidente y al Comit Ejecutivo orientar adecuadamente las intervenciones para el desarrollo a fin de conseguir los objetivos previstos, al mismo tiempo que los gerentes pueden producir los resultados previstos con mayor eficacia y eficiencia. Las evaluaciones permiten a la Agencia rendir cuentas de sus actividades y practicar la transparencia para con los canadienses. Por otra parte, la difusin de los resultados mejora la comprensin y promueve la credibilidad de la Agencia ante las distintas partes interesadas, consolidando su apoyo a los objetivos que la ACDI trata de lograr. 1.2 Tipos de evaluaciones Las evaluaciones pueden ser de dos tipos: formativas y sumativas. Las evaluaciones formativas suelen realizarse en una etapa ms temprana a fin de comprender mejor los logros que se estn obteniendo y la forma de mejorar el programa o proyecto. Las evaluaciones sumativas se realizan en una etapa avanzada de la realizacin del programa o proyecto, o bien a posteriori una vez terminado, a fin de evaluar su eficacia y establecer los resultados y utilidad general. En funcin de su orientacin, existen tambin distintos tipos de evaluaciones, entre otros: las evaluaciones temticas (por ej.: las que tratan de la igualdad de gnero, la satisfaccin de las necesidades humanas bsicas, el desarrollo de capacidades); las evaluaciones de programas, proyectos y otras inversiones; las evaluaciones institucionales de organizaciones multilaterales (por ej.: UNICEF, ACNUR) o de ONG internacionales, canadienses y locales. Por ltimo, las evaluaciones pueden clasificarse tambin en funcin del momento o de la etapa del ciclo de la iniciativa evaluada. Las evaluaciones intermedias sirven para medir el desempeo de la iniciativa hasta la fecha e informar al respecto, a fin de que puedan hacerse los ajustes y mejoras necesarias en el transcurso de su ejecucin.
Las evaluaciones de final de etapa se llevan a cabo tras completar una etapa de las iniciativas que se componen de varias etapas y ofrecen informacin til para la ejecucin de las etapas siguientes. Las evaluaciones de final de proyecto/inversin o de programa se realizan una vez completada la iniciativa en cuestin. A menudo los resultados de una iniciativa a nivel social o sus impactos no se dejan ver de inmediato sino que precisan cierto tiempo para manifestarse. Por consiguiente, este tipo de evaluacin puede limitarse a informar sobre los productos en materia de desarrollo y los primeros indicios de los efectos directos, sin ofrecer una indicacin realmente concluyente en cuanto al grado de consecucin de los objetivos a mediano y largo plazo. Las evaluaciones ex post de los impactos sirven para medir e informar del grado de consecucin de los resultados en materia de desarrollo que se ha alcanzado a mediano y largo plazo, fijndose principalmente en los efectos directos e impactos que resultan de los productos realizados. 1.3 Expectativas de la ACDI El objetivo que persigue la ACDI a travs de sus evaluaciones es mejorar las inversiones de la Agencia en sus iniciativas de cooperacin para el desarrollo facilitando la toma de decisiones fundamentadas y la resolucin de los problemas. Los evaluadores deben asegurarse de que las evaluaciones se basen en el anlisis de los resultados obtenidos, esto es, que integren los principios y prcticas establecidas en la poltica general de la Agencia, a saber, la gestin basada en resultados (GBR). Para ello, deben ponerse en relacin las cuestiones de la evaluacin con los factores enunciados en el Marco de resultados y factores claves de xito de la Agencia (vase Anexo A). Debe contarse con un proceso simplificado que utilice con eficacia y eficiencia el tiempo valioso y los recursos limitados disponibles.
El Marco de resultados y factores claves de xito de la ACDI Este marco proporciona un punto de referencia institucional para definir qu constituye un logro, alineando estratgicamente la cooperacin para el desarrollo y las expectativas de la ACDI con respecto a los resultados. Crea de este modo una buena base informativa destinada a facilitar la toma de decisiones y la resolucin de problemas. El Marco es una herramienta de trabajo integral que conviene utilizar de forma constante y sistemtica en las etapas de planificacin, diseo, ejecucin y preparacin de informes.
1.4 Distribucin de funciones Por lo general, la ACDI subcontrata las evaluaciones a un profesional, compaa u organizacin externa. En algunos casos, se considera preferible formar un equipo de evaluacin reuniendo a representantes de distintas compaas u organizaciones. El Director de Evaluacin de la ACDI acta como representante de la Agencia, garantizando la realizacin de la evaluacin y su ejecucin (adecuacin del diseo, utilizacin de recursos, resultados obtenidos, etc.). Es tambin la persona de enlace con el evaluador. El evaluador es responsable de dirigir las actividades cotidianas y producir los documentos exigidos de conformidad con los requisitos contractuales establecidos en el marco de referencia (MdR) de la evaluacin. Se espera que todas las evaluaciones incluyan la participacin directa equitativa y til de las partes interesadas.
El trmino Director de Evaluacin hace referencia a la persona responsable de la divisin de programas representante (o de la Direccin General de Anlisis del Rendimiento), encargada de dirigir la evaluacin en nombre de la ACDI.
1.5 Proceso seguido En la pgina siguiente, describimos paso a paso cmo se realizan las evaluaciones, una vez que han sido autorizadas por la direccin de la ACDI, y cmo se delegan las tareas al Director de Evaluacin de la ACDI y el evaluador. Si bien el MdR define en trminos generales los parmetros de la evaluacin, sta no podr iniciarse hasta que la Agencia no haya aprobado el plan de trabajo del evaluador. Durante la ejecucin, el evaluador debe velar por que la evaluacin siga por el buen camino y mantenga su objetivo estratgico de identificar resultados, y garantizar asimismo la utilizacin de prcticas de trabajo eficaces. La preparacin del informe de evaluacin y la difusin de los resultados ofrecen a la ACDI una oportunidad fundamental para promover el aprendizaje en su propia institucin y, de manera ms amplia, en la comunidad internacional dedicada a la cooperacin para el desarrollo.
El proceso de evaluacin de la ACDI

Etapa Marco de referencia Funcin El Director de Evaluacin de la ACDI establece el enunciado inicial de las expectativas y fija los parmetros y documentos que deben producirse El Director de Evaluacin de la ACDI selecciona al candidato mejor cualificado para realizar la evaluacin Pasos Anlisis de las fuentes de informacin Realizacin de consultas Preparacin del marco de referencia Notificacin a la misin interesada Aprobacin de la ACDI
Seleccin del evaluador
Adopcin de un mecanismo de seleccin Establecimiento de una primera lista de candidatos Establecimiento de una lista prioritaria de candidatos Seleccin propiamente dicha Comunicacin de los resultados a los candidatos Negociacin del contrato Consultas, estudio de la documentacin, organizacin de los desplazamientos Elaboracin del plan de trabajo de la evaluacin Aprobacin de la ACDIl Notificacin a la misin interesada Organizacin/reconocimiento sobre el terreno Recopilacin de la informacin Informes de progreso Informe sobre el terreno Anlisis de la informacin Identificacin de los resultados obtenidos Anlisis estratgico Preparacin del informe final Aprobacin de la ACDI Anlisis estratgico Extraccin de enseanzas Difusin de resultados Memoria central de la Agencia Enseanzas electrnicas
Plan de trabajo de la evaluacin
El evaluador prepara un plan de trabajo que describe cmo se realizar la evaluacin y qu objetivos deben obtenerse El evaluador evala el desempeo para identificar los resultados
Recopilacin y anlisis de la informacin
Informe de evaluacin
El evaluador informa a la direccin de la ACDI de las constataciones, enseanzas aprendidas y recomendaciones El Director de Evaluacin de la ACDI comunica las enseanzas aprendidas para promover una mejor cooperacin para el desarrollo
Difusin de los resultados de la evaluacin
1.6 Cmo se programan las evaluaciones El Comit Ejecutivo de la ACDI se encarga de establecer el calendario de las evaluaciones principales que debe realizar la DGGRC en funcin de las prioridades establecidas en el marco del ciclo de planificacin de la Agencia. Es el Comit Ejecutivo el que asume en ltima instancia la responsabilidad del desempeo de la Agencia y el que debe rendir cuentas al respecto. El Comit se ocupa de cuestiones de carcter general que influyen en la evaluacin y aprueba el Plan de Trabajo Anual de la Direccin General de Gestin del Rendimiento y los Conocimientos. Las evaluaciones se planifican y realizan en funcin de las necesidades de la direccin en materia de informacin sobre los resultados e impactos de los programas y proyectos en el rea del desarrollo. La alta direccin puede solicitar la realizacin de evaluaciones a nivel de la Agencia, o bien los propios directores de programas pueden, si as lo desean, evaluar una actividad de desarrollo concreta para la que se justifique una revisin independiente. Cmo se toma la decisin de realizar una evaluacin? Esta decisin no se toma hasta que la direccin comprenda claramente todos los aspectos precisos, los parmetros y las ventajas que puede aportar a la ACDI la evaluacin propuesta. La decisin final de seguir adelante con la evaluacin corresponde en ltima instancia al Director del Centro de Responsabilidad que financiar la evaluacin en cuestin.
Las evaluaciones a nivel de proyecto competen a las direcciones generales de operaciones y de apoyo de la Agencia, y se planifican y realizan de forma independiente (son distintas de las evaluaciones de la DGGRC), de acuerdo con las necesidades especificadas.
Captulo
Consecucin de resultados como objetivo
En este captulo: El papel del anlisis del desempeo La gestin basada en resultados El Marco de responsabilizacin de la Agencia El Plan de los programas geogrficos El Marco de resultados y factores claves de xito
n 1994, la ACDI inici una ambiciosa renovacin institucional, comprometindose ante el Parlamento y los ciudadanos canadienses a adoptar un estilo de gestin que estuviera orientado prioritariamente hacia la consecucin de los resultados y fuera ms responsable. En julio de ese mismo ao, la Agencia dio a conocer su Poltica de la ACDI para el anlisis del rendimiento, que estableca un marco general para medir y presentar informes sobre el desempeo. En este marco se describe la evaluacin como uno de los elementos claves e integrales del sistema de anlisis del desempeo de la ACDI. En octubre de 1996 se precisaron los papeles y responsabilidades individuales en la Actualizacin de la Poltica de anlisis del rendimiento de la ACDI, en la que se estableca que la responsabilidad de las evaluaciones corresponde a la DGGRC. El anlisis del desempeo constituye en la actualidad un ejercicio de reflexin permanente a nivel de la Agencia y facilita la institucionalizacin de las mejoras. Funciona como componente integral del proceso de gestin y sirve para establecer el vnculo entre una amplia gama de oportunidades de aprendizaje y la mejora de la eficacia de la cooperacin para el desarrollo. La DGGRC desempea un papel preponderante en las iniciativas de gestin del desempeo, colaborando con las direcciones generales de operaciones y de apoyo, y aprendiendo de sus distintas experiencias y competencias. En principio, el anlisis del desempeo debe: ofrecer a los directores de la ACDI las herramientas de trabajo necesarias para ejercer mejor sus funciones en la consecucin de los resultados previstos; desempear un papel fundamental en la transformacin de la Agencia en una organizacin ms orientada hacia los resultados, ms transparente y ms responsable; contribuir de manera esencial a la iniciativa de renovacin de la gestin de la ACDI, poniendo de relieve la excelencia, el saber, el aprendizaje, el trabajo en equipo y la innovacin.
2.1 La gestin basada en resultados
Un resultado es un cambio de la situacin que puede describirse o medirse y que es resultado de una relacin de causa y efecto. Gestin basada en resultados en la ACDI Declaracin de poltica, abril de 1996
La GBR, adoptada por la ACDI en 1994 siguiendo la recomendacin del Interventor General de Cuentas de Canad, acta como estrategia general de gestin de la Agencia para obtener resultados y mejorar la transparencia y la rendicin de cuentas mediante la medicin del desempeo y presentacin de informes al respecto. En aplicacin de la GBR, estn basadas en los resultados: 1) las actividades de cooperacin para el desarrollo (programas, proyectos, otras inversiones); 2) las iniciativas de medicin del desempeo impulsadas por la direccin (evaluaciones de riesgos, auditoras financieras, revisiones operacionales, actividades de seguimiento); y 3) las iniciativas independientes de medicin del desempeo de la Agencia (revisiones independientes, evaluaciones, investigaciones especiales, auditoras internas). La GBR pone de relieve: la importancia de definir expectativas realistas respecto a los resultados que se espera obtener, identificando claramente a los beneficiarios y adaptando las intervenciones en favor del desarrollo a sus necesidades; el seguimiento de los progresos realizados utilizando indicadores adecuados y gestionando los riesgos con eficacia; la habilitacin de supervisores directos y asociados para medir el desempeo y tomar las decisiones necesarias de acuerdo con la informacin disponible; las ventajas que aporta recurrir a especialistas independientes para realizar las auditoras internas y las evaluaciones; la participacin constructiva de las partes interesadas (fomentando el consenso); la transparencia de los informes sobre el desempeo (resultados logrados y recursos utilizados).
2.2 El Marco de responsabilizacin de la Agencia El Marco de responsabilizacin de la Agencia, publicado por la DGGRC en julio de 1998, expone las responsabilidades de la ACDI como ministerio gubernamental federal. Este marco establece: la responsabilidad plena de la ACDI en cuanto a los resultados en el rea de las operaciones y su responsabilidad conjunta en cuanto a los resultados en materia de desarrollo; las responsabilidades de determinados cargos de la ACDI, incluidos los relacionados con el anlisis y medicin del desempeo. 2.3 El Plan de los programas geogrficos El Plan de los programas geogrficos es la gua prctica de los programas bilaterales de cooperacin para el desarrollo de la Agencia. En l se describe el contexto particular para las operaciones, as como los mtodos demostrados y prcticas establecidas para disear e implementar los programas y proyectos. El Plan gua al lector a travs del complejo y variado compendio, en constante evolucin, de documentos de poltica, reglamentos y textos metodolgicos que rigen los programas bilaterales de cooperacin para el desarrollo.
Conviene tener en cuenta las evaluaciones durante la planificacin y diseo de las inversiones La integracin de los requisitos previstos de evaluaciones ulteriores durante las etapas de planificacin y diseo de la inversin no slo facilita las evaluaciones sino que tambin incrementa sus posibilidades de xito.
2.4 El Marco de resultados y factores claves de xito El Marco de resultados y factores claves de xito de la ACDI proporciona un punto de referencia permanente para medir los resultados en materia de desarrollo y contribuye a hacer respetar la poltica de la ACDI en materia de GBR. Al precisar cmo debe medirse el xito, este marco identifica los lmites que deben aplicarse para medir el rendimiento de las inversiones de la ACDI. Se indica claramente a los evaluadores cules son los resultados que constituyen un logro, lo que a su vez determina y orienta las intervenciones de la ACDI en favor del desarrollo, proporcionando a sus programas y proyectos una orientacin basada en la consecucin de resultados que se ajusta a las polticas, prioridades y principios de la Agencia. El resultado global se traduce en una mejora del rendimiento de las inversiones de acuerdo con los resultados que la Agencia espera obtener. El Marco de resultados y factores claves de xito es una herramienta de trabajo integral que conviene utilizar de forma constante, sistemtica y estratgica en las etapas de planificacin, diseo, ejecucin y preparacin de los informes de las evaluaciones. Se espera que los evaluadores se concentren en la produccin de resultados de acuerdo con los resultados en materia de desarrollo y factores de xito establecidos en el marco (Anexo A).
... los gerentes de la funcin pblica deben definir los resultados esperados, fijar constantemente su atencin en la consecucin de resultados, medir el desempeo regular y objetivamente, y aprender y adaptarse para mejorar la eficiencia y eficacia. Poltica de Evaluacin Secretara del Consejo del Tesoro, abril de 2001
Captulo
Desafos y expectativas
En este captulo: Las expectativas del gobierno federal Las realidades de la cooperacin para el desarrollo Las expectativas relativas a la conducta tica Las caractersticas de una buena evaluacin
n este captulo presentamos: 1) los factores clave que ayudan a determinar las actividades de evaluacin de la ACDI; 2) de qu modo se pueden facilitar/ mejorar las evaluaciones, incorporando sus requisitos durante la planificacin y diseo de las inversiones; y 3) las caractersticas comunes de una buena evaluacin. 3.1 Las expectativas del gobierno federal El Gobierno de Canad, a travs de la Secretara del Consejo del Tesoro (SCT), establece para cada ministerio y organismo los requisitos en materia de realizacin de evaluaciones. La SCT acta como gerente general del gobierno federal, encargndose de la gestin de sus recursos financieros, humanos y administrativos. Las evaluaciones se utilizan para identificar qu es lo que realmente funciona y lo que no funciona, y encontrar nuevas formas de conseguir los objetivos gubernamentales de la manera ms rentable posible. La Poltica de evaluacin de la SCT se basa en tres principios fundamentales: 1) la realizacin de resultados y presentacin de informacin exacta al respecto es una responsabilidad principal de los gerentes de la funcin pblica; 2) la evaluacin rigurosa y objetiva es una importante herramienta que ayuda a los gerentes a ejercer sus funciones de gestin con vistas a obtener resultados; y 3) los ministerios (con el apoyo de la SCT) deben garantizar el mantenimiento en sus campos de competencia del rigor y la disciplina de la evaluacin. A continuacin describimos someramente el marco organizativo establecido para las evaluaciones de la ACDI, identificando las principales funciones, objetivos y contribuciones. La Actualizacin de la poltica de la ACDI para el anlisis del rendimiento establece con claridad la reparticin de los papeles y responsabilidades asignados a la DGGRC y las direcciones generales de operaciones y de apoyo de la Agencia.
Marco de evaluacin de la ACDI

Funcin Objetivo Secretara del Consejo del Tesoro Ofrece una orientacin central en materia de evaluacin en el Gobierno de Canad Garantiza que el gobierno disponga oportunamente de informacin estratgica, objetiva y slida acerca del desempeo de sus polticas, programas e iniciativas para producir mejores resultados para los canadienses El Centro de Excelencia ejerce liderazgo, orienta y presta apoyo Utiliza, cuando procede, los resultados de las evaluaciones en la toma de decisiones Establece normas Supervisa la capacidad de evaluacin del gobierno Contribucin
La alta direccin de la ACDI Se asegura de que los recursos sean utilizados con eficacia y eficiencia en favor del desarrollo sostenible Cuida de que el financiamiento y las intervenciones correspondan a las prioridades y objetivos Mantiene informados a los canadienses sobre los niveles de desempeo Vela por que los resultados se utilicen para: formular polticas, estrategias y orientaciones; informar el proceso de toma de decisiones y la asignacin de recursos en el rea de las operaciones; promover la transparencia en los informes sobre el desempeo. Garantiza que las enseanzas aprendidas reporten beneficios Se encarga de mantener un sistema de informes anuales sobre los avances realizados Presenta al Parlamento el Informe sobre el desempeo de la ACDI Archiva los resultados de las evaluaciones en la memoria central de la Agencia
Funcin
Objetivo Direccin General de Gestin del Rendimiento y los Conocimientos
Contribucin
Constituye el centro de responsabilidad principal de la ACDI en relacin con la medicin del desempeo y la informacin sobre el desempeo
Produce informacin plausible, pertinente y objetiva sobre el desempeo de las inversiones de la ACDI para: 1) fomentar una gestin eficaz y eficiente; 2) rendir cuentas de sus actividades y practicar la transparencia para con los canadienses; y 3) compartir las enseanzas aprendidas Las direcciones generales de operaciones y de apoyo
Realiza evaluaciones que reflejan las prioridades de la Agencia Elabora instrumentos de trabajo, sistemas y guas Proporciona apoyo metodolgico a todos los sectores de la Agencia
Garantizan una gestin eficaz y eficiente, de acuerdo con las polticas, prioridades, normas y prcticas de la Agencia Determinan qu polticas, programas y proyectos pueden ser evaluados
Utilizan constante y sistemticamente los resultados (enseanzas aprendidas) en: la gestin y la planificacin estratgica a nivel de la direccin general; el diseo y la ejecucin de programas y proyectos; la elaboracin de sistemas, mtodos y prcticas.
Orientan su gestin con vistas a obtener resultados Facilitan las evaluaciones y participan en ellas Informan sobre los niveles de desempeo (comparten los resultados con las partes interesadas, donantes, etc.) Colaboran con la DGGRC para mejorar las tcnicas e instrumentos
3.2 Las realidades de la cooperacin para el desarrollo Las posibilidades de tener xito cuando se trabaja en los pases beneficiarios pueden verse afectadas por un conjunto de factores o circunstancias que, a menudo, quedan fuera del control de la ACDI. Entre dichos factores se puede citar: el clima poltico, econmico, social y cultural en el pas o pases beneficiarios; los marcos institucionales; el acceso fcil a funcionarios ministeriales clave; las iniciativas en que participan varios donantes; los distintos puntos de vista de los socios participantes y organismos de ejecucin canadienses; las expectativas de las partes interesadas, sobre todo de los beneficiarios. A menudo es necesario revisar las expectativas iniciales en cuanto al xito a fin de reflejar los desafos inherentes que entraa trabajar en un entorno internacional y con socios de distinta ndole. Conviene mantener una actitud realista a la hora de definir los resultados que se espera obtener. En su informe sobre los programas geogrficos de la ACDI presentado a la Cmara de los Comunes en diciembre de 1998, el Interventor General de Cuentas de Canad, reconociendo la envergadura de dicho desafo, recomend a la ACDI que identificara los factores polticos y econmicos atenuantes en sus informes para hacerlos ms equilibrados y mejorar su credibilidad. Deben tenerse en cuenta tambin los siguientes factores: no existe una va nica y definitiva para favorecer el desarrollo. Cada iniciativa presenta sus propios desafos; las estrategias iterativas en el terreno pueden ofrecer el margen de maniobra o flexibilidad necesarias. Con todo, la innovacin y la experimentacin pueden incrementar los riesgos, entraar dificultades y presentar deficiencias; si bien resulta ms fcil cuantificar los resultados concretos (el acceso al agua, la ayuda alimentaria, etc.), los resultados relacionados con el desarrollo de capacidades, el buen gobierno y el desarrollo democrtico son ms bien cualitativos y se manifiestan a largo plazo.
Es necesario tomar en plena y debida cuenta las realidades de la cooperacin para el desarrollo y sus dificultades inherentes durante la planificacin, diseo y ejecucin de todas las actividades de medicin y presentacin de informes del desempeo.
Al estar basado en la cooperacin con las partes interesadas, el trabajo de desarrollo internacional obliga por lo general a alcanzar un nivel importante de compromiso. Por consiguiente, no es aconsejable en absoluto mostrarse autoritario y adoptar decisiones unilaterales que perjudican la consecucin de los resultados previstos.
3.3 La tica: el fundamento del profesionalismo Son varios los factores que contribuyen al xito de una evaluacin: adoptar el enfoque adecuado, seleccionar un evaluador competente y motivado, realizar el trabajo con debida diligencia y garantizar que los resultados sean al mismo tiempo exactos, tiles y utilizables. Asimismo, es necesario que el proceso de toma de decisiones refleje continuamente buenas reglas ticas y buenos valores. Las normas ticas constituyen los cimientos de los valores en que se fundamentan todas las decisiones. A menos que se respeten esas reglas, la credibilidad y calidad de los resultados de la evaluacin pueden peligrar. La Sociedad Canadiense de Evaluacin destaca en sus Directrices de conducta tica la importancia de: 1) la competencia en la prestacin de servicios; 2) la integridad en las relaciones con las partes interesadas; y 3) la responsabilizacin en cuanto al desempeo y los resultados. A continuacin presentamos los principios generales que sirven de gua a las evaluaciones de la ACDI. Rigor en la aplicacin de los mtodos de investigacin Realizar investigaciones profundas y objetivas utilizando mtodos y tcnicas adecuadas, y observando las normas tcnicas ms rigurosas. Validar la informacin mediante las distintas medidas y fuentes, incluidas las partes interesadas, que sea oportuno utilizar en el mbito de la evaluacin.
Competencia Garantizar que el equipo de evaluacin est formado por personas con los estudios, competencias, cualidades y experiencia necesarios para cumplir con los requisitos de la evaluacin. Trabajar nicamente dentro de los lmites de la formacin y competencia profesional que se posea. Tratar en todo momento de mejorar sus competencias metodolgicas y especializadas. Integridad Ser honesto en cuanto a los conocimientos y competencias que se afirma poseer. Comunicar con prontitud al cliente cualquier conflicto de inters o la posibilidad de que una situacin se perciba como tal. Explicar con exactitud los mtodos, la informacin y los resultados, y tratar de evitar que ninguna otra persona pueda proporcionar informacin falsa. Consignar todos los cambios efectuados durante la realizacin o informes de evaluacin que se alejen del plan de trabajo, ofreciendo las explicaciones necesarias e informando al cliente y a las principales partes interesadas. Informar al cliente de cualquier problema importante o constataciones que no estn directamente relacionadas con el marco de referencia, o de cualquier delito real o percibido. Respeto Garantizar el carcter confidencial de la informacin proporcionada impidiendo la posibilidad de encontrar la fuente de dicha informacin. Adoptar las estrategias necesarias para evitar que se perciba a los evaluadores como si fueran crticos con su sociedad. Familiarizarse con las creencias, prcticas y costumbres de los habitantes de los pases beneficiarios a fin de poder manifestar el respeto debido en materia de creencias religiosas, indumentaria, relaciones interpersonales, etc. Encontrar un justo equilibrio entre la necesidad de satisfacer determinados requisitos relativos a la gestin (en materia de liderazgo, competencia, etc.) y la necesidad de recurrir a determinadas personas.
Responsabilidad Presentar los documentos exigidos en los plazos previstos de conformidad con lo acordado con el cliente. Presentar los resultados e informar con precisin de la marcha de la evaluacin, identificando cualquier limitacin o incertidumbre que pudiera influir en la interpretacin de los resultados. Demostrar prudencia y honestidad en la toma de decisiones financieras de forma que puedan justificarse los gastos y que el cliente salga ganando tambin.
La Poltica de evaluacin de la SCT invita a incorporar: ... la disciplina de la evaluacin en la gestin del ciclo de vida de las polticas, programas e iniciativas.
3.4 Las caractersticas de una buena evaluacin La calidad de una evaluacin se mide no slo por sus recomendaciones sino tambin por la forma en que el evaluador ha llegado a formularlas. La medida en que las partes interesadas se sientan afectadas por los resultados de la evaluacin permite a menudo saber si la evaluacin ha sido un xito. Si las partes interesadas han participado en todas las etapas de la evaluacin, probablemente las recomendaciones y enseanzas aprendidas darn an ms frutos. Las buenas evaluaciones son imparciales, equilibradas e independientes, producen resultados convincentes, responden a las expectativas del cliente, se ajustan al presupuesto establecido, y mantienen y garantizan que los resultados se utilicen en todas las etapas del proyecto. Lo que determina su xito en ltima instancia es el modo en que las enseanzas aprendidas contribuyen a la toma de decisiones fundamentadas y al ciclo de aprendizaje. Algunas de las caractersticas principales de una buena evaluacin son: Satisfaccin de las expectativas Cumplimiento de los requisitos del contrato y las expectativas establecidas en el plan de trabajo. Aplicacin de las normas profesionales que satisfacen las expectativas de la direccin.
Valor agregado Orientacin hacia el mandato de la ACDI, sus prioridades de intervencin y sus temas transversales (la reduccin de la pobreza, la igualdad de gnero, el medio ambiente, el desarrollo de capacidades, etc.). Contribucin a las intervenciones de la ACDI para el desarrollo y a la toma de decisiones fundamentadas en tiempo oportuno, y promocin del aprendizaje. Presentacin clara y concisa de los resultados para facilitar su comprensin por parte de los pblicos principales. Formulacin de recomendaciones tiles y pragmticas, y presentacin de las enseanzas aprendidas mediante un proceso basado en la participacin directa de las partes interesadas. Calidad de los resultados Produccin de resultados convincentes y fiables mediante un diseo adecuado, un examen profundo de los hechos y la utilizacin de mtodos y tcnicas rigurosas. Imparcialidad y objetividad mediante el respeto constante de los principios de independencia, neutralidad, transparencia y justicia en todas las etapas. Relacin costos-beneficios Beneficios reportados a la Agencia (valor agregado). Utilizacin razonable de los recursos humanos, financieros y materiales.
La evaluacin debe orientarse ms hacia resultados que hacia opiniones.
Captulo
Consideraciones prospectivas
En este captulo: Optimizar los resultados obtenidos Garantizar la participacin de las partes interesadas Evaluar la igualdad de gnero
la hora de decidir cmo debe realizarse una evaluacin, la direccin debe tener presentes tres objetivos fundamentales, a saber: 1) cmo concentrarse en los resultados y el proceso de aprendizaje para optimizar los beneficios obtenidos con la evaluacin; 2) cmo garantizar la participacin constructiva, equitativa y activa de las partes interesadas en el proceso de evaluacin; y 3) cmo estructurar la evaluacin a fin de identificar de qu modo ha contribuido la inversin a la consecucin de los resultados relativos a la igualdad de gnero.
La decisin final de seguir adelante con una evaluacin de la DGAR corresponde al Director del Centro de Responsabilidad que financiar la evaluacin en cuestin.
4.1 Optimizar los resultados obtenidos El documento Resultados para los canadienses - Un marco de gestin para el Gobierno de Canad (SCT, marzo de 2000) estableca en su conclusin el objetivo de hacer que ... las instituciones federales sean organismos centrados en los valores y la consecucin de resultados, y orientados constantemente hacia las necesidades de los canadienses. Desafiaba a los gerentes de la funcin pblica a: ... ir ms all de las actividades y productos y centrar su atencin en los resultados reales, esto es, en los impactos y efectos de sus programas. Sealaba adems: Para practicar una gestin basada en resultados, es necesario prestarles atencin permanente en todas las etapas de una iniciativa. Esto implica definir claramente los resultados que deben obtenerse, prestar el programa o servicio, medir y evaluar el desempeo, y hacer los ajustes que se impongan para incrementar su eficiencia y eficacia. Este tipo de gestin requiere tambin informar sobre el
idesempeo a los canadienses en trminos que sean comprensibles para la poblacin. ste es el contexto en el que se deben planificar, disear y realizar las evaluaciones. Desde el primer momento, el Director de Evaluacin de la ACDI debe fijarse como objetivo de su trabajo obtener los mximos beneficios de las evaluaciones realizadas acerca de las inversiones de la Agencia. Debe centrarse la atencin en identificar la contribucin de los resultados al mandato y prioridades de la ACDI, las mejoras que conviene realizar y las enseanzas aprendidas que pueden contribuir a mejorar la eficacia y eficiencia de la cooperacin para el desarrollo. Debe tenerse en cuenta la perspectiva ms amplia, que se perfeccionar posteriormente a fin de determinar sus elementos ms estratgicos, importantes y prcticos.
El Gobierno de Canad est resuelto a convertirse en una organizacin dotada de una cultura de aprendizaje. La evaluacin contribuye a ese objetivo ayudando a identificar lo que funciona y lo que no funciona, y poniendo de relieve otras alternativas rentables de concebir y mejorar las polticas, programas e iniciativas. Poltica de Evaluacin Secretara del Consejo del Tesoro, abril de 2001
4.2 La importancia de las evaluaciones participativas La adopcin por parte de la ACDI de la GBR ha desempeado un papel decisivo para integrar la participacin directa de las partes interesadas en la obtencin de resultados sostenibles. La GBR hace hincapi en la importancia de contar con la participacin constructiva de las partes interesadas en todo momento, tanto en la etapa de diseo como durante la ejecucin. Tradicionalmente, la evaluacin sola ser dirigida con una perspectiva ajena, prestndose a menudo poca atencin a las expectativas locales y la posible contribucin de las partes interesadas. En efecto, las partes interesadas eran objetos de las evaluaciones, en lugar de participantes clave en las mismas. Los beneficiarios, las organizaciones locales y los gobiernos de los pases beneficiarios se vean desprovistos de un papel importante en las evaluaciones.
En las evaluaciones participativas, los principales grupos interesados participan plenamente en: el establecimiento de marcos para medir los resultados e informar de los mismos; el examen de los resultados logrados, la proposicin de soluciones y la respuesta a los desafos; la promocin de la aplicacin de las recomendaciones de la evaluacin. La experiencia ha demostrado que hay ms probabilidades de que las partes interesadas contribuyan a la implementacin de los resultados cuando han participado en su elaboracin. Adems, las evaluaciones participativas pueden: fomentar una mayor responsabilizacin comunitaria (con la participacin local); dotar a las evaluaciones de una orientacin ms pragmtica; mejorar la cooperacin en el terreno; dotar de mayores medios a los participantes locales, familiarizndolos con el proceso de evaluacin en curso. No existe una estrategia nica para efectuar las evaluaciones participativas. Cada evaluacin exige una respuesta nica que responda a las expectativas de la ACDI y las principales partes interesadas, y tenga en cuenta el contexto local, las capacidades y la disponibilidad de las partes interesadas, y cualquier limitacin existente. Conviene mencionar que dar a las partes interesadas una mayor participacin suele exigir mayor esfuerzo (y costos). Por ello, es importante mantener una perspectiva equilibrada a la hora de disear las evaluaciones participativas a fin de garantizar un enfoque pragmtico para producir resultados de calidad. El Anexo B explica en mayor detalle cmo implementar evaluaciones participativas y describe las prcticas que han tenido xito en el terreno. 4.3 Integrar la igualdad de gnero En Nuestro compromiso con el desarrollo sostenible, la ACDI seala que la plena participacin de las mujeres es un factor esencial para lograr el desarrollo sostenible y reducir la pobreza. En ese sentido, la Agencia est firmemente comprometida con la participacin plena y equitativa de todas las personas, sean hombres o mujeres, en el desarrollo sostenible de sus comunidades y sociedades.
La Poltica de la ACDI sobre la igualdad de gnero (1999) exige que la igualdad de gnero debe ser considerada como parte integral de todas las polticas, programas y proyectos de la ACDI. Los objetivos de esta Poltica son: fomentar la participacin de la mujer y el hombre en igualdad de condiciones en la toma de decisiones para forjar el desarrollo sostenible de sus sociedades; apoyar a las mujeres y nias en el pleno ejercicio de sus derechos humanos; reducir las desigualdades de gnero en el acceso a los recursos y control de los mismos, al igual que respecto a los beneficios del desarrollo. Evaluar la igualdad de gnero significa, bsicamente, determinar de qu modo ha contribuido una inversin a la consecucin de los resultados relativos a la mejora de la vida de hombres y mujeres. Para ello es necesario: crear las condiciones adecuadas que permitan evaluar la igualdad de gnero, por ejemplo: hacer las preguntas adecuadas, asignar recursos suficientes, encontrar buenos evaluadores, escoger los mtodos de evaluacin pertinentes;
medir los resultados y comunicarlos teniendo en cuenta los objetivos establecidos en la Poltica de la ACDI sobre la igualdad de gnero; determinar las enseanzas aprendidas sobre la integracin de la igualdad de gnero para que las intervenciones de la ACDI en el futuro tengan en cuenta la experiencia adquirida por la Agencia en el mbito del desarrollo. El Anexo C presenta varias sugerencias para integrar los anlisis de la igualdad de gnero en las evaluaciones de la Agencia.
La etapa siguiente El marco de referencia de la evaluacin debera centrar su atencin directamente en cmo sacar el mximo provecho a la evaluacin y optimizar la participacin de las partes interesadas y la obtencin de resultados en materia de igualdad de gnero.
Captulo
Preparacin del marco de referencia
En este captulo: La utilidad del MdR Antes de comenzar La preparacin del MdR Lista de control del MdR
Los Directores de Evaluacin de la ACDI preparan el marco de referencia (MdR) una vez que se haya autorizado la realizacin de la evaluacin. El MdR presenta una visin general y una perspectiva conceptual preliminar de la evaluacin, orientando el proceso de evaluacin hasta que el plan de trabajo lo sustituye como principal documento de referencia. El plan de trabajo de la evaluacin, preparado por el evaluador, es ms detallado y conciso en la planificacin de la evaluacin, precisando y mejorando el contenido del MdR. Por lo general, las distintas partes intervinientes preparan en estrecha colaboracin el MdR, que posteriormente es aprobado por el Director del Centro de Responsabilidad que financia la evaluacin. 5.1 Para qu sirve el MdR El MdR expone las necesidades y expectativas iniciales de la direccin con respecto a la evaluacin. Ms concretamente, el MdR: identifica las razones por las que se realiza la evaluacin y los resultados que se espera obtener; describe la inversin objeto de la evaluacin y el contexto de desempeo; establece su alcance y objeto; gua la ejecucin de la evaluacin; establece el programa y calendario; ofrece una previsin presupuestaria.
El MdR se utiliza para: 1) dirigir la evaluacin; 2) facilitar la administracin interna; 3) contribuir a la seleccin del evaluador y la adjudicacin de contratos; y 4) preparar el plan de trabajo de la evaluacin. El MdR debe reflejar la prioridad que la GBR otorga a la consecucin de resultados, poniendo en relacin los resultados previstos con el mandato y prioridades de la Agencia. Los resultados deben tener en cuenta los factores establecidos en el Marco de resultados y factores claves de xito de la ACDI. La longitud del MdR (as como su profundidad) depende normalmente de la importancia y complejidad de la evaluacin. 5.2 Antes de comenzar Antes de comenzar a preparar el MdR, los Directores de Evaluacin deben disponer de la siguiente informacin bsica: la razn por la que se realiza la evaluacin; los aspectos que debe abordar; los recursos de que se dispone; los costos previstos; los conocimientos especializados necesarios; los plazos que han de respetarse.
Para garantizar la utilizacin responsable de los fondos, debe ponerse en relacin los costos de las iniciativas con los resultados. Resultados para los canadienses Secretara del Consejo del Tesoro, marzo de 2000
5.3 La preparacin del MdR En esta seccin examinamos algunos de los elementos esenciales que deben tenerse en cuenta a la hora de preparar el MdR. Ttulo Un buen ttulo debe ser breve, descriptivo y fcil de recordar. Un ttulo que pueda convertirse en un acrnimo fcil de pronunciar contribuye a facilitar las comunicaciones entre las partes. Introduccin Las evaluaciones suelen solicitarse en respuesta al deseo de la direccin de obtener informacin sobre el desempeo de una determinada inversin u organizacin. El texto debe explicar las razones por las que la direccin de la ACDI decidi realizar la evaluacin en cuestin y cules son los resultados que espera obtener. Deben identificarse asimismo los factores individuales que repercutieron en esa decisin. Asimismo, deber identificarse el valor agregado de la evaluacin. Perfil de la inversin Es necesario establecer el perfil de la inversin objeto de la evaluacin, prestando especial atencin a los resultados previstos y a la forma en que deben obtenerse. Se explicar la razn de ser de la evaluacin y su contexto particular en materia de desarrollo. Debe ponerse en relacin la razn de ser de la inversin con: 1) la reduccin de la pobreza y el desarrollo sostenible; 2) las prioridades de intervencin de la ACDI; y 3) las necesidades de los beneficiarios locales. Deber proporcionarse asimismo una indicacin general de los avances del proyecto o programa hasta la fecha. Alcance y objeto El alcance ofrece una indicacin de los aspectos principales que debe abordar la evaluacin, esto es, las cuestiones generales. El objeto de la evaluacin se determina realizando una serie de preguntas especficas que son esenciales y significativas respecto a esas cuestiones. Participacin de las partes interesadas En la ACDI, las evaluaciones deben tener un carcter participativo y se espera que las partes interesadas participen de forma directa y constructiva en la planificacin y el diseo, la recopilacin y el anlisis de informacin, la preparacin de los informes y la comunicacin de los resultados. Entre las partes interesadas pueden incluirse los beneficiarios, los gobiernos de los pases beneficiarios, otros donantes, los socios y otros interesados.
El MdR debe incluir: 1) una lista de todas las partes interesadas que participan en la inversin; y 2) una indicacin de las expectativas de la ACDI en cuanto al tipo de contribucin que esas organizaciones/personas realizarn a la evaluacin y el modo en que participarn en la misma. Papeles y responsabilidades El MdR debe describir brevemente cmo se estructurar la evaluacin, precisando claramente los papeles y responsabilidades de la Agencia y del evaluador. Por ejemplo: por lo general, la responsabilidad global de la evaluacin corresponde al Director de Evaluacin de la ACDI; el Director de Evaluacin de la ACDI debe encargarse tambin de administrar el proceso de evaluacin, orientar todas las etapas de la ejecucin y aprobar todos los documentos producidos; el evaluador es responsable de realizar la evaluacin, dirigir las actividades diarias, presentar informes regulares sobre la marcha de la evaluacin al Director de Evaluacin de la ACDI, establecer los resultados y preparar el informe de evaluacin final. Proceso de evaluacin En esta seccin se describe en lneas generales cmo debe llevarse a cabo la evaluacin. El MdR debe ofrecer la informacin adecuada para orientar y facilitar la preparacin del plan de trabajo. Por lo general, el evaluador deber: preparar un plan de trabajo a partir del cual pueda comenzar la evaluacin; realizar una visita sobre el terreno para recopilar informacin y consultar al personal de la ACDI y las partes interesadas; preparar el informe final de la evaluacin. Documentos exigidos Por lo general, el MdR exige que el evaluador produzca tres documentos esenciales: 1) un plan de trabajo de la evaluacin; 2) un informe preliminar inicial de la evaluacin a fin de ser examinado; y 3) un informe final de la evaluacin (acompaado de un resumen). Las normas para preparar el informe final estn definidas por los requisitos establecidos en esta Gua.
Las instrucciones relativas, por ejemplo, a la traduccin, la impresin, la publicacin en formato electrnico o copia impresa, o el nmero de ejemplares se limitarn a los aspectos que sea necesario determinar para orientar la produccin de los documentos exigidos. Debern describirse asimismo las expectativas en cuanto a la presentacin al Director de Evaluacin de la ACDI por parte del evaluador, de informes sobre la marcha de la evaluacin y las comunicaciones con las partes interesadas. Se puede establecer un calendario para la evaluacin, fijando fechas lmites para la presentacin de los documentos exigidos o la realizacin de otras actividades. Puede ser conveniente asimismo especificar fechas de entrega para la primera versin de los documentos. Es importante tambin que: las evaluaciones estn programadas estratgicamente a fin de acoplarse a los ciclos de toma de decisin de la ACDI; los plazos establecidos sean realistas y ofrezcan un margen suficiente para que la evaluacin pueda realizarse de acuerdo con las expectativas. Cualificaciones del evaluador En esta seccin se identifican las cualificaciones, experiencia, conocimientos especializados y competencias probadas que deben poseer los miembros del equipo de evaluacin para llevar a buen trmino la tarea encomendada por la ACDI. Entre los requisitos que deben reunir los miembros del equipo de evaluacin figuran: experiencia en la realizacin de evaluaciones, principalmente en evaluaciones previas de programas de cooperacin para el desarrollo y/o en la regin o pas en cuestin; competencias lingsticas; conocimientos tcnicos, analticos y sectoriales; la participacin prevista de empresas o especialistas locales; experiencia en la realizacin de evaluaciones participativas; niveles de desempeo demostrados. Podr prestarse especial atencin a: 1) la capacidad para realizar evaluaciones participativas; 2) el conocimiento de los temas transversales adquirido sobre el terreno (por ej.: igualdad de gnero); y 3) las expectativas en cuanto a la utilizacin de especialistas locales.
Previsiones presupuestarias
Las previsiones presupuestarias tendrn carcter confidencial para uso interno de la Agencia.
El Director de Evaluacin de la ACDI establece las previsiones presupuestarias para identificar la naturaleza y magnitud de los gastos con fines administrativos y financieros. Dichas previsiones deben corresponder a las expectativas de la direccin respecto a los costos previstos de la propia evaluacin, as como de los desplazamientos, comunicaciones, produccin de informes, etc. Deber establecerse asimismo una previsin respecto a las horas de trabajo para determinar el costo de los honorarios profesionales. En las previsiones presupuestarias se indicarn, de forma desglosada, los importes correspondientes a los honorarios profesionales (distinguiendo asimismo los gastos de profesionales canadienses y los de profesionales locales) y otros gastos. Con respecto a stos ltimos, se desglosarn los distintos elementos cuando la situacin lo permita. A menos que se adopte una perspectiva realista de lo que puede lograrse, un financiamiento insuficiente puede obligar a modificar el contrato durante la ejecucin de la evaluacin. Es importante prever un cierto importe para los imprevistos y para posibles errores de planificacin.
Texto modelo - Marco de referencia El Anexo D presenta un texto modelo para facilitar la preparacin del marco de referencia. La utilizacin de este texto permite trabajar basndose en una norma que satisface las expectativas de la Agencia.
5.4 Lista de control del MdR Conviene plantearse las siguientes preguntas:
Permite su MdR transmitir oportunamente a la direccin de la ACDI la informacin pertinente para facilitar la toma de decisiones estratgicas? describir adecuadamente las expectativas y razn de ser de la evaluacin del programa/ proyecto en cuestin? enunciar claramente los motivos por los que se realiza la evaluacin y los resultados que se espera obtener? describir cmo se organizar y llevar a cabo la evaluacin? comunicar las expectativas en cuanto a la participacin de las partes interesadas? establecer las cualificaciones que deben reunir los evaluadores? establecer las expectativas relativas a los documentos exigidos, el calendario de trabajo y los costos? garantizar un financiamiento adecuado que permita realizar el trabajo de acuerdo con las expectativas? prever un cierto importe para los gastos imprevistos con que responder a posibles deficiencias o factores inesperados?
La etapa siguiente La informacin contenida en el MdR permite proceder a la etapa siguiente del proceso de evaluacin, esto es, la seleccin del evaluador. Dicha seleccin puede comenzar tan pronto como el Director del Centro de Responsabilidad de la ACDI apruebe el MdR. Por lo general, el MdR se adjunta a la solicitud de preparacin de contrato y de asignacin de fondos que se presenta al Director del Centro de Responsabilidad en cuestin.
Captulo
En este captulo: Cmo se selecciona a los evaluadores La contratacin competitiva La contratacin de especialistas locales El establecimiento de la mejor relacin calidad precio La negociacin del contrato Ha escogido al buen candidato?
or lo general, la ACDI subcontrata las evaluaciones a profesionales externos. Se selecciona al candidato que se considera ms competente para producir los resultados deseados segn las expectativas de la Agencia. Resulta conveniente, por lo tanto, establecer con claridad cules son las cualidades exigidas en cuanto a cualificaciones, experiencia y competencias necesarias para cumplir las obligaciones contractuales. El candidato seleccionado ser el que rena los requisitos establecidos y ofrezca a la ACDI la mejor relacin calidad-precio. La ACDI ha adoptado un procedimiento de contratacin competitiva a fin de garantizar la transparencia, el tratamiento equitativo y la igualdad de oportunidades. Por otra parte, es beneficioso para la Agencia disponer de un amplio abanico de proveedores que puedan prestarle sus servicios. En qu consiste este procedimiento? Independientemente de la opcin de contratacin que se utilice, el desafo consiste en dar con la mejor relacin calidadprecio, respetando al mismo tiempo el principio de la competencia leal. Para que la evaluacin tenga xito, es esencial seleccionar un evaluador competente. De nada servirn los consejos ofrecidos o el control ejercido por la ACDI para garantizar el xito de la evaluacin si el evaluador seleccionado no puede, por la razn que sea, desempear su cometido con el nivel de profesionalismo previsto. As pues, es esencial invertir el tiempo y energa necesarios en el proceso de seleccin para minimizar el riesgo de elegir a un candidato inadecuado. A menudo, se confan las evaluaciones a un equipo integrado por varios evaluadores. En este caso, a la hora de seleccionar a los candidatos ideales debern evaluarse no solamente las cualificaciones individuales de los miembros del equipo sino tambin su capacidad real para trabajar en equipo.
Es importante asimismo tener en cuenta cmo desempearan sus funciones los evaluadores en el contexto de los pases beneficiarios, cuyas condiciones de trabajo son a menudo difciles.
Es imprescindible que el evaluador seleccionado tenga el tiempo y la capacidad de realizar la evaluacin de conformidad con las expectativas de la ACDI.
6.1 El proceso de seleccin La seleccin de los evaluadores se realiza mediante un proceso establecido de adjudicacin de contratos. La Agencia est comprometida con el uso de procesos que garanticen la transparencia, el tratamiento equitativo y la igualdad de oportunidades. Por lo general, la ACDI solicita a las empresas consultoras una propuesta para realizar la evaluacin y stas le proponen un equipo de evaluacin (o bien la ACDI utiliza algn otro mecanismo para iniciar la seleccin). Los candidatos son evaluados de acuerdo con la informacin suministrada en cada propuesta, en la que se describe la experiencia y conocimientos especializados de la consultora, as como los ttulos y cualidades de los candidatos propuestos para el equipo de evaluacin, en funcin de las exigencias especficas de la evaluacin. La contratacin de un evaluador implica por lo general cuatro etapas: 1) decidir cul ser el modo de seleccin; 2) seleccionar al candidato que ofrezca la mejor relacin calidad-precio; 3) notificar al candidato que ha sido elegido; y 4) negociar y firmar el contrato. El modo de seleccin escogido por la ACDI depende de las caractersticas de la evaluacin en cuestin y de los factores especficos de la misma. Los Directores de Evaluacin de la ACDI deben garantizar que el costo de un determinado proceso de seleccin pueda justificarse y que los requisitos que se exijan de los candidatos participantes no sean claramente excesivos.
6.2 La contratacin competitiva La ACDI est a favor de la competitividad en el proceso de seleccin. El empleo de un modo de seleccin que no sea competitivo (por ej.: recurrir a un proveedor nico) deber justificarse plenamente y habr de respetarse una serie de condiciones muy precisas. Los siguientes modos de adjudicacin de contratos son competitivos: las invitaciones a presentar propuestas anunciadas en el Servicio Electrnico de Licitacin (MERX) del Gobierno de Canad; los acuerdos de suministro regular durante un perodo determinado; los preavisos de adjudicacin de contrato (PAC); y las selecciones realizadas en virtud de acuerdos marco con organismos de servicio especiales. El MERX permite tener acceso a una amplia gama de posibles consultores. Los acuerdos de suministro regular dan acceso a consultores preseleccionados que renen los requisitos para realizar determinados tipos de trabajo. Asimismo, los organismos de servicio especiales que han suscrito acuerdos marco con la Agencia pueden proporcionar listas de consultores. En los pases beneficiarios a menudo es posible obtener fcilmente listas de especialistas locales, que pueden estar confeccionadas por la Seccin de Cooperacin para el Desarrollo o la UAP de la ACDI, la Embajada o la Alta Comisin, los donantes sobre el terreno o el gobierno local. 6.3 La contratacin de especialistas locales Ampliar la participacin contratando a especialistas locales puede fomentar el inters de la poblacin local por la evaluacin y hacer que se sienta ms afectada por sus resultados. La participacin local ayuda a ampliar la reserva de especialistas en los pases beneficiarios y puede aumentar las posibilidades de que se apliquen las recomendaciones resultantes de la evaluacin. Por otra parte, la participacin de especialistas contratados localmente permite aportar conocimientos locales a la evaluacin e incrementar la capacidad de establecer contactos. Una de las garantas que la ACDI puede exigir es que evaluadores u otros especialistas tcnicos locales participen de una forma u otra en la evaluacin. El MdR debe establecer clara y detalladamente los requisitos en materia de contratacin de especialistas locales.
6.4 El establecimiento de la mejor relacin calidad-precio Cmo escoger al mejor candidato? Qu cualidades debe buscar la ACDI al seleccionar a sus evaluadores? La seleccin del evaluador consiste ante todo en encontrar un evaluador competente que pueda completar la tarea y satisfacer las expectativas de la Agencia, y que ofrezca al mismo tiempo la mejor relacin calidad-precio. A la hora de considerar la propuesta de un evaluador frente a las de otros candidatos en el proceso de adjudicacin de contratos entran en juego tres factores clave: las cualificaciones del equipo de evaluacin; la estrategia y metodologa propuestas; el costo previsto de la evaluacin. Anlisis estratgico Es el evaluador adecuado para el trabajo? Si se trata de un equipo, sabrn trabajar juntos sus miembros con eficacia? Cmo ser la actuacin del equipo durante las visitas sobre el terreno? Cuenta el equipo con una experiencia probada para obtener los resultados previstos y satisfacer las expectativas? Responder a estas preguntas puede resultar difcil. La informacin de referencia apenas proporciona una indicacin de las capacidades para efectuar determinadas tareas. En ocasiones, realizar una valoracin adecuada puede desempear un papel ms importante que la propia informacin a la hora de seleccionar al evaluador idneo. Imparcialidad e independencia Es esencial que el candidato seleccionado no se vea en una posicin de conflicto de intereses como resultado de la adjudicacin del contrato. El candidato no deber haber participado ni previsto participar en la iniciativa objeto de la evaluacin o en cualquier otra iniciativa que pudiera crear un conflicto de intereses con respecto a la evaluacin en cuestin. Liderazgo y dinmica de equipo El liderazgo eficaz y la capacidad de gestin son esenciales. No puede restrsele importancia a la necesidad absoluta de que exista una qumica de equipo y que sus miembros se lleven bien, especialmente cuando deben realizar actividades en condiciones de trabajo difciles. Se espera que el equipo de evaluacin funcione sin problemas y con autoridad y conviccin, mostrndose sus miembros solidarios y con un propsito comn en todo momento.
Dominio de conocimientos bsicos La direccin espera que cada evaluacin incorpore y refleje las polticas, principios y prcticas establecidas de la ACDI. El candidato seleccionado deber tener por lo tanto un conocimiento prctico del mandato y las prioridades de la Agencia, de su poltica relativa a la GBR, del Marco de resultados y factores claves de xito, y de otras herramientas clave de trabajo. La experiencia de trabajo en pases beneficiarios puede ser primordial. Idealmente, el candidato seleccionado deber haber demostrado su capacidad para realizar evaluaciones exitosas en pases con condiciones de trabajo o caractersticas similares. Cualificaciones Los requisitos previos que debe reunir el evaluador en materia de conocimientos, competencias y experiencia dependen del trabajo que deba realizarse y de los resultados que se espere obtener con la evaluacin. Cmo decidir cules son los requisitos para una evaluacin concreta? Debern tenerse en cuenta los siguientes aspectos: conocimientos tcnicos, analticos y sectoriales; capacidad de abordar temas transversales; exigencias en cuanto a la participacin de empresas o especialistas locales; experiencia en la realizacin de evaluaciones participativas; niveles de desempeo demostrados; competencias lingsticas; capacidad para realizar consultas.
El xito de la evaluacin depende de la claridad de los papeles, la aplicacin de normas vlidas, el apoyo constante de la prctica profesional rigurosa, y la creacin de un entorno que permita a los gerentes incorporar la evaluacin en su trabajo. Poltica de Evaluacin Secretara del Consejo del Tesoro, abril de 2001
6.5 Ha escogido al buen candidato? Para saber si los candidatos sern capaces de satisfacer las expectativas de la ACDI, puede hacerse las siguientes preguntas generales.
Lista de control Cuenta el candidato con los conocimientos y experiencia necesarios para organizar y llevar a cabo todos los aspectos de la evaluacin de acuerdo con las expectativas de la direccin? Comprende el candidato cmo debe aplicar la poltica de la ACDI en materia de GBR, el Marco de resultados y factores claves de xito y otras herramientas relacionadas con el desempeo? Ha demostrado el candidato que es capaz de completar evaluaciones con xito ajustndose al calendario establecido y las restricciones presupuestarias? Posee el candidato las dotes de liderazgo necesarias para dirigir adecuadamente el equipo y establecer relaciones positivas con los socios y las partes interesadas? Rene el equipo de evaluacin propuesto los requisitos en materia de competencias y conocimientos tcnicos y sectoriales? Cuenta el equipo con experiencia de trabajo en el mbito de la cooperacin para el desarrollo, en la regin o pas en cuestin, o en pases similares, que confirme su capacidad sobre el terreno para realizar con xito la evaluacin?
Est el equipo suficientemente familiarizado con las costumbres y cultura locales, y posee las competencias lingsticas para desenvolverse eficazmente sobre el terreno? Cuenta el equipo con especialistas tcnicos capaces de analizar las cuestiones esenciales relativas a temas transversales (como la igualdad de gnero y el medio ambiente)? Ha demostrado el candidato que es capaz de realizar evaluaciones participativas de manera eficaz y eficiente? Comprende el candidato por qu debe contratarse a especialistas locales? Se ha tratado esta cuestin adecuadamente? Estn disponibles las personas propuestas y tienen tiempo para realizar la evaluacin con xito?
6.6 La negociacin del contrato El Director de Evaluacin de la ACDI selecciona al candidato idneo y lo recomienda al Director del Centro de Responsabilidad para que apruebe su decisin. Despus de que se haya aprobado la seleccin del candidato, se inicia la negociacin del contrato. Durante la negociacin, el Director de Evaluacin de la ACDI es responsable de representar los intereses de la Agencia y debe rendir cuentas de sus decisiones. El objetivo es llegar a un acuerdo mutuo sobre lo que tiene que hacerse, su plazo lmite y sus costos. Los agentes de negociacin de contratos de la ACDI pueden ser una valiosa fuente durante el proceso de contratacin.
Entre las posibles opciones de pago figuran: el contrato a precio fijo; el contrato de reembolso de los costos, aplicando un vitico fijo. Esta ltima opcin se utiliza cuando no es posible definir con precisin el alcance de la intervencin debido a circunstancias extraordinarias.
La etapa siguiente Una vez que se ha firmado el contrato, el evaluador est en condiciones de realizar la evaluacin. El contrato precisa cules son sus requisitos de cumplimiento, siendo por lo general el plan de trabajo de la evaluacin el primer documento que debe producirse. El plan de trabajo de la evaluacin es preparado por el evaluador y aprobado posteriormente por el Director de Evaluacin de la ACDI. El plan de trabajo permite al evaluador responder al MdR de la Agencia, aadiendo precisiones y ahondando en el proceso de planificacin, e identificando lo que se puede hacer dentro de los parmetros del proyecto. La evaluacin propiamente dicha se inicia con la implementacin de su plan de trabajo.
Captulo
Preparacin del plan de trabajo de la evaluacin
En este captulo: El papel del plan de trabajo de la evaluacin Aspectos estratgicos que se deben considerar La redaccin del plan de trabajo Lista de control del plan de trabajo La aprobacin
l evaluador debe examinar detenidamente todas las fuentes de informacin pertinentes a fin de disponer de los elementos que le permitan preparar su plan de trabajo. El evaluador puede consultar, entre otras, las siguientes fuentes de informacin: 1) el MdR; 2) documentos de planificacin y aprobacin de la inversin; 3) estudios de expedientes; 4) investigaciones documentales; 5) la memoria central de la Agencia; y 6) consultas al personal de la ACDI, las partes interesadas y otros intervinientes que posean conocimientos pertinentes para la inversin (mediante reuniones, entrevistas telefnicas, correspondencia electrnica). El Director de Evaluacin de la ACDI y el Jefe del Equipo de Evaluacin harn cuanto puedan para establecer una buena relacin de trabajo durante la etapa de planificacin, manteniendo un dilogo que facilite una buena comunicacin interpersonal durante todas las etapas de la evaluacin. Es importante que al finalizar el proceso de planificacin, ambas partes comprendan claramente y de la misma forma cmo se realizar el trabajo, sus papeles respectivos, las tareas a realizar y los plazos de presentacin de los documentos exigidos. 7.1 Papel y funcin Una vez aprobado por la ACDI, el plan de trabajo se convierte en el documento clave de gestin que permite orientar la evaluacin en funcin de las expectativas de la Agencia en todas las etapas del proceso de cumplimiento del contrato. Al preparar el plan de trabajo, el evaluador utilizar como punto de partida la propuesta presentada en el MdR para identificar lo que es factible, sugerir mejoras y aadir precisiones. El Director de Evaluacin de la ACDI debe mantenerse informado de la marcha de la evaluacin y se le podr solicitar que clarifique los requisitos o expectativas, o que ofrezca asesoramiento.
El plan de trabajo de la evaluacin deber abordar los siguientes elementos: descripcin general del programa o proyecto (contexto local, objetivos, gastos, alcance, resultados previstos, participacin de las partes interesadas); perfil de la evaluacin (razn de ser de la evaluacin, objetivos, principales destinatarios, anlisis de las partes interesadas, enfoque general); metodologa de la evaluacin (marco de la evaluacin, anlisis de bibliogrfico y documental, examen de la muestra de proyectos, entrevistas con los socios clave, grupos de discusin, problemas); papeles y responsabilidades; calendario de trabajo (plazos y fechas lmite, reparticin de las tareas); informes (de progreso, final). Qu longitud debe tener el plan de trabajo de la evaluacin? En general, el plan de trabajo deber ser lo suficientemente detallado para informar y controlar la evaluacin con eficacia. El evaluador debe esforzarse para que su plan de trabajo sea claro, conciso y preciso en la consecucin de su objetivo. 7.2 Aspectos estratgicos que se deben considerar A la hora de preparar el plan de trabajo de la evaluacin, puede resultar til examinar los siguientes aspectos: el plan de trabajo debe poner en relacin el diseo de la evaluacin con lo que la ACDI desea saber acerca del desempeo de la inversin; el plan de trabajo debe informar la evaluacin, identificando los resultados que se espera obtener, el proceso que se seguir, las responsabilidades de los distintos participantes y los plazos para realizar las tareas; los resultados que se espera obtener con la evaluacin deben estar enunciados con claridad, ser tiles para la ACDI y ser viables teniendo en cuenta los lmites impuestos por las realidades operacionales y los plazos previstos; debe animarse al evaluador a incorporar sus ideas y puntos de vista en el diseo de la evaluacin, a fin de que la ACDI pueda maximizar el valor agregado;
debe hacerse hincapi en la gestin iterativa durante la implementacin para incrementar la flexibilidad y capacidad de adaptacin a la situacin; no se debe limitar la innovacin y creatividad; los impactos de las inversiones deben ser considerados como un fenmeno que se manifestar a largo plazo; debe abordarse la necesidad de identificar cualquier resultado imprevisto que resulte atribuible a la inversin (sea positivo o negativo). El evaluador se remitir al Marco de Gestin del Desempeo (u otros documentos de planificacin y aprobacin preparados para la inversin) para identificar los resultados que se esperaba obtener. Es posible que para las evaluaciones que persiguen impactos ms complejos sea necesario enviar una misin de reconocimiento a los pases beneficiarios (antes de la preparacin del plan de trabajo) para tener una idea ms clara y comprender mejor todo lo que est en juego.
Las evaluaciones suelen requerir una visita al pas beneficiario a fin de recopilar informacin sobre el terreno. Los preparativos relativos a los desplazamientos debern formar parte del proceso de planificacin. Normalmente es el Director de Evaluacin de la ACDI, tras consultar con la oficina geogrfica y el personal de la ACDI sobre el terreno, quien se encarga de establecer las reglas que deber seguir el evaluador en el pas en desarrollo.
7.3 La redaccin del plan de trabajo Cmo debe ser un plan de trabajo? A continuacin describimos los elementos claves que deben incluirse en el plan de trabajo, as como su contenido y su carcter ms o menos detallado. Descripcin general de la inversin En esta parte se presenta en trminos generales la inversin objeto de la evaluacin. El texto suele limitarse a una o dos pginas. El contenido debe resumir el contexto local, los objetivos del programa o proyecto (resultados previstos), cmo est estructurada la inversin, la envergadura de la inversin y la participacin de los grupos interesados hasta la fecha.
Se analizarn los siguientes aspectos prioritarios: los vnculos con el mandato, las prioridades y objetivos de la ACDI; los resultados esperados (productos, efectos directos, impactos); el alcance de la inversin (identificando a los beneficiarios). Perfil de la evaluacin Por qu se realiza la evaluacin? Es preciso explicar las razones por las que la ACDI lleva a cabo la evaluacin. Qu espera obtener la ACDI con esta evaluacin? En esta seccin se debe presentar los objetivos de la evaluacin (cuestiones clave), y describir el enfoque general que se adoptar. Es necesario identificar los principales pblicos destinatarios y hacer un breve anlisis de las partes interesadas. Se analizarn los siguientes aspectos prioritarios: evaluacin de los progresos realizados en la consecucin de los resultados esperados; identificacin de las enseanzas aprendidas; presentacin de cualquier otra cuestin, tema, etc. a los que la ACDI desee prestar una atencin especial (por ej.: igualdad de gnero, medio ambiente). Debern mencionarse todos los documentos oficiales a los que se hace referencia. Metodologa de la evaluacin La metodologa de la evaluacin presenta la estrategia que se utilizar para determinar qu resultados pueden atribuirse a la inversin y cules son las enseanzas extradas del anlisis realizado por el evaluador. Para ello, el evaluador debe elaborar una metodologa que responda a las cuestiones clave que deben examinarse, y satisfaga los requisitos y expectativas establecidos en el marco de referencia. Se pretende formular una estrategia que permita lograr esos objetivos teniendo en cuenta la informacin disponible, lo que se puede hacer y las limitaciones temporales y de recursos impuestas.
La metodologa debe presentar: un diseo de evaluacin que describa un modelo lgico para evaluar la inversin que responda de forma eficaz y creble a las cuestiones clave de la evaluacin; un proceso para recopilar y analizar la informacin que permita identificar: 1) los resultados atribuibles a la inversin (a nivel de productos, efectos directos e impactos); y 2) las constataciones, recomendaciones, enseanzas aprendidas y buenas prcticas que facilitan y contribuyen a la cooperacin para el desarrollo; cualquier problema importante que el evaluador prev encontrar y que deber ser resuelto. Modelo de evaluacin El diseo o modelo de evaluacin puede concebirse como un conjunto de opciones que se caracterizan por su desviacin respecto al modelo de evaluacin ideal. Ese modelo ideal corresponde a una situacin terica que por lo general es imposible alcanzar en el mbito de la cooperacin para el desarrollo puesto que describe la comparacin de dos grupos idnticos en todos los aspectos salvo que uno de ellos ha sido expuesto al proyecto o programa financiado. La comparacin es la caracterstica comn de todos los modelos de metodologa que se analizan a continuacin. Los modelos experimentales o probabilsticos tratan de garantizar la equivalencia inicial de los grupos que se comparan, crendolos administrativamente mediante una reparticin aleatoria. Esta aleatorizacin supone aplicar un mtodo de muestreo probabilstico utilizando tablas de nmeros aleatorios, computadoras, etc. Los modelos comparativos utilizan grupos de comparacin para realizar deducciones de causalidad pero no recurren a la aleatorizacin para crear dichos grupos. El grupo expuesto a la inversin suele ser considerado como dado, mientras que el grupo de comparacin se selecciona para ofrecer la correspondencia ms estrecha posible. En los modelos implcitos, se formulan hiptesis respecto a las condiciones existentes antes de que se iniciara la inversin. No existe un grupo de control como tal. La estructura de la inversin y la existencia de fuentes de informacin pueden ser factores determinantes a la hora de escoger el diseo o modelo de evaluacin. Por ejemplo, si falta esa informacin bsica, es posible que los evaluadores deban basarse principalmente en el informe sobre el inicio de la inversin, las actividades de control, los informes de progreso o los informes de otros donantes a fin de realizar anlisis comparativos.
En general, son las limitaciones temporales y presupuestarias las que determinan qu tipo de modelo es viable. Cuanto mayor sea el nivel de rigurosidad y complejidad relativo a la metodologa, mayores sern tambin los costos y tiempo necesarios para realizar la evaluacin.
La atribucin de los resultados Una metodologa de evaluacin creble es la que permite establecer una relacin directa entre los resultados y la inversin evaluada, eliminando de esa manera otras explicaciones posibles. El desafo reside en establecer las deducciones de causalidad. Pueden descartarse factores externos (por ej.: una recuperacin econmica, otras inversiones)? Para la atribucin de los resultados obtenidos se utilizan las hiptesis, la argumentacin lgica y/o el anlisis emprico.
Marco de evaluacin El marco de evaluacin sistematiza la estrategia adoptada por el evaluador para realizar la evaluacin y resume lo que se va a medir y cmo se realizar dicha medicin utilizando un formato de matriz de uso sencillo. Incluir el marco de evaluacin de entrada en la seccin dedicada a la metodologa establece el fundamento lgico que sirve de base para responder a las cuestiones en las que se enmarca la evaluacin. El marco de evaluacin establece: las cuestiones de la evaluacin (preguntas a las que debe responder la evaluacin); las subpreguntas que ahondan en las cuestiones; los indicadores y/o variables de desempeo que deben tenerse en cuenta a la hora de evaluar la inversin; las principales fuentes de informacin; los mtodos de recopilacin de informacin. El documento Marco de resultados y factores claves de xito de la ACDI desempea un papel primordial a la hora de determinar las cuestiones que debe abordar la evaluacin y los resultados que deben identificarse. Las preguntas a las que debe responder la evaluacin deben ponerse en relacin con los resultados en materia de desarrollo y factores de xito establecidos en el Marco.
El grfico siguiente sugiere un esquema para el marco de evaluacin (incluye texto inicial a modo de ejemplo):
Marco de evaluacin
Cuestiones Subpreguntas Indicadores de desempeo Fuentes de informacin Recopilacin de la informacin Estudio de documentos Entrevistas para el proyecto Entrevistas con los socios clave Grupos de discusin Visitas sobre el terreno
1 Qu progresos se han hecho en la consecucin de los resultados previstos, a nivel de los productos, efectos directos e impactos?
En qu medida han contribuido los resultados reales a los resultados previstos? Qu resultados imprevistos (tanto positivos como negativos), de haberlos, pueden atribuirse a la inversin de la ACDI?
Gobernanza Mejora de las capacidades de instituciones parlamentarias, judiciales u de otro tipo pertenecientes a la funcin pblica en la prestacin de servicios de calidad; reformas constitucionales; transformacin del sector pblico Desarrollo de los recursos humanos Contribucin a la reestructuracin del sector de la educacin (por ej.: elaboracin de polticas, prestacin de servicios, diseo curricular)
Funcionarios de los gobiernos beneficiarios Beneficiarios Organizaciones de la sociedad civil Personal y agentes de proyecto, y gerentes de la divisin de programas de la ACDI Jefe de Misin, funcionarios del MAECI Personal del organismo de ejecucin y organizaciones asociadas Documentos sobre el pas, el programa, los proyectos
Indicadores de desempeo La seleccin de los indicadores debe fundamentarse en los documentos de aprobacin de la inversin y la aportacin de las principales partes interesadas (segn convenga). Debe tenerse debidamente en cuenta la importancia del contexto, la utilidad, el proceso y el presupuesto a la hora de escoger los indicadores adecuados.
La seleccin de los indicadores de desempeo La gestin basada en los resultados en la ACDI: Gua de introduccin a los conceptos y principios, presenta seis criterios clave para seleccionar los indicadores de desempeo: Mide el indicador el resultado? Se trata de una medida uniforme con el paso del tiempo? Cuando el resultado cambie, responder el indicador a dichos cambios? Ser fcil reunir y analizar la informacin? Ser til la informacin para el proceso de toma de decisiones y el aprendizaje? Puede permitirse el presupuesto de la evaluacin reunir la informacin? Debe tenerse en cuenta asimismo la sensibilidad del indicador con respecto al gnero.
Fuentes de informacin La investigacin y bsqueda documental, el estudio de expedientes y las consultas permiten en un principio establecer la existencia de fuentes de informacin. Se seleccionarn las fuentes de informacin que faciliten la medicin de los resultados para cada uno de los indicadores de desempeo. Adems, es posible que el evaluador descubra durante el transcurso de la evaluacin nuevas fuentes de informacin, a menudo durante las misiones sobre el terreno. El plan de trabajo debe ser flexible para adaptarse a dicha eventualidad. Las limitaciones temporales y presupuestarias limitarn la informacin que puede reunirse de forma realista. Es importante mantener una actitud estratgica y seleccionar las fuentes que sean ms tiles para el proceso de evaluacin.
Entre las posibles fuentes de informacin que puede utilizar el evaluador figuran: funcionarios de los gobiernos beneficiarios; beneficiarios; sociedad civil y organizaciones no gubernamentales; personal, agentes de proyecto y gerentes de la divisin de programas de la ACDI; Jefes de Misin, funcionarios del MAECI; gerentes y personal de los organismos de ejecucin y organizaciones asociadas; expertos de otros organismos donantes; expertos en la materia; documentos sobre el pas, el programa, los proyectos. Mtodos de recopilacin de la informacin El plan de trabajo debe describir con cierto detalle los mtodos seleccionados para recopilar la informacin, as como su aplicacin. El cuadro siguiente presenta seis mtodos utilizados corrientemente:
Investigaciones bibliogrficas y estudios de documentos Consultas Investigacin de informes, publicaciones, obras, o estudio de los expedientes del programa, cliente o participantes Reuniones personales o entrevistas telefnicas, o consultas a grupos de discusin Seleccin de muestras de proyectos para su examen a la hora de evaluar los programas, pases o regiones
Exmenes de muestras de proyectos (estudio de casos) Visitas sobre el terreno
Ofrecen una perspectiva sobre el contexto para la inversin y las actividades locales Ofrecen informacin cuantitativa y cualitativa recabada de un grupo seleccionado de encuestados Aporta los puntos de vista y conocimientos de expertos
Encuestas
Consulta de expertos
La utilizacin de guas de entrevista y cuestionarios contribuye a garantizar la uniformidad en la recopilacin de informacin. La recopilacin normalizada de informacin favorece su fiabilidad y validez, y facilita la agregacin de elementos de informacin. Es importante seleccionar instrumentos bien diseados, adaptarlos a las necesidades o crear nuevas herramientas. Puede resultar til localizar instrumentos utilizados en evaluaciones similares que han demostrado su validez y fiabilidad. Asimismo, puede ser una buena idea, especialmente en el caso de las evaluaciones complejas, realizar una prueba piloto.
La informacin recopilada slo tiene utilidad si est directamente relacionada con las cuestiones de la evaluacin y fomenta el aprendizaje acerca de las polticas, estrategias y prcticas de la cooperacin para el desarrollo.
Anlisis de la informacin El anlisis de la informacin permite transformar la informacin sin procesar reunida en una respuesta til y vlida a las cuestiones de la evaluacin. El objeto de este anlisis es proporcionar informacin creble que demuestre el desempeo de la inversin y las enseanzas que pueden extraerse. El cuadro que figura a continuacin presenta cinco tcnicas analticas utilizadas a menudo:
Anlisis estadstico Anlisis no estadstico Manejo de informacin cuantitativa y cualitativa para generalizar resultados Anlisis de informacin cualitativa, a menudo de forma inductiva, lo que permite adquirir una visin general de los resultados y las cuestiones difciles de cuantificar Transformacin analtica de los resultados directos medidos a fin de prever los efectos directos e impactos a largo plazo Utilizacin de modelos cuantitativos explcitos especficos para transformar un resultado cuantitativo en otro resultado cuantitativo (por ej.: simulacin, insumos-productos, modelos microeconmicos y macroeconmicos y modelos estadsticos)
Previsin de los efectos directos e impactos a largo plazo Utilizacin de modelos
Anlisis de costobeneficio y anlisis de costo-eficacia
Ofrece una informacin resumida del valor de la inversin En el anlisis de costo-beneficio se comparan los resultados, transformados en ventajas monetarias, con los costos de la inversin En el anlisis de costo-eficacia se comparan los resultados con los costos, pero sin transformar los resultados en unidades monetarias
Papeles y responsabilidades El plan de trabajo deber: precisar la composicin del equipo de evaluacin, identificando el papel y responsabilidades principales de cada miembro; identificar a los representantes de la ACDI, describiendo sus papeles y responsabilidades (por ej., los del Director de Evaluacin de la ACDI, los miembros del comit asesor, los representantes de la DGGRC, los consultores regionales contratados por la ACDI); incluir perfiles informativos breves (conocidos a menudo como reseas biogrficas) que describan las cualificaciones, experiencia y reas de especialidad de cada miembro del equipo de evaluacin (como anexo). Asimismo, se describirn en trminos generales las expectativas en cuanto a las responsabilidades de cada uno. Calendario de trabajo El plan de trabajo debe contener un calendario para el conjunto de las tareas que deben realizarse. Se fijar un plazo para cada una de las actividades individuales y se establecern fechas lmites para las etapas clave y la produccin de los documentos exigidos. El evaluador puede juzgar oportuno preparar una matriz del rgimen de trabajo, indicando el nmero de personas-das que cada uno de los miembros del equipo debera dedicar a la ejecucin de las tareas encomendadas.
El cuadro siguiente sugiere algunos de los elementos que podran incluirse en el calendario de trabajo:
Etapa Preparativos para la visita sobre el terreno Actividad clave/documento exigido/tarea Estudio de expedientes y documentos de la administracin central Entrevistas para el proyecto, entrevistas con los socios clave (Canad) Finalizacin de la logstica Sesiones informativas Visitas sobre el terreno Recopilacin de la informacin Informe sobre el terreno
Recopilacin de la informacin
Anlisis de la informacin Informe de evaluacin
Anlisis e interpretacin de la informacin Presentacin de las constataciones Anlisis estratgico Presentacin del informe preliminar de la evaluacin Proceso de aprobacin de la ACDI Presentacin del informe final
Informes El plan de trabajo debe incluir: Un calendario para la presentacin continua de informes sobre la marcha de la evaluacin al Director de Evaluacin de la ACDI por parte del evaluador, a fin de garantizar la realizacin de la evaluacin de conformidad con las expectativas y presupuesto disponible (se puede tratar tanto de encuentros regulares informales como de informes escritos formales). Sesiones informativas con el personal de la ACDI sobre el terreno tanto a la llegada al pas como al final de la visita. Un proyecto de esquema o ndice de materias para el informe final de la evaluacin Instrucciones que sirvan de gua para la preparacin del informe final. Es conveniente prever que, en caso de que surja cualquier problema o dificultad imprevista importante, se informe inmediatamente al Director de Evaluacin de la ACDI.
7.4 Lista de control del plan de trabajo La siguiente lista de control propone una serie de preguntas generales que pueden ayudarle a saber si su plan de trabajo es adecuado.
Lista de control Adquiere el lector una idea clara de la naturaleza de la iniciativa evaluada y de su relacin con el mandato y las prioridades de la ACDI? Se suministra informacin adecuada sobre los resultados previstos, el alcance y la importancia de la inversin? Se explica el papel que desempearn las partes interesadas? Se explican claramente las razones por las que la direccin decidi realizar la evaluacin? Se menciona la necesidad de extraer y aplicar las lecciones aprendidas con la experiencia? Se han identificado debidamente los papeles y responsabilidades principales de todas las personas que realizan una contribucin importante a la evaluacin? Es el modelo de evaluacin escogido un modelo lgico para recopilar y analizar la informacin que permita determinar qu resultados son atribuibles al programa? Permite la metodologa de evaluacin medir los resultados obtenidos a nivel de los productos, efectos directos e impactos? Guardan las cuestiones de la evaluacin una relacin estratgica con los resultados en materia de desarrollo y factores de xito descritos en el Marco de resultados y factores claves de xito de la ACDI?
Satisfacen los indicadores de desempeo seleccionados los criterios de eficacia, uniformidad, sensibilidad, viabilidad y utilidad? Se cumplen las expectativas de la ACDI en materia de informes sobre la marcha del proyecto, sesiones de informacin al principio y al final de la visita sobre el terreno, y el informe final? Se presenta un esquema que sirva de gua para elaborar el informe de la evaluacin? Presenta el calendario de trabajo una progresin lgica de las actividades que deben realizarse hasta la ltima etapa de la evaluacin? Se han establecido plazos para las etapas clave y principales actividades, y para la produccin de los documentos exigidos?
Texto modelo - Plan de trabajo de la evaluacin El Anexo E contiene un texto modelo para preparar el plan de trabajo de la evaluacin. La utilizacin de este texto permite trabajar basndose en una norma que satisface las expectativas de la Agencia.
7.5 La aprobacin El evaluador presentar al Director de Evaluacin de la ACDI una primera versin del plan de trabajo para su aprobacin. A fin de proceder a la aprobacin, normalmente se realiza una revisin del plan de trabajo antes de su finalizacin. El Director del Centro de Responsabilidad de la ACDI debe aprobar el plan de trabajo antes de que pueda iniciarse la evaluacin propiamente dicha. Una vez aprobado el plan de trabajo, se comunica a la misin lo que se espera de ella de forma que puedan iniciarse los preparativos necesarios para la visita sobre el terreno. Dado que todas las actividades a ejecutar se inscriben en dicho plan de trabajo, cualquier desviacin o modificacin importante de la estrategia utilizada para realizar la evaluacin conllevar una revisin del plan que deber ser aprobada posteriormente por la direccin de la ACDI.
Captulo
En este captulo: Consideraciones anteriores a las visitas sobre el terreno Lista de control Aspectos previos a la misin Consejos para las visitas sobre el terreno Identificacin de los resultados
legados a este punto, la ACDI ha aprobado el plan de trabajo de la evaluacin, delimitando claramente con el evaluador cmo debe llevarse a cabo la evaluacin y cules son los resultados que deben obtenerse. El desafo al que se enfrenta ahora el evaluador consiste en recopilar y analizar la informacin que utilizar para formular los resultados de la evaluacin. La etapa de recopilacin de informacin suele incluir: 1) investigaciones bibliogrficas y estudios de documentos; 2) consultas con encuestados de la administracin central o establecidos en Canad; y 3) una visita al pas o pases beneficiarios para recopilar informacin y realizar entrevistas a los socios principales (ACE, ONG, beneficiarios locales, donantes, personal de la ACDI, etc.), encuestas, sesiones con grupos de discusin, observaciones sobre el terreno, etc. Por lo general, durante la preparacin del plan de trabajo de la evaluacin ya se habrn realizado algunas actividades para reunir informacin (estudio de documentos, consultas, etc.). A continuacin, la informacin recopilada es analizada y transformada en resultados crebles, fiables y tiles que sern presentados en el informe de la evaluacin. Las constataciones, conclusiones, recomendaciones y enseanzas aprendidas presentadas en el informe de la evaluacin son compartidas con otros pblicos clave, permitindoles reflexionar sobre las lecciones extradas y la posibilidad de aplicarlas a otras actividades de cooperacin en el mbito del desarrollo para su beneficio. En este captulo, ofrecemos una visin estratgica sobre la recopilacin y anlisis de la informacin que: 1) hace hincapi en la importancia de estar bien preparado; 2) identifica los desafos que pueden plantearse; y 3) ofrece estrategias para satisfacer las expectativas y superar los obstculos.
Durante esta etapa, deber centrar su atencin constantemente en la mejor forma de producir resultados vlidos y crebles que doten a la evaluacin de una utilidad permanente durante la difusin y aplicacin de las enseanzas aprendidas.
8.1 Consideraciones anteriores a las visitas sobre el terreno Reflexionar sobre los siguientes aspectos estratgicos puede ayudarle a visualizar los desafos que le esperan y establecer ciertos valores fundamentales para mantener la evaluacin orientada hacia los resultados que deben obtenerse.
D participacin a las partes interesadas
En una etapa temprana, el evaluador debe elaborar una estrategia que establezca cmo se consultar a las partes interesadas durante la visita sobre el terreno. La identificacin de las partes interesadas ayuda a garantizar una participacin adecuada y representativa de todas las partes interesadas. En otras palabras, no es necesario recopilar todos y cada uno de los datos existentes para informarse de la situacin. Es importante ser selectivo a fin de obtener los mximos beneficios y ser rentable al mismo tiempo. Est dispuesto a aprender de la informacin reunida. Es posible que surjan alternativas que permitan obtener mejores resultados. Debe mantener una actitud receptiva a tomar decisiones intuitivas sobre la marcha para aprovechar al mximo oportunidades que podran dar buenos resultados. Debe aprovechar al mximo las oportunidades que se le presenten para compartir con las partes interesadas (durante la recopilacin de la informacin) las enseanzas aprendidas a fin de fomentar la credibilidad y consolidar las relaciones. Asegrese de que la direccin de la ACDI recibe informacin precisa, objetiva y equilibrada sobre la situacin en el terreno. A menudo, slo se transmiten las buenas noticias, mientras que se ignoran los problemas y dificultades. Este enfoque puede resultar costoso.
Sea selectivo en cuanto a la informacin recopilada
Sea receptivo a ideas mejores
Comparta las enseanzas aprendidas
Ofrezca a la ACDI un panorama completo de la situacin real
8.2 Lista de control Aspectos previos a la misin Revisar los siguientes puntos puede ayudarle a sentirse ms seguro de que est listo antes de emprender su visita sobre el terreno.
Lista de control Ha consultado el Director de Evaluacin de la ACDI a la oficina geogrfica y el personal de la ACDI sobre el terreno para determinar las reglas que deben seguirse en el pas o pases beneficiarios? Ha transmitido al personal de la misin su itinerario y otros documentos importantes (por ej.: el plan de trabajo de la evaluacin)? Se ha terminado de planificar la misin? Est satisfecho con los preparativos relativos a los desplazamientos? Estn listos los documentos de viaje? Ha cumplido todas las formalidades mdicas/ sanitarias y recibido los tratamientos necesarios? Son las oportunidades de recopilacin de informacin adecuadas para satisfacer las expectativas de la ACDI respecto a la evaluacin? Podrn sufragarse los costos de la recopilacin de informacin? Sigue siendo viable el calendario de trabajo establecido? Es necesario revisarlo? Es su estrategia de participacin de las partes interesadas adecuada segn la Agencia? Est listo para informar al personal sobre el terreno y las partes participantes a su llegada al pas beneficiario? Debera discutir algn otro aspecto con el Director de Evaluacin de la ACDI antes de emprender su viaje?
8.3 Consejos para las visitas sobre el terreno
Mantngase informado, aproveche al mximo lo que funciona y ponga de relieve los logros obtenidos
Respete los contextos locales y deles espacio
Comprenda bien el contexto en el que lleva a cabo sus actividades y mantngase en todo momento al corriente de la dinmica en juego (y tenga presentes sus implicaciones). Las caractersticas econmicas, sociales, polticas y culturales locales del pas beneficiario pueden desempear un papel primordial a la hora de determinar qu resultados pueden obtenerse. Demuestre una sensibilidad cultural y adptese a las creencias y costumbres locales. Las evaluaciones son molestas. Someten a las personas afectadas a exigencias adicionales e interrumpen su trabajo diario. Simplifique las cosas y minimice la carga. La mejor forma de combatir la reticencia a participar y el antagonismo en el terreno es: 1) poner de relieve los elementos constructivos; 2) mantener a los interesados continuamente informados mediante reuniones regulares; 3) mantener comunicaciones abiertas y francas con el personal de la misin, las ACE y las partes interesadas locales. Demostrar liderazgo es un elemento clave para mantener a las partes interesadas y socios orientados hacia la consecucin de los resultados deseados. Es importante comunicar con frecuencia los progresos realizados para motivar a los participantes y mantener informada a la direccin de la ACDI. Ocpese con rapidez de los problemas que surjan y no permita que los conflictos interpersonales se adueen del programa. Deje de lado ese tipo de distracciones. Es indispensable que los
Minimice los impactos negativos
Contrarreste la negatividad
Mantenga el buen rumbo
miembros del equipo trabajen al unsono para tener xito. Resuelva con rapidez cualquier malentendido o error de interpretacin antes de que cree problemas ms importantes. Respete las normas ticas A menos que se respeten las normas ticas, la credibilidad de su evaluacin puede peligrar. La competencia en la prestacin de servicios, la integridad en las relaciones y la responsabilizacin en cuanto al desempeo son aspectos clave. Es posible que entre en conflicto con sus socios en los pases en desarrollo debido a diferencias fundamentales en cuanto a los valores (por ej.: privacin a las minoras de sus derechos). En su respuesta debe tratar de encontrar el justo equilibrio entre el reconocimiento de las prcticas locales y el respeto de las convenciones internacionales. El plan de trabajo de la evaluacin constituye su frmula para satisfacer las expectativas de la direccin de la ACDI. Ofrece el recorrido a seguir para responder a las preguntas de la evaluacin y debe ser respetado y observado para que la evaluacin tenga xito. No obstante, las realidades del trabajo sobre el terreno a menudo incorporan elementos que pueden hacer fracasar los mejores planes. Mantener una actitud flexible, creativa e innovadora para superar esas dificultades le ayudar a mantener el buen rumbo de la evaluacin. Durante la misin sobre el terreno pueden surgir nuevas ideas que podran contribuir a hacer sus resultados ms convincentes. No debe desaprovechar esas oportunidades. En todos los casos, debe discutir los nuevos enfoques con el Director de Evaluacin de la ACDI antes de ponerlos en prctica.
Aborde debidamente las diferencias fundamentales en materia de valores
Mantenga la disciplina, sin dejar de ser flexible
Problemas relativos a la informacin que pueden surgir
Es posible que deba demostrar sus dotes de liderazgo y don de gentes para ocuparse de: el rechazo a reconocer la existencia de informacin; la ausencia de buena informacin que permita responder a las preguntas; la falta de informacin o su mala calidad; los problemas de validez o fiabilidad de la informacin; informacin contradictoria; el carcter delicado de determinada informacin difcil de divulgar; las pruebas de que se ha cometido algn tipo de delito.
Resolver las dificultades
A menudo los evaluadores se enfrentan a dificultades imprevistas durante su labor sobre el terreno. En algunos casos se pueden resolver las dificultades simplemente aplicando los valores y principios ticos fundamentales o prcticas de gestin demostradas. No obstante, las dificultades pueden ser ms complejas y presentar dimensiones nicas que requieren soluciones nicas. La facilidad para negociar puede convertirse en una importante cualidad cuando se trabaja en los pases beneficiarios. A menudo, la bsqueda del consenso y el compromiso pueden ser el nico recurso prctico para conciliar a los socios locales sin poner en peligro la evaluacin. Por lo general, la adopcin de decisiones unilaterales y precipitadas no es la respuesta. Superar las dificultades para encontrar la solucin adecuada suele requerir consultar a los socios/ partes interesadas para discutir lo que debera hacerse.
Consejos tiles Los buenos lderes saben mantener a los socios orientados hacia la consecucin del resultado deseado y miden a menudo el progreso realizado a fin de motivarlos y mejorar la gestin. Para calmar las rivalidades personales y las luchas por el poder, es necesario volver a orientar a los socios hacia la consecucin del resultado deseado. Steps to Successful Performance Partnerships Oregon Model
8.4 Identificacin de los resultados El siguiente paso consiste en concentrarse en las cuestiones de la evaluacin, extraer las enseanzas aprendidas y elaborar resultados exactos, crebles y tiles que midan los logros obtenidos con relacin a los resultados que se esperaba obtener con la inversin. Se pueden utilizar las siguientes tcnicas analticas: 1) anlisis estadsticos; 2) anlisis no estadsticos; 3) proyeccin de los efectos directos e impactos a largo plazo utilizando los resultados directos; 4) modelizacin; y 5) anlisis de costo-beneficio y anlisis de costo-eficacia. A la hora de formular sus constataciones, conclusiones, recomendaciones y enseanzas aprendidas, es importante examinar desde el punto de vista ms amplio la utilidad que ofrece la informacin recopilada. Al elaborar los resultados, se harn todos los esfuerzos posibles para reducir las distorsiones, errores y malas interpretaciones. La informacin contradictoria ser comprobada y revisada, se dar mayor peso a las fuentes fiables y se velar por que la informacin importante se tenga en cuenta. Los resultados crebles se derivan de mltiples fuentes de informacin y guardan una relacin directa con la inversin evaluada, eliminando de ese modo otras explicaciones posibles. Idealmente, la informacin que ha reunido y analizado le permitir formular recomendaciones que se aplicarn segn convenga, as como compartir los resultados de la evaluacin con los principales pblicos, quienes se beneficiarn de ellos. Sin embargo, la verdadera utilidad de los resultados de la evaluacin slo se manifestar cuando su trabajo contribuya a la toma de decisiones ms eficaz y mejor fundamentada, y la adopcin de medidas concretas para mejorar las intervenciones.
Sesiones informativas para el personal de la misin Al final de su visita sobre el terreno, el Jefe del Equipo de Evaluacin debe ofrecer una sesin informativa para el personal de la ACDI a fin de comunicar a la misin sus primeras impresiones y observaciones generales.
Captulo
Preparacin de los informes de la evaluacin
En este captulo: El papel de los informes de evaluacin Expectativas Consejos para preparar buenos informes La redaccin del informe (seccin por seccin) Lista de control para evaluar los informes de evaluacin La aprobacin
as evaluaciones deben contribuir en principio a lograr el desarrollo sostenible, reducir la pobreza y satisfacer otras prioridades de intervencin de la ACDI. Comprender qu es lo que funciona y lo que no funciona, y cules son las mejoras que deben hacerse promueve la toma de decisiones fundamentadas acerca de las opciones, enfoques y prcticas de intervencin. Los buenos informes de evaluacin apoyan este proceso, presentando con precisin y claridad las enseanzas extradas de las evaluaciones. Es imprescindible informar adecuadamente a la direccin de la ACDI del desempeo de sus inversiones. El objetivo principal de los informes de evaluacin es informar a la direccin de la ACDI de los resultados de la evaluacin. La informacin suministrada en dichos informes debe responder de forma detallada a las expectativas de la Agencia expuestas en el MdR y el plan de trabajo de la evaluacin. El informe mismo constituye la expresin ms duradera del valor de la inversin. En l se ponen de relieve las recomendaciones propuestas en el contexto del sistema de anlisis del desempeo de la ACDI para fomentar la adopcin de medidas, las actividades de seguimiento o la creacin de conocimientos. Las intervenciones de la ACDI sobre el terreno se ven mejoradas. Los beneficiarios disfrutan de las ventajas de su implementacin. Se comparten nuevos conocimientos con la comunidad de cooperacin para el desarrollo. La preparacin de los informes de evaluacin supone un gran reto. Gracias al informe, el lector deber comprender bien por qu se tom la decisin de realizar la evaluacin, en qu ha consistido, qu resultados se han obtenido y qu enseanzas se han extrado para su aplicacin futura. Los evaluadores deben identificar de manera justa y objetiva los resultados crebles, fiables y tiles que pueden atribuirse directamente a la inversin evaluada. Los resultados de la evaluacin se presentarn siguiendo una progresin lgica adecuada, y se basarn en hechos y conclusiones extradas de la informacin recopilada.
Si bien la ACDI no impone un modo de presentacin normalizado para los informes de evaluacin, este captulo ofrece pautas para su preparacin e identifica los aspectos que deben abordarse. Se fomenta la flexibilidad a fin de que el producto final sea el ms adecuado para presentar con eficacia los resultados de la evaluacin.
Debe presentarse un resumen que exponga y apoye los resultados de la evaluacin para informar a la direccin de la ACDI y su memoria central.
9.1 El papel de los informes de la evaluacin

Maximizar la contribucin y oportunidades de aprendizaje
Por regla general, los evaluadores preparan los informes de evaluacin para cumplir con los requisitos establecidos en el MdR y el plan de trabajo de la evaluacin. El Director de Evaluacin de la ACDI deber asegurarse de que el producto final: 1) cumpla con las obligaciones contractuales y las normas profesionales; 2) evale de forma justa y precisa el desempeo de la inversin examinada; y 3) ofrezca respuestas tiles y crebles a las cuestiones de la evaluacin. Antes de empezar a redactar el informe, el evaluador debe consultar al Director de Evaluacin de la ACDI y debatir con l su estructura y contenido para ponerse de acuerdo sobre lo que se espera del informe. Asimismo, se acordar el calendario para completarlo. Debe tener presente que la claridad y concisin pueden atraer a un nmero mayor de lectores dado que son pocas las personas que tienen tiempo para leer largos informes. El informe deber ser lo suficientemente detallado para informar con eficacia a los principales destinatarios de las enseanzas extradas de la evaluacin, y recomendar formas fundamentales de mejorar las intervenciones de la ACDI. Es posible que las inversiones de mayor valor y complejidad requieran informes ms largos.
Los informes de la evaluacin sirven para: Informar a la direccin de la ACDI: La funcin esencial de los informes de evaluacin es informar a la direccin de la ACDI de las constataciones, conclusiones, recomendaciones y enseanzas fruto del proceso de evaluacin. De hecho, la decisin de realizar las evaluaciones se basa, a menudo, en las exigencias de contar con informacin sobre el desempeo manifestadas por la direccin de la Agencia. Asesorar a los organismos de ejecucin: Las personas que intervienen en la realizacin del programa/proyecto necesitan saber de forma intrnseca si las iniciativas en las que participan tienen un buen o mal desempeo y cules son las recomendaciones propuestas. Dar participacin a las partes interesadas: Compartir informacin con los beneficiarios locales, los gobiernos beneficiarios, las ONG y otros organismos donantes ayuda a adquirir nuevos conocimientos sobre prcticas eficaces, a comprender mejor los logros que la Agencia trata de obtener y a generar apoyo a los mismos. Los participantes en el proceso de evaluacin pueden reflexionar sobre las actividades para el desarrollo e involucrarse de forma activa en el fortalecimiento de los programas de la Agencia. Demostrar responsabilizacin y transparencia: Los canadienses esperan que las instituciones federales sean organismos centrados en los valores y la consecucin de resultados. Para ello, los informes de evaluacin establecen niveles de desempeo y miden la adecuacin de la asignacin de recursos en la utilizacin de los fondos del erario pblico.
Aplicacin de las recomendaciones Los evaluadores desean que las recomendaciones formuladas sean aplicadas y la informacin sea compartida con el mayor nmero posible de personas. No obstante, en ocasiones esto no ocurrir o no debera ocurrir. La direccin de la ACDI aporta una comprensin ms amplia del contexto, las inquietudes y las limitaciones, que puede influir en las decisiones relativas a la difusin de la informacin. La prerrogativa de determinar el uso de la informacin no debe aplicarse a fin de evitar tomar medidas difciles que estn justificadas.
9.2 Satisfaccin de las expectativas La tarea a la que se enfrenta consiste en preparar un informe de evaluacin que describa su anlisis del desempeo del proyecto/programa evaluado y presente informacin esencial. Qu enseanzas aprendidas le permiten responder a las cuestiones de la evaluacin planteadas en el plan de trabajo? Qu sugiere y confirma la informacin obtenida? Qu resultados ha conseguido la inversin de la ACDI con respecto a las expectativas establecidas durante las etapas de planificacin y diseo? Se han producido resultados imprevistos? Qu recomendaciones ayudaran a mejorar las intervenciones de la ACDI, tanto con relacin especfica a la inversin evaluada como a nivel ms general? Qu enseanzas aprendidas podran beneficiar a otras iniciativas de cooperacin para el desarrollo? Al elaborar las respuestas a estas preguntas, los evaluadores deben seguir una progresin lgica para llegar a interpretaciones tiles y vlidas de la informacin recopilada. Una metodologa de evaluacin creble utiliza mltiples fuentes de informacin y permite establecer una relacin directa entre los resultados y la inversin evaluada. A fin de atribuir los resultados a la inversin es necesario eliminar otras explicaciones a fin de establecer deducciones de causalidad. Para lograr este objetivo, los evaluadores deben utilizar hiptesis, la argumentacin lgica y/o el anlisis emprico.
Elementos esenciales del informe Resumen Introduccin Perfil de la inversin Perfil de la evaluacin Constataciones de la evaluacin Conclusin Recomendaciones Enseanzas aprendidas Anexos (segn sean necesarios)
9.3 Consejos para preparar buenos informes
Piense desde el primer momento de la evaluacin en cmo se utilizarn sus resultados. Las recomendaciones y las enseanzas sern ms tiles si estn concebidas para facilitar la implementacin. Limite su nmero y presente las que sean ms importantes y tiles. Escriba para todos los pblicos principales. Un aspecto importante que debe tenerse en cuenta a la hora de preparar los informes es el hecho de que los distintos tipos de pblico no poseen los mismos conocimientos ni necesitan el mismo tipo de informacin. Los lectores debern poder comprender con facilidad el contenido incluso si tienen pocos o ningn conocimiento tcnico. Es posible que sea necesario traducir el informe si algn sector del pblico no comprende la lengua en la que est escrito. Los informes escritos con claridad y concisin, y que explican con precisin los puntos principales facilitan la comprensin y el aprendizaje. Haga cuanto est a su alcance para minimizar el riesgo de que se malinterprete la informacin presentada. Haga que sus informes sean visualmente atractivos utilizando diseos, grficos y colores llamativos. Esta estrategia incrementa a menudo las posibilidades de lectura del informe. Durante la preparacin del informe, tenga a mano como referencia el Marco de resultados y factores claves de xito de la ACDI para no perder de vista los aspectos considerados prioritarios por la Agencia. Asegrese de que las recomendaciones sean realistas teniendo en cuenta el contexto de desarrollo y lo que es viable dentro de los lmites presupuestarios.
9.4 La redaccin de los informes de evaluacin
No es el nmero de pginas lo que determina el valor agregado.
La prioridad principal de las evaluaciones es ofrecer resultados crebles y tiles que reflejen el anlisis del desempeo realizado por el evaluador. Los informes de la evaluacin presentan los resultados clave a los que se ha llegado extrayendo las enseanzas aprendidas durante las etapas de recopilacin y anlisis de la informacin. El valor agregado se determina en funcin de: las respuestas del evaluador a las cuestiones planteadas por la evaluacin (constataciones, conclusiones); las recomendaciones para realizar mejoras; las enseanzas que mejorarn las actividades de cooperacin para el desarrollo. El evaluador debe analizar todas las enseanzas que ha extrado a fin de evaluar el desempeo de manera justa, objetiva y exacta. Los resultados deben extraerse de la informacin recabada durante la evaluacin. Es esencial que el anlisis sea exhaustivo y que las conclusiones estn plenamente justificadas por la interpretacin de la informacin, debiendo explicar con claridad el razonamiento que se ha seguido. La utilizacin de un lenguaje preciso reducir el riesgo de que se malinterprete la informacin proporcionada. La presentacin de la informacin debe seguir una progresin lgica desde los datos sin procesar hasta llegar a las conclusiones. El lector deber poder establecer una relacin entre las principales conclusiones extradas en la valoracin global del desempeo, las recomendaciones y las enseanzas aprendidas, y las pruebas establecidas gracias a la recopilacin y el anlisis de la informacin. El evaluador har referencias especficas a fuentes de informacin identificables. Utilizar un marco conceptual o modelo lgico puede resultar til para garantizar que no se haya olvidado ningn aspecto y que los elementos que constituyen la base de las conclusiones extradas se expliquen con claridad. El marco de evaluacin proporciona un excelente punto de partida para organizar los resultados y permite formular conclusiones que estn relacionadas con las cuestiones y preguntas planteadas en la evaluacin.
Los resultados proceden a menudo de distintas fuentes de informacin. En tales casos, es preciso que el evaluador utilice sus conocimientos y experiencia para realizar interpretaciones vlidas y precisas de la informacin. El modo de presentacin de las estadsticas justificativas y su grado de complejidad debern adaptarse a las necesidades del tipo de pblicos al que se dirigen. Tradicionalmente han sido la importancia y la complejidad de la evaluacin las que determinaban su longitud, variando los informes desde las 35 hasta las 85 pginas (sin incluir los anexos). La tendencia actual prefiere los informes ms concisos dada la probabilidad de que los pblicos clave no dispongan de demasiado tiempo para dedicar a la lectura de largos informes. No tiene mucho sentido preparar informes voluminosos si no llegan a conocimiento de los pblicos a los que se dirigen, no alcanzando por lo tanto sus objetivos. Es conveniente que los evaluadores opten de preferencia por las explicaciones sucintas y la informacin concluyente a fin de mantener el inters de sus lectores. A continuacin se analizan con mayor detalle los elementos clave de los informes de evaluacin. Resumen Debe prepararse una sinopsis concisa del informe que ofrezca una visin general de todos los elementos esenciales de la evaluacin y ponga de relieve al mismo tiempo los aspectos ms destacados del desempeo, las conclusiones, las recomendaciones y las enseanzas aprendidas. El resumen debe explicar brevemente la inversin y la evaluacin, y debe ofrecer al lector no iniciado una idea clara de qu es lo que se ha aprendido con la evaluacin. La experiencia muestra que, a menudo, el resumen tiene ms influencia y cuenta con un mayor nmero de lectores que el texto principal del informe. Se utiliza fundamentalmente a nivel interno para informar tanto a la alta direccin de la ACDI como la memoria central de la Agencia. El tono del resumen debe ser igual al utilizado en el resto del informe. Se limitar el empleo de elementos descriptivos dado el formato abreviado del resumen, que suele ocupar entre seis y diez pginas. A continuacin sugerimos un esquema para elaborar el resumen. Introduccin (incluidos el propsito del informe, alcance de la inversin y evaluacin) Descripcin general (incluidos el contexto para el desarrollo, perfil de la inversin, expectativas y metodologa de la evaluacin) Aspectos destacados del desempeo (declaracin global que describa la esencia de la evaluacin y ponga de relieve los resultados)
Conclusin Recomendaciones Lecciones aprendidas Introduccin Identifique brevemente el propsito del informe y describa el alcance de la inversin y la evaluacin. Si lo desea, tambin puede expresar su agradecimiento a las personas que hayan contribuido a la realizacin de la evaluacin. Esta seccin no debera exceder una pgina. Perfil de la inversin En el perfil de la evaluacin debe describir el contexto para el desarrollo en el pas beneficiario y todos los aspectos clave de la propia inversin para explicar de forma integral su papel, expectativas y situacin actual. Esta seccin deber abordar: las dimensiones econmicas, sociales, culturales y polticas, y la situacin de la infraestructura y estructuracin organizacional que caracteriza el contexto de desarrollo; los resultados que se esperaba obtener; la relacin entre la inversin de la ACDI y el desarrollo sostenible, la reduccin de la pobreza, la satisfaccin de las necesidades locales, la igualdad de gnero y otras prioridades de intervencin de la Agencia; otros elementos de informacin destacados: 1) cmo est organizada la inversin; 2) las etapas clave/logros obtenidos hasta la fecha; 3) los recursos financieros, 4) la participacin de las partes interesadas; y 5) los obstculos que influyen en el desempeo. Perfil de la evaluacin En esta seccin deber describir en trminos generales cmo se realiz la evaluacin y cul fue la metodologa utilizada, y explicar las funciones y deberes de los distintos miembros del equipo de evaluacin, esto es, sus papeles y responsabilidades. Las expectativas en cuanto al desempeo debern extraerse del marco de la evaluacin, prestando especial atencin a las cuestiones especficas que son esenciales para la evaluacin. Se presentarn las actividades (desde la recopilacin de la informacin hasta la elaboracin de los resultados) siguiendo un orden lgico claramente definido. Se incluir un itinerario de los lugares visitados.
El informe deber explicar cmo se ha respondido a las expectativas establecidas en el MdR y el plan de trabajo de la evaluacin. Se incluir el MdR en el informe de la evaluacin como anexo. El evaluador puede estimar oportuno asimismo incluir el marco de la evaluacin como anexo (o el plan de trabajo de la evaluacin en su totalidad). Debern identificarse las modificaciones realizadas. Sugerimos, adems, lo siguiente: identificar los factores que influyeron en la decisin de realizar la evaluacin; describir la participacin de las partes interesadas en la evaluacin; examinar la seleccin de los indicadores de desempeo; poner en relacin las fuentes de informacin con cada indicador de desempeo; identificar los mtodos de recopilacin de informacin, precisando: 1) cualquier mtodo de muestreo que se haya podido utilizar; y 2) los instrumentos de recopilacin de la informacin (en forma de anexo al informe); exponer los mtodos analticos, indicando especficamente las pruebas o convenciones estadsticas que se hayan utilizado; ofrecer una descripcin exacta y detallada de las limitaciones ms problemticas derivadas de la metodologa empleada. Constataciones de la evaluacin
Las constataciones son afirmaciones basadas en la informacin recopilada.
Presente sus constataciones respondiendo a las cuestiones planteadas en la evaluacin. El lector debera poder establecer un vnculo entre las constataciones y la informacin recopilada, haciendo referencias a fuentes de informacin identificables. La inclusin de ejemplos de la vida real aadir credibilidad y riqueza a su informe (lo que a su vez atraer ms lectores). La seccin sobre las constataciones de la evaluacin suele ser la ms larga del informe.
Conclusin El evaluador debe resumir el desempeo de la poltica/programa/proyecto evaluado con relacin a las expectativas establecidas durante la planificacin de la inversin. El evaluador debe limitar el nmero de conclusiones presentadas y seleccionar las ms importantes o cuya contribucin sea mayor. Recomendaciones Las recomendaciones son afirmaciones individuales derivadas de las observaciones realizadas, que indican qu debera hacerse en el futuro y quin debera hacerlo. Como tales: 1) proponen mejoras; y/o 2) identifican aspectos que deberan ser objeto de seguimiento. El evaluador debe explicar en qu se ha basado para formular las recomendaciones en cuestin, estableciendo una relacin con la informacin recopilada durante la evaluacin. Las recomendaciones debern ser prescriptivas (por ej.: la ACDI debera). Enseanzas aprendidas
Aprender a formular un principio de aplicacin general a partir de lo que se ha aprendido con una evaluacin especfica.
Las enseanzas aprendidas se definen como una hiptesis general basada en las conclusiones de una evaluacin especfica que establece o apoya un principio general y que en teora podra ser til y beneficiosa en otras situaciones. Las observaciones realizadas por el evaluador pueden facilitar la elaboracin de nuevas orientaciones, estrategias y prcticas. Al formular las enseanzas aprendidas, el evaluador deber adoptar una perspectiva que vaya ms all de la evaluacin en cuestin, y utilizar sus conocimientos y experiencia a fin de que la informacin adquirida pueda servir para fines generales, aportando de esta manera un valor agregado a la Agencia. Es preferible que el evaluador elabore un conjunto limitado de enseanzas, centrndose en aquellas con ms posibilidades de ser aplicadas eficazmente en otros campos de actividad de la ACDI, en lugar de formular mltiples enseanzas que slo sern tiles en determinadas circunstancias y que retoman las constataciones de la evaluacin. El evaluador no debera formular ms de media docena de enseanzas esenciales (a fin de mantener la atencin en los aspectos ms importantes).
Existen dos tipos generales de enseanzas: las enseanzas en materia de desarrollo, que tienen que ver con la obtencin de resultados en el rea del desarrollo, la mejora de las prcticas de ayuda y la facilitacin de la consecucin de los objetivos prioritarios de intervencin de la ACDI; las enseanzas en materia de operaciones, relativas a la gestin y la administracin, cuyo objetivo es dar ideas para establecer un clima de trabajo favorable y buenas prcticas laborales. Estas enseanzas tienen que ver, entre otros, con la medida del desempeo, la coordinacin de las actividades de los donantes, las necesidades en materia de recursos, la formacin y coordinacin de equipos, las prcticas de adquisicin, los sistemas de ejecucin y presentacin de informes, la logstica, etc. Anexos Por regla general, los anexos, si bien no son indispensables para que el lector comprenda el texto del informe, contribuyen a ampliarlo, ilustrarlo o enriquecerlo. Se presenta como anexo la informacin que pueda interrumpir la circulacin y equilibrio del informe, o distraer o desconcentrar al lector. Los anexos ms corrientes son: una lista de acrnimos; el marco de referencia (de la evaluacin); el plan de trabajo de la evaluacin (o solamente el marco de la evaluacin); las reseas biogrficas que describen las cualificaciones, experiencia y reas de especialidad de cada miembro del equipo de evaluacin; una bibliografa de las fuentes (informes, publicaciones); una lista de las personas consultadas. Cuando los anexos son especialmente largos o muy tcnicos, a menudo se publican como documento independiente.
9.5 Lista de control - Evaluacin de los informes de la evaluacin
Lista de control
Ofrece el resumen al lector una explicacin clara y esencial de la inversin y la evaluacin? Presenta las enseanzas aprendidas con la evaluacin? Ha descrito las dimensiones econmicas, sociales, culturales y polticas, y la situacin de la infraestructura/organizacin que caracterizan el contexto de desarrollo? Ha puesto en relacin los resultados previstos de la inversin con el desarrollo sostenible, la reduccin de la pobreza, la satisfaccin de las necesidades locales, la igualdad de gnero y otras prioridades de intervencin de la Agencia? Ha explicado: 1) cmo est organizada la inversin; 2) las etapas clave/logros obtenidos hasta la fecha; 3) los recursos financieros; 4) la participacin de las partes interesadas; y 5) los obstculos que influyen en el desempeo? Son lgicas y estn claras las razones que justifican la realizacin de la evaluacin? Se explica la lgica en que se bas el diseo de la evaluacin? Ha identificado los resultados que se esperaba obtener con la evaluacin? Ha informado acerca de la contribucin de las partes interesadas a la evaluacin?
Se explican las cuestiones de la evaluacin en la seccin sobre la metodologa utilizada? Cules han sido las limitaciones experimentadas? Ha descrito los indicadores de desempeo, las fuentes de informacin y los mtodos para la recopilacin y anlisis de la informacin? Ha descrito adecuadamente el equipo de evaluacin? Permite el conjunto de sus constataciones comprender bien las enseanzas extradas de la evaluacin? Ha tenido debidamente en cuenta la importancia de los distintos aspectos en su presentacin? Est satisfecho con la validez de sus constataciones? Estn respaldadas por la informacin obtenida? Ha realizado una evaluacin profunda que presenta de forma clara y justa el desempeo real del programa/proyecto evaluado? Establece la conclusin un vnculo entre los resultados obtenidos y el Marco de resultados y factores claves de xito de la Agencia? Facilita su presentacin de los resultados la toma de decisiones fundamentadas? Estn sus recomendaciones respaldadas por la informacin obtenida? Son adecuadas teniendo en cuenta las enseanzas aprendidas? Son adecuadas en lo que a su alcance se refiere? Se ver facilitada la aplicacin de las recomendaciones por la forma en que han sido presentadas?
Estn las enseanzas presentadas respaldadas por la informacin obtenida? Son importantes? En su conjunto, reflejan toda la experiencia de aprendizaje? Se ver facilitada la aplicacin de las enseanzas por la forma en que han sido presentadas? Se han incluido como anexo al informe las reseas biogrficas de todos los miembros del equipo de evaluacin?
Texto modelo - Resumen El Anexo F contiene un texto modelo para la preparacin de los resmenes. La utilizacin de ese texto como punto de partida le ayudar a satisfacer las expectativas de la Agencia.
9.6 La aprobacin El evaluador presenta al Director de Evaluacin de la ACDI para su estudio una primera versin del informe de evaluacin. A fin de proceder a la aprobacin, normalmente se realiza una revisin para garantizar que el informe responda a las necesidades de la ACDI. El Director de Evaluacin de la ACDI debe aprobar el informe antes de que se empiece a difundir la informacin que contiene.
Captulo
Optimizacin de los resultados
En este captulo: Cmo lograr que la evaluacin sea til Compartir las enseanzas aprendidas
n informe de evaluacin relegado a una estantera polvorienta no aporta nada a la Agencia. Lo que determina el valor de una evaluacin en ltima instancia es la forma en que se utilizan sus constataciones, recomendaciones y enseanzas. Solamente se obtiene la mxima utilidad de las evaluaciones cuando sus resultados influyen de forma positiva en los procesos de toma de decisiones, mejorando de ese modo las prcticas de la cooperacin para el desarrollo. Las lecciones extradas de las evaluaciones crean una oportunidad para: fortalecer las intervenciones identificando las deficiencias, y contribuir a las polticas, estrategias y mtodos; determinar medidas correctivas para responder a los desafos y problemas; facilitar el aprendizaje institucional a fin de incrementar la capacidad de xito de la Agencia; informar a los principales pblicos acerca del desempeo de la Agencia. No obstante, cada una de estas ventajas depende de la utilidad ofrecida por la evaluacin, las estrategias elaboradas para comunicar los resultados y la forma en que la informacin difundida es utilizada en ltima instancia. Esta seccin examina las posibilidades para optimizar los resultados de las evaluaciones desde dos puntos de vista. Primeramente, sugerimos formas de sacar el mximo provecho de la propia evaluacin y, a continuacin, examinamos distintas opciones para comunicar los resultados. De ese modo, el evaluador mantiene su atencin centrada en cmo debe estructurar su evaluacin para que su contribucin sea til y permanente.
Una inversin en el saber
10.1 Cmo lograr que la evaluacin sea til
No pierda de vista sus objetivos
Cmo lograr que su evaluacin haga una contribucin til? Qu debe hacer para asegurarse de que lo que dice tambin ser til? Cmo puede responder a las expectativas de la ACDI? Considere la situacin en su conjunto Desde el principio hasta el final, piense en su evaluacin al mismo tiempo como una oportunidad y un medio. Una oportunidad de contribuir a mejorar la cooperacin para el desarrollo y el proceso de aprendizaje continuo compartiendo informacin. Un medio de hacer constataciones, extraer conclusiones y formular recomendaciones y enseanzas crebles, que sern tiles para los responsables de tomar decisiones. Desde el primer momento de la planificacin y diseo, y en todas las etapas posteriores de la evaluacin, hay que pensar en todo momento en el tipo de contribucin que la evaluacin puede hacer con el tiempo. El valor potencial de una evaluacin se incrementa cuando se adopta el punto de vista ms amplio para determinar las ventajas que se pueden obtener, empleando perspectivas a corto y largo plazo para la comunicacin de los resultados. Piense en la forma en que la comunicacin de los resultados puede contribuir a: mejorar las polticas y prcticas vigentes; conseguir los objetivos de aprendizaje de la Agencia; validar las hiptesis; encontrar nuevas soluciones a los problemas. Haga hincapi en la consecucin de resultados Ante todo, el objetivo central que debe tenerse presente en todo momento durante el proceso de evaluacin es la produccin de resultados vlidos, fiables y tiles. La ACDI debe estar bien informada para poder tomar decisiones eficaces. Las partes interesadas y otros intervinientes de la comunidad de desarrollo internacional pueden beneficiarse de las enseanzas extradas de la evaluacin. Por su parte,
los canadienses pueden saber cmo se estn gastando los impuestos que han pagado. Plantese las siguientes preguntas respecto a su evaluacin: Explicar de forma clara el desempeo del programa/proyecto, los resultados logrados y las lagunas que haya podido percibir? Identificar de qu modo ha contribuido la ACDI a lograr esos resultados? Establecer enseanzas tiles para enriquecer el acervo de conocimientos de la Agencia? Sea claro y sencillo La informacin debe ser presentada de tal modo que facilite la toma de decisiones fundamentadas, sea fcil de comprender y se preste lo menos posible a ser malinterpretada. La experiencia demuestra que la mejor forma de lograr este objetivo es transmitir lo que se quiere decir de forma sencilla. Los resultados deben ser pertinentes y tiles. Tratar de abarcar demasiada informacin puede resultar una tarea imposible, adems de ser contraproducente y costoso. No es necesario presentar todos y cada uno de los datos existentes para informar de la situacin.
Por qu los informes de evaluacin son a veces relegados al olvido La ACDI puede mostrarse decepcionada con la evaluacin (debido en ocasiones a una mala comunicacin con el evaluador) La metodologa de la evaluacin estaba mal concebida y no se adoptaron medidas correctivas Las recomendaciones no son ni pragmticas ni realistas, teniendo en cuenta las limitaciones financieras Se han producido cambios drsticos en la situacin que han despojado a la evaluacin de su pertinencia Debido a un desacuerdo entre los participantes y las partes interesadas, no se ha alcanzado el nivel de compromiso mnimo
10.2 Compartir las enseanzas aprendidas Comunicar los resultados no slo puede contribuir a mejorar el desempeo en materia de desarrollo y operaciones, sino que tambin puede facilitar una mejor comprensin y mayor consenso, generar apoyo a las intervenciones y crear numerosas oportunidades de aprendizaje. Cuanto ms se dan a conocer los resultados, mayor es su credibilidad y la posibilidad de que las recomendaciones sean aplicadas. Elaborar una estrategia para difundir los resultados Si bien las pautas pueden resultar tiles, por lo general las caractersticas nicas de cada evaluacin requieren una estrategia de difusin de los resultados adaptada a cada situacin concreta. Para empezar, responda a preguntas tales como: Quines son los distintos tipos de pblico destinatario? Cul es el mensaje clave que quiere transmitir? Qu informacin debe conocer cada pblico? Cul es la mejor manera de llegar a cada pblico? En qu aspectos hay que hacer hincapi? Una vez que haya identificado los distintos tipos de pblico destinatario y sus respectivas necesidades informativas, debe presentar la informacin de tal modo que cumpla con los requisitos establecidos por la ACDI. Por lo general, es el Director de Evaluacin de la ACDI quien determina qu tipo de informacin ser comunicada a las ACE, los gobiernos beneficiarios, las partes interesadas locales, otros donantes, etc. En ocasiones, podr tomarse la decisin de distribuir solamente informacin resumida a determinados pblicos.
Los participantes no deben contar con que todas las recomendaciones de la evaluacin sean (o deban ser) aplicadas. La direccin de la ACDI suele aportar una comprensin ms amplia del contexto, las restricciones y las limitaciones en materia de viabilidad. Es importante, sin embargo, no perder de vista la necesidad de tomar medidas que resulten necesarias, por muy difciles que sean.
Distribucin de funciones Durante las etapas de planificacin/diseo y ejecucin, el evaluador y la direccin de la ACDI suelen hacerse cargo conjuntamente de la comunicacin de los resultados. No obstante, una vez concluido el informe de la evaluacin, por lo general incumbe a la ACDI la responsabilidad de responder a la evaluacin y difundir la informacin. Normalmente, el centro de responsabilidad correspondiente deber: revisar las constataciones, conclusiones y recomendaciones a fin de identificar las que se aceptarn y apoyarn; preparar la respuesta de la direccin de la Agencia y asignar las responsabilidades para las medidas que se tomarn; implementar una estrategia de informacin para distribuir el informe de la evaluacin y cualquier otra informacin destinada a los principales pblicos. En algunos casos, los resultados de la evaluacin se agrupan en torno a reas temticas para ofrecer una presentacin ms general de los niveles de desempeo. Evaluar las opciones Por lo general, la comunicacin de los resultados da mejores frutos cuando se recurre a distintas tcnicas de comunicacin. El alcance y complejidad de la estrategia de difusin deber decidirse en funcin de la importancia de la evaluacin, y de su capacidad para hacer una contribucin real tanto a nivel interno como externo. Sesiones informativas En muchos casos, las sesiones informativas orales constituyen la mejor opcin para comunicar los resultados. Por lo general, renen a personas que comparten el mismo inters en la evaluacin y ofrecen una buena oportunidad para discutir los resultados y las medidas necesarias para mejorar la situacin. Los responsables de tomar decisiones con apretadas agendas de trabajo suelen preferir asistir a una sesin informativa que leer un largo informe. Debe distribuirse siempre a los participantes en las sesiones una copia del informe o de su resumen. Durante la evaluacin, es necesario mantener informados a los ministerios de los gobiernos beneficiarios acerca de la evolucin de la situacin y los niveles de desempeo. Al final de las visitas sobre el terreno, los evaluadores deben reunirse con el personal de la Agencia sobre el terreno y las principales partes interesadas para informarles al respecto.
Sea creativo. Las sesiones informativas orales pueden consistir en talleres o almuerzos de trabajo.
Memoria central de la Agencia La memoria central de la ACDI, que funciona como base de datos informatizada de la experiencia de la Agencia en el mbito del desarrollo, es el instrumento principal utilizado para recopilar y difundir los resultados de la evaluacin a nivel institucional. Se trata de un recurso imprescindible para mejorar la capacidad de la Agencia de aprender y facilitar la toma de decisiones fundamentadas. En el caso de las evaluaciones temticas y otras revisiones del desempeo importantes, se puede consultar el texto ntegro del informe de la evaluacin en la memoria central, en la que tambin se archivan los resmenes de todas las evaluaciones. Base de datos de enseanzas En esta base de datos electrnica se registran las enseanzas adquiridas por la ACDI acerca de la eficacia de la cooperacin para el desarrollo mediante sus actividades de medicin y presentacin de informes del desempeo. Consultar las enseanzas identificadas mediante las actividades de evaluacin de la ACDI permite a los evaluadores informarse mejor acerca de las experiencias de aprendizaje de la Agencia. Otras formas de comunicar los resultados Presentaciones ante el Comit Ejecutivo, Comit Consultivo en materia de Auditora y Evaluacin, y durante otras reuniones de la alta direccin de la ACDI Resmenes bilinges en las pginas web de la ACDI (Internet, EntreNous), anuncios por correo electrnico, publicaciones de la DGGRC y otras revistas, comunicados y boletines internos Distribucin de informes a las oficinas geogrficas, centros de responsabilidad de la Agencia, gobiernos beneficiarios, ACE, ONG, otros donantes, partes interesadas locales Catalogacin del informe en el fondo documental del Centro de Informacin sobre el Desarrollo Internacional de la Agencia y el Inventario de Evaluaciones del Comit de Ayuda al Desarrollo Presentaciones en seminarios, sesiones de estudio entre colegas, conferencias; comunicados de prensa; documentos en formato de preguntas y respuestas; referencias en discursos; artculos en publicaciones profesionales
Captulo
Preguntas ms frecuentes
Haga una contribucin slida al mbito de la cooperacin para el desarrollo, creando valor mediante el proceso de evaluacin
Preguntas generales 1 P: Qu es una evaluacin? R: El Grupo de trabajo sobre evaluacin de la ayuda del Comit de Asistencia para el Desarrollo (CAD) define una evaluacin en los siguientes trminos: Apreciacin sistemtica y objetiva de un proyecto, programa o poltica en curso o concluido, de su diseo, su puesta en prctica y sus resultados. Bsicamente, las evaluaciones ofrecen una oportunidad de aprendizaje para determinar qu es lo que funciona y qu es lo que no funciona, e identificar los aspectos que es necesario mejorar. Las evaluaciones demuestran integridad y objetividad, identificando resultados vlidos, ecunimes y precisos, respaldados por la informacin examinada. 2 P: Por qu realiza la ACDI evaluaciones? R: Los ministerios y organismos pblicos deben rendir cuentas de su desempeo y adoptar a menudo decisiones difciles respecto a la utilizacin de los fondos del erario pblico. La evaluacin ofrece una herramienta de gestin prctica para analizar el desempeo que ayuda a la Agencia a aprender de la experiencia con objeto de mejorar el diseo de sus nuevas iniciativas y la consecucin de los resultados previstos. Las evaluaciones suministran a la ACDI informacin veraz, til y pertinente con la que analizar las polticas, estructuras, programas y proyectos a fin de mejorar el proceso de toma de decisiones, de asignacin de recursos y de rendicin de cuentas. La disponibilidad de informacin estratgica basada en los resultados obtenidos permite al Presidente y al Comit Ejecutivo orientar adecuadamente las intervenciones en favor del desarrollo a fin de obtener los resultados previstos, al mismo tiempo que los gerentes pueden aumentar la eficacia y eficiencia de dichas intervenciones. Por otra parte, la responsabilizacin de la ACDI se ve dotada de mayor transparencia al
disponer la Agencia de mejores medios para rendir cuentas de sus actividades al Parlamento y a los propios ciudadanos canadienses. 3 P: Cmo se llevan a cabo las evaluaciones? Quin hace qu? R: Por lo general, la ACDI subcontrata las evaluaciones a un profesional, compaa u organizacin externa. En algunos casos, se considera preferible formar un equipo de evaluacin reuniendo a representantes de distintas compaas u organizaciones. El Director de Evaluacin de la ACDI es la persona responsable de la divisin de programas representativa (o de la Direccin General de Gestin del Rendimiento y los Conocimientos) que acta como representante de la Agencia, garantizando a realizacin de la evaluacin y su ejecucin (adecuacin del diseo, utilizacin de recursos, resultados obtenidos, etc.). Es tambin la persona de enlace con el evaluador. El evaluador es responsable de dirigir las actividades cotidianas y producir los documentos exigidos de conformidad con los requisitos contractuales establecidos en el marco de referencia (MdR) de la evaluacin. Se espera que todas las evaluaciones incluyan la participacin directa equitativa y til de las partes interesadas. 4 P: Qu proceso se sigue? R: Si bien el marco de referencia define en trminos generales los parmetros de la evaluacin, sta no podr iniciarse hasta que la Agencia no haya aprobado el plan de trabajo del evaluador. Durante la ejecucin, el evaluador debe velar por que la evaluacin siga por el buen camino y mantenga su objetivo estratgico de identificar resultados, y garantizar asimismo la utilizacin de prcticas de trabajo eficaces que permitan reducir el consumo de tiempo valioso y los recursos limitados de que dispone. La preparacin del informe de evaluacin y la difusin de los resultados ofrecen a la ACDI una oportunidad fundamental para promover el aprendizaje en su propia institucin y, de manera ms amplia, en la comunidad internacional dedicada a la cooperacin para el desarrollo. En la pgina siguiente, incluimos un cuadro general paso a paso de cmo se realizan las evaluaciones, una vez que han sido autorizadas por la direccin de la ACDI, y cmo se delegan las tareas al Director de Evaluacin de la ACDI y el evaluador.
El proceso de evaluacin de la ACDI

Etapa Marco de referencia Funcin El Director de Evaluacin de la ACDI establece el enunciado inicial de las expectativas y fija los parmetros y documentos que deben producirse Pasos Anlisis de las fuentes de informacin Realizacin de consultas Preparacin del marco de referencia Notificacin a la misin interesada Aprobacin de la ACDI Adopcin de un mecanismo de seleccin Establecimiento de una primera lista de candidatos Establecimiento de una lista prioritaria de candidatos Seleccin propiamente dicha Comunicacin de los resultados a los candidatos Negociacin del contrato Consultas, estudio de la documentacin, organizacin de los desplazamientos Elaboracin del plan de trabajo Aprobacin de la ACDI Notificacin a la misin interesada Organizacin/ reconocimiento sobre el terreno Recopilacin de la informacin Informes de progreso Informe sobre el terreno Anlisis de la informacin Identificacin de los resultados obtenidos Anlisis estratgico Preparacin del informe final Aprobacin de la ACDI Anlisis estratgico Extraccin de enseanzas Difusin de resultados Memoria central de la Agencia
El Director de Evaluacin de la ACDI selecciona al mejor candidato en funcin de las cualificaciones exigidas y requisitos en materia de desempeo
El evaluador prepara un plan de trabajo que describe cmo se realizar la evaluacin y qu objetivos deben obtenerse
El evaluador evala el desempeo para identificar los resultados
Informe de evaluacin
El evaluador informa a la direccin de la ACDI de las constataciones, enseanzas aprendidas y recomendaciones El Director de Evaluacin de la ACDI comunica las enseanzas aprendidas para promover una mejor cooperacin para el desarrollo
Difusin de los resultados de la evaluacin
5 P: Qu tipos de evaluaciones existen? R: Las evaluaciones pueden ser de dos tipos: formativas y sumativas. Las evaluaciones formativas suelen realizarse en una etapa ms temprana a fin de comprender mejor los logros que se estn obteniendo y la forma de mejorar el programa o proyecto. Las evaluaciones sumativas se realizan en una etapa avanzada de la realizacin del programa o proyecto, o bien a posteriori una vez terminado, a fin de evaluar su eficacia y establecer los resultados y utilidad general. En funcin de su orientacin, existen tambin distintos tipos de evaluaciones, entre otros: las evaluaciones temticas (por ej.: las que tratan de la igualdad de gnero, la satisfaccin de las necesidades humanas bsicas, el desarrollo de capacidades); las evaluaciones de programas, proyectos y otras inversiones; las evaluaciones institucionales de organizaciones multilaterales (por ej.: UNICEF, ACNUR) o de ONG internacionales, canadienses y locales. Por ltimo, las evaluaciones pueden clasificarse tambin en funcin del momento o de la etapa del ciclo de la inversin evaluada. Las evaluaciones intermedias sirven para medir el desempeo de la iniciativa hasta la fecha e informar al respecto, a fin de que puedan hacerse los ajustes y mejoras necesarias en el transcurso de su ejecucin. Las evaluaciones de final de etapa se llevan a cabo tras completar una etapa de las iniciativas que se componen de varias etapas y ofrecen informacin til para la ejecucin de las etapas siguientes. Las evaluaciones de final de proyecto/inversin o de programa se realizan una vez completada la iniciativa en cuestin. A menudo los resultados de una iniciativa a nivel social o de sus impactos no se dejan ver de inmediato sino que precisan cierto tiempo para manifestarse. Por consiguiente, este tipo de evaluacin puede limitarse a informar sobre los productos en materia de desarrollo y los primeros indicios de los efectos directos, sin ofrecer una indicacin realmente concluyente en cuanto al grado de consecucin de los objetivos a mediano y largo plazo. Las evaluaciones ex post de los impactos sirven para medir e informar del grado de consecucin de los resultados en materia de desarrollo que se ha alcanzado a mediano y largo plazo, fijndose principalmente en los efectos directos e impactos que resultan de los productos realizados.
6 P: Por qu es importante contar con la participacin de las partes interesadas? R: En su Marco de resultados y factores claves de xito, la ACDI considera primordial la participacin activa de los socios y beneficiarios locales en el diseo, ejecucin, control y evaluacin de las inversiones. La experiencia ha demostrado que los programas y proyectos que cuentan con la participacin eficaz e integral de las partes interesadas dan mejores resultados. Entre las ventajas que reporta dicha participacin se destacan: una orientacin ms pragmtica del programa, proyecto y/o evaluacin; el perfeccionamiento profesional, dotando a los participantes con los medios para su propia habilitacin; un mayor compromiso de los interesados, lo que favorece la sostenibilidad del programa o proyecto a largo plazo. El evaluador deber abordar la participacin de las partes interesadas desde dos perspectivas: las evaluaciones deben informar sobre el nivel de participacin de las partes interesadas en la propia inversin y evaluar su eficacia; las evaluaciones deben asegurarse que las partes interesadas participen activamente en ellas. 7 P: Cul es la mejor forma de hacer participar a las partes interesadas? R: Hacer participar a las partes interesadas es un proceso que puede consistir en cuatro etapas. Primeramente, el Director de Evaluacin de la ACDI debe identificar y evaluar las posibles partes interesadas (grupos beneficiarios, ministerios gubernamentales beneficiarios, organizaciones comunitarias locales, ONG, otros donantes, medios de comunicacin). Seguidamente, se evaluar estratgicamente cada parte interesada a fin de establecer las relaciones entre los grupos, sus intereses y la contribucin que pueden hacer. A continuacin, el Director de Evaluacin debe ponerse en contacto con las partes interesadas para informarles de la evaluacin, describir sus parmetros generales, comunicarles el nombre del evaluador e iniciar el dilogo. Debern respetarse las reglas habituales vigentes en los pases beneficiarios para las relaciones con las partes interesadas.
Seguidamente, el evaluador debe discutir con las partes interesadas para describirles la evaluacin, preguntarles si desean participar y debatir con ellas su posible participacin (si procede). Por ltimo, el evaluador integra la estrategia de participacin de las partes interesadas en el plan de trabajo de la evaluacin. Se informa a las partes interesadas que deban desempear un papel integral en la evaluacin de las expectativas y la marcha de la evaluacin.
Planificacin y diseo 8 P: Qu elementos se abordan en el marco de referencia? R: Al preparar el MdR, el Director de Evaluacin de la ACDI debe incluir los siguientes elementos: introduccin (razones de la evaluacin, resultados que se espera obtener); perfil de la inversin (contexto, razn de ser, etc.); alcance y objeto; participacin de las partes interesadas; proceso de evaluacin; documentos exigidos; cualificaciones del equipo de evaluacin; previsiones presupuestarias.
P: Qu elementos se abordan en el plan de trabajo? R: El evaluador prepara el plan de trabajo de la evaluacin para ahondar en los aspectos establecidos en el marco de referencia de la ACDI y presentar el modo en que se responder a las cuestiones de la evaluacin. El plan de trabajo de la evaluacin debe incluir los siguientes elementos: descripcin general del programa o proyecto (contexto local, objetivos, gastos, alcance, resultados previstos, participacin de las partes interesadas); perfil de la evaluacin (razn de ser de la evaluacin, objetivos, principales destinatarios, anlisis de las partes interesadas, enfoque general); metodologa de la evaluacin (marco de la evaluacin, investigacin bibliogrfica y estudio de documentos, examen de la muestra de proyectos, entrevistas con los socios clave, grupos de discusin, cuestionarios, problemas); papeles y responsabilidades; calendario de trabajo (plazos y fechas lmite, reparticin de las tareas); informes (de progreso, final).
10 P: Qu funcin desempea el marco de evaluacin? R: El marco de evaluacin sistematiza en un formato de matriz fcil de utilizar la estrategia adoptada por el evaluador para realizar la evaluacin. Determina cmo se llevar a cabo la evaluacin presentando en orden jerrquico las cuestiones que deber tratar y las preguntas que deber responder el evaluador, estableciendo el fundamento lgico que servir de base a las respuestas. Para cada una de las preguntas se identifican los indicadores de desempeo, las fuentes de informacin, los mtodos de recopilacin de informacin y la base de anlisis que se utilizar. Las preguntas a las que debe responder la evaluacin deberan guardar una relacin directa con los resultados en materia de desarrollo y factores de xito enunciados en el Marco de resultados y factores claves de xito de la Agencia.
Recopilacin y anlisis de la informacin 11 P: Qu fuentes de informacin puede consultar el evaluador? R: El evaluador puede consultar, entre otras, las siguientes fuentes de informacin: Investigaciones bibliogrficas y estudios de expedientes Documentos de planificacin Estudios de viabilidad Informes preliminares Informes de situacin Correspondencia Publicaciones Memoria central Consultas Personal de la administracin central de la ACDI Personal sobre el terreno Beneficiarios Autoridades locales Personal de los organismos de ejecucin Observaciones sobre el terreno Emplazamientos del proyecto Instalaciones sobre el terreno Personal del pas beneficiario Expertos sectoriales y temticos Otros donantes Organizaciones participantes Evaluaciones anteriores Obras Estudios y anlisis Enseanzas aprendidas Planes de gestin Marcos de desempeo Sitios web Internet
12 P: Qu mtodos de recopilacin de informacin se pueden utilizar? R: Entre los mtodos que pueden utilizarse figuran: 1) investigaciones bibliogrficas; 2) estudios de expedientes; 3) consultas y entrevistas; 4) observaciones sobre el terreno; 5) encuestas y cuestionarios; 6) consulta de expertos; y 7) estudios de casos.
D participacin a las partes interesadas a fin de lograr una mejor comprensin y un mayor consenso, promover el aprendizaje y generar apoyo a las intervenciones.
Informes de la evaluacin
Presente la informacin de tal modo que facilite la toma de decisiones fundamentadas y su comprensin, y reduzca el riesgo de que sea malinterpretada
13 P: Por qu es importante presentar informes peridicos? R: Presentar informes provisionales a la Agencia ayuda a garantizar que las evaluaciones se realicen de acuerdo con las expectativas y el presupuesto establecido. Mantener informadas a las partes interesadas les ofrece la oportunidad de dar a conocer su punto de vista y contribuye a incrementar su compromiso con los logros que se estn obteniendo. De acuerdo con la GBR, debe ejercerse un control a nivel interno de la marcha del trabajo a fin de proporcionar a los Directores de Evaluacin y las partes interesadas informacin en tiempo real sobre la utilizacin de los recursos y el grado de consecucin de los resultados.
14 P: Qu aspectos se abordan en el informe de la evaluacin? R: El siguiente esquema le puede resultar til.

Seccin Resumen Contenido Introduccin Acerca de esta evaluacin Factores contextuales clave Perfil de la inversin Resumen de las constataciones Conclusiones principales Recomendaciones clave Propsito del informe Principales pblicos destinatarios Alcance de la inversin Alcance de la evaluacin Equipo de evaluacin
Introduccin
Perfil de la inversin
Contexto de desarrollo (consideraciones econmicas, sociales, culturales, polticas) Objetivos, papel, organizacin de la inversin Relacin con el desarrollo sostenible, la reduccin de la pobreza, y otras prioridades y objetivos de intervencin Situacin actual (perspectiva general, etapas clave completadas hasta la fecha, etc.) Recursos financieros Participacin de las partes interesadas (hasta la fecha) Obstculos (que influyen en el desempeo) Razones por la que se realiza la evaluacin Objetivos Alcance Problemas, cuestiones, indicadores de desempeo, fuentes de informacin (marco de la evaluacin) Metodologa (actividades, mtodos analticos, limitaciones, etc.) Participacin de las partes interesadas Lugares visitados (itinerario) Presentacin general Constataciones especficas (agrupadas por factores, tal como se indica en el Marco de resultados y factores claves de xito)
Perfil de la evaluacin
Constataciones de la evaluacin
Seccin Conclusiones
Contenido Anlisis general del desempeo Conclusiones especficas (en respuesta a las cuestiones planteadas en la evaluacin) Enumeracin (razonada) Con identificacin del mbito correspondiente: desarrollo u operaciones Con identificacin del mbito correspondiente: desarrollo u operaciones
Recomendaciones Enseanzas aprendidas Buenas prcticas Anexos
La comunicacin de los resultados 15 P: Cmo se comunican los resultados de la evaluacin? R: Por lo general es el Director de Evaluacin de la ACDI quien determina las estrategias de comunicacin de los resultados y difusin de la informacin. En el caso de las evaluaciones intermedias y de final de etapa, es posible introducir medidas correctivas. Las evaluaciones realizadas una vez completada la inversin evaluada pueden aportar ventajas a otras iniciativas de desarrollo. La memoria central de la ACDI es el instrumento principal para: 1) difundir los resultados de la evaluacin a nivel institucional; y 2) ampliar las ventajas que aportarn las enseanzas extradas de la evaluacin. La base electrnica de enseanzas de la Agencia registra las lecciones extradas por la ACDI acerca de la eficacia de la cooperacin para el desarrollo mediante sus actividades de medicin y presentacin de informes del desempeo. Consultar las enseanzas identificadas mediante las actividades de evaluacin de la ACDI permite a los evaluadores informarse mejor acerca de las experiencias de aprendizaje y puntos de vista de la ACDI.
4321210987654321098765432109876543212109876543210987654321098765432 43212109876543210987654321098765432121098765432109876543210987654321 43212109876543210987654321098765432121098765432109876543210987654321 43212109876543210987654321098765432121098765432109876543210987654321 43212109876543210987654321098765432121098765432109876543210987654321 43212109876543210987654321098765432121098765432109876543210987654321 43212109876543210987654321098765432121098765432109876543210987654321 43212109876543210987654321098765432121098765432109876543210987654321 1 43212109876543210987654321098765432121098765432109876543210987654321
Otros medios posibles de difundir los resultados son: presentaciones ante el Comit Ejecutivo, Comit Consultivo en materia de Auditora y Evaluacin, y durante otras reuniones de la alta direccin de la ACDI; resmenes bilinges en los sitios web de la ACDI (Internet, EntreNous), anuncios por correo electrnico, publicaciones de la DGGRC y otras revistas, comunicados y boletines internos; distribucin de informes a las oficinas geogrficas, centros de responsabilidad de la Agencia, gobiernos beneficiarios, ACE, ONG, otros donantes, partes interesadas locales; catalogacin del informe en el fondo documental del Centro de Informacin sobre el Desarrollo Internacional de la Agencia y el Inventario de Evaluaciones del Comit de Ayuda al Desarrollo; presentaciones en seminarios, sesiones de estudio entre colegas, conferencias; comunicados de prensa; documentos en formato de preguntas y respuestas; referencias en discursos; artculos en publicaciones profesionales. Los seminarios, talleres, sesiones de estudio entre colegas y reuniones personales ofrecen a menudo la oportunidad de debatir las enseanzas aprendidas.
Hay que compartir la informacin durante todo el transcurso de la evaluacin a fin de informar a la direccin de la ACDI y fomentar entre las partes interesadas un mayor compromiso con los resultados conseguidos.
ANEXOS
Anexo A
Marco de resultados y factores claves de xito

A. Resultados en materia de desarrollo 1. Resultados alcanzados Qu progresos se estn haciendo en la consecucin de los resultados previstos a nivel de los productos, efectos directos e impactos? Contribuyen esos resultados a los objetivos generales de la Agencia de reducir la pobreza y fomentar el desarrollo sostenible, y/o a los esfuerzos para apoyar el desarrollo democrtico y la liberalizacin econmica en Europa Central y del Este? a) Resultados reales y previstos en el pas beneficiario. b) Resultados/beneficios reales y previstos en Canad. c) Resultados imprevistos. 2. Relacin costo-eficacia de los resultados Es razonable la relacin entre los costos y los resultados? a) Comparacin de los costos con los parmetros de referencia pertinentes, cuando sea posible, teniendo en cuenta los resultados alcanzados. b) Gastos reales correspondientes a los gastos previstos o justificacin detallada de cualquier discrepancia importante. 3. Pertinencia de los resultados Es pertinente la iniciativa teniendo en cuenta la situacin, las necesidades o los problemas a los que se propone responder? a) Adecuacin a las necesidades y prioridades de los beneficiarios, los socios locales, del pas, de la regin a la que se destina. b) Coherencia con las polticas de reduccin de la pobreza y fomento del desarrollo sostenible de la ACDI, y con otras polticas, prioridades y programas de la Direccin General, incluyendo los objetivos transversales de igualdad de gnero y sostenibilidad ambiental. c) Coherencia con la poltica exterior de Canad, incluidos los posibles beneficios para Canad. d) Coherencia con las intervenciones de organizaciones locales, organizaciones canadienses y otros donantes que tratan de responder a las mismas necesidades y problemas.
4. Sostenibilidad de los resultados Se mantendrn los resultados/beneficios una vez concluida la participacin de la ACDI? a) La poblacin local asume el control de las actividades del proyecto/programa y se compromete a alcanzar los resultados previstos y mantener los mtodos seleccionados a tal fin. b) Asignacin de recursos suficientes para mantener los beneficios/resultados, cuando proceda. c) Capacidad institucional adecuada y pertinencia continua para mantener los resultados. d) Poltica interior y marco institucional que propicien el mantenimiento de los resultados. e) Coyuntura nacional e internacional que propicien el mantenimiento de los resultados. B. Factores de xito 5. Asociaciones Se asume conjuntamente la responsabilidad en cuanto a la consecucin de los resultados? a) Participacin directa de los socios locales del pas, de los beneficiarios (incluidas las mujeres) en el diseo, ejecucin y seguimiento/evaluacin del programa/proyecto. b) Definicin clara y aceptacin por parte de los participantes de sus papeles y responsabilidades en el proyecto/programa. c) Los socios en la gestin del proyecto/programa poseen la autoridad e instrumentos necesarios para adoptar decisiones y tomar las medidas pertinentes. d) Creacin de nuevas asociaciones para obtener resultados. 6. Adecuacin del diseo Es adecuado el diseo y se fundamenta en conocimientos slidos del contexto local? Se han identificado y evaluado los riesgos, y formulado estrategias para garantizar un seguimiento continuo? Se han estudiado ideas y mtodos innovadores y creativos para obtener resultados? a) Las metas, objetivos, resultados e indicadores de desempeo responden a las normas de la ACDI en materia de gestin basada en los resultados, se establecieron utilizando mtodos participativos y se fundamentan en conocimientos slidos del contexto local, incluyendo la relacin entre los sexos y la situacin del medio ambiente.
b) Los recursos y servicios se adaptan bien a la situacin (incluidos los riesgos), las necesidades o los problemas identificados. c) El anlisis de riesgos en la etapa de planificacin da lugar a la formulacin de estrategias que garanticen un seguimiento continuo durante la ejecucin del programa/proyecto. d) Se ponen a prueba nuevos mtodos para disear proyectos/programas y nuevas formas de proceder. e) Se aplican las enseanzas aprendidas de la experiencia en materia de desarrollo y se consignan y divulgan las enseanzas aprendidas de los nuevos mtodos. 7. Utilizacin adecuada de los recursos Se cuenta con los suficientes recursos humanos, financieros y materiales, y se utilizan adecuadamente? Es completa, exacta y fiable la informacin financiera? Se utilizan los recursos con suficiente prudencia y probidad? a) Buenas polticas y procedimientos de gestin financiera, incluyendo los sistemas y prcticas de preparacin de presupuestos, la contabilidad y la preparacin de informes. b) Adjudicacin y gestin de contratos conforme a buenas polticas y prcticas de contratacin. c) Capacidad de Canad de suministrar los bienes y servicios necesarios para alcanzar los resultados previstos. d) Concordancia entre las necesidades y los conocimientos, competencias y cualidades personales de los principales participantes en el proyecto/programa. e) Gestin adecuada de los recursos humanos y materiales asignados al proyecto/programa. 8. Medidas documentadas y rpidas Hemos anticipado y respondido a los cambios basndonos en informacin adecuada? Hemos tomado las medidas necesarias para la buena gestin de los riesgos? a) Eficacia de las redes y mtodos para establecer y evaluar las grandes tendencias y los cambios importantes que pueden influir en el proyecto/ programa. b) Eficacia de los sistemas de vigilancia e informacin para la gestin de los riesgos internos y externos, y capacidad de reaccin adecuada y rpida a los riesgos y oportunidades que se presenten. c) Estrategias y prcticas adaptadas a la naturaleza y amplitud de los riesgos internos y externos a los que se exponen los fondos y activos del proyecto/ programa. d) Recursos y servicios prestados de manera que respondan eficazmente y se adapten a la situacin, incluyendo los riesgos, las necesidades, las oportunidades y los problemas.
Anexo B
Evaluaciones participativas
Sin una participacin constructiva de las partes interesadas locales, la orientacin de los resultados de la evaluacin sera canadiense.
ay ms probabilidades de que las partes interesadas contribuyan a la implementacin de los resultados de una evaluacin cuando han participado en su elaboracin. Tradicionalmente, las evaluaciones solan estar dirigidas por personas ajenas y a menudo se prestaba poca atencin a las expectativas locales y la posible contribucin de las partes interesadas. De hecho, las partes interesadas eran objeto de las evaluaciones, en lugar de participantes clave en las mismas. Los beneficiarios, las organizaciones locales y los gobiernos de los pases beneficiarios se vean desprovistos de un papel importante en las evaluaciones. La adopcin por parte de la ACDI de la GBR ha sido un paso decisivo para integrar la participacin directa de las partes interesadas en la obtencin de resultados sostenibles. La GBR hace hincapi en la importancia de contar con la participacin constructiva de las partes interesadas en todo momento, tanto en la etapa de diseo como durante la ejecucin. En el marco de las evaluaciones participativas, las principales partes interesadas pueden participar directamente en: el establecimiento de marcos para medir los resultados y presentar informes: qu es lo que se evaluar? quin participar en la evaluacin? cundo tendrn lugar las actividades previstas? qu mtodos se utilizarn? cmo se prepararn las constataciones y se comunicarn los resultados? el anlisis de los progresos realizados, la proposicin de soluciones y pautas para solucionar los problemas/desafos que surjan; la evaluacin propiamente dicha y la comunicacin de los resultados. No existe una estrategia nica para efectuar las evaluaciones participativas, sino que ms bien cada evaluacin exige una respuesta nica que responda a las expectativas de la ACDI y las partes interesadas, y tenga en cuenta el contexto local, las capacidades y disponibilidad de las principales partes interesadas y cualquier limitacin existente (por ej. de carcter financiero).
En qu consiste La calidad de una evaluacin se mide en funcin no slo de las recomendaciones que formula, sino tambin de: los resultados obtenidos; las ventajas que ha reportado. Las probabilidades de que un proyecto tenga efectos directos e impactos importantes son mayores cuando las partes interesadas participan directamente en la determinacin y la aplicacin de los resultados de la evaluacin. Tanto los Directores de Evaluacin de la ACDI como los evaluadores deben tomar la iniciativa de investigar la bibliografa existente sobre las evaluaciones participativas y las enseanzas que se pueden extraer. Una capacitacin formal puede resultar tambin til. Idealmente, se integran mtodos participativos en la inversin desde el principio (por ej., en las etapas de identificacin de las necesidades, ejecucin, seguimiento, etc.). De este modo se facilita el trabajo con las principales partes interesadas durante la evaluacin. Si no se ha previsto nada al respecto, corresponde al evaluador asegurarse de que las partes interesadas participen en el proceso de evaluacin. Los Directores de Evaluacin de la ACDI deben tomar decisiones importantes respecto al modo en que se realizar la evaluacin. Hacer hincapi en las ventajas de las evaluaciones participativas y crear las condiciones propicias para su implementacin durante las visitas sobre el terreno, constituye el primer paso en favor de una mayor participacin de las partes interesadas y de su apropiacin de los resultados. A continuacin se describen las etapas clave que deben seguirse para integrar la participacin de las partes interesadas en el proceso de evaluacin. Planificacin y diseo Decida cul es la mejor forma de incorporar la participacin de las partes interesadas como elemento integral de la evaluacin. Identifique a las principales partes interesadas (mujeres y hombres) e infrmeles de las ventajas/caractersticas de las evaluaciones participativas. Determine las necesidades en materia de informacin de las personas/grupos interesados y evale su capacidad/nivel de compromiso.
Prepare un marco/estrategia de participacin de las partes interesadas que enuncie claramente las expectativas, prioridades, actividades previstas, nivel de participacin, responsabilidades, etc. Determine cules son los costos asociados a la participacin de las partes interesadas (precise: capacitacin, recopilacin/anlisis de datos, trabajo sobre el terreno, transporte). Decida cmo se controlarn/documentarn las actividades de participacin de las partes interesadas. Analice, revise y mejore las estrategias de evaluacin para asegurarse de que incorporen mtodos y prcticas de eficacia demostrada. Ejecucin Organice la logstica por adelantado con las comunidades y organizaciones interesadas y asegrese de que el momento escogido, el propsito perseguido y las expectativas estn claros y son aceptables. Recopile y analice la informacin con las partes interesadas utilizando mtodos participativos. Discuta las soluciones/medidas con las comunidades/organizaciones/personas participantes. Tome decisiones con la comunidad acerca de las implicaciones de la informacin analizada para el proyecto y las partes interesadas. Juntos, capitalicen los puntos fuertes y busquen soluciones a los problemas. Informes/comunicacin de los resultados D a conocer los resultados de la evaluacin a las partes interesadas mediante sesiones informativas al final de su visita al pas. Decida cmo se presentarn los resultados (teatro, presentaciones, sketches, vdeo, informe escrito). Distribuya los informes y otros documentos informativos segn las necesidades de las partes interesadas. Asegrese en todo momento de que las partes interesadas transmitan la informacin hasta el nivel de base (es posible que deban hacerse traducciones).
Haga un seguimiento para saber si los resultados de la evaluacin (las enseanzas aprendidas) se tienen en cuenta en la toma de decisiones. Ponga de relieve los logros obtenidos. Enseanzas aprendidas Si bien cada evaluacin nos ensea algo, el provecho que nos aporte depender de la medida en que las enseanzas estn documentadas y se difundan posteriormente. Las evaluaciones participativas, que constituyen un fenmeno relativamente nuevo, ofrecen la posibilidad de adoptar un enfoque inclusivo para abordar una amplia gama de actividades de desarrollo. Los costos ms elevados de las actividades participativas se ven compensados generalmente por las ventajas que stas pueden reportar a largo plazo. Habida cuenta de la importancia que otorgan a la colaboracin, las evaluaciones participativas mejoran las posibilidades de producir resultados sostenibles que redunden en provecho directo de los beneficiarios de los programas/proyectos.
Qu es lo que funciona bien?

Infrmese acerca de los mtodos, sea audaz, aproveche al mximo lo que funciona y ponga de relieve los logros obtenidos.
A continuacin le hacemos varias sugerencias que pueden resultarle tiles. Cambie su forma de ver las cosas Renuncie a sus ideas y opiniones preconcebidas, y adopte una actitud favorable a la participacin para obtener resultados tiles y exactos. Acepte la idea de que es importante saber ceder el bastn de mando y establecer con las partes interesadas una relacin de cooperacin basada en el respeto mutuo y que favorezca su participacin. Reconozca la contribucin que pueden hacer grupos de personas marginadas o analfabetas (que son a menudo las que mejor conocen su entorno). Mantngase receptivo a todas las propuestas de los participantes (no piense de antemano que ya conoce todas las respuestas). Aprenda a confiar en la sabidura de las partes interesadas y a aprovecharla.
Establezca las bases de la participacin El marco de participacin de las partes interesadas debe ser sencillo, asequible y sostenible, teniendo en cuenta los recursos humanos y financieros disponibles. Haga hincapi en la mejor forma para las partes interesadas de contribuir a la produccin de resultados de evaluacin tiles y constructivos. Asegrese de mantenerse al corriente de la marcha y el progreso de la evaluacin para que se respeten los plazos. Recurra a recursos locales, haga hincapi en la capacitacin a fin de fortalecer la capacidad local. Todas las iniciativas deben complementar los controles/exmenes en curso. Fjese como objetivo el xito Si bien las estrategias iterativas contribuyen a la adaptabilidad y flexibilidad, la innovacin y la experimentacin sobre el terreno pueden incrementar el riesgo (prevea tal eventualidad en el presupuesto). Ofrezca a las partes interesadas la posibilidad de hacer descubrimientos, en un marco supervisado, que propicien el proceso de aprendizaje. Las actividades participativas no deben convertirse en un fin en s mismas, sino que deben ser oportunidades valiosas para reflexionar, analizar, resolver problemas y actuar. Aliente las discusiones amistosas, abiertas y francas, respetando al mismo tiempo las opiniones diferentes a las suyas y la sensibilidad particular de ciertas personas. Trate de superar las diferencias, deje de lado sus objetivos personales y evite los conflictos a fin de mantener la atencin centrada en los resultados de la evaluacin.
Anexo C
La integracin de la igualdad de gnero
La igualdad de gnero ... debe ser considerada como parte integral de todas las polticas, programas y proyectos de la ACDI. Poltica de la ACDI sobre la igualdad de gnero (1999)
a ACDI est firmemente comprometida con la participacin plena y equitativa de todas las personas, sean hombres o mujeres, en el desarrollo sostenible de sus comunidades y sociedades. La igualdad de gnero (IG) es una de las seis prioridades clave de intervencin de la Agencia y un tema transversal en todas sus actividades de desarrollo. Por ello, la IG constituye un objetivo fundamental de las actividades de la ACDI. Corresponde a la funcin de evaluacin velar por que los resultados en materia de IG sean debidamente considerados, evaluados y comunicados. Esta seccin informa al lector acerca de: 1) los resultados que la ACDI pretende obtener centrando su atencin en la IG; 2) lo que significa exactamente integrar la IG en el proceso de evaluacin; 3) la forma de integrar con xito la IG en las evaluaciones; y 4) las preguntas de la evaluacin recomendadas para que los resultados sean coherentes con el Marco de resultados y factores claves de xito de la Agencia. Objetivos de intervencin en el mbito de la IG La poltica de la ACDI sobre la igualdad de gnero establece los siguientes objetivos de intervencin: fomentar la participacin de la mujer y el hombre en igualdad de condiciones en la toma de decisiones para forjar el desarrollo sostenible de sus sociedades; apoyar a las mujeres y nias en el pleno ejercicio de sus derechos humanos; reducir las desigualdades de gnero en el acceso a los recursos y control de los mismos, al igual que respecto a los beneficios del desarrollo.
En qu consiste la integracin de la IG? Integrar la igualdad de gnero en las evaluaciones consiste en evaluar en qu medida ha contribuido una inversin de la Agencia a conseguir los resultados relativos a la mejora de la calidad de vida de los hombres y mujeres. Para ello es necesario: crear las condiciones adecuadas que permitan evaluar la IG, por ejemplo: hacer las preguntas adecuadas, asignar recursos suficientes, encontrar evaluadores debidamente cualificados y experimentados, escoger los mtodos de evaluacin pertinentes; medir y comunicar los resultados relativos a los objetivos de la Poltica de la ACDI sobre la igualdad de gnero y el Marco de resultados y factores claves de xito; determinar las enseanzas extradas de la inversin acerca de cmo se puede mejorar la IG de forma que las intervenciones futuras tengan en cuenta la experiencia adquirida por la Agencia en el mbito del desarrollo.
Cmo integrar con xito la IG? A continuacin presentamos algunos consejos tiles acerca de cmo se pueden abordar los resultados en materia de IG durante las etapas de planificacin y diseo, ejecucin, presentacin de informes y comunicacin de resultados de la evaluacin. Marco de referencia El MdR debe explicar con claridad: 1) cmo se integrar la IG en la evaluacin (razn de ser, alcance/objeto, participacin de las partes interesadas, responsabilidades, papeles y responsabilidades, documentos exigidos); y 2) qu espera aprender la ACDI acerca de los resultados en materia de IG. El MdR identifica de forma clara quin es directamente responsable de evaluar los resultados en materia de IG. Las cuestiones y preguntas clave de la evaluacin relativas a la IG deben basarse en la aportacin de todas las partes interesadas, tanto mujeres como hombres. Las cuestiones y preguntas deben ponerse en relacin con la consecucin de los objetivos de la Poltica de la ACDI sobre la igualdad de gnero y el Marco de resultados y factores claves de xito. Evite cuestiones incompatibles.
Las partes interesadas deben describirse segn su sexo, edad, origen racial y tnico, y situacin socioeconmica. Recursos Asegrese de asignar el tiempo y recursos necesarios a fin de responder a cualquier esfuerzo adicional requerido para evaluar los resultados en el mbito de la IG. Determine si el nivel de esfuerzo previsto es realista, teniendo en cuenta el enfoque participativo adoptado y la necesidad de realizar consultas detalladas con las partes interesadas Equipo de evaluacin Asegrese de que el Jefe del Equipo de Evaluacin comprende bien la importancia de la IG en el trabajo de la ACDI y es capaz de integrar con eficacia la IG en las constataciones, conclusiones y recomendaciones de la evaluacin. Asegrese de que los miembros del equipo de evaluacin cuenten con las competencias necesarias en materia de IG. Es posible que en ocasiones deba recurrirse a un especialista en la materia para complementar los puntos fuertes del equipo. Plan de trabajo de la evaluacin El evaluador debe analizar claramente y en profundidad las expectativas en materia de IG establecidas por la Agencia en el MdR (fijacin de resultados que deben obtenerse especficamente con relacin a la IG). Los mtodos de la evaluacin seleccionados deben prever la participacin equitativa de todas las partes interesadas, sean hombres o mujeres, durante el proceso de evaluacin. Deben elaborarse indicadores que tengan en cuenta la IG y permitan medir los resultados tanto cualitativos como cuantitativos en todos los niveles de la cadena de resultados. Las fuentes de datos deben prestarse a la recopilacin de datos desagregados por sexo. La muestra de consulta debe ser representativa de la clientela a la que se destina la inversin (sexo, edad, origen tnico y racial, y situacin socioeconmica). Informe de evaluacin El anlisis de las constataciones y conclusiones de la evaluacin debe basarse en datos desagregados por sexo, y mostrar de qu modo ha contribuido la inversin de la ACDI a la consecucin de los resultados en materia de IG.
Identifique los factores que contribuyeron a la consecucin de los resultados en materia de IG. Formule recomendaciones relativas a la IG para facilitar la toma eficaz de decisiones. Deben formularse las enseanzas extradas y buenas prcticas en materia de IG, que tendrn un carcter estratgico y podrn aplicarse fcilmente a otras iniciativas de desarrollo. La comunicacin de los resultados Elabore una estrategia de comunicacin de los resultados que precise quin utilizar la informacin sobre los resultados relativos a la IG y cul es la mejor forma de presentar, reunir y difundir esta informacin para cada pblico destinatario. Asegrese de asignar recursos suficientes para implementar con eficacia esta estrategia.
Preguntas de la evaluacin relativas a la IG Respondiendo a algunas de las preguntas sugeridas a continuacin, el evaluador podr asegurarse de otorgar la atencin debida a la IG y cumplir con lo establecido en la Poltica de la ACDI sobre la igualdad de gnero y el Marco de resultados y factores claves de xito de la Agencia. Resultados alcanzados En qu medida la inversin: 1) ha favorecido la participacin igual de las mujeres y los hombres en la toma de decisiones; 2) ha promovido los derechos de las mujeres y las nias y 3) ha mejorado el acceso de las mujeres a los recursos y beneficios del desarrollo y el control de los mismos? Son comparables los resultados que la inversin ha permitido obtener a las mujeres y nias con los obtenidos por los hombres y nios? Cules son los efectos imprevistos que la inversin ha tenido en las mujeres, los hombres, las nias y los nios? De qu modo han contribuido los resultados en el mbito de la IG a los resultados generales de la inversin? En qu medida la inversin ha mejorado la capacidad de las partes interesadas para promover la IG?
Relacin costo-eficacia de los resultados Es razonable la relacin entre los costos y los resultados en el mbito de la IG? Existen modelos con una mejor relacin costo-eficacia que permitan obtener los mismos resultados? Pertinencia de los resultados En qu medida contribuyen los resultados relativos a la IG a reducir la pobreza? En qu medida las mujeres y los hombres de los grupos interesados estn satisfechos con esos resultados en materia de IG? En qu medida concuerdan los resultados en el mbito de la IG con las posiciones/compromisos al respecto de los principales socios/partes interesadas (gobiernos, organizaciones regionales/locales) de los pases beneficiarios? En qu medida apoya el proyecto los esfuerzos de los socios y otros organismos que militan en favor de la IG en el pas en cuestin? Sostenibilidad de los resultados En qu medida se garantizar el mantenimiento de los resultados en materia de IG una vez concluida la participacin de la ACDI en la inversin? Cules son los factores en el contexto de la inversin que presentan el mayor riesgo para la sostenibilidad de los resultados? Qu puede hacerse para reducir ese riesgo? Asociaciones En qu medida la inversin ha favorecido la participacin equitativa de las mujeres y los hombres de los grupos interesados en la toma de decisiones? En qu medida ha contribuido la inversin al desarrollo de las capacidades para fomentar la IG en los pases beneficiarios? Se han enfrentado las mujeres y nias con limitaciones u obstculos especiales en su participacin? En caso afirmativo, en qu medida ha logrado la inversin superar esos obstculos? En qu medida la inversin ha dado participacin a organizaciones de mujeres y organizaciones defensoras de la igualdad de gnero para obtener los resultados perseguidos en ese mbito?
Adecuacin del diseo Se realiz durante la etapa de diseo de la inversin un anlisis detallado por gnero? Se identific claramente a los destinatarios de la inversin y se desagreg la informacin relativa a los mismos por sexo, edad, origen racial y tnico, y situacin socioeconmica? En qu medida se ha consultado a las mujeres y las nias, los hombres y los nios, con relacin a sus necesidades y prioridades, y al problema de desarrollo abordado por la inversin? En qu medida se han tenido en cuenta las necesidades y prioridades de las mujeres y las nias, y los hombres y los nios, a la hora de seleccionar la inversin y disearla? Se ha establecido en la etapa de planificacin de la inversin una estrategia realista para promover la IG? Utilizacin adecuada de los recursos Se han realizado esfuerzos para garantizar la representacin igual de hombres y mujeres en todos los niveles de la gestin de la inversin y la prestacin de la asistencia tcnica? De qu modo ha influido en los resultados relativos a la IG la participacin de las mujeres en la gestin de la inversin? De qu modo ha influido en los resultados relativos a la IG la utilizacin o no de conocimientos especializados sobre IG en la gestin de la inversin? Medidas documentadas y rpidas Han permitido las medidas de seguimiento medir adecuadamente los progresos realizados en la consecucin de los resultados en materia de IG? Se ha realizado un seguimiento adecuado de los riesgos asociados con la IG y los obstculos encontrados segn el sexo? Han comprendido bien las partes interesadas y han aceptado la necesidad de promover la IG? Qu ms podra haberse hecho para incrementar el compromiso de las partes interesadas con los objetivos de la ACDI en materia de IG?
Anexo D
Texto modelo
Marco de referencia
El modelo de texto que presentamos a continuacin constituye una gua rpida y fcil para preparar el marco de referencia. Los evaluadores pueden trabajar basndose en una norma (para una evaluacin ficticia) que satisface los requisitos fundamentales de la Agencia.
Evaluacin del Fondo para la Igualdad de Gnero en Stndzi Marco de referencia

1 Introduccin La Poltica de la ACDI para el anlisis del rendimiento exige la realizacin de evaluaciones peridicas e independientes de las inversiones de la Agencia. La identificacin de resultados contribuye a la toma de decisiones fundamentadas, favorece el aprendizaje organizacional y promueve una mayor responsabilizacin y transparencia. El proyecto Fondo para la Igualdad de Gnero en Stndzi ser evaluado a fin de determinar los resultados que se han obtenido y las enseanzas aprendidas con esta inversin. En la reunin del Equipo del Fondo para la Igualdad de Gnero celebrada en septiembre de 2002 se examin la posibilidad de llevar a cabo una segunda etapa en el marco del proyecto. En ese momento se recomend realizar una evaluacin a fin de ayudar a determinar las estrategias ptimas para proseguir con el proyecto. El valor agregado que aportar la evaluacin permitir compartir las enseanzas extradas de la inversin y elaborar estrategias de asignacin de recursos ms eficientes y eficaces para las inversiones futuras. 2 Perfil de la inversin El proyecto del Fondo para la Igualdad de Gnero en Stndzi tiene por misin permitir a las mujeres de Stndzi participar plena y equitativamente en el desarrollo sostenible de sus sociedades. Los proyectos individuales que reciben financiamiento se centran en el desarrollo de capacidades, las iniciativas de desarrollo local y la capacitacin. El objetivo principal del proyecto es mejorar las
capacidades de las principales partes interesadas de la sociedad civil y el gobierno para promover la IG en todos los aspectos de la vida cotidiana, esto es, en los mbitos econmico, social y poltico. Gracias a la capacitacin de los interesados locales y las consecuencias resultantes, se facilitar el logro de otros objetivos prioritarios en el mbito del desarrollo, en particular, la satisfaccin de las necesidades humanas bsicas y la instauracin de la democracia y la gobernanza. Adems de las organizaciones de mujeres, que son las principales participantes y beneficiarias del proyecto, otras organizaciones defensoras de la IG pueden beneficiarse tambin de la inversin. Las partes interesadas locales del gobierno y la sociedad civil colaboran en el establecimiento de las necesidades, objetivos especficos y resultados previstos. Los fondos del proyecto sirven para responder con rapidez y flexibilidad a las prioridades y necesidades locales. La estrategia de asignacin de los fondos es mayoritariamente iterativa a fin de obtener los mejores resultados, teniendo en cuenta al mismo tiempo la evolucin de la situacin. El otorgamiento de fondos alienta las intervenciones complementarias y cumulativas en favor de la defensa de los intereses y derechos de las mujeres en distintos sectores de actividad y frente a problemas complejos. Este proyecto est financiado exclusivamente por la ACDI, cuya contribucin total asciende a 2,2 millones de dlares, repartidos en un perodo de cuatro aos, de 1999 a 2002, segn la distribucin siguiente: 0,4 millones en 1999 y 0,6 millones para cada uno de los otros tres aos. Se espera que la contribucin media por proyecto individual sea aproximadamente de 30 000 dlares. La gestin de los fondos se realiza mediante sistemas normalizados, descritos en un manual de operaciones, que es actualizado peridicamente. Tres coordinadores locales contractuales se encargan de la administracin del fondo. El Jefe de Ayuda al Desarrollo de la ACDI destinado sobre el terreno aprueba el financiamiento de proyectos individuales. El 31 de diciembre de 2001, se haban financiado 52 proyectos con un total de 1,5 millones de dlares. Ha sido necesario realizar una importante inversin de esfuerzo para establecer las estructuras operacionales e identificar las necesidades, objetivos y resultados previstos. Las expectativas iniciales fueron revisadas durante un taller celebrado con las partes interesadas en mayo de 1999 para determinar los resultados realistas que podran obtenerse dentro de los lmites presupuestarios y los plazos establecidos. Siendo conscientes de que la igualdad de gnero es un proceso a largo plazo, todo parece apuntar en favor de la prolongacin del proyecto con una segunda etapa de una duracin de tres a cinco aos.
Alcance y objeto El consultor se encargar de: evaluar los progresos realizados en la consecucin de los resultados a nivel de los efectos directos y productos; determinar si los resultados contribuyen a la consecucin de los objetivos generales de la ACDI de reducir la pobreza y fomentar el desarrollo sostenible; determinar si la relacin entre los costos del proyecto y sus resultados es razonable; evaluar el desempeo con relacin a la utilidad de los resultados, la sostenibilidad, la responsabilidad conjunta, la adecuacin del diseo y la asignacin de recursos; establecer las enseanzas aprendidas y formular recomendaciones que sirvan de gua en la elaboracin de las polticas e iniciativas de la ACDI en materia de igualdad de gnero. Los aspectos que deben tratarse se explican detalladamente en el Marco de resultados y factores claves de xito de la ACDI. El objeto de la evaluacin consistir ms concretamente, aunque no de forma exclusiva, en informar sobre los progresos en la consecucin de los resultados con relacin a los productos y efectos directos del proyecto, respondiendo a las siguientes preguntas: Ha contribuido el proyecto a que las organizaciones concernidas se encuentren en mejores condiciones y mejor preparadas para defender la causa de la igualdad de gnero? En qu medida se han consolidado las asociaciones en favor de la igualdad de gnero? Cmo han contribuido esas asociaciones a la promocin de la mujer? Ha incrementado la participacin de mujeres sensibilizadas con el problema de la igualdad de gnero en crculos influyentes? Qu frutos han dado las iniciativas financiadas localmente? En qu medida la capacitacin ofrecida ha sido beneficiosa para la igualdad de gnero? Han participado las partes interesadas de forma activa y til en el diseo, ejecucin, revisin y seguimiento del proyecto?
4 Participacin de las partes interesadas La participacin de las partes interesadas desempea un papel fundamental en las evaluaciones de la ACDI. Se espera que el consultor realice una evaluacin que cuente con la participacin directa y til de los socios y beneficiarios de la inversin, y dems partes interesadas. La participacin de los distintos grupos interesados debe formar parte integral de las etapas de diseo y planificacin de la evaluacin, recopilacin de la informacin, elaboracin de las constataciones, preparacin de los informes y difusin de los resultados. 5 Papeles y responsabilidades El Director de Evaluacin de la ACDI representar a la Agencia durante la evaluacin. El Director de Evaluacin se encarga de: la responsabilidad global de la evaluacin y la rendicin de cuentas al respecto; la orientacin durante todas las etapas de la ejecucin; la aprobacin de todos los documentos producidos; la coordinacin del proceso de revisin interna de la Agencia. El consultor se encarga de: 1) la realizacin propiamente dicha de la evaluacin; 2) la gestin cotidiana de las actividades; 3) la presentacin regular de informes sobre la marcha de la evaluacin al Director de Evaluacin de la ACDI; 4) el establecimiento de los resultados; y 5) la preparacin de los documentos exigidos de acuerdo con los requisitos establecidos en el contrato. El consultor debe rendir cuentas de sus actividades al Director de Evaluacin de la ACDI. 6 Proceso de evaluacin La evaluacin se llevar a cabo de conformidad con los principios, normas y prcticas establecidas en la Gua de Evaluacin de la ACDI. 6.1 Plan de trabajo de la evaluacin El consultor preparar un plan de trabajo de la evaluacin en el que indicar las actividades que se realizarn, as como su orientacin. El plan de trabajo describir el modo en que se llevar a cabo la evaluacin, mejorando, precisando y detallando los parmetros establecidos en el marco de referencia de la evaluacin. Una vez que haya sido aprobado por el Director de Evaluacin de la ACDI, el plan de trabajo ser el documento de base en que se fundamente el acuerdo concluido entre las partes sobre el modo en que se realizar la evaluacin.
El plan de trabajo de la evaluacin abordar los siguientes elementos: descripcin general de la inversin; expectativas con respecto a la evaluacin; funciones y responsabilidades; metodologa de la evaluacin; marco de la evaluacin; recopilacin y anlisis de la informacin; informes; calendario de trabajo. 6.2 Misin sobre el terreno La evaluacin incluir una visita a Stndzi con vistas a reunirse con el personal de la ACDI sobre el terreno y las partes interesadas, y recoger informacin segn las exigencias estipuladas en el plan de trabajo de la evaluacin. La misin ser de una duracin mxima de dos semanas. Se celebrar una sesin informativa con el personal de la ACDI sobre el terreno al inicio y al final de la visita. 6.3 Informe de evaluacin El consultor preparar un informe de evaluacin en el que describir las etapas de la evaluacin y expondr las constataciones y recomendaciones del evaluador, as como las enseanzas aprendidas. Al comunicar los resultados, se har hincapi en la relacin intrnseca de stos con las cuestiones de la evaluacin y se presentar la informacin recopilada en un orden lgico. Los resultados de la evaluacin deben poner de relieve los criterios establecidos en el Marco de resultados y factores claves de xito de la ACDI. 7 Documentos exigidos El consultor preparar: 1) un plan de trabajo de la evaluacin; y 2) un informe de la evaluacin de conformidad con las reglas enunciadas en la Gua de Evaluacin de la ACDI. Esos documentos deben ser: preparados solamente en ingls, salvo el resumen/sntesis final, que ser presentado en las dos lenguas oficiales y en stndzi; presentados a la ACDI en formato electrnico por correo electrnico y/o en disquete en Microsoft Word; presentados en formato impreso (nmero de ejemplares indicado).
Todos los informes se presentarn al Director de Evaluacin de la ACDI. 7.1 Versin preliminar del plan de trabajo de la evaluacin Se presentar una versin preliminar del plan de trabajo de la evaluacin en el plazo de cuatro semanas a partir de la fecha en que se firm el contrato, en cinco ejemplares impresos. 7.2 Versin final del plan de trabajo de la evaluacin El consultor presentar la versin final del plan de trabajo de la evaluacin en el plazo de una semana despus de recibir los comentarios de la ACDI sobre la versin preliminar, y en cinco ejemplares impresos. 7.3 Versin preliminar del informe de evaluacin El consultor presentar a la ACDI para su estudio una versin preliminar del informe de evaluacin en el plazo de cuatro semanas despus de regresar de la misin, en diez ejemplares impresos. 7.4 Versin final del informe de evaluacin El consultor presentar la versin final del informe de evaluacin, junto con un resumen/sntesis de la evaluacin, en el plazo de dos semanas despus de recibir los comentarios de la ACDI sobre la versin preliminar del informe, en diez ejemplares impresos. 8 Cualificaciones del evaluador La evaluacin ser realizada por un equipo integrado por dos consultores experimentados: un canadiense que ser quien dirija la evaluacin y un especialista en IG contratado localmente en Stndzi. El consultor canadiense debe: ser un director de proyecto fiable y eficaz, con una larga experiencia en la realizacin de evaluaciones y una trayectoria que demuestre su profesionalismo; hablar ingls y stndzi con fluidez; conocer a fondo la poltica y las prcticas de la ACDI en materia de gestin basada en los resultados; ser un especialista de las polticas y prcticas de la ACDI en materia de igualdad de gnero;
haber trabajado anteriormente en la regin y/o el pas. El especialista local en igualdad de gnero debe contar con buenos conocimientos prcticos de las cuestiones relativas a la igualdad de gnero a nivel local, hablar ingls y stndzi con fluidez, y poseer una cierta experiencia con programas financiados por donantes en favor de la igualdad de gnero. 9 Previsiones presupuestarias Las condiciones relativas a los pagos y su calendario se decidirn en el momento de la negociacin del contrato. Las posibilidades en cuanto al mtodo de pago son, entre otras: 1) un contrato a precio fijo; o 2) un contrato de reembolso de los costos, aplicando un vitico fijo. Las previsiones de la ACDI en cuanto al tiempo de trabajo previsto y el costo de la evaluacin se presentan a continuacin:
Nivel de trabajo previsto Actividad Nmero de das Espec. canadiense Preparacin del plan de trabajo Recopilacin de datos/trabajo sobre el terreno/desplazamientos Sesin informativa, anlisis, preparacin del informe Total: 12 19 18 49 Espec. local 2 15 13 30
Costos previstos Tipo En Canad Costo Sobre el terreno $7 500 $2 500 Total
Honorarios profesionales Desplazamientos y otros gastos
$31 850 $10 000
$39 350 $12 500
Total:
$41 850
$10 000
$51 850
Notas: 1. La tarifa cotidiana de remuneracin del especialista canadiense es de 650 dlares y la del especialista local, de 350 dlares. 2. Los costos previstos no incluyen el impuesto sobre bienes y servicios (GST/TPS).
Anexo E
Texto modelo
A continuacin presentamos un plan de trabajo para la evaluacin del Programa para Mubara, un programa ficticio, que muestra a los evaluadores cmo satisfacer las expectativas de la ACDI. Este texto ofrece una norma a la que el evaluador deber remitirse punto por punto para asegurarse de que el plan de trabajo preparado sea coherente en cuanto a su enfoque, contenido y nivel de detalle.
Evaluacin del Programa de Pas para Mubara ( Plan de trabajo de la evaluacin

1 Descripcin general del programa
1.1 Situacin local Con la desaparicin de la junta militar en la primavera de 1996, Mubara vivi un perodo de transicin hacia la democracia, pacfico en su mayor parte, que culmin con la celebracin de elecciones democrticas en 1998 que contaron con la aprobacin de la comunidad internacional. El cambio de rgimen puso trmino finalmente al horrible conflicto que caus tanto sufrimiento humano y la destruccin de bienes e infraestructuras. Si bien la cohesin tnica y social sigue siendo frgil, las tensiones estn disminuyendo progresivamente. Desde 1998, el desarrollo de Mubara se ha caracterizado por importantes avances en el logro de grandes reformas estructurales fundamentales, el establecimiento de un sistema poltico pluripartidista dinmico e inclusivo, y tambin, por constantes dificultades econmicas que afectan sobre todo a los grupos ms vulnerables, esto es, las mujeres, los pobres y las clases desfavorecidas. El desarrollo social ser probablemente el mayor desafo al que deber enfrentarse Mubara, dado que el pas necesita nuevos enfoques para reducir la pobreza y las desigualdades, y mejorar la salud y la educacin. Por otra parte, las perspectivas en un futuro inmediato de creacin de nuevas riquezas son limitadas.
1.2 Objetivos y prioridades El programa canadiense de cooperacin bilateral para el desarrollo en Mubara comenz poco despus de la celebracin de las primeras elecciones democrticas en 1998. Tena como objetivo general identificar las oportunidades de colaboracin de la ACDI con el gobierno de Mubara y otros donantes para crear los cimientos y condiciones que facilitaran la transicin durante ese perodo difcil. La Agencia invirti en el desarrollo sostenible, permitiendo de ese modo reducir la pobreza y mejorar la calidad de vida de los mubareses, y foment la participacin real de las comunidades locales y ciudadanos. De forma general, la intervencin de la Agencia en su calidad de donante se produjo en sectores particulares en el marco general de cooperacin para el desarrollo en Mubara. Para ello, la Agencia estableci cuatro prioridades de intervencin. Gobernanza: facilitar la elaboracin de una nueva constitucin y la reestructuracin y fortalecimiento de las instituciones gubernamentales/ pblicas a todos los niveles. Desarrollo de los recursos humanos: mejorar la accesibilidad a la educacin y capacitacin, as como la calidad de los servicios ofrecidos. Sociedad civil: fortalecer las capacidades de las instituciones y organizaciones de la sociedad civil en general. Desarrollo econmico: estimular el desarrollo econmico en general, haciendo hincapi en la ampliacin de la participacin econmica y la transferencia de tecnologas y competencias canadienses que permitan mejorar las competitividad de Mubara. 1.3 Desembolsos de la ACDI De 1998 a 2002, el presupuesto total del programa de la ACDI para Mubara ascendi a 59 millones de dlares, que se invirtieron en 24 proyectos. Durante ese perodo, los desembolsos anuales medios fueron de 11,8 millones, siendo el costo medio por proyecto de 2,5 millones de dlares. Los desembolsos anuales de la Agencia aumentaron progresivamente de 5,5 millones en 1998, a 8 millones en 1999, 11 millones en 2000, 16,5 millones en 2001 y 18 millones de dlares en 2002. Por sector de intervencin, 39 % del presupuesto total del programa de la ACDI fue asignado a la gobernanza, 23 % al desarrollo de los recursos humanos, 20 % al desarrollo econmico y 18 % a la sociedad civil. Del presupuesto total de 59 millones de dlares, la Direccin General de frica y Oriente Prximo administr 48,4 millones, y la Direccin General de Cooperacin Canadiense administr 10,6 millones.
1.4 Alcance (beneficiarios) Al principio, los proyectos de gobernanza y desarrollo de los recursos humanos tenan por objeto, en su mayora, iniciativas a escala nacional. No obstante, en la actualidad los proyectos de capacitacin y educacin sobre todo se realizan a escala provincial y local. Los proyectos de desarrollo de capacidades de ONG suelen contar con la participacin de las comunidades locales, mientras que los proyectos de desarrollo social tienen como beneficiarios a una clientela diversa. La orientacin de las iniciativas de carcter econmico es fuertemente local. 1.5 Resultados previstos Las inversiones de la ACDI se basaron en los resultados previstos fijados durante la etapa de planificacin del programa/proyecto. El siguiente cuadro presenta varios ejemplos de los tipos de resultados previstos en el momento. Se puede obtener ms informacin cualitativa y cuantitativa en los marcos de desempeo preparados para cada proyecto individual.
Prioridad Gobernanza
Resultados previstos Reformas sostenibles que hayan contribuido a la redaccin de la constitucin y la transformacin del sector pblico Mejora de la capacidad de las instituciones gubernamentales nacionales y provinciales para ofrecer servicios Progresos realizados mediante la reestructuracin del sector de la educacin (sistemas, mecanismos) Mejora de la calidad y accesibilidad de la educacin y capacitacin en todos los sectores sociales Mejora de la capacidad de las ONG para desempear un papel til y fortalecimiento de su sostenibilidad institucional Logros obtenidos en el mbito del desarrollo social y contribucin a la elaboracin de nuevas polticas, reglamentos y leyes Progresos realizados mediante la provisin de competencias/tecnologas canadienses Incremento de la participacin econmica en los distintos sectores sociales
Desarrollo de los recursos humanos
Sociedad civil
Desarrollo econmico
2.1 Razn de ser El Tesoro Nacional mubars solicit a los donantes bilaterales participantes en actividades de cooperacin para el desarrollo en Mubara que evaluaran sus respectivos programas. La ACDI decidi realizar la evaluacin de su programa en respuesta a dicha solicitud y de conformidad con su compromiso de realizar evaluaciones sistemticas y regulares de sus programas de pas para rendir cuentas de la gestin de los fondos asignados a dichos programas y promover una cooperacin para el desarrollo eficiente y eficaz. 2.2 Objetivos La evaluacin del programa de pas de la ACDI para Mubara (19982002) debe ofrecer a la ACDI y al Tesoro Nacional mubars un examen independiente y prospectivo de las intervenciones de la Agencia a fin de determinar las oportunidades que deberan aprovecharse en el futuro tanto a nivel bilateral como dentro de las organizaciones internacionales para ofrecer ventajas duraderas y crebles a los beneficiarios seleccionados. Las enseanzas extradas de esta evaluacin deberan contribuir de forma decisiva a la elaboracin de la nueva Estrategia Mubara-Canad de Cooperacin para el Desarrollo, cuya implementacin debe comenzar el 1 de enero de 2004. Esta Estrategia permitir: identificar y aprovechar oportunidades constructivas de cooperacin para el desarrollo que se presten a asociaciones entre organizaciones canadienses y mubaresas a fin de responder de forma progresiva, humana y til a las necesidades prioritarias de Mubara en materia de reduccin de la pobreza y desarrollo sostenible. Los objetivos clave de la evaluacin son los siguientes: evaluar en qu medida las inversiones de la ACDI responden a las necesidades y prioridades de Mubara en materia de cooperacin para el desarrollo, as como la eficacia de los proyectos financiados por la Agencia en la consecucin de los resultados previstos; comprender por qu ciertos mtodos, estrategias y prcticas han dado buenos resultados y otros no, y extraer las conclusiones clave, enseanzas y buenas prcticas que se impongan de la experiencia de intervencin de la ACDI; determinar cules son los tipos de intervencin que mejor se prestan a asociaciones de larga duracin entre organizaciones canadienses y mubaresas; formular recomendaciones para que la Estrategia Mubara-Canad de Cooperacin para el Desarrollo se concentre en las medidas que deben tomarse para conseguir los objetivos de desarrollo sostenible deseados en Mubara.
2.3 Principales destinatarios El informe de evaluacin se dirigir ante todo al Director del Programa para Mubara de la ACDI y el Director Ejecutivo del Tesoro Nacional mubars encargado de coordinar la cooperacin canadiense para el desarrollo, que son las personas clave responsables de la supervisin y elaboracin de la nueva Estrategia MubaraCanad de Cooperacin para el Desarrollo. La ACDI utiliza las evaluaciones para incrementar la eficiencia y eficacia de sus intervenciones internacionales en favor del desarrollo, y mejorar su capacidad de rendir cuentas a los parlamentarios y canadienses, y practicar la transparencia. Los resultados de la evaluacin contribuirn al Marco de Planificacin, Presentacin de Informes y Responsabilizacin (MPPIR) de la ACDI, quien a su vez lo utiliza posteriormente para rendir cuentas a distintos pblicos clave. El archivo del resumen de la evaluacin en la memoria central de la ACDI y su publicacin en el sitio web de la Direccin General de Gestin del Rendimiento y los Conocimientos promover el aprendizaje institucional. La comunicacin de los resultados informar a otras partes interesadas clave canadienses y mubaresas, y otros donantes acerca de los resultados del programa y las enseanzas aprendidas. 2.4 Partes interesadas El Gobierno de Mubara La evaluacin ser realizada en cooperacin por la ACDI y el Gobierno de Mubara. Hasta la fecha, los funcionarios de ambas entidades han trabajado juntos en la elaboracin del marco de referencia y la seleccin de los consultores encargados de efectuar la evaluacin. Esta colaboracin proseguir en las etapas de la redaccin del informe y la comunicacin de los resultados de la evaluacin. Se celebrarn reuniones de grupo con los funcionarios gubernamentales mubareses, los socios de ejecucin, los donantes y otras partes interesadas a fin de discutir y confirmar las constataciones, conclusiones y recomendaciones de la evaluacin. Las prioridades de intervencin de la ACDI son producto de las establecidas en la Poltica Nacional de Desarrollo de Mubara, lo que permite garantizar que los proyectos financiados por la Agencia correspondan continuamente a las necesidades de cooperacin para el desarrollo fijadas por el gobierno local. A fin de responder a las necesidades urgentes de Mubara en 1998 y, no existiendo entonces ningn indicio de cules eran los sectores de desarrollo a los que se deba otorgar mxima prioridad, la Agencia hizo hincapi al principio en los proyectos de gobernanza y desarrollo de los recursos humanos. Posteriormente result que esta eleccin no corresponda necesariamente con el nuevo inters otorgado por el gobierno mubars al desarrollo econmico. La evaluacin examinar (entre otros asuntos) cmo ha respondido el programa a los desafos, prioridades y objetivos de desarrollo de Mubara, y si se ajusta a las
necesidades del pas. Las partes adoptarn un enfoque de cooperacin para determinar juntas las medidas que debern tomarse en el futuro para reducir la pobreza y fomentar el desarrollo sostenible. Los intereses canadienses En su Marco de resultados y factores claves de xito, la ACDI defiende la necesidad de ser coherente con la poltica exterior de Canad y tener en cuenta los posibles beneficios para Canad. Para ello: durante las consultas en el marco de la evaluacin, las partes interesadas canadienses (la Alta Comisin de Canad, el MAECI, las empresas, las organizaciones de la sociedad civil, etc.) tendrn ampliamente la oportunidad de contribuir a la elaboracin de los resultados de la evaluacin y la formulacin de la Estrategia Mubara-Canad de Cooperacin para el Desarrollo; el informe de evaluacin tratar de la creacin de asociaciones entre organizaciones canadienses y mubaresas; los consultores canadienses se encargarn de la gestin cotidiana de la evaluacin. Las otras partes interesadas en Mubara La evaluacin har hincapi en la participacin de todos los grupos interesados mubareses, sobre todo en la puesta en comn de las experiencias a todos los niveles. Organizaciones de la sociedad civil, empresas y otros beneficiarios locales participarn en las consultas del proyecto y los grupos de discusin. Los consultores mubareses deben participar directamente en todos los aspectos de la evaluacin. El informe de evaluacin permitir determinar: en qu medida han contribuido los resultados del programa a reducir la pobreza y fomentar el desarrollo sostenible; cmo ha mejorado la calidad de vida de los beneficiarios.
2.5 Enfoque En el marco del programa de pas de la ACDI para Mubara (19982002), que inclua mltiples componentes, se hizo hincapi en dos de las seis prioridades de intervencin de la Agencia, esto es, la satisfaccin de las necesidades bsicas (ms concretamente la educacin), y los derechos humanos, la democracia y la gobernanza. Se utilizaron dos canales para encauzar la intervencin, a saber, la ayuda bilateral y la cooperacin canadiense. La evaluacin comprender: un estudio de la bibliografa y documentos disponibles en la administracin central y sobre el terreno; evaluaciones de una seleccin de proyectos del programa de pas para Mubara; entrevistas con los socios clave: funcionarios gubernamentales mubareses, representantes de otros organismos donantes, expertos en la materia, socios canadienses y directores de la ACDI; discusiones con las principales partes interesadas (por ej.: beneficiarios) y los socios canadienses. El Equipo de Evaluacin realizar una visita de tres semanas a Mubara en septiembre de 2003. La evaluacin permitir elaborar un panorama a escala macro de los resultados a nivel de los efectos directos e impactos, haciendo hincapi en cuatro grandes sectores temticos: la gobernanza, el desarrollo de los recursos humanos, la sociedad civil y el desarrollo econmico. A pesar de la ausencia de proyectos centrados explcitamente en la igualdad de gnero o el medio ambiente, esas cuestiones sern abordadas como temas transversales. La Poltica sobre igualdad de gnero (1999) de la ACDI exige que la igualdad de gnero sea considerada como parte integral de todas las polticas, programas y proyectos de la ACDI. Para ello, los evaluadores recopilarn y analizarn los datos desagregados por sexo en todas las etapas de la evaluacin (cuando sea posible). El Marco de resultados y factores claves de xito de la ACDI orientar la identificacin, anlisis y presentacin de los resultados. Para los proyectos seleccionados, se analizar el nivel de consecucin de los resultados, su pertinencia y sostenibilidad, aunque no su relacin costo-eficacia. La evaluacin examinar la calidad de las asociaciones, la adecuacin del diseo del proyecto y la medida en que ste permite responder con eficacia y rapidez a los cambios. Por su parte, las cuestiones relativas a la utilizacin de los recursos sern abordadas a nivel de programa segn corresponda.
Metodologa de la evaluacin
La metodologa escogida para esta evaluacin est concebida para responder a las exigencias y expectativas enunciadas en el marco de referencia de la evaluacin, fruto de un largo proceso de toma de decisiones en el que participaron funcionarios de la Agencia, representantes del pas beneficiario y otras partes interesadas clave. Se considera que el enfoque es creble y permite identificar los resultados atribuibles al programa para Mubara, teniendo en cuenta la informacin disponible en la actualidad y las limitaciones temporales y de recursos. Las sesiones de consulta, en particular con los socios clave y los grupos de discusin, ofrecern la oportunidad de reunir informacin estratgica que podr utilizarse para facilitar la preparacin de la nueva Estrategia Mubara-Canad de Cooperacin para el Desarrollo. 3.1 Marco de la evaluacin La metodologa se expone en el marco de la evaluacin, en el que se explican las cuestiones a las que responder la evaluacin, las subpreguntas ms detalladas, los indicadores de desempeo (variables que deben tenerse en cuenta), las fuentes de informacin y el mtodo de recopilacin de la informacin para cada cuestin. Las cuestiones planteadas en la evaluacin reflejan los puntos enunciados en el marco de referencia de la ACDI, si bien han sido simplificados y reorganizados en funcin de las expectativas actuales de la Agencia. El marco de la evaluacin se incluye como Anexo E1. El marco de referencia y el marco de la evaluacin contienen ambos tanto cuestiones retrospectivas sobre el desempeo obtenido en el pasado como cuestiones prospectivas que se utilizarn en la elaboracin de intervenciones futuras. Habida cuenta de que las cuestiones prospectivas no tienen que ver con la consecucin de resultados, no se les asigna indicadores de desempeo. 3.2 Anlisis bibliogrfico y documental Nada ms recibir su contrato, el evaluador empez a reunir y analizar los documentos disponibles sobre el pas, el programa y los proyectos, que le han ayudado a preparar su plan de trabajo. Hasta la fecha, se ha concentrado en comprender y documentar la evolucin social, econmica y poltica local de 1998 a 2002, haciendo hincapi en los acontecimientos relacionados con los cuatro sectores de intervencin, a saber, la gobernanza, el desarrollo de los recursos humanos, la sociedad civil y el desarrollo econmico. Se han investigado tambin las polticas, procesos y reglas de gestin de la asistencia oficial para el desarrollo (AOD) de Mubara.
Este anlisis continuar durante todo el transcurso de la evaluacin. Se recopilar informacin ms detallada sobre ciertos proyectos clave para determinar si las intervenciones de la ACDI son pertinentes y responden a los problemas y prioridades de desarrollo de Mubara. Adems, otros esfuerzos realizados permitirn comprender mejor el contexto adecuado para llevar a cabo iniciativas de cooperacin para el desarrollo, la gestin de los fondos de la AOD en el pasado y las perspectivas futuras en materia de cooperacin. 3.3 Examen de los proyectos seleccionados Para seleccionar una muestra de proyectos representativos de la contribucin de la ACDI a la cooperacin para el desarrollo en Mubara durante el perodo de 1998 a 2002, el personal y el Equipo de Evaluacin de la ACDI decidieron establecer los siguientes criterios clave: el tratamiento de las prioridades temticas y utilizacin de los mecanismos de prestacin de la Agencia; el carcter estratgico del proyecto dentro del conjunto general del programa de inversiones y la utilidad de los resultados logrados hasta la fecha; la envergadura financiera del proyecto; la posibilidad de extraer enseanzas y buenas prcticas. Se seleccionaron ocho proyectos que representaban una inversin total de 31,5 millones de dlares, esto es, 53,4 % de la contribucin total de 59 millones. De la muestra, los proyectos de gobernanza representaron 12 millones de dlares, los de desarrollo de los recursos humanos 7,5 millones, los de desarrollo econmico 7 millones y los relativos a la sociedad civil 5 millones. La Direccin General de frica y Oriente Prximo (DGAOP) administr proyectos por un valor total de 23,5 millones de dlares (75 %), mientras que los administrados por la Direccin General de Cooperacin Canadiense (DGCC) ascendieron a 8 millones de dlares (25 %). Los proyectos seleccionados son los siguientes:
Prioridad Gobernanza
Proyecto de fortalecimiento constitucional y jurdico (19982000) Proyecto de establecimiento de vnculos entre jueces (19972001) Proyecto de gobernanza y apoyo estratgico (19992002) $ 4,5 m. $ 3,5 m. $ 4,0 m. DGAOP DGAOP DGAOP
Costo
Administrado por
Desarrollo de los recursos humanos

Proyecto de perfeccionamiento de profesores (20012002) Proyecto de normas nacionales de educacin (19992001) $ 3,5 m. $ 4,0 m. DGAOP DGAOP
Prioridad Desarrollo econmico
Costo
Administrado por
DGCC DGAOP
Proyecto de explotacin de la mina de Czabo (19982000) $ 3,0 m. Proyecto de tecnologa e $ 4,0 m. informacin estratgica (20002002)
Sociedad civil
Programa de Oxfam Canad (19982002) $ 5,0 m. DGCC
Se estudiarn todos los documentos disponibles para cada uno de estos proyectos (documentos de aprobacin, anlisis de marco lgico, enunciados de resultados, informes de desempeo, evaluaciones, informes de fin de proyecto). Seguidamente se realizarn entrevistas con el agente de proyecto de la ACDI, miembros del personal del organismo de ejecucin o la organizacin asociada en Canad, el personal de proyecto en Mubara y los beneficiarios y otras partes interesadas. Estas entrevistas se centrarn en cada proyecto en particular. Se prev realizar un total aproximado de 40 entrevistas con una amplia gama de interesados y participantes en el programa. La gua de entrevista para estas sesiones de consulta se incluye como Anexo E2. Se realizarn visitas sobre el terreno para los ocho proyectos a fin de que el equipo de evaluacin tenga la oportunidad de observar directamente el desempeo de los proyectos renovados y que siguen en curso, reunir informacin sobre el terreno relativa a los resultados de los proyectos y celebrar consultas exhaustivas con los responsables de la ejecucin de los proyectos y sus beneficiarios, a quienes podra invitarse tambin a participar en minitalleres, en la medida de lo posible. 3.4 Entrevistas con los socios clave Se realizarn entrevistas con los socios clave para obtener informacin cualitativa sobre las cuestiones abordadas en la evaluacin. Estas entrevistas proporcionarn informacin detallada que permitir al Equipo de Evaluacin determinar la pertinencia del programa, su adaptabilidad a las necesidades y la sostenibilidad de los resultados. Las entrevistas permitirn tambin saber ms sobre: el contexto poltico, social y econmico (y las corrientes dominantes) en Mubara de 1998 a 2002; las oportunidades y limitaciones que definen el panorama para futuras actividades de cooperacin para el desarrollo; los requisitos para la nueva Estrategia Mubara-Canad de Cooperacin para el Desarrollo.
En total, se realizarn unas 20 entrevistas con: 1) funcionarios gubernamentales mubareses que participan en la AOD o poseen una experiencia pertinente en la materia; 2) representantes con experiencia de otros organismos donantes; 3) expertos en la materia; y 4) partes interesadas canadienses (la Alta Comisin de Canad, el MAECI, las empresas, las organizaciones de la sociedad civil, los directores de la ACDI de las Direcciones Generales, tanto en la administracin central como sobre el terreno). La gua de entrevista a los socios clave figura como Anexo E3. Se harn a los entrevistados preguntas acerca del desempeo de intervenciones pasadas de la ACDI en Mubara y preguntas prospectivas que facilitarn la elaboracin de la Estrategia Mubara-Canad de Cooperacin para el Desarrollo. Todas las preguntas son abiertas, esto es, de respuesta libre, a fin de conocer las percepciones, observaciones, opciones y conocimientos de las personas entrevistadas. Las primeras entrevistas servirn de prueba previa a fin de modificar el cuestionario si fuera necesario. Todas las entrevistas con personas que se encuentren en Canad sern realizadas por los consultores canadienses, quienes tambin se ocuparn de las entrevistas en Mubara, aunque, esta vez, en colaboracin con los consultores de Mubara. En el caso de las personas que viven en Mubara fuera de los grandes centros urbanos en lugares que el equipo de evaluacin no tenga previsto visitar, se pagarn los gastos de desplazamiento hasta el lugar de la reunin o se realizarn las entrevistas por telfono. En Canad, las personas que se encuentren en la regin de la capital nacional sern entrevistadas en persona, mientras que las que residan en otros lugares del pas, sern entrevistadas por telfono. En la medida de lo posible, se enviar por adelantado a los interesados la gua de entrevista, por correo electrnico. Cada entrevista durar de 20 a 45 minutos. 3.5 Grupos de discusin En principio, se constituirn dos grupos de discusin. El primero, que estar integrado por entre 10 y 15 representantes de los principales grupos de interesados, se reunir hacia el final de la visita sobre el terreno en Mubara. La consulta ser al mismo tiempo retrospectiva y prospectiva. Se presentar a los participantes del grupo algunos de los resultados preliminares de la evaluacin. El segundo, que estar integrado por representantes de las principales partes interesadas canadienses, se reunir en Canad. Se presentar a los participantes del grupo los resultados finales de la evaluacin para su discusin y se tendrn en cuenta sus observaciones a la hora de elaborar la nueva Estrategia Mubara-Canad de Cooperacin para el Desarrollo.
3.6 Otros anlisis Para determinar si las intervenciones responden a las necesidades de desarrollo expresadas en el marco estratgico de Mubara, se tomarn como punto de referencia las directrices relativas a la AOD, los presupuestos anuales, los discursos anuales de la Presidencia, etc. A fin de comprender mejor los objetivos de desarrollo de Mubara, el Equipo de Evaluacin preparar un panorama general de las prioridades nacionales a partir de la informacin obtenida con el anlisis de documentacin y las entrevistas. Se har hincapi especialmente en identificar los sectores en los que las intervenciones de la ACDI podran orientarse mejor. El anlisis de la informacin incluir adems los siguientes elementos: se presentarn los grandes cambios coyunturales en Mubara en general y en los cuatro sectores temticos en particular, en forma de documentos de informacin. Las entrevistas con los principales socios desempearn un papel esencial al respecto; el Equipo de Evaluacin identificar los sectores en los que la relacin entre Canad y Mubara pueda ir ms all de las actividades de cooperacin tradicionales, y potenciar relaciones institucionales y asociaciones de larga duracin que estn basadas en los puntos fuertes complementarios y sean, por consiguiente, autosuficientes. El Equipo de Evaluacin celebrar una sesin de consulta a fin de revisar los resultados preliminares y formular sus conclusiones y recomendaciones. Tras su visita sobre el terreno, el equipo se reunir en Ottawa con las principales partes interesadas canadienses (utilizando la teleconferencia a fin permitir participar a los miembros mubareses del equipo) para sintetizar los resultados globales y elaborar una serie de conclusiones preliminares agrupadas en torno a las cuestiones abordadas en la evaluacin. Estas conclusiones preliminares sern sometidas posteriormente a un grupo de discusin integrado por miembros clave del personal de programa de la ACDI. Se solicitar al grupo de discusin que confirme y precise los resultados preliminares de la evaluacin e identifique las enseanzas, conclusiones y recomendaciones que se aplican a la elaboracin de la Estrategia Mubara-Canad de Cooperacin para el Desarrollo. 3.7 Problemas La perspectiva a nivel nacional, y por lo tanto macro, de esta evaluacin plantea varios problemas que probablemente no se presentaran en una evaluacin a nivel de proyecto, a saber: Atribucin de los resultados Es ms difcil atribuir resultados a una inversin de la ACDI a una escala macro a nivel de un programa o de un sector temtico, que a nivel de un proyecto. En lasdirectrices de la Direccin General de Gestin del Rendimiento y los
Conocimientos de la ACDI para preparar los planes de trabajo, se menciona que una buena metodologa permite establecer una relacin directa entre los resultados y la inversin evaluada, eliminando de esa manera otras explicaciones posibles. No obstante, cuando se agrupan los resultados de proyectos en un sector temtico particular para un perodo de siete aos, resulta difcil, desde un punto de vista metodolgico, establecer una relacin directa entre esos resultados y la inversin. Para mitigar el problema de la atribucin, la evaluacin pondr en relacin los resultados agregados con la inversin en la medida de lo posible, y mencionar, segn convenga, los factores externos que hayan influido en esos resultados. De este modo se tendr una idea exacta de los resultados logrados, explicndose explcitamente al mismo tiempo los otros grandes factores que han influido. Eficacia En varias ocasiones se menciona la eficacia en el marco de referencia y el Marco de resultados y factores claves de xito de la ACDI. Al evaluar un proyecto, aunque difcil, es posible pronunciarse acerca de su eficacia, dependiendo del tipo de actividades de proyecto que deben evaluarse y los datos financieros disponibles. No obstante, cuando se realiza un examen de un programa de pas que abarca todo tipo de inversiones en una amplia gama de sectores, resulta sumamente difcil (por no decir imposible) y largo, determinar la eficacia a un nivel macro, a partir de resultados cuestionables. Por consiguiente, la evaluacin no abordar directamente la eficacia del programa canadiense de ayuda a Mubara. Disponibilidad de los socios clave Algunos de los proyectos seleccionados han finalizado desde hace cierto tiempo. Puede ser difcil localizar a los socios clave y organizar entrevistas, sobre todo en Mubara. Frente a este problema, el Equipo de Evaluacin se concentrar primeramente en encontrar a los socios canadienses clave, a quienes preguntar el nombre (e informacin de contacto) de los socios clave en Mubara. 4 Papeles y responsabilidades
El Director de Evaluacin de la ACDI (de la Direccin General de Gestin del Rendimiento y los Conocimientos) se encargar de dirigir la evaluacin. El Equipo de Evaluacin estar integrado por dos consultores canadienses y dos consultores de Mubara. El Jefe (canadiense) del Equipo de Evaluacin rendir cuentas al Director de Evaluacin. La participacin de los beneficiarios locales durante la visita sobre el terreno incrementar la contribucin de las partes interesadas a la evaluacin y permitir que se tengan en cuenta sus intereses y opiniones. En el Anexo E4 figuran las reseas biogrficas de los miembros del Equipo de Evaluacin. El siguiente cuadro presenta brevemente los papeles y responsabilidades esenciales de los principales participantes en la evaluacin:
Participante Director de Evaluacin de la Direccin General de Gestin del Rendimiento y los Conocimientos
Papeles Dirigir la evaluacin Realizar la evaluacin (adecuacin del diseo, utilizacin de los recursos, etc.) Lograr los objetivos (utilidad, credibilidad de los resultados, etc.) Cumplir con las normas del Consejo del Tesoro y la Agencia, y respetar las normas profesionales Asignar los recursos adecuados
Responsabilidades Orientar la evaluacin Supervisar la negociacin de los contratos Asesorar acerca de los mtodos, tcnicas y prcticas de gestin del desempeo Ofrecer apoyo tcnico (segn las necesidades) Velar por el cumplimiento de las condiciones contractuales Hacer un seguimiento de la aplicacin de las conclusiones, recomendaciones, enseanzas y buenas prcticas Aprobar todos los documentos que deban producirse (informes de progreso, informe final) Pronunciarse sobre los documentos exigidos (informes de progreso, informe final) Facilitar el acceso a los documentos importantes y los socios clave Ofrecer el punto de vista de la alta direccin sobre las cuestiones clave Supervisar la comunicacin de los resultados a los socios, donantes, partes interesadas, etc. Planificar, preparar y realizar la evaluacin Encargarse de la gestin cotidiana de las operaciones/actividades Informar al Director de Evaluacin de la ACDI de la
Director del programa de pas de la ACDI y Director Ejecutivo del Tesoro Nacional de Mubara
Representar adecuadamente a la Agencia y el programa de ayuda a Mubara (Director del programa de pas de la ACDI solamente) Aplicar las recomendaciones (segn proceda)
Consultores canadienses Jefe del Equipo de Evaluacin Evaluador Principal
Preparar el informe de evaluacin Respetar las normas profesionales y ticas Asegurarse de la participacin til de las partes interesadas
Participante
Papeles
Responsabilidades marcha del trabajo y presentarle informes de progreso regulares Gestionar el trabajo de los consultores mubareses locales Realizar las entrevistas en Canad y las principales entrevistas en Mubara (cuando sea necesario) Preparar los documentos exigidos (segn las condiciones contractuales)
Consultores mubareses Evaluador principal Evaluador
Contribuir a la evaluacin Respetar las normas profesionales y ticas Asegurarse de la participacin til de las partes interesadas
Preparar los documentos de informacin temticos Asesorar en la elaboracin de las listas de personas que pueden ser entrevistadas y formar parte de los grupos de discusin Ocuparse de los preparativos necesarios para la visita sobre el terreno del equipo de evaluacin (transporte, alojamiento, reuniones, etc.) Realizar estudios de expedientes y documentos (tanto en Canad como en Mubara) Realizar las entrevistas a los socios clave o para un proyecto en particular, o participar en ellas Ayudar a preparar la versin preliminar y final del informe Participar en la sesin del grupo de discusin en Mubara
321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 321210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 3
El calendario siguiente fija los plazos y fechas lmite que guiarn la ejecucin de la evaluacin.
5.1 Plazos y fechas lmite
Segundo grupo de discusin (Canad) Redaccin del informe Presentacin de la primera versin Entrega del informe final Sesiones informativas al inicio de la visita Visitas sobre el terreno/entrevistas con el personal de proyecto (Mubara) Entrevistas con los socios clave (Mubara) Primer grupo de discusin (Mubara) Preparacin del informe Sesiones informativas al final de la visita Estudio de expedientes y documentos de la administracin central Preparacin de los documentos de informacin temticos Entrevistas con el personal de proyecto (Canad) Entrevistas con los socios clave (Canad) Finalizacin de los preparativos para la visita sobre el terreno
Calendario de trabajo
Etapa I: Preparativos para la visita sobre el terreno (28 de julio-28 de agosto)
Etapa III: Informe de evaluacin (1 de octubre-15 de noviembre) Actividades/Documentos exigidos Etapa II: Visita sobre el terreno (2-24 de septiembre)
15 de agosto 28 de julio28 de agosto 28 de julio28 de agosto 7 de agosto 28 de julio15 de agosto 4-18 de septiembre 19-20 de septiembre 4-22 de septiembre 23-24 de septiembre 23 de septiembre 4-18 de septiembre
1-2 de octubre 1-20 de octubre 22 de octubre 15 de noviembre
Plazo (fecha lmite)
5.2 Reparticin de las tareas El siguiente cuadro presenta la reparticin de las tareas que realizarn los miembros del Equipo de Evaluacin en todas las etapas de la evaluacin, junto con el nmero previsto de das que dedicarn a la realizacin de las tareas y/o actividades especificadas.
Tareas/Documentos exigidos JEEC Tiempo previsto (n de das) Total EPC EPM EM
Etapa I: Preparativos para la visita sobre el terreno (28 de julio-28 de agosto) Estudio de expedientes y documentos de 6 1 5 la administracin central Preparacin de los documentos de 8 1 1 3 3 informacin temticos Entrevistas con el personal de proyecto 9 3 6 (Canad) Entrevistas con los socios clave (Canad) 13 3 6 4 Finalizacin de los preparativos para la 8 1 1 3 3 visita sobre el terreno Sesin de informacin en la ACDI 2 1 1 (Canad) Etapa II: Visita sobre el terreno (2-24 de septiembre) Sesiones informativas al inicio de la visita (Mubara) Visitas sobre el terreno/entrevistas con el personal de proyecto (Mubara) Entrevistas con los socios clave (Mubara) Primer grupo de discusin (Mubara) Preparacin del informe Sesiones informativas al final de la visita (Mubara) 1 5 3 2 2 1 1 5 6 2 4 1 1 8 5 3 4 1 1 8 5 3 4 1 4 26 19 10 14 4
Etapa III: Informe de evaluacin (1 de octubre-15 de noviembre) Sesin de informacin en la ACDI (Canad) Segundo grupo de discusin (Canad) Redaccin del informe Presentacin de la primera versin Entrega del informe final Total: Leyenda JEEC EPC EPM EM Jefe del Equipo de Evaluacin (Canad) Evaluador Principal (Canad) Evaluador Principal (Mubara) Evaluador (Mubara) 1 2 3 2 3 35 1 3 7 1 3 54 3 7 2 44 3 7 2 40 2 11 24 3 10 173
Informes
El Jefe del Equipo de Evaluacin presentar informes mensuales de progreso al Director de Evaluacin de la ACDI y le informar de cualquier cambio y/o problema que requiera una atencin inmediata. Los consultores canadienses y mubareses ofrecern una sesin informativa oral al personal concernido de la Alta Comisin de Canad al inicio de su visita a Mubara, as como al final de la misma. Por otra parte, los consultores canadienses ofrecern una sesin informativa oral al personal concernido de la ACDI en la administracin central, antes y despus de su visita sobre el terreno en Mubara. El Jefe del Equipo de Evaluacin presentar una primera versin del informe de evaluacin al Director del programa de pas de la ACDI y al Director Ejecutivo del Tesoro Nacional de Mubara en un plazo de cuatro semanas a partir de su fecha de regreso a Canad. Cada oficina recibir ocho copias del informe en formato impreso. Tras recibir los comentarios de los interesados sobre la versin preliminar del informe, el Jefe del Equipo de Evaluacin dispondr de dos semanas para presentar su informe final, en diez ejemplares impresos, al Director del programa de pas de la ACDI y al Director Ejecutivo del Tesoro Nacional de Mubara. El informe final se redactar nicamente en ingls, mientras que el resumen estar disponible en las dos lenguas oficiales. El resumen en francs e ingls se preparar en formato pdf para que pueda ser cargado en el sitio EntreNous y las pginas web de la ACDI de acceso pblico. A continuacin se presenta un esquema provisional del informe de evaluacin.
Seccin Resumen
Contenido Introduccin Acerca de esta evaluacin Factores contextuales clave Perfil del programa Resumen de las constataciones (panorama general, por tema) Conclusiones principales Recomendaciones clave Propsito del informe Principales pblicos destinatarios Alcance del programa Alcance de la evaluacin Equipo de evaluacin
Introduccin
Seccin Perfil del programa
Contenido Contexto de desarrollo (consideraciones econmicas, sociales, culturales, polticas) Objetivos, papel, organizacin del programa Relacin con el desarrollo sostenible, la reduccin de la pobreza, y otras prioridades y objetivos de intervencin de la ACDI Situacin actual (perspectiva general, etapas clave completadas hasta la fecha, etc.) Recursos financieros Participacin de las partes interesadas (hasta la fecha) Obstculos (que influyen en el desempeo) Razones por la que se realiza la evaluacin Objetivos Alcance Problemas, cuestiones, indicadores de desempeo, fuentes de informacin (marco de la evaluacin) Metodologa (actividades, mtodos analticos, limitaciones, etc.) Participacin de las partes interesadas Lugares visitados (itinerario) Presentacin general Gobernanza Desarrollo de los recursos humanos Sociedad civil Desarrollo econmico Asociaciones Igualdad de gnero Medio ambiente Panorama general Gobernanza Desarrollo de los recursos humanos Sociedad civil Desarrollo econmico
Constataciones de la evaluacin
Conclusiones
Recomendaciones Enseanzas aprendidas Buenas prcticas Anexos
Anexo E1 EL MARCO DE EVALUACIN

A Resultados en materia de desarrollo y factores de xito
Cuestiones Subpreguntas Indicadores de desempeo/ variables a tener en cuenta
Gobernanza: Mejora de las capacidades de instituciones parlamentarias, judiciales u de otro tipo pertenecientes a la funcin pblica en la prestacin de servicios de calidad; reformas constitucionales; transformacin del sector pblico Desarrollo de los recursos humanos: Contribucin a la reestructuracin del sector de la educacin (por ej.: elaboracin de polticas, prestacin de servicios, diseo curricular), mejora de las normas, acceso equitativo de todos los sectores sociales Sociedad civil: Desarrollo de capacidades, capacitacin y mayor sostenibilidad de las organizaciones de la sociedad civil, nmero de organizaciones fortalecidas Desarrollo econmico: Estrechamiento de los vnculos comerciales y de inversin, perfeccionamiento de las competencias y desarrollo tecnolgico, apoyo a las pequeas y medianas empresas, nmero de empresas conjuntas atribuidas al programa Igualdad de gnero: Promocin de la participacin igual de la mujer en la toma de decisiones, los derechos de las mujeres, el acceso de las mujeres a los recursos y beneficios, y el control de los mismos
Fuentes de informacin
Representantes del gobierno mubars Beneficiarios Organizaciones de la sociedad civil Personal y agentes de proyecto, y gerentes de la divisin de programas de la ACDI Alta Comisin de Canad, MAECI Personal del organismo de ejecucin y organizaciones asociadas Expertos de otros organismos donantes Expertos temticos Documentos sobre el pas, el programa, los proyectos
Estudio de documentos Entrevistas para el proyecto Entrevistas con los socios clave Grupos de discusin Visitas sobre el terreno
1 Qu progresos se han hecho en la consecucin de los resultados previstos, a nivel de los productos, efectos directos e impactos?
En qu medida han contribuido los resultados reales a los resultados previstos? Qu resultados imprevistos (tanto positivos como negativos), de haberlos, pueden atribuirse a la inversin de la ACDI?
iii i
Cuestiones
Subpreguntas
Indicadores de desempeo/ variables a tener en cuenta Mejora de los recursos y perspectivas econmicas, la capacidad de autosuficiencia, la capacitacin, la toma de conciencia Inversiones atribuibles al programa, contribuciones a la creacin de empresas, hincapi en la sostenibilidad
Fuentes de informacin Representantes del gobierno mubars Beneficiarios Organizaciones de la sociedad civil Personal y agentes de proyecto, y gerentes de la divisin de programas de la ACDI Alta Comisin de Canad, MAECI Personal del organismo de ejecucin y organizaciones asociadas Expertos de otros organismos donantes Documentos sobre el pas, el programa, los proyectos Representantes del gobierno mubars Beneficiarios Organizaciones de la sociedad civil Personal y agentes de proyecto, y gerentes de la divisin de programas de la ACDI
Recopilacin de la informacin Estudio de documentos Entrevistas para el proyecto Entrevistas con los socios clave Visitas sobre el terreno
2 En qu medida han contribuido estos resultados a reducir la pobreza y fomentar el desarrollo sostenible?
Se design claramente a los beneficiarios, identificndolos como destinatarios de las ventajas, durante todas las etapas? Cmo ha mejorado la calidad de vida de los beneficiarios? Qu contribuciones se han hecho para lograr un crecimiento equitativo y ecolgicamente sostenible?
3 Ha respondido el programa a los desafos, prioridades y objetivos de desarrollo de Mubara?
Han sido acertadas las inversiones de la ACDI para responder a los problemas planteados?
Capacidad de responder a las necesidades reales de los beneficiarios Medida en que la intervencin de la ACDI responde a las prioridades del gobierno mubars Coherencia con las polticas y prioridades de la ACDI, con la poltica exterior canadiense Posibles beneficios para Canad
Estudio de documentos Entrevistas para el proyecto Entrevistas con los socios clave Visitas sobre el terreno
vi ii
Cuestiones
Subpreguntas
Indicadores de desempeo/ variables a tener en cuenta
Fuentes de informacin Alta Comisin de Canad, MAECI Personal del organismo de ejecucin y organizaciones asociadas Expertos de otros organismos donantes Documentos sobre el pas, el programa, los proyectos
Haba una adecuacin con las necesidades y prioridades de Mubara? Se ha respondido adecuadamente a los intereses canadienses? Se han coordinado los esfuerzos con otras iniciativas de desarrollo? 4 En qu medida se mantendrn los resultados y beneficios una vez concluida la participacin de la ACDI? Cmo ha contribuido la intervencin de la ACDI a la sostenibilidad de los resultados? Nivel de apropiacin de la comunidad local Asignacin de los recursos necesarios Desarrollo de las capacidades institucionales Carcter favorable de la coyuntura internacional/nacional (por ej.: polticas nacionales) Mejora de los recursos y perspectivas econmicas, la capacidad de autosuficiencia, la capacitacin, la toma de conciencia Inversiones atribuibles al programa, contribuciones a la creacin de empresas, hincapi en la sostenibilidad.
Representantes del gobierno mubars Beneficiarios Organizaciones de la sociedad civil Personal y agentes de proyecto, y gerentes de la divisin de programas de la ACDI Alta Comisin de Canad, MAECI
Estudio de documentos Entrevistas para el proyecto Entrevistas con los socios clave Visitas sobre el terreno
iii i
Cuestiones
Subpreguntas
Indicadores de desempeo/ variables a tener en cuenta Asociaciones, redes, iniciativas comunes, reuniones regionales, grupos de discusin electrnicos, etc. Colaboracin entre proyectos Grupos de trabajo Utilizacin ptima de los fondos de la AOD
Fuentes de informacin Representantes del gobierno mubars Organizaciones de la sociedad civil Personal y agentes de proyecto, y gerentes de la divisin de programas de la ACDI Personal del organismo de ejecucin y organizaciones asociadas Documentos sobre el pas, el programa, los proyectos Personal y agentes de proyecto, y gerentes de la divisin de programas de la ACDI Personal del organismo de ejecucin y organizaciones asociadas Documentos sobre el pas, el programa, los proyectos
Recopilacin de la informacin Estudio de documentos Entrevistas para el proyecto Entrevistas con los socios clave Grupos de discusin Visitas sobre el terreno
5 En qu medida se han fomentado y apoyado las asociaciones y/o vnculos entre instituciones y organizaciones?
Qu asociaciones y/o vnculos se han visto facilitados? Qu mtodos han tenido xito?
6 Han sido eficaces las estructuras de gestin para responder a los problemas y fomentar la creatividad e innovacin?
Cules han sido los puntos fuertes y dbiles de las estructuras de gestin? En qu medida la ACDI ha establecido, promovido y apoyado nuevas estrategias y prcticas?
Asociaciones eficaces, gestin basada en los resultados, gestin eficaz de los riesgos Sensibilidad a la situacin local Buena comprensin de las responsabilidades de la gestin Nivel de participacin de las partes interesadas xito de los sistemas para responder a los cambios Aplicacin de las enseanzas
vi ii
Cuestiones
Subpreguntas
Indicadores de desempeo/ variables a tener en cuenta Adecuacin de los recursos asignados a nivel de proyecto para responder a las necesidades enunciadas en la etapa de planificacin Buenas prcticas de gestin financiera, de gestin de contratos Nivel adecuado de prudencia y probidad
Fuentes de informacin Personal y agentes de proyecto, y gerentes de la divisin de programas de la ACDI Alta Comisin de Canad, MAECI Personal del organismo de ejecucin y organizaciones asociadas Documentos sobre el pas, el programa, los proyectos Personal y agentes de proyecto, y gerentes de la divisin de programas de la ACDI Alta Comisin de Canad, MAECI Personal del organismo de ejecucin y organizaciones asociadas Documentos sobre el pas, el programa, los proyectos
Recopilacin de la informacin Estudio de documentos Entrevistas para el proyecto Entrevistas con los socios clave Grupos de discusin
7 Se han utilizado correctamente los recursos humanos, financieros y fsicos, y ha sido exacta y suficiente la informacin financiera mantenida?
Han sido suficientes los recursos? Han sido adecuados los sistemas contables y financieros para responder eficazmente a las necesidades de gestin del programa?
8 Ha anticipado y respondido la ACDI a los cambios basndose en informacin adecuada?
Existan sistemas de informacin adecuados para identificar los nuevos riesgos, problemas de desarrollo y niveles de desempeo de los proyectos? Ha habido buenos intercambios de informacin?
Nmero y naturaleza de los sistemas existentes Buen funcionamiento de los sistemas y uso eficaz de los mismos Utilizacin de la informacin de forma oportuna para una gestin eficaz, pertinencia de las medidas adoptadas Existencia de sistemas de intercambio de informacin con los ministerios beneficiarios, organizaciones de la sociedad civil, socios, otros donantes, etc.
iii i
B Future Directions
Cuestiones Subpreguntas Fuentes de informacin Recopilacin de la informacin Entrevistas con los socios clave Grupos de discusin
1 Qu se debe hacer para lograr los objetivos de reducir la pobreza y fomentar el desarrollo sostenible en Mubara?
En qu sectores debe concentrarse la ayuda financiera de los donantes? Qu forma debera adoptar la cooperacin para el desarrollo a fin de lograr los mximos beneficios? Cules son los principales obstculos para realizar esas oportunidades de cooperacin para el desarrollo? Cmo pueden superarse esos obstculos?
Representantes del gobierno mubars Organizaciones de la sociedad civil Personal y agentes de proyecto, y gerentes de la divisin de programas de la ACDI Alta Comisin de Canad, MAECI Personal del organismo de ejecucin y organizaciones asociadas
2 Qu enseanzas extradas del programa de pas para Mubara podran fortalecer la capacidad de la Estrategia Mubara-Canad de Cooperacin para el Desarrollo para responder a los desafos, prioridades y objetivos de Mubara en materia de desarrollo? 3 Cules son los sectores que mejor se prestan al establecimiento de relaciones institucionales y asociaciones de larga duracin que podran aprovechar los puntos
Cmo deben estructurarse las intervenciones de la ACDI? Cules son las prioridades, temas y/o actividades de la cooperacin para el desarrollo en las que conviene hacer hincapi? Qu modificaciones conviene hacer en las estrategias y prcticas actuales? Qu tipo de relaciones institucionales y asociaciones han dado buenos resultados hasta la fecha? Por qu? Qu sectores se prestan mejor a la colaboracin entre Mubara y Canad en el futuro?
Representantes del gobierno mubars Organizaciones de la sociedad civil Personal y agentes de proyecto, y gerentes de la divisin de programas de la ACDI Alta Comisin de Canad, MAECI Personal del organismo de ejecucin y organizaciones asociadas Representantes del gobierno mubars Organizaciones de la sociedad civil Personal y agentes de proyecto, y gerentes de la divisin de programas de la ACDI
Entrevistas con los socios clave Grupos de discusin
Entrevistas con los socios clave Grupos de discusin
vi ii
Cuestiones fuertes complementarios mubareses y canadienses?
Subpreguntas
Fuentes de informacin
Qu sectores son los ms idneos para utilizar los puntos fuertes complementarios mubareses y canadienses?
Alta Comisin de Canad, MAECI Personal del organismo de ejecucin y organizaciones asociadas
iii i
Anexo E
EXAMEN DE LOS PROYECTOS GUA DE ENTREVISTA I
Ttulo del proyecto Tema Persona entrevistada Cargo Lugar Nmero de telfono Correo-e Entrevista celebrada en
____________________________________________ (si procede) ____________________________________________ (si procede) ____________________________________________ ____________________________________________ ____________________________________________ ____________________________________________ ____________________________________________ (si es til) ____________________________________________ (lugar, fecha)
Instrucciones
En colaboracin con el Tesoro Nacional de Mubara, la ACDI realiza una evaluacin del Programa Mubara-Canad de Cooperacin para el Desarrollo. Esta evaluacin incluye exmenes de una serie de proyectos realizados entre 1998 y 2002. Para obtener ms informacin acerca de los resultados obtenidos con estos proyectos y los cambios que convendra hacer para el futuro, estamos realizando entrevistas con personas que han participado en los proyectos o los conocen bien. Segn la ACDI, Usted forma parte de las personas que pueden ayudarnos a recopilar esta informacin. Su participacin en esta entrevista es completamente voluntaria. Sus respuestas tienen carcter confidencial y nadie sabr los comentarios que ha realizado. La entrevista consiste en una serie de preguntas a las que debe responder, para lo que necesitar entre 20 y 45 minutos. Nota En caso necesario, se adaptarn las preguntas a la experiencia de la persona entrevistada (conocimiento de un proyecto especfico, experiencia temtica, etc.). Se utilizar el pasado si el proyecto ha terminado. Se omitirn las preguntas que no se apliquen a una persona particular.
Preguntas generales P1 En qu ha consistido su participacin en el Programa Mubara-Canad de Cooperacin para el Desarrollo o por qu lo conoce? P2 En su opinin, en qu medida ha respondido este programa a los desafos, necesidades y prioridades de Mubara? Qu ejemplos le vienen de inmediato a la mente? Preguntas sobre un proyecto especfico P3 Ha sido acertada la inversin de la ACDI en este proyecto para responder a los problemas planteados (esto es, las necesidades y prioridades de Mubara)? P4 Quines son los beneficiarios de este proyecto? Qu impacto ha tenido el proyecto en su calidad de vida? (Hablar de mejora de los recursos y perspectivas econmicas, la capacidad de autosuficiencia, la capacitacin, la toma de conciencia) P5 Cmo ha contribuido el proyecto a reducir la pobreza? P6 Cmo ha contribuido el proyecto a fomentar el desarrollo sostenible de Mubara? P7 Han sido eficaces las estructuras de gestin para responder a los problemas y fomentar la creatividad e innovacin? Cules han sido los puntos fuertes y dbiles de esas estructuras? P8 Se han coordinado con eficacia los esfuerzos con otras iniciativas de desarrollo en la regin? P9 Ha fomentado y apoyado este proyecto el establecimiento de asociaciones y vnculos eficaces entre instituciones, organizaciones y/o particulares? Dar ejemplos. P10 Cmo ha sido la relacin entre los principales participantes en el proyecto? P11 Se han utilizado correctamente los recursos humanos, financieros y fsicos? Eran suficientes esos recursos? P12 Ha anticipado y respondido la ACDI a los cambios basndose en informacin adecuada?
P13 Cmo han participado las partes interesadas mubaresas en la planificacin y ejecucin del proyecto? P14 Haba buenos intercambios de informacin con los socios, otros donantes, los ministerios mubareses, los beneficiarios, etc.? P15 Qu enseanzas clave se han extrado del proyecto acerca de la cooperacin para el desarrollo en Mubara? P16 Qu importancia ha tenido el proyecto en la vida de las mujeres? P17 Cules, de haber existido, han sido los principales obstculos en la realizacin del proyecto? Cmo se han superado? Qu hara de otro modo? P18 Cree que las ventajas derivadas de este proyecto se mantendrn despus de su finalizacin? Proyectos de gobernanza (nicamente) P19 En qu medida la inversin de la ACDI ha: (escoja uno o ms de los siguientes puntos dependiendo de los resultados previstos del proyecto) mejorado la capacidad de las instituciones mubaresas parlamentarias, judiciarias o de otro tipo pertenecientes a la funcin pblica para prestar servicios de calidad? facilitado reformas constitucionales? contribuido a la transformacin del sector pblico? producido otros resultados previstos? P20 Ha producido el proyecto resultados imprevistos, tanto positivos como negativos? En caso afirmativo, cules? Proyectos de desarrollo de los recursos humanos (nicamente) P21 En qu medida la inversin de la ACDI ha: (escoja uno o ms de los siguientes puntos dependiendo de los resultados previstos del proyecto) contribuido a la reestructuracin del sector de la educacin (elaboracin de polticas, prestacin de servicios, diseo curricular, etc.)?
mejorado las normas en materia de educacin y capacitacin? facilitado un acceso ms equitativo a las oportunidades de educacin y capacitacin? producido otros resultados previstos? P22 Ha producido el proyecto resultados imprevistos, tanto positivos como negativos? En caso afirmativo, cules? Sociedad civil (nicamente) P23 En qu medida la inversin de la ACDI ha: (escoja uno o ms de los siguientes puntos dependiendo de los resultados previstos del proyecto) contribuido a fortalecer las organizaciones de la sociedad civil mediante el desarrollo de capacidades? mejorado la sostenibilidad de las organizaciones de la sociedad civil? producido otros resultados previstos? P24 Ha producido el proyecto resultados imprevistos, tanto positivos como negativos? En caso afirmativo, cules? Desarrollo econmico (nicamente) P25 En qu medida la inversin de la ACDI ha: (escoja uno o ms de los siguientes puntos dependiendo de los resultados previstos del proyecto) permitido estrechar los vnculos comerciales y de inversin? contribuido al perfeccionamiento de las competencias y el desarrollo tecnolgico? apoyado las pequeas y medianas empresas? producido otros resultados previstos? P26 Ha producido el proyecto resultados imprevistos, tanto positivos como negativos? En caso afirmativo, cules?
Beneficiarios (nicamente) (indquese si la persona entrevistada es hombre o mujer) P27 Cmo ha participado en este proyecto? P28 Qu importancia ha tenido este proyecto en su vida? Cules considera que son las ventajas personales que le aporta a corto y largo plazo? P29 Cree que esas ventajas se mantendrn cuando Ud. deje de participar en el proyecto? P30 Si participara de nuevo en el proyecto, qu es lo que hara de forma diferente?
Orientaciones futuras - Preguntas prospectivas P31 Qu se debe hacer para lograr los objetivos de reducir la pobreza y fomentar el desarrollo sostenible en Mubara? P32 Qu enseanzas aprendidas con el programa de pas para Mubara permitiran fortalecer la capacidad de la Estrategia Mubara-Canad de Cooperacin para el Desarrollo para responder a los desafos, prioridades y objetivos de desarrollo del pas? P33 Qu modificaciones conviene hacer en las estrategias y prcticas actuales? P34 Cules son los sectores que mejor se prestan al establecimiento de relaciones institucionales y asociaciones de larga duracin que podran aprovechar los puntos fuertes complementarios mubareses y canadienses? P35 Qu forma debera adoptar la cooperacin para el desarrollo para lograr los mximos beneficios? Cmo deben estructurarse las intervenciones de la ACDI? En qu sectores debe concentrarse la ayuda financiera de los donantes? P36 Cules son los principales obstculos para realizar esas oportunidades de cooperacin para el desarrollo? Cmo pueden superarse esos obstculos? P37 Qu tipo de relaciones institucionales y asociaciones han dado buenos resultados hasta la fecha? Por qu?
P38 Qu sectores se prestan mejor a la colaboracin entre Mubara y Canad en el futuro? Qu sectores son los ms idneos para utilizar los puntos fuertes complementarios mubareses y canadienses?
Anexo E
SOCIOS CLAVE
GUA DE ENTREVISTA II
Persona entrevistada Cargo Lugar Nmero de telfono Correo-e Entrevista celebrada en
_____________________________________________ _____________________________________________ _____________________________________________ _____________________________________________ _____________________________________________ (si es til) _____________________________________________ (lugar, fecha)
Instrucciones En colaboracin con el Tesoro Nacional de Mubara, la ACDI realiza una evaluacin del Programa Mubara-Canad de Cooperacin para el Desarrollo. Para obtener ms informacin acerca de los resultados obtenidos con este programa y los cambios que convendra hacer para el futuro, estamos realizando entrevistas con personas clave que han participado en el programa o lo conocen bien. Segn la ACDI, Usted forma parte de las personas que pueden ayudarnos a recopilar esta informacin. Su participacin en esta entrevista es completamente voluntaria. Sus respuestas tienen carcter confidencial y nadie sabr los comentarios que ha realizado. Necesitar unos 30 minutos para responder a las preguntas de la entrevista.
Nota En caso necesario, se adaptarn las preguntas a la experiencia de la persona entrevistada. Se omitirn las preguntas que no se apliquen a una persona particular.
Preguntas generales P1 En qu ha consistido su participacin en el Programa Mubara-Canad de Cooperacin para el Desarrollo o por qu lo conoce? P2 En su opinin, en qu medida ha respondido este programa a los desafos, necesidades y prioridades de Mubara? Qu ejemplos le vienen de inmediato a la mente? Resultados P3 Cules son, a su entender, los principales resultados obtenidos gracias al programa canadiense a nivel del pas? P4 Cmo ha contribuido este programa a reducir la pobreza? P5 Cmo ha contribuido el programa a fomentar el desarrollo sostenible de Mubara? P6 Ha fomentado y apoyado este programa el establecimiento de asociaciones y vnculos eficaces entre instituciones, organizaciones y/o particulares? P7 Qu enseanzas clave se han extrado del proyecto acerca de la cooperacin para el desarrollo en Mubara? P8 Cules, de haber existido, han sido los principales obstculos en la realizacin del programa? Cmo se han superado? Qu habra que hacer de forma diferente? P9 Cree que las ventajas derivadas de este programa se mantendrn despus de su finalizacin? Gobernanza (segn la experiencia del interesado) P10 Qu resultados se han obtenido en el sector de la gobernanza? (Hablar de prestacin de servicios, reformas constitucionales, transformacin del sector pblico) Desarrollo de los recursos humanos (segn la experiencia del interesado) P11 Qu resultados se han obtenido en el sector de la educacin y capacitacin? (Hablar de reestructuracin, normas, acceso equitativo)
Sociedad civil (segn la experiencia del interesado) P12 Qu resultados se han obtenido en materia de fortalecimiento de la sociedad civil? (Hablar de desarrollo de capacidades, sostenibilidad) P13 Cmo ha evolucionado y cambiado la sociedad civil desde 1998? P14 Qu ventajas aportan las organizaciones de la sociedad civil a los grupos marginados y desfavorecidos en Mubara? P15 Qu papel ha desempeado la sociedad civil en el dilogo sobre polticas con el gobierno (a todos los niveles)? Qu influencia ha podido ejercer en las polticas del gobierno? Cmo ha evolucionado ese papel e influencia desde 1998? Desarrollo econmico (segn la experiencia del interesado) P16 En su opinin, ha facilitado el programa la creacin de vnculos comerciales sostenibles entre compaas canadienses y mubaresas? Han favorecido esos vnculos el perfeccionamiento de competencias y el desarrollo tecnolgico? P17 Qu resultados se han obtenido apoyando a las pequeas y medianas empresas?
Orientaciones futuras - Preguntas prospectivas P18 Qu se debe hacer para lograr los objetivos de reducir la pobreza y fomentar el desarrollo sostenible en Mubara? P19 Qu enseanzas aprendidas con el programa de pas para Mubara permitiran fortalecer la capacidad de la Estrategia Mubara-Canad de Cooperacin para el Desarrollo para responder a los desafos, prioridades y objetivos de desarrollo del pas? P20 Qu modificaciones conviene hacer en las estrategias y prcticas actuales? P21 Cules son los sectores que mejor se prestan al establecimiento de relaciones institucionales y asociaciones de larga duracin que podran aprovechar los puntos fuertes complementarios mubareses y canadienses?
P22 Qu forma debera adoptar la cooperacin para el desarrollo para lograr los mximos beneficios? Cmo deben estructurarse las intervenciones de la ACDI? En qu sectores debe concentrarse la ayuda financiera de los donantes? P23 Cules son los principales obstculos para realizar esas oportunidades de cooperacin para el desarrollo? Cmo pueden superarse esos obstculos? P24 Qu tipo de relaciones institucionales y asociaciones han dado buenos resultados hasta la fecha? Por qu? P25 Qu sectores se prestan mejor a la colaboracin entre Mubara y Canad en el futuro? Qu sectores son los ms idneos para utilizar los puntos fuertes complementarios mubareses y canadienses?
Anexo E
RESEAS BIOGRFICAS MIEMBROS DEL EQUIPO DE EVALUACIN
Para cada uno de los miembros del equipo de evaluacin se preparar un perfil o resea biogrfica breve, que describir sus cualificaciones, experiencia y conocimientos especializados. Se puede mencionar, por ejemplo, el papel que esa persona desempe en el marco de otros proyectos de cooperacin para el desarrollo (de la ACDI y de otros clientes), haciendo hincapi en las tareas similares realizadas en la regin o pas en cuestin (o en un contexto similar).
Anexo F
Texto modelo
Resumen
A continuacin presentamos un modelo de resumen para una evaluacin ficticia a fin de comunicar cules son las expectativas de la ACDI para los evaluadores que preparan los resmenes. Esta presentacin facilita el trabajo basndose en una norma concebida para responder a las exigencias de informacin de la Agencia.
Evaluacin del Proyecto de Salud Reproductiva en Balimar Resumen

1 Introduccin El Proyecto de Salud Reproductiva en Balimar, que empez a funcionar a principios de 1999, tiene por misin ayudar al gobierno local a mejorar su capacidad en materia de salud reproductiva. Se realiza en el marco de un acuerdo concluido entre el Gobierno de Balimar y el Banco Mundial, con el objetivo de reducir las tasas de fecundidad, as como la morbilidad y mortalidad materna e infantil. Este acuerdo global abarca a su vez distintos acuerdos por un valor total de 68,5 millones de dlares canadienses, concluidos con Canad y otros tres donantes (Australia, Noruega y el Reino Unido). Canad contribuye a doce subproyectos (de un total de 32), que tienen como objetivo: 1) la provisin de anticonceptivos orales a la poblacin local; 2) el fortalecimiento de la prestacin de los servicios de planificacin familiar; y 3) el desarrollo de capacidades para responder a cuestiones relacionadas con el gnero. Actualmente, la contribucin anual de la ACDI asciende a 3,5 millones de dlares canadienses, habindose fijado diciembre de 2003 como fecha de finalizacin del proyecto. La evaluacin de la participacin de Canad en el Proyecto de Salud Reproductiva en Balimar debe responder a tres cuestiones clave: Cmo han mejorado los resultados obtenidos el bienestar de la poblacin? Qu iniciativas de planificacin familiar y de servicios de salud reproductiva han dado los mejores resultados?
En qu medida han contribuido las intervenciones en materia de dilogo sobre polticas a hacer progresar la igualdad de gnero dentro del consorcio y el gobierno beneficiario? Las actividades de recopilacin de informacin para este componente consistieron en un estudio de documentos, entrevistas personales y en grupo, consultas con grupos de discusin y varias visitas sobre el terreno. El trabajo sobre el terreno para este componente se inici en abril de 2001 y se entrevist a unas 50 personas en Canad y Balimar. 2 Contexto Balimar sigue viviendo las consecuencias de la guerra civil que durante quince aos devast el pas tanto econmica como socialmente. El Producto Interno Bruto per cpita para el ao 2000 fue de 1 465 dlares estadounidenses y, en el ndice de Desarrollo Humano, Balimar se clasific en 156 lugar entre los 175 pases considerados. Las estadsticas muestran que la situacin econmica no ha dejado de deteriorarse durante los aos de la reconstruccin desde la firma de los Acuerdos de Paz en 1995. Las tasas de analfabetismo han pasado del 67 por ciento en 1997 al 58 por ciento en el ao 2000. Durante la guerra, se produjeron importantes olas de migracin urbana, al abandonar las personas los estilos de vida tradicional en bsqueda de una mayor seguridad. Esta dinmica llev al lmite a una capacidad ya de por s dbil para responder a las necesidades en materia de servicios de salud. Solamente 63 por ciento de los hogares de Balimar en los principales centros tiene acceso a agua potable, mientras que nicamente 32 por ciento tienen acceso a instalaciones adecuadas de saneamiento. La esperanza de vida media es de 56 aos, tanto para las mujeres como los hombres. Debido a la capacidad de atencin a pacientes, en gran parte rudimentaria y prcticamente inexistente en muchos lugares, resulta difcil determinar con certeza el alcance de los problemas que afectan la prestacin de servicios de salud. Gracias en gran medida a las intervenciones de los donantes, ciertos indicios apuntan al logro de avances modestos en Balimar con respecto a la reduccin de sus tasas de fecundidad durante el perodo de 1997 a 2000. La tasa de mortalidad infantil se estima en torno a las 95 muertes por 1 000 nacidos vivos, mientras que la tasa de mortalidad materna rondara las 500 muertes por 100 000. 3 Resultados alcanzados Se han realizado importantes progresos en la consecucin de los resultados previstos. La contribucin de anticonceptivos orales realizada por Canad se considera un factor importante en el incremento de la tasa de uso de anticonceptivos, que pas del 25 por ciento en 1997 al 42 por ciento en 2000, y el descenso continuo de la tasa total de fecundidad del 5,4 en 1997 al 3,9 en 2000.
Las ONG locales y el Ministerio de Salud distribuyen cada ao los 20 millones de anticonceptivos orales previstos aportados por la ACDI. Aproximadamente 320 personas en seis regiones han sido capacitadas en el mbito de la planificacin familiar, incluidos 40 hombres. El Ministerio de Salud ha establecido una Oficina de Cuestiones de Gnero y se est elaborando un programa de extensin educativa. Hay indicios de que el Ministerio de Salud es cada vez ms consciente de la necesidad de mejorar el equilibrio entre los servicios de salud y la planificacin familiar. Las entrevistas y las consultas a los grupos de discusin pusieron de relieve que las mujeres relacionan la pobreza con la falta de tierra y de vivienda adecuada, as como la dificultad de generar suficientes ingresos con que comprar las provisiones diarias necesarias para alimentar a la familia. Si dispusieran de ms ingresos o tierra, preferiran tener ms hijos que los tres o cuatro a los que se sienten limitadas en la actualidad. El costo de oportunidad de tener hijos es actualmente muy bajo debido a las estructuras sociales que limitan la movilidad de las mujeres y, por consiguiente, tambin su acceso a actividades generadoras de ingresos. No obstante, las mujeres en general aceptan cada vez mejor la anticoncepcin y solicitan directamente servicios de planificacin familiar. Debido a sus efectos secundarios, un nmero de mujeres superior al previsto han rechazado los anticonceptivos orales y optado por otros mtodos (como el DIU y el preservativo). Asimismo, se han sealado varios incidentes de violencia domstica atribuibles a las iniciativas de planificacin familiar que, segn ciertos hombres, se inmiscuan en su campo de dominio tradicional. 4 Relacin costo-eficacia de los resultados La informacin examinada indica que el proyecto es rentable, si se compara con otras intervenciones de la ACDI en contextos similares. Los gastos reales corresponden por lo general a los previstos, utilizndose las discrepancias entre los aos para mantener los niveles presupuestarios generales. Todas las discrepancias importantes se documentaron debidamente por escrito y se consideraron justificadas. Los altos costos iniciales se compensaron con iniciativas de ahorro adoptadas en los aos siguientes. Se han minimizado los gastos generales y la contratacin generalizada de profesionales locales ha permitido reducir los costos de mano de obra. La documentacin indicaba que el precio pagado para los anticonceptivos comprados en gran cantidad era bueno.
5 Pertinencia de los resultados En un pas que no puede responder a las necesidades humanas bsicas de una poblacin en rpido crecimiento, los mejores indicadores de la utilidad de los resultados para los beneficiarios son: 1) el incremento de la tasa de uso de anticonceptivos; 2) la disminucin asociada de las tasas de fecundidad; y 3) el aumento de la demanda de servicios de planificacin familiar. El proyecto se ajusta ntegramente a lo enunciado en Las prioridades de desarrollo social de la ACDI: un marco de accin, mostrando su coherencia con los objetivos de la Agencia en materia de planificacin familiar, mejora de los servicios de salud reproductiva y desarrollo de capacidad. En el marco general del proyecto, la ACDI ha desempeado un papel decisivo en la promocin de polticas y programas sensibles a la dimensin de gnero, y la creacin de una Oficina para Cuestiones de Gnero en el Ministerio, lo cual representa un gran logro. Si bien se han hecho algunos avances, la necesidad de que el Gobierno de Balimar otorgue mayor prioridad y asigne ms recursos a los servicios de salud reproductiva y de planificacin familiar sigue constituyendo un desafo. Para lograrlo, probablemente se necesitar una iniciativa coordinada de dilogo sobre polticas que cuente con el compromiso continuo de todos los donantes participantes. Las consultas celebradas indicaron que el enfoque del proyecto global estaba bien coordinado, que no haba apenas indicios que apuntaran a una duplicacin de esfuerzos y que otras iniciativas paralelas estaban siendo complementadas por la direccin del proyecto a nivel local, regional y nacional. 6 Sostenibilidad de los resultados De acuerdo con la planificacin del proyecto general, el Gobierno de Balimar asumira progresivamente la responsabilidad del mismo hasta la plena consecucin de su objetivo, prevista para diciembre de 2003. En las entrevistas que se les realizaron, los representantes del Ministerio se mostraron en general satisfechos con los resultados logrados hasta el momento, los mtodos utilizados y el principio de apropiacin local del proyecto. El rechazo de los anticonceptivos orales debido a sus efectos secundarios (nuseas, mareos y dolores de cabeza) sigue siendo un factor que complica la situacin. No obstante, por el momento no es posible determinar si los resultados se mantendrn ms all de diciembre de 2003. La sostenibilidad de los resultados depender en gran medida del compromiso financiero sostenido del Gobierno de Balimar para mantener la calidad y nivel de los servicios ofrecidos, as como la tasa actual de utilizacin de los anticonceptivos, lo cual exigir sin duda un incremento progresivo de su compromiso financiero, que se traduzca en una duplicacin de su inversin original para el ao financiero 2004/2005.
Dado que el programa est basado en la distribucin gratuita de anticonceptivos y en programas motivacionales dirigidos a parejas de recursos financieros muy limitados, cualquier alternativa para recuperar los costos podra tener un efecto disuasivo en la aceptacin de los anticonceptivos. Las limitaciones financieras o el rechazo de los anticonceptivos por parte de los usuarios podran obligar a recurrir en mayor medida a mtodos clnicos anticonceptivos de larga duracin (como la esterilizacin, tanto de mujeres como de hombres) a fin de que las tasas de fecundidad se mantengan en niveles bajos. 7 Asociaciones El marco operativo del consorcio de donantes dirigido por el Banco Mundial establece con claridad lo que se espera de los donantes participantes e identifica las responsabilidades individuales por subproyecto. Este enfoque ha permitido mejorar la eficacia de la ejecucin del proyecto, la coordinacin de las actividades y la consecucin de los resultados previstos. Las partes interesadas locales participan activamente en el diseo e implementacin de las actividades de planificacin familiar y han desempeado un papel fundamental ayudando a garantizar que se respeten plenamente las costumbres y prcticas locales. Las contribuciones realizadas por los socios de los subproyectos de la ACDI indican que las personas participantes estn debidamente habilitadas para desempear eficazmente su cometido. El organismo de la ONU encargado de adquirir y entregar los anticonceptivos orales cumpli debidamente su mandato. Los retrasos en la elaboracin de un plan de implementacin para el establecimiento de la Oficina para Cuestiones de Gnero, los problemas de comunicacin con la ONG responsable y la falta de cooperacin entre los socios participantes dio lugar a una demora de seis meses en la fecha de inicio de la iniciativa. 8 Adecuacin del diseo Los logros obtenidos en la reduccin de las tasas de fecundidad y el incremento de las tasas de uso de anticonceptivos son quizs la mejor forma de juzgar la calidad general del diseo. No obstante, las deficiencias en el enfoque adoptado para algunos de los subproyectos repercutieron negativamente en la calidad de los servicios ofrecidos (por ej., la ignorancia de las costumbres locales). Entre los aspectos que no se abordaron correctamente destacan: los riesgos asociados con una excesiva dependencia de la aceptacin de los mtodos anticonceptivos orales; la fuerte demanda de servicios de regulacin menstrual; las estrategias para reducir las tasas de mortalidad materna, que no fueron eficaces.
El diseo general del proyecto inclua algunos elementos de gestin basada en los resultados y prevea un sistema continuo para controlar el desempeo de todos los subproyectos. Existen pocas pruebas tangibles de que se identificaran y evaluaran los riesgos durante la etapa de planificacin del proyecto. 9 Utilizacin adecuada de los recursos En general, las capacidades asignadas a los subproyectos canadienses se han utilizado correctamente. En su conjunto, los responsables de los subproyectos han demostrado un alto nivel de cualificaciones y una gran dedicacin. Sus contribuciones han ayudado a dar mayor realce al papel de Canad dentro del consorcio y la comunidad de donantes. La gestin financiera de los componentes canadienses se ejerce adecuadamente, siendo creble el proceso de toma de decisiones y respetndose buenas polticas y procedimientos. Las prcticas de contratacin son congruentes con las normas y reglas aceptadas. La informacin financiera era completa, exacta y fiable. La administracin central de la ACDI recibe informacin actualizada regularmente. Las cuestiones financieras son solucionadas con rapidez y decisin. 10 Medidas documentadas y rpidas Sera prematuro a esta altura del proyecto pronunciarse sobre la necesidad de elaborar estrategias eficaces alternativas a la utilizacin de anticonceptivos orales para mantener tasas aceptables de fecundidad y uso de anticonceptivos. Se estn evaluando varios mecanismos como proyectos piloto. Las consultas y sesiones con los grupos de discusin indicaron que, por regla general, las decisiones son tomadas de forma fundamentada gracias a la informacin recopilada sobre el terreno. Los informes de progreso estn bien estructurados y son tiles para la alta direccin. En algunos casos, la reticencia a informar de ciertos problemas ha demorado la adopcin de soluciones eficaces, creando mayores complicaciones. La experimentacin con nuevas tecnologas innovadoras de capacitacin a distancia en regiones remotas no ha dado resultados concluyentes. La gestin de los riesgos asociados con esta iniciativa fue deficiente.
2121098765432109876543210987654321210987654321098765432109876543212109876543210987654321098765432 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 121098765432109876543210987654321210987654321098765432109876543212109876543210987654321098765432 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 1 2 1
11 Conclusin Cmo han mejorado los resultados obtenidos el bienestar de la poblacin? De forma global, los subproyectos de la ACDI han contribuido a mejorar el bienestar general de la poblacin beneficiaria. Los grupos de discusin indicaron que los participantes, tanto mujeres como hombres, se sienten ms capacitados, y ms realizados y satisfechos a nivel personal, al comprender mejor los mtodos de planificacin familiar. Esto, a su vez, les ayuda a manejar mejor sus vidas dentro de los parmetros de necesidades econmicas, sociales y bsicas que caracterizan su rutina cotidiana. El bajo nivel inicial de aceptacin se explicara por el hecho de que las estrategias de implementacin no haban tenido debidamente en cuenta las dimensiones culturales de la administracin de anticonceptivos orales. Los esfuerzos desplegados para dotar al programa de una mayor sensibilidad local no han producido resultados concluyentes, lo cual se ha visto complicado en parte por los efectos secundarios experimentados por las usuarias. No obstante, la disminucin general de las tasas de fecundidad constituye una importante prueba de que el proyecto ha tenido un impacto general positivo. Dicho esto, el incremento en fecha reciente de la demanda de servicios de regulacin menstrual parecera indicar que las participantes estn dejando de utilizar los anticonceptivos orales o bien stos no tienen xito. El hecho de que aproximadamente 85 por ciento de los partos tengan lugar en el hogar explica en parte por qu no se comprenden bien las razones por las que la tasa de mortalidad materna sigue siendo relativamente alta. Es necesario otorgar mayor atencin a este problema y realizar un esfuerzo de cooperacin que cuente con la participacin del Ministerio de Salud y sus oficinas locales de salud. Asimismo, debe otorgarse mayor importancia a la calidad de los servicios de salud y el acceso universal a servicios de asesora. Qu iniciativas de planificacin familiar y de servicios de salud reproductiva han dado los mejores resultados? Los subproyectos relacionados con la prestacin de servicios bsicos de salud reproductiva han dado buenos resultados cuando se realizaron campaas educativas para informar a las mujeres acerca de: los mtodos seguros de control de la natalidad y las prcticas peligrosas; la atencin prenatal, obsttrica y postnatal; el diagnstico y tratamiento de infecciones relacionadas con el embarazo y complicaciones del parto.
Proporcionar informacin de calidad sobre la planificacin familiar se considera la opcin ms eficaz para promover una maternidad sin riesgos. Los resultados son mejores cuando se tienen en cuenta factores como: 1) el acceso a una buena alimentacin; 2) la asistencia de una partera cualificada durante el parto; y 3) la disponibilidad de atencin obsttrica de emergencia. En qu medida han contribuido las intervenciones en materia de dilogo sobre polticas a hacer progresar la igualdad de gnero dentro del consorcio y el gobierno beneficiario? La participacin de la ACDI en el Proyecto de Salud Reproductiva en Balimar ha desempeado un papel decisivo para formalizar el objetivo de la igualdad de gnero en el programa de trabajo general y ha contribuido a cambiar de forma positiva la actitud de los donantes. Estos esfuerzos han facilitado el establecimiento de la Oficina para Cuestiones de Gnero y han permitido instaurar dentro del consorcio una orientacin ms sensible a la dimensin de gnero. Los resultados obtenidos confirman que el Gobierno de Balimar est mostrando una disposicin ms favorable a considerar la igualdad de gnero como una de las prioridades de las reformas polticas. Existen adems indicios que apuntan a la influencia que han ejercido las intervenciones de la ACDI en las iniciativas de polticas nacionales ms generales. Si bien hay motivos para mostrarse optimista, la realizacin de grandes progresos se ver afectada, sin duda, por los enormes problemas econmicos que siguen afectando al pas. Resulta evidente que la capacidad de la ACDI para obtener resultados exitosos en materia de dilogo sobre polticas se ve fortalecida cuando coopera con otros donantes y crea alianzas. El apoyo firme del gobierno a la promocin de la igualdad de gnero determinar los avances sustanciales que pueden lograrse en el futuro. Los resultados del dilogo sobre polticas fueron fruto de: las dotes diplomticas y dedicacin demostradas por el personal de la ACDI; el nivel de confianza que caracteriz las relaciones personales dentro del consorcio.
2121098765432109876543210987654321210987654321098765432109876543212109876543210987654321098765432 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 121098765432109876543210987654321210987654321098765432109876543212109876543210987654321098765432 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 21210987654321098765432109876543212109876543210987654321098765432121098765432109876543210987654321 1 2 1
12 Recomendaciones Canad debera mantener su contribucin al proyecto y asociarse con los miembros del consorcio, los ministerios del gobierno beneficiario y los organismos de ejecucin para establecer nuevas estrategias y enfoques que tengan en cuenta las enseanzas aprendidas con la experiencia en materia de planificacin familiar y servicios de salud reproductiva. La ACDI debera promover la realizacin, a cargo de un organismo independiente, de estudios de investigacin acerca del impacto de los efectos secundarios de los anticonceptivos orales suministrados y las tasas de interrupcin y cambio de mtodo registradas. La ACDI debera tomar la iniciativa de las intervenciones de dilogo sobre polticas destinadas a: 1) establecer un mejor equilibrio entre los servicios de planificacin familiar y los servicios bsicos de salud reproductiva en el conjunto del proyecto; e 2) integrar las necesidades expresadas por las mujeres a la hora de planificar proyectos futuros. En su programa de pas para Balimar, la Agencia debera adoptar un enfoque integrado para promover la igualdad de gnero en el marco de todas sus iniciativas de intervencin, haciendo hincapi en el desarrollo de capacidades a nivel macro, meso y micro. La ACDI debera participar en el diseo y realizacin de una campaa educativa sobre las nociones esenciales de la fisiologa de la reproduccin a fin de capacitar a las mujeres y hombres para que puedan tomar decisiones fundamentadas en materia de planificacin familiar y evitar los fracasos relacionados con el uso de mtodos tradicionales. Es necesario realizar estudios para determinar las razones por las que no ha disminuido el uso de mtodos tradicionales a pesar de los recursos invertidos en el proyecto. El Consorcio debera elaborar una estrategia de difusin que permita a los organismos de ejecucin intercambiar con rapidez los resultados importantes de los estudios realizados. No se est aprovechando al mximo el acervo de conocimientos acumulados sobre nuevas cuestiones cruciales (regulacin menstrual, educacin para la vida familiar, integracin de la igualdad de gnero).
13 Lecciones aprendidas En el mbito de las polticas El liderazgo ejercido por Canad entre los miembros del consorcio para mantener una orientacin integral y constante centrada en la igualdad de gnero ha permitido obtener numerosos resultados de gran alcance que han desbordado sus campos especficos de intervencin. La adquisicin de los anticonceptivos orales represent aproximadamente el 40 por ciento de la contribucin financiera de Canad, si bien los resultados muestran una tasa de interrupcin de su uso del 44 por cierto, debido a los efectos secundarios y problemas de salud tras el primer ao de utilizacin. En el mbito de los programas para pas La realizacin de otros avances en la disminucin de las tasas de fecundidad en Balimar estar directamente vinculada al desarrollo de la capacidad institucional para ofrecer programas ms sensibles a la dimensin de gnero que promuevan con xito una mejora de la situacin de las mujeres en la sociedad. Los estudios sobre salud reproductiva deben ampliar sus horizontes ms all de los plazos del proyecto propiamente dicho, habida cuenta del tiempo que requieren las transiciones demogrficas. En este proyecto concreto, los resultados de las investigaciones esenciales para mejorar la calidad de los servicios de salud no se han aprovechado al mximo, debido a que todava no se han finalizado los documentos de investigacin o a que el consorcio no ha elaborado una estrategia para difundir los documentos finalizados. En el mbito de los proyectos Tres factores clave que ponen en peligro la sostenibilidad de los resultados a largo plazo son: 1) las altas tasas de interrupcin de los anticonceptivos orales y/o de cambio de mtodo anticonceptivo; 2) las malas condiciones de empleo de los trabajadores gubernamentales de la salud; y 3) la capacidad limitada del Gobierno de Balimar para incrementar los recursos necesarios que permitan mantener el impulso generado. En la actualidad, aproximadamente doce por ciento de las mujeres de Balimar utilizan mtodos tradicionales de planificacin familiar, sin el visto bueno de los servicios de planificacin familiar ofrecidos en el pas.
Notas ___________________________________________________________________________________ ____________________________________________________________________ ______________________________________________________________________ _____________________________________________________________________ ___________________________________________________________ __________________________________________________________ ___________________________________________________________________________________ ____________________________________________________________________ ______________________________________________________________________ _____________________________________________________________________ ___________________________________________________________ _______________________________________________________________________ ______________________________________________________________________ ____________________________________________________________________ ______________________________________________________________________ _____________________________________________________________________ ___________________________________________________________ __________________________________________________________ ___________________________________________________________________________________ ____________________________________________________________________ ______________________________________________________________________ _____________________________________________________________________ ___________________________________________________________ __________________________________________________________ ____________________________________________________________________________ ____________________________________________________________________________ ___________________________________________________________________________
___________________________________________________________________________________ ____________________________________________________________________ ______________________________________________________________________ _____________________________________________________________________ ___________________________________________________________ __________________________________________________________ ___________________________________________________________________________________ ____________________________________________________________________ ______________________________________________________________________ _____________________________________________________________________ ___________________________________________________________ _______________________________________________________________________ ______________________________________________________________________ ____________________________________________________________________ ______________________________________________________________________ _____________________________________________________________________ ___________________________________________________________ __________________________________________________________ ___________________________________________________________________________________ ____________________________________________________________________ ______________________________________________________________________ _____________________________________________________________________ ___________________________________________________________ __________________________________________________________ ____________________________________________________________________________ ____________________________________________________________________________ ___________________________________________________________________________ ___________________________________________________________ __________________________________________________________
___________________________________________________________________________________ ____________________________________________________________________ ______________________________________________________________________ _____________________________________________________________________ ___________________________________________________________ __________________________________________________________ ___________________________________________________________________________________ ____________________________________________________________________ ______________________________________________________________________ _____________________________________________________________________ ___________________________________________________________ _______________________________________________________________________ ______________________________________________________________________ ____________________________________________________________________ ______________________________________________________________________ _____________________________________________________________________ ___________________________________________________________ __________________________________________________________ ___________________________________________________________________________________ ____________________________________________________________________ ______________________________________________________________________ _____________________________________________________________________ ___________________________________________________________ __________________________________________________________ ____________________________________________________________________________ ____________________________________________________________________________ ___________________________________________________________________________ ___________________________________________________________ __________________________________________________________

Spanish E Guide

Caricato da

Informazioni sul documento

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Spanish E Guide

Caricato da

Copyright:

Formati disponibili

Canadian International Agencia Canadiense de Development Agency Desarrollo Internacional

GUA DE EVALUACIN DE LA ACDI

Superar los desafos

Satisfacer las expectativas

Hacer una contribucin

GUA DE EVALUACIN DE LA ACDI

Divisin de Evaluacin Direccin General de Gestin del Rendimiento y los Conocimientos

gua de evaluacin de la acdi

gua de evaluacin de la acdi

ACDI ACE ACNUR AOD CAD DGGRC

MdR MERX OIGC ONG OSE PAC SCT UAP UNICEF

gua de evaluacin de la acdi

Acerca de esta Gua....................................................................................................1

Consecucin de resultados como objetivo...........................................................9

Preparacin del marco de referencia.................................................................25

Seleccin del evaluador......................................................................................33

Preparacin del plan de trabajo de la evaluacin...............................................41

Recopilacin y anlisis de la informacin...........................................................55

Preparacin de los informes de la evaluacin....................................................63

10. Optimizacin de los resultados...........................................................................77

11. Preguntas ms frecuentes..................................................................................83

gua de evaluacin de la acdi

Acerca de esta Gua

La utilidad de las evaluaciones

Contenido de esta Gua

11. Preguntas ms frecuentes

gua de evaluacin de la acdi

gua de evaluacin de la acdi

gua de evaluacin de la acdi

El proceso de evaluacin de la ACDI

Seleccin del evaluador

Plan de trabajo de la evaluacin

Recopilacin y anlisis de la informacin

Difusin de los resultados de la evaluacin

gua de evaluacin de la acdi

Consecucin de resultados como objetivo

2.1 La gestin basada en resultados

gua de evaluacin de la acdi

gua de evaluacin de la acdi

Marco de evaluacin de la ACDI

gua de evaluacin de la acdi

Objetivo Direccin General de Gestin del Rendimiento y los Conocimientos

gua de evaluacin de la acdi

gua de evaluacin de la acdi

La evaluacin debe orientarse ms hacia resultados que hacia opiniones.

gua de evaluacin de la acdi

gua de evaluacin de la acdi

gua de evaluacin de la acdi

Preparacin del marco de referencia

gua de evaluacin de la acdi

gua de evaluacin de la acdi

gua de evaluacin de la acdi

gua de evaluacin de la acdi

Seleccin del evaluador

gua de evaluacin de la acdi

gua de evaluacin de la acdi

gua de evaluacin de la acdi

gua de evaluacin de la acdi

Preparacin del plan de trabajo de la evaluacin

gua de evaluacin de la acdi

gua de evaluacin de la acdi

gua de evaluacin de la acdi

gua de evaluacin de la acdi

Exmenes de muestras de proyectos (estudio de casos) Visitas sobre el terreno