Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
www.shell.com.ar
NDICE
A) Nota de Presentacin Institucional B) Introduccin C) La lgica de la evaluacin 1. QU SENTIDO TIENE EVALUAR...? 2. QU SIGNIFICA EVALUAR UN PROYECTO SOCIAL...? D) Pasos para el diseo de un sistema de monitoreo y evaluacin 1. ORGANIZACIN DE LOS MOMENTOS DE EVALUACIN 1.1. Evaluacin diagnstica 1.2. Evaluacin ex-ante 1.3. Monitoreo del proceso 1.4. Evaluacin intermedia 1.5. Evaluacin de impacto 2. PERSONAS, GRUPOS Y ORGANIZACIONES INVOLUCRADAS 3. VARIABLES E INDICADORES A REVISAR 4. TCNICAS E INSTRUMENTOS DE RECOLECCIN DE INFORMACIN 4.1. Instrumentos 4.2. Tcnicas de recoleccin 4.3. Fuentes de informacin 4.4. Universo y muestra 5. RECURSOS NECESARIOS 6. CRONOGRAMA O PLAN DE TRABAJO 7. DIFUSIN Y USO DE LOS RESULTADOS E) Bibliografa de consulta F) Concurso de Proyectos y Programa de Formacin Tcnica de Shell G) Anexos Planilla de monitoreo
5 7 11
15 17
23 25 29
37 38 39 41 43 47
P R E S E N TAC I N
INSTITUCIONAL
En Shell CAPSA estamos convencidos que las empresas desempean un papel vital en la construccin de un futuro mejor para nuestra sociedad. Adems de invertir en el pas, generar empleo, proveer de productos y servicios de alta calidad con precios competitivos, creemos adecuado identificar nuevos caminos que integren la labor que la empresa desarrolla da a da con los intereses de la comunidad toda. Comprometerse en este camino compartido es involucrarse en la accin de trabajar con y para los otros en todos los aspectos: ambiental, social y econmico. La orientacin de Shell al desarrollo sostenible sigue lneas de accin claras en este aspecto: priorizar los principios por sobre los beneficios, integrando en cada decisin de negocio su impacto en el corto y largo plazo, consultando para ello la opinin de toda la comunidad. Shell le da importancia al desarrollo de las comunidades donde lleva a cabo sus actividades, colaborando con la resolucin de los problemas que las afectan y generando las condiciones para una mejor calidad de vida. Desde Shell queremos apoyar, una vez ms, el accionar de las organizaciones sociales compartiendo competencias tecnolgicas y
gerenciales para fortalecer los beneficios directos que stas ofrecen a la comunidad. Ser una empresa responsable se demuestra en acciones, en este caso sumndonos a iniciativas que alimentan el espritu solidario de la comunidad. Para nosotros lo ms importante es sumar y a ello debemos orientarnos todos, desde el lugar que cada uno ocupa en la sociedad. A principio de ao llegamos a ustedes con nuestra "Gua para la Formulacin de Proyectos Sociales"; en esta oportunidad restablecemos el contacto para presentarles la "Gua para el Monitoreo y Evaluacin de Proyectos Sociales", la cual esperamos sea una herramienta til en su organizacin. Creemos en el trabajo en red como medio propicio para optimizar los recursos tanto humanos como materiales. De esta forma queremos colaborar directamente con quienes a diario trabajan por el prjimo: ustedes.
I N T R O D U C C I N
INTRODUCCIN
Qu acciones realiz la empresa en los ltimos aos para promover un desarrollo sostenible...?
Adems de las mejoras propias de sus sistemas de produccin y distribucin, el abanico de iniciativas sociales promovidas por Shell es muy amplio, abarca: actividades culturales, educativas, deportivas, de preservacin del medio ambiente y otros programas de ayuda social. Algunos ejemplos de estas actividades son: 1. Desafo Joven. Programa destinado a fomentar en los jvenes el espritu emprendedor. Se ha implementado y ejecutado por primera vez en el ao 2001 en colaboracin con la Asociacin Cristiana de Dirigentes de Empresa (ACDE). Slohasta el ltimo ao el programa capacit en temas y metodologas de diseo y gestin empresarial, aproximadamente a 1000 jvenes (entre 18 y 25 aos) de diversa condicin social, durante el 2001, 170 emprendedores lograron formular su plan de negocios muchos de los cuales estn hoy en ejecucin. 2. Bienales Juveniles de Msica Clsica, realizadas desde 1990 junto con la Asociacin Festivales Musicales de Buenos Aires, busca fomentar el surgimiento y desarrollo de talentos artsticos de todo el pas en las categoras de canto, msica de cmara y piano.
3.
Semillas de la vida. Proyecto desarrollado en la provincia de Tucumn. Se orienta a capacitar a 20 comunidades de escasos recursos en el diseo y gestin de huertas orgnicas; es realizado junto a la Asociacin de Tcnicos en Programas y Proyectos Sociales, una ONG tucumana de larga trayectoria en la ejecucin de Proyectos de desarrollo similares provenientes del INTA.
4. Desarrollo comunitario en Dock Sud. Programa de accin conformado por ms de 20 actividades de apoyo a organizaciones barriales de la zona aledaa a la Refinera, realizadas desde mediados de los 90. La empresa trabaja junto a las organizaciones sociales de la zona apoyando diversas acciones:
Sociedad de Fomento Crucesita Este: apoyo a la Biblioteca Popular Bartolom Mitre: donacin de 1200 libros; Escuelas de Dock Sud (especialmente las N 505, 506, 67 y Jardn de Infantes 931): donaciones varias, como estufas elctricas, matafuegos, juguetes, libros y 150 computadoras personales; Hospital Fiorito: donacin de equipamiento para el Laboratorio de Seguridad Biolgica; Hospital Eva Pern (Ex-Finochietto): donacin de equipamiento para la Sala de Cardiociruga; Unidad Sanitaria N 2- Dock Sud: donacin de equipamiento para la Sala de Odontologa; Bomberos Voluntarios de Dock Sud: donacin de cuatro autobombas, un grupo electrgeno, diez equipos personales de lucha contra incendio y dos equipos de lucha contra productos qumicos; Club Sportivo Dock Sud: otorgamiento de becas y diversos elementos para la promocin deportiva.
con los cuales la empresa seleccionar las propuestas que apoyar ao a ao. Los concursos se realizarn ao a ao en fechas a definir en cada momento; ese ser el espacio para organizar la labor, con mtodos claros de presentacin, seleccin, ejecucin, administracin, evaluacin, sistematizacin y difusin de la tarea realizada. Los proyectos seleccionados formarn parte de la "Cartera de Proyectos" sociales de Shell (en el ltimo captulo del presente documento, aparecen ms detalles sobre el sentido y metodologa de trabajo a implementar en el Concurso de Proyectos).
Esperamos que la gua sea de utilidad para las organizaciones y contribuya a hacer ms efectivo el trabajo social de los que colaboran en la construccin de una sociedad ms equitativa y sostenible.
L A LG I C A D E L A E V A L U A C I N
11
LA LGICA DE LA EVALUACIN
Qu sentido tiene evaluar...?
La accin de evaluar constituye una actividad vital cotidiana, forma parte de nuestra manera de entender y enfrentar la vida. Como seres racionales que somos, analizamos cada una de las acciones que realizamos; revisamos cada situacin, miramos hacia atrs y tratamos de entender lo que ha pasado. Adems imaginamos el futuro analizando nuestras capacidades y posibilidades para llevar adelante nuestros proyectos vitales. Cada uno de estos pensamientos y anlisis no son ms que momentos de evaluacin y no podemos dejar de realizarlos permanentemente. Estos momentos nos permiten comprender muchas de las cosas que pasan a nuestro alrededor, nos abren la puerta para conocer mejor nuestras potencialidades y limitaciones encarando as de mejor manera nuestras actividades. No obstante la importancia y naturalidad del papel de la evaluacin en nuestras vidas, por algn motivo, la sociedad contempornea ha asignado a la evaluacin un papel, a veces, conflictivo. En nuestro imaginario, asociamos casi inmediatamente la palabra evaluacin con control y penalizacin; nos vienen a la memoria los exmenes escolares, o nos surge la imagen de nuestro jefe evaluando nuestro trabajo y decidiendo a partir de all nuestro futuro laboral. La evaluacin aparece as como trauma, como instancia de fiscalizacin externa, de alguien que nos dir, a manera de juez, qu tan buenos o malos somos y cul ser nuestro premio o nuestro castigo por nuestros comportamientos. De all que la palabra y accin de evaluar nos resulten muchas veces tensionantes, desagradables, y la evitaramos, incluso, si fuera posible. Pues esta manera de ver y hacer una evaluacin, predominante en nuestra cultura, en realidad nos inhibe habitualmente de disfrutar del sentido ms profundo y enriquecedor de aquel acto. Y es que en verdad, como veamos al iniciar estas lneas, evaluar implica un modo natural de aprender para mejorar, un modo que utilizamos cotidianamente para saber ms de nosotros mismos y del mundo que nos rodea, una accin que nos abre puertas para la creatividad. Es este el sentido ltimo que intentaremos sostener en el presente documento, el cual se propone brindar elementos para que quienes llevan adelante proyectos colectivos de beneficio social, puedan utilizar y disfrutar de herramientas que mejoren su accionar en dichos emprendimientos entendiendo la evaluacin como proceso de aprendizaje.
La necesidad de conocer, poner en comn y acordar nuestras intensiones, reparos y deseos, resulta imprescindible para que cualquier accin colectiva funcione. Para ello,necesitamos evaluar la situacin del grupo y del medio que lo rodea. Tal necesidad de revisin se hace an ms evidente cuando como grupo (organizacin), emprendemos acciones que afectan la vida de personas o colectivos de personas, como es el caso de los denominados proyectos sociales. La importancia que toma la evaluacin en estos casos es enorme. Ya no se trata slo de revisar y aprender para mejorar nuestras propias acciones en la vida, se trata de analizar que haremos o estamos haciendo para mejorar las condiciones de vida de otras personas, a las que intentamos apoyar en algn aspecto vital (salud, educacin, etc.). Numerosas organizaciones pblicas y privadas que llevan adelante polticas y proyectos sociales, han adquirido en los ltimos aos una verdadera conciencia de la responsabilidad que les ocupa, e intentan a partir de all utilizar metodologas de evaluacin para aprender y mejorar su accin social. Al acercarse una determinada organizacin a una comunidad o barrio para realizar alguna tarea de apoyo, rpida y naturalmente realiza un diagnstico de situacin, que resulta la primera instancia de evaluacin que llevamos adelante en dicho proceso de trabajo. Nos preguntamos: quines son las personas con las que colaboraremos...?, en qu medio habitan...?, qu pautas culturales las guan....?, cules son sus principales deseos, capacidades y problemas...?, de qu manera mi organizacin puede colaborar para mejorar sus posibilidades a acceder a una mejor calidad de vida...?, qu otras acciones o proyectos se han realizado con la poblacin y cmo han funcionado...?. Estas y muchas otras preguntas constituyen una evaluacin inicial necesaria de la situacin en la que trabajaremos y sern complementadas con muchos otros interrogantes que nos formularemos, junto con las personas destinatarias de la accin del proyecto, a la hora de disearlo e implementarlo. Nos interrogaremos, por ejemplo cmo est funcionando el proyecto...?, hemos gastado bien el dinero...?, hemos alcanzado lo que nos proponamos...?, si as no fuera, cules han sido las causas del fracaso...?, cmo ha funcionado el sistema de trabajo que habamos pensado...?, cules han sido los aciertos y errores...?, cules son los mejores caminos para subsanar errores, potenciar aciertos y cubrir vacos que hayan quedado sin atender durante la marcha del proyecto...? Nos proponemos as profundizar nuestro conocimiento de la realidad, identificamos problemas y actores sociales, sus necesidades e intereses e implementamos proyectos con el propsito de mejorar esa realidad, de obtener cambios concretos, evidentes, que nos den seales sobre la contribucin realizada por las acciones proyectadas. Es decir, implementamos acciones para que parte de la realidad se modifique; esto lleva implcito la idea de que esperamos obtener resultados a partir de lo que hagamos. La evaluacin nos induce a interrogantes tales como qu resultados o impactos queremos obtener y cmo nos daremos cuenta de que los hemos alcanzado?
12
Desde una perspectiva tcnica (desarrollada habitualmente por los organismos que promueven y/o financian proyectos sociales) evaluar implica la aplicacin de metodologas para determinar el progreso de un proyecto en su proceso para alcanzarun objetivo. Se trata de la indagacin y valoracin continua de los procesos, los resultados y los impactos de una accin. Desarrollar e implementar estrategias de evaluacin nos abre las puertas, adems, a la posibilidad de sistematizar y difundir los aprendizajes obtenidos, tarea no siempre valorada por las organizaciones que trabajan en actividades sociales.
Evaluar un proyecto social consiste, entonces, en formularnos y tratar de respondernos preguntas precisas sobre diversos aspectos del proyecto, relativos a su planificacin, ejecucin y tambin sus resultados. Esto supone la seleccin de indicadores, de mtodos e instrumentos de recoleccin de datos y de la definicin del universo de situaciones que revisaremos. Implica entonces el diseo de un sistema organizado que nos permita recoger informacin, analizarla, sistematizarla y difundirla. En sntesis, la evaluacin de proyectos nos permite: producir informacin y aprendizajes para mejorar nuestra tarea (aprender de lo que hacemos y mejorar los proyectos en marcha...),
generar procesos de intercambio de visiones e ideales para fortalecer procesos colectivos de desarrollo social (mirar y compartir opiniones y propuestas...), comunicar los resultados y aprendizajes derivados de la tarea, para contribuir a reorientar las acciones y fortalecer la capacidad de gestin de las propias organizaciones y de otros grupos que pueden mejorar su labor a partir de nuestra experiencia.
A continuacin, nos dedicaremos a analizar los diferentes aspectos que debemos considerar y definir para llevar adelante un proceso de monitoreo y evaluacin de proyectos sociales.
PA S OS PAR A E L D I S E O DE U N S I S T E M A D E M O N I T O R E O Y E VA L U A C I N
14
Lo ideal es incluir un captulo de Monitoreo y evaluacin en el cuerpo principal del proyecto, y definir all los principales temas a considerar (ver Gua de Formulacin de Proyectos Sociales de Shell). Los temas a definir para el armado del sistema de revisin de lo actuado, son: momentos de evaluacin, personas grupos y organizaciones involucradas; indicadores; tcnicas de evaluacin; recursos necesarios; cronograma o plan de trabajo; difusin y uso de los resultados. Cmo en el caso de la formulacin de proyectos, el diseo del sistema de monitoreo y evaluacin NO responde a un proceso lineal donde seguimos una secuencia de pasos, uno tras otro. Cada uno de los pasos o cuestiones a definir deber estar en correspondencia con los otros (coherencia); se trata pues de un proceso iterativo, donde vamos considerando casi a la vez todos los momentos a definir, desde los ms operativos (personas involucradas, tiempos, costos...), hasta los ms sustantivos (indicadores, instrumentos de recoleccin...). La presentacin secuencial de este proceso slo nos sirve para ordenar aquellos pasos y presentarlos de una manera acorde a nuestra capacidad para comprender las cosas. Ser entonces normal que, a medida que vayamos diseando cada uno de estos pasos, necesitemos modificar el resto, ajustando momento a momento cada aspecto del sistema hasta lograr un sistema armnico y coherente. Detallamos a continuacin aquellas cuestiones a definir en el diseo de un sistema de monitoreo y evaluacin; al igual que en la Gua de Formulacin de Proyectos, trabajaremos en las prximas pginas sobre la conceptualizacin de cada momento del diseo y utilizaremos como ejemplo ilustrativo el Proyecto "Desarrollo Integral y Equidad en Buenaventura"1, cuyo Resumen Ejecutivo incluimos a continuacin:
EJEMPLO
Proyecto: "Desarrollo integral y equidad en buenaventura" Resumen ejecutivo: Nombre de la organizacin que presenta el proyecto: Fundacin Juventud y Desarrollo (FJD). Nombre del proyecto: Desarrollo Integral y Equidad en Buenaventura. Direccin, telfono e e.mail de la organizacin: Simn Bolvar 4938, Buenaventura, te: (3948) 584030, fjd@fjd.org Instituciones asociadas: Red de Organizaciones Barriales de Buenaventura (ROBB). Municipalidad de Buenaventura. Ubicacin: El proyecto se sita en el municipio de Buenaventura, que tiene una poblacin de 354.983 personas, de las cuales el 68% vive por debajo de la lnea de pobreza. Buenaventura es uno de los 34 municipios pertenecientes a la provincia de Santa Mara, una de las 23 que integran la Repblica de Argentaria. Argentaria posee un total de 923 municipios, de los cuales cerca de un tercio posee caractersticas similares a Buenaventura. El problema: Existen en la regin variados recursos y posibilidades de que la poblacin tenga una vida digna, pero esos recursos no siempre se distribuyen de manera equitativa, generando problemas de pobreza y exclusin social, especialmente en la poblacin jven. Necesidades: Es necesario que toda la poblacin de Buenaventura tome conciencia de esta realidad y que las personas excluidas, accedan a mayores y mejores oportunidades de educacin, empleo y participacin en las decisiones ciudadanas, especialmente los jvenes. Destinatarios del proyecto: Los destinatarios directos del proyecto, sern 5.938 personas de entre 14 y 24 aos, habitantes de 5 barrios marginales de Buenaventura. Del total de la poblacin destinataria del proyecto, el 50% no logra concluir el colegio secundario, 45% se encuentra desempleada o sub-empleada, y solo el 24,5% participa de organizaciones sociales o en los espacios de toma de decisiones del municipio. Las organizaciones barriales estn representadas por la Red de Organizaciones Barriales de Buenaventura (ROBB), que posee un grupo de representantes juveniles interbarrial. Tratndose de un tema vital para el municipio todo, se considera que indirectamente el proyecto beneficiar a toda la poblacin de la localidad, 354.983 personas, que disfrutaran de un mejor clima de convivencia e integracin social. Objetivos: El proyecto se propone mejorar la calidad de vida de los pobladores jvenes pobres y excluidos de Buenaventura, mejorando a su vez, los niveles de equidad de la localidad. Para llevar adelante esta idea nos proponemos los siguientes objetivos especficos: incrementar el porcentaje de jvenes pobres que culminan su educacin secundaria, mejorar el nivel de empleo e ingresos de jefes de familia jvenes, incrementar el nivel de participacin ciudadana de las organizaciones barriales juveniles. Tiempos y etapas de implementacin: El proyecto se realizar en dos aos, divididos en tres etapas, las dos primeras de nueve meses cada una y la ltima de seis meses. Presupuesto: El costo total del proyecto asciende a 19.790 $, de los cules, 9.790 $ sern aportados por las organizaciones asociadas en la realizacin del proyecto y 10.000 $ se solicitarn a diversos organismos financiadores. Monitoreo y evaluacin: El monitoreo del proyecto se realizar a travs de una mesa intersectorial conformada por instituciones dedicadas a temas de juventud de Buenaventura; esta mesa se reunir una vez al mes para revisar los avances del proyecto, principalmente la rendicin de cuentas y en manejo financiero. Habr adems una evaluacin de resultados, efectos e impactos; una vez finalizada cada una de las tres etapas del proyecto1.
1 El sistema de monitoreo y evaluacin se desarrolla en la presente gua.El sistema de monitoreo y evaluacin se desarrolla en la presente gua.
16
En este preciso instante del proceso de diseo del proyecto es cuando debemos sacar una foto de la situacin existente previa al inicio del proyecto; debemos establecer aqu la llamada lnea de base, conformada por aquellos datos que indican desde dnde partimos. Algunos ejemplos pueden ayudarnos a conocer con claridad este tema:. CASO 1: AGUA POTABLE El presente ejemplo plantea la situacin hipottica de un proyecto que tiene como objetivo principal mejorar las condiciones de salud de una determinada comunidad, y como objetivo especfico, mejorar las condiciones de potabilizacin del agua que las personas ingieren. Para ello, se propone realizar una serie de actividades de limpieza de caeras, instalacin de plantas depuradoras y un programa de formacin para los vecinos. Para saber si realmente nuestro proyecto ha alcanzado o no su objetivo especfico y si el agua que la poblacin bebe luego de implementado el proyecto es de mejor calidad, deberemos conocer cul era el grado de potabilizacin del agua antes de tal implementacin. A tal fin deberemos hacer estudios tcnicos especiales que nos permitan conocer este estado previo (lnea de base), y luego cotejarlo con el resultado de los anlisis qumicos realizados luego de la ejecucin del proyecto. CASO 2: FORMACION EN DERECHOS CIUDADANOS Aqu un proyecto cuyo objetivo principal es la formacin de jvenes en derechos ciudadanos, y uno de cuyos objetivos especficos es que los jvenes conozcan los derechos ciudadanos, dirigidos a la poblacin joven, incluidos en la Constitucin Nacional. Pues en este caso para avanzar con el desarrollo del proyecto y verificar luego su efectividad, necesitaremos conocer al inicio del proyecto que y cunto saben los jvenes sobre sus derechos incluidos en la constitucin (lnea de base), y comparar luego esta calidad y cantidad de conocimientos previos, con los adquiridos a partir de la realizacin del proyecto. CASO 3: MEJORA NUTRICIONAL En este caso es un proyecto dirigido a mejorar el estado nutricional de nias y nios menores de cinco aos de una determinada comunidad; uno de los objetivos especficos del proyecto es mejorar la relacin peso / talla de los nios a partir de las acciones del proyecto. Nuevamente, para saber si el proyecto ha alcanzado su objetivo especfico, necesitaremos medir el peso y la talla de los nios al inicio del proyecto (lnea de base) y luego cotejarlos con las mediciones realizadas al finalizar nuestra accin.
Ser importante entonces relevar y establecer a la hora de la definicin del proyecto, una lnea de base para cada uno de los objetivos especficos planteados, asi como para el objetivo general. Los resultados de la evaluacin ex-ante pueden obtenerse y explicitarse en el documento del proyecto, donde se describe la situacin general del contexto en el
18
que este se desarrolla (habitualmente en la seccin de antecedentes o contexto...), se analiza la situacin de las personas a las que est destinado el proyecto (en la seccin destinatarios o beneficiarios...) y establecen las respectivas lneas de base de cada uno de los objetivos (comnmente en la seccin de evaluacin...). Tambin puede establecerse ese tiempo cero inicial en el que se construye este mapa de situacin o foto del contexto y de los destinatarios de la accin, como una de las primeras actividades del proyecto; previa a la implementacin de las acciones. Cuando por algn motivo resulta imposible obtener la lnea de base de un proyecto, y se necesita conocer los cambios producidos a partir de su implementacin, es posible utilizar la tcnica denominada de Grupos de Control o Referencia. Sintticamente, esta tcnica se basa en comparar los cambios producidos en el grupo destinatario del proyecto, en relacin a otros grupos de personas que viven en condiciones similares y que no han participado del mismo.
Un aspecto importante a considerar, es que un mismo proyecto puede definir en forma simultnea distintos tipos de destinatarios de su accin: las personas / familias destinatarias directas de las acciones del proyecto el conjunto de organizaciones de la comunidad donde se implementa, poblaciones vecinas, la sociedad en su conjunto.
Definitivamente, la implementacin de un proyecto social tendr consecuencias directas en todas las personas y organizaciones que formen parte de l. Solemos suponer que las modificaciones se producen slo en los destinatarios de la accin (aquellos que reciben los alimentos, o la vivienda, o participan de los cursos, o se benefician con algn servicios prestado a partir del proyecto). Sin embargo, las personas y organizaciones que promueven el proyecto, aquellas que lo financian y las que se ven envueltas de una u otra manera en sus actividades, tambin cambian. Cambian su visin de la situacin, su forma de pensar, su posicin tcnica, su actitud frente a un determinado tema o cuestin, su relacin con otras personas o grupos involucrados, etc., etc... Resulta entonces importante relevar durante la evaluacin de impacto estos cambios, ms all que estn o no explicitados como objetivos del proyecto. En sntesis, la evaluacin de impacto implica comparar una situacin o estado posterior a la realizacin de un proyecto, con una situacin o estado previo, es decir, identificar los cambios producidos a partir de nuestra intervencin y si estos cambios respondieron a lo que habamos planificado o significaron impactos no previstos por el proyecto. Ser de gran valor aqu contar con la evaluacin ex-ante y especficamente con la lnea de base del proyecto, que nos permitir cotejar lo realizado con la situacin inicial.
EJEMPLO Momentos del proceso de monitoreo y evaluacin Evaluacin diagnstica / anlisis de factibilidad: Para el anlisis de factibilidad y la realizacin del primer diagnstico de situacin de la juventud en Buenaventura, se realizarn reuniones del equipo tcnico de FJD con representantes del gobierno local de Buenaventura, con las autoridades y docentes de las escuelas secundarias, con las organizaciones barriales y empresas de la localidad, con el propsito de presentar las primeras ideas del proyecto y analizar el grado de inters en su desarrollo, su factibilidad y la necesidad de realizar ajustes. Se prevee realizar en esta instancia, la identificacin de las poblaciones con las cuales se trabajar y la realizacin de un taller de diagnstico participativo donde se realizar un rbol de problemas sobre la situacin de la juventud de Buenaventura. Evaluacin ex-ante: Para obtener una lnea de base, se recolectarn durante las primeras semanas de ejecucin del proyecto, datos para caracterizar la situacin de los jvenes de Buenaventura en relacin a: el acceso y permanencia en el sistema educativo, la insercin en el mercado de trabajo y la participacin ciudadana y defensa de sus derechos sociales. Estos datos complementarn a los identificados a partir de fuentes secundarias en la etapa de diagnstico inicial, que indican que del total de la poblacin objeto directo del proyecto (los jvenes viviendo en situacin de pobreza en Buenaventura):
a) el 50% no logra concluir el colegio secundario, b) 45% se encuentra desempleada o sub-empleada, c) y slo el 24,5% participa de organizaciones sociales o en los espacios de toma de decisiones del municipio. Monitoreo del proceso:
El seguimiento de las acciones del proyecto a lo largo del tiempo de ejecucin del mismo, estar a cargo del equipo tcnico de la FJD con la participacin peridica de los actores involucrados, reunidos en el Comit Intersectorial de Monitoreo y Evaluacin. El Comit se reunir bimensualmente con el objetivo de:
Evaluacin de impacto o evaluacin ex-post: Al finalizar el segundo ao de operaciones, se contratar una evaluacin externa para coordinar el anlisis final de los logros y aprendizajes del proyecto en Buenaventura. Los trminos de referencia para la contratacin sern elaborados por el Comit Intersectorial de Seguimiento del proyecto. La evaluacin se nutrir de informacin surgida de: informes de monitoreo. las indicaciones y propuestas surgidas de la Evaluacin Intermedia. nuevos estudios realizados con la participacin de las personas involucradas. La evaluacin final estar orientada principalmente a detectar las modificaciones producidas en la sociedad de Buenaventura, especialmente en los destinatarios de la accin del proyecto. En relacin a los destinatarios, se revisarn las modificaciones en relacin a la lnea de base del proyecto, observando: la tasa de retencin escolar y de rendimiento acadmico entre los jvenes de Buenaventura, las mejoras en la empleabilidad de lo jvenes y la participacin ciudadana y el ejercicio de sus derechos entre los jvenes destinatarios de la accin del proyecto. Adicionalmente, la evaluacin deber relevar otras modificaciones no previstas que se hayan producido a partir del proyecto, los cambios en las organizaciones participantes y en la sociedad de Buenaventura toda.
a) revisar los informes de avance del proyecto, b) cotejar los resultados producidos con los planificados (cumplimiento de actividades), c) analizar las relaciones entre las diversas organizaciones y personas participantes en el proyecto, d) revisar la marcha de la ejecucin presupuestaria, e) y elaborar un Informe de Avance que ser circulado entre las instituciones involucradas. El lugar de reunin ser la sede de la Red de Organizaciones Barriales de Buenaventura (ROBB). El coordinador del proyecto convocar a cada reunin de monitoreo una semana antes, anunciando la agenda de trabajo. Evaluacin intermedia: Al finalizar el primer ao de ejecucin del proyecto, se contratar la realizacin de una evaluacin externa para revisar el cumplimiento de las actividades y metas propuestas para el perodo. Los trminos de referencia para la contratacin sern elaborados por el Comit Intersectorial de Seguimiento del proyecto. La evaluacin intermedia se nutrir de la recoleccin de informacin sobre el desarrollo de las actividades (Informes de Monitoreo) y la opinin de los destinatarios y participantes en el proyecto, expresados a travs de registros e informes, observacin en talleres y realizacin de grupos de reflexin.
22
Durante la fase de diseo de un sistema de monitoreo y evaluacin, que realizaremos en el momento mismo de la formulacin del proyecto, una de las cuestiones ms relevantes que deberemos definir es quines y de qu manera participarn del proceso de revisin de lo actuado. Sobre esta definicin ser necesario considerar separadamente el proceso de monitoreo del de evaluacin. Con respecto al monitoreo, la tarea puede ser realizada por el equipo tcnico que lleva adelante la gestin, o puede implementarse con la participacin de las organizaciones sociales y/o los destinatarios directos del proyecto. Es decir, puede plantearse una modalidad centralizada de monitoreo a cargo del equipo responsable de la implementacin del proyecto o bien modalidades participativas de monitoreo involucrando a los actores sociales que participan con diferentes roles en la ejecucin. Las formas participativas contribuyen al fortalecimiento de las organizaciones sociales, y de los equipos tcnicos de los gobiernos locales y organizaciones participantes, aportando conocimiento y herramientas de monitoreo. Tambin enriquecen la visin sobre lo actuado al incorporar la opinin y valoracin de todos los actores. En relacin con los momentos de evaluacin, aparecen aqu nuevamente dos visiones diferenciadas: la de quienes sostienen que la revisin de lo producido por el proyecto debe ser realizada por sus propios protagonistas (destinatarios y organizaciones promotoras), y la de quienes argumentan que tal revisin debe ser hecha por personas u organizaciones externas al proyecto (expertos, consultoras, organismos de fiscalizacin, etc.). Ambas posturas tienen argumentos interesantes a considerar. Quienes pugnan por la participacin activa de los actores involucrados en todo el proceso de evaluacin, sostienen que esa es la mejor manera de que las personas que ejecutan el proyecto aprendan de las lecciones que arroja el da a da y logren a partir de all mejorar su capacidad para llevar adelante ese y otros proyectos de desarrollo social (la evaluacin como proceso de aprendizaje...). Desde la otra mirada, se argumenta sobre la necesidad de que personas de afuera, no involucradas directamente en el quehacer del proyecto, den su opinin despojados de posibles condicionantes generados por las relaciones cotidianas con las personas y con el proyecto mismo (la evaluacin como aporte externo al proceso...). La experiencia parece demostrar que una combinacin de ambas estrategias pareciera ser lo ms adecuado a la hora de pensar en quin evala.... Esta combinacin no siempre es posible, al menos por dos razones: a) no siempre es factible contratar evaluadores externos (limitaciones econmicas y/o tcnicas); b) no siempre todas las organizaciones y personas involucradas en los proyectos
tienen disponibilidad y decisin de participar activamente en los procesos de monitoreo y evaluacin. Como se mencion en el captulo anterior, los proyectos sociales nunca son bidireccionales (unos que dan otros que reciben...); siempre estn compuestos por mltiples actores con diversos intereses, culturas y expectativas en relacin al proyecto. La constitucin de consejos o comisiones o mesas interinstitucionales de monitoreo y evaluacin, han dado cierto resultado a la hora de conformar el equipo de seguimiento. Se trata de grupos de representantes de las organizaciones participantes del proyecto que se renen sistemticamente durante la ejecucin del proyecto a revisar lo actuado (semanal, quincenal o mensualmente, segn los casos y tipo de proyecto). La comisin estara conformada, al menos, por representantes de: 1) 2) 3) 4) 5) 6) la organizacin responsable de la implementacin del proyecto las personas destinatarias del proyecto las organizaciones promotoras las organizaciones financiadoras (si fueran diferentes a las anteriores) representantes del gobierno local otras organizaciones vinculadas al proyecto
Es importante tener en cuenta aqu: la sistematicidad de las reuniones de este equipo de seguimiento (tcnicas claras y coordinacin precisa para identificar lo que queremos revisar), la representatividad de las personas que acuden a la cita y su vnculo y transmisin de aprendizajes y visiones a los colectivos que representan, el vnculo entre lo que se produce en las reuniones de seguimiento y la posibilidad de realizar cambios en la marcha del proyecto (relacin con la conduccin del proyecto).
EJEMPLO Personas, grupos y organizaciones involucradas en Iel proceso de monitoreo y evaluacin Durante el proceso de monitoreo y evaluacin del proyecto existirn tres instancias organizacionales que debern articularse: las acciones de seguimiento del Equipo Tcnico de la FJD. las reuniones de monitoreo del Comit Intersectorial de Seguimiento. las evaluaciones externas (intermedia y final). En este marco, participarn activamente del proceso de revisin y aprendizaje, principalmente, las siguientes personas y organizaciones: Fundacin Juventud y Desarrollo FJD: organizacin responsable de la ejecucin del proyecto. Red de Organizaciones Barriales de Buenaventura (ROBB) organizacin Inter. -barrial que representa a las organizaciones comunitarias de Buenaventura y posee un grupo de representantes juveniles. Tcnicos del Municipio de Buenaventura
24
Representantes de las tres escuelas secundarias seleccionadas por el proyecto. Los facilitadores y docentes que participan en el apoyo escolar, en la capacitacin laboral y en la sensibilizacin y concientizacin en derechos.
Representante de las organizaciones barriales juveniles. Los jvenes beneficiados directamente por el proyecto. Equipo de evaluadores externos.
cuestiones o situaciones medibles y registrables (tangibles o intangibles), que nos indican cmo ha afectado el proyecto a aquella realidad. Son los marcadores que vamos observando, midiendo, registrando y analizando en los distintos momentos de monitoreo y evaluacin del proyecto. Los indicadores pueden ser operativos , es decir propios de la gestin del proyecto (internos), o sustantivos, es decir, aquellos que reflejan los cambios producidos a partir de la ejecucin del proyecto. Tendremos entonces aspectos indicativos que nos muestren cmo marcha el proceso de gestin del proyecto, y que utilizaremos durante el monitoreo del mismo, y otros que nos servirn para analizar las variaciones producidas a partir del cumplimiento de las actividades, metas y objetivos. En el caso del monitoreo, algunos de los indicadores operativos que tradicionalmente se analizan en los proyectos sociales son: Cantidad y calidad de actividades programadas para un determinado perodo de tiempo Vs. cantidad de actividades efectivamente realizadas en ese perodo de tiempo. Cantidad de destinatarios previsto participando de las actividades Vs. cantidad de destinatarios que efectivamente participan de las actividades. Presupuesto programado para un determinado perodo de tiempo Vs.presupuesto efectivamente ejecutado en ese tiempo. Durante el monitoreo suelen ser los indicadores de produccin los ms relevantes, porque son los que nos muestran qu y cunto de las actividades programadas hemos efectivamente realizado (resultados). Habitualmente valoramos el cumplimiento de lo programado, utilizando algunos parmetros operativos de cumplimiento medidos en porcentajes (realizamos el 34% de las actividades, han participado el 89% de los destinatarios, o hemos ejecutado el 90% del presupuesto en el tiempo previsto). En la evaluacin se incorporan diversos tipos de indicadores que nos permiten formular juicios evaluativos a partir de valorar lo realizado, las actividades programadas, la calidad de esas acciones y la valoracin que los actores participantes del proyecto tienen de ellas (efecto e impacto). Prevalecen aqu los indicadores sustantivos. Habr diversos indicadores para cada objetivo, meta y actividad, y tambin segn el momento del ciclo del proyecto en el que realizamos la evaluacin. Por ejemplo, revisemos el siguiente caso:
CASO 4: PARTICIPACIN CIUDADANA Imaginemos un proyecto que intenta mejorar las formas y calidad participacin ciudadana de un determinado grupo de personas en una localidad (objetivo) promoviendo la participacin de los ciudadanos en organizaciones sociales locales, la generacin de normativas que fomenten la participacin ciudadana en la definicin de los asuntos pblicos y sensibilizando a la poblacin en relacin a la importacia de su participacin activa para mejorar la
26
calidad de la democracia. Algunos indicadores posibles de relevar en cada momento del proceso de monitoreo y evaluacin, podran ser: Grado o nivel de participacin de las personas en organizaciones comunitarias antes de la implementacin del proyecto. Variacin en la participacin de las personas destinatarias del proyecto en organizaciones comunitarias. Valoracin de la participacin en organizaciones comunitarias, entre las personas destinatarias del proyecto. Incremento del nmero de organizaciones sociales en la localidad. Cambio en las normas de orden pblico en relacin a la participacin ciudadana. Cambios en la concepcin de la participacin ciudadana en la toma de decisiones del estado local. Tenemos asi definido qu miraremos para conocer si la situacin sobre la que decidimos trabajar con nuestro proyecto, ha variado en la direccin deseada. Una vez tomada esta decisin, ser necesario establecer algn parmetro que nos permita distinguir apreciaciones sobre el tenor, magnitud o calidad de aquella alteracin del indicador utilizado. Para fijar esta distincin, utilizaremos parmetros sustantivos, que definiremos como aquellas marcas o referencias necesarias para orientar las apreciaciones valorativas sobre las variaciones producidas. Cunto ha mejorado la calidad de vida de la poblacin destinataria del proyecto...?, esta mejora era la prevista...?, mayor...?, menor...?, suficiente...?. Si retomamos algunos indicadores del ejemplo recientemente analizado, podramos establecer el siguiente cuadro de indicadores y parmetros:
OBJETIVO:
Mejorar las formas y calidad de la participacin ciudadana INDICADOR SUSTANTIVO Variacin en la participacin de las personas destinatarias del proyecto en organizaciones comunitarias. Cambio en las normas de orden pblico en relacin a la participacin ciudadana. PARAMETROS Incremento mnimo previsto durante el tiempo del proyecto = 50%. Se establecen y ponen en marcha al menos tres nuevas normas municipales para la apertura de espacios de participacin ciudadana en las decisiones de poltica pblica. Al menos el 70% de los miembros del ejecutivo y legislativo municipal, asumen como necesario el incremento de la participacin ciudadana, medio para fortalecer la democracia local.
Los parmetros nos ayudan a conocer si hemos alcanzado lo que nos proponamos o si lo realizado ha estado por debajo de lo esperable y necesitamos variar nuestra estrategia de trabajo; suelen estar incorporados en la definicin de las actividades, metas y objetivos del proyecto. Tambin nos permiten comparar el efecto e impacto que tienen diferentes estrategias para alcanzar las metas y objetivos que nos propusimos conseguir en el proyecto, permitindonos optar por la ms adecuada. INDICADORES SEGN NIVEL DE OBJETIVO PERSEGUIDO Ser tambin particularmente importante a la hora de la definicin de indicadores, diferenciar con mucha precisin entre aquellos destinados a relevar el cumplimiento de los objetivos, metas y actividades propuestas. Es decir, dirimir con claridad los que utilizaremos para relevar el cumplimiento de cada uno de aquellos niveles de anlisis, diferenciando la consecucin de resultados, de efectos y de impactos: a) en el caso de la revisin de resultados, miraremos especialmente si las actividades programadas se cumplieron en calidad, cantidad, tiempo y forma (nivel de acciones ms inmediatas y operativas); b) en el caso del anlisis de efectos, si los beneficiarios de los proyectos pudieron hacer uso de los beneficios inmediatos derivados de aquellas actividades (mediano plazo); c) en el caso de la medicin del impacto, analizaremos si estos beneficios inmediatos contribuyen y en qu medida a cumplir con el objetivo de largo plazo propuesto (cambio de actitudes, aptitudes, relaciones sociales y situaciones vitales concretas). Para aclarar un poco ms esta "mirada tridimensional" del trabajo realizado, pondremos un par de ejemplos:
CASO 5: TALLERES PARA PREVENCIN DE DENGUE Y MALARIA a) EL CASO: Supongamos que tenemos un proyecto que tiene como objetivo principal, mejorar las condiciones de salud de una determinada poblacin, disminuyendo su vulnerabilidad a contraer enfermedades como el dengue y la malaria, reduciendo al menos en un 50% los casos anuales de tales enfermedades. Para el logro de este objetivo de mediano plazo, se propone como meta que 100 familias de esa comunidad adquieran hbitos de cocina y limpieza que favorezcan la prevencin de aquellas enfermedades. Para que estos hbitos se generen, se propone, entre otras actividades, impartir cuatro talleres de reflexin y capacitacin para las familias seleccionadas. b) LA EVALUACION TRIDIMENSIONAL: Se trata aqu de tener una mirada que vaya desde "lo particular y de corto plazo" hasta "lo ms general y de mediano y largo plazo". Siendo as, analizaremos en primer lugarsi los cuatro talleres de capacitacin se realizaron en tiempo y forma, si el nmero de familias asistentes fue el esperado y si el programa de contenidos
28
se cumpli tal como se previ (resultado).En segundo momento de la evaluacin, revisaremos si realmente las 100 familias adquirieron los hbitos de cocina y limpieza que se promovieron en los talleres (efecto). Y por ltimo, un tiempo despus, miraremos si realmente la adquisicin de los nuevos hbitos propuestos a las 100 familias,contribuyen para que los ndices de dengue y malaria disminuyan en la comunidad en un 50%, como indicaba el proyecto (impacto). CASO 6: MEJORA DE SISTEMA PRODUCTIVO DE FINQUEROS a) EL CASO: Se trata de un proyecto que tiene como objetivo mejorar los ingresos de las familias de una comunidad semirural, colaborando para que stas obtengan mensualmente un ingreso mnimo que cubra las necesidades bsicas, estipulado en esta comunidad, en 300 $. Para el logro de este objetivo, el proyecto propone como meta, que 10 familias mejoren en un ao los cultivos que realizan en sus parcelas e incrementen sus ventas en un 40%. Para que esto ocurra, se realizarn en los primeros 3 meses del proyecto varias actividades, como la conformacin de una cooperativa de produccin, la entrega a los finqueros de nuevos granos y herramientas, y la realizacin de dos talleres de capacitacin sobre tcnicas de cultivo, comercializacin y manejo financiero de proyectos productivos. b) LA EVALUACION TRIDIMENSIONAL: Nuevamente, de lo particular a lo general, debemos analizar en primer lugar si los finqueros conformaron la cooperativa de produccin, si los granos y herramientas se entregaron en tiempo y forma y si los talleres de capacitacin se realizaron oportunamente con la asistencia de los 10 finqueros (resultados). Seguidamente, es necesario revisar si las familias utilizaron correctamente los enseres y capacidades adquiridas en los talleres y si ubicaron su produccin tal lo establecido (efecto). Por ltimo, una vez puesto en marcha el emprendimiento, habr que verificar si las familias concluyen percibiendo, por lo menos, los 300 $ necesarios para elevar sus ingresos mensuales a niveles aceptables, segn lo programado en los objetivos del proyecto (impacto). Los ejemplos 5 y 6 debern servirnos de gua a la hora de "mirar integralmente" los proyectos, evitando conformarnos con el cumplimiento de las actividades (resultados) e incluso con el de las metas (efectos). Es importante as tomar conciencia que los proyectos habrn sido realmente efectivos una vez que hayamos comprobado que sus objetivos sociales (especficos y generales) se han cumplido (impacto). Para plantear de manera clara la relacin entre estos tres niveles de anlisis, se adjunta una "Matriz de relevamiento de resultados, efectos e impactos" que puede resultar de utilidad a la hora de elaborar los sistemas de seguimiento de los programas.
instrumentos y tcnicas de recoleccin de datos -comnmente llamados medios de verificacin-. Tambin resultar imprescindible identificar las fuentes de informacin donde acudiremos a recoger los datos que nos permita analizar el desempeo o variacin de nuestros indicadores. INSTRUMENTOS Los Instrumentos de recoleccin de datos se disean y utilizan para recoger la informacin que emana de las situaciones indicativas identificadas. Estos instrumentos pueden ser informes de rutina, planillas de registro de actividades, de asistencia de los destinatarios a actividades del proyecto, cuestionarios, guas de entrevistas, encuestas, etc. TCNICAS DE RECOLECCIN DE INFORMACIN Las tcnicas de recoleccin de datos son las que nos permiten organizar la tarea de relevamiento y sistematizacin de la informacin que necesitamos relevar. Algunas de las tcnicas ms utilizadas son las siguientes: anlisis en gabinete de informacin estadstica, anlisis de documentos, realizacin de grupos focales, entrevistas en profundidad, talleres, observacin participativa, etc. Disear las tcnicas de recoleccin implica organizar las acciones que ser necesario realizar para aplicar los instrumentos y recoger los datos que precisamos (como vimos, encuestas, guas de entrevistas, etc.). Las tcnicas de recoleccin pueden orientarse a recoger informacin preferentemente cuantitativa (registros estadsticos) o especialmente cualitativa (grupos de reflexin, opinin de los destinatarios, etc.). Suele existir una falsa disputa entre quienes sostienen y promueven tcnicas cuanti y aquellos que se embanderan tras las evaluaciones cuali. Es importante en este punto desmitificar tal antinomia. En verdad, es posible y deseable relevar aspectos cuantificables de un determinado objeto o proceso social y, al mismo tiempo, analizar la cualidad de tal objeto. Necesitamos conocer cuntos chicos culminaron el colegio primario y, a la vez, qu calidad de educacin han recibido...; necesitamos saber cuntos litros de agua potable reciben los destinatarios de un plan de instalacin de una red, y tambin conocer la calidad, componentes y propiedades del agua...; necesitamos obtener datos sobre el incremento de los ingresos de una determinada poblacin objeto de un proyecto de generacin de microemprendimientos productivos, y tambin conocer si esos microemprendimientos producen bienes y servicios de calidad y si las personas se sienten a gusto llevndolos adelante... En buena medida, la adopcin de tcnicas ms o menos cuantitativas o cualitativas, depender de cmo estn formulados los diversos niveles de objetivos del proyecto. Muchas veces las evaluaciones se ven condicionadas por estilos de formulacin que destacan slo o principalmente aspectos numricos del objeto a construir o la situacin a modificar (construir 43 casas..., capacitar a 4945 jvenes...; brindar alimentacin a 3098 familias...). Esta situacin podr ser enriquecidaa travs del evaluacin, observando y aprendiendo tambin de otros aspectos o
30
cambios producidos a partir del proyecto, aunque estos no hayan estado explicitados en l. FUENTES DE INFORMACIN Al mismo tiempo que pensamos en los instrumentos y tcnicas de recoleccin de la informacin, debemos identificar el lugar y la fuente de donde emanarn tales datos. Estas fuentes de informacin podrn ser de dos tipos: primarias y secundarias. a. Se consideran fuentes primarias aquellas que nos contactan directamente con la realidad en la que estamos trabajando; son personas o situaciones que nos permiten construir informacin fresca sobre la realidad en la que nos movemos, por ejemplo: observacin directa sobre las personas destinatarias del proyecto, el medio fsico que pretendemos transformar, las caractersticas institucionales de las organizaciones que forman parte del proyecto; etc. b. Las fuentes secundarias son aquellas que nos proveen datos ya elaborados y procesados por otras personas u organizaciones a partir de la observacin y anlisis de la realidad en la que operamos; son por ejemplo: los documentos estadsticos, censos realizados con anterioridad a nuestra intervencin, trabajos histricos o anlisis acadmicos realizados sobre la cuestin u objeto central de trabajo de nuestro proyecto. La seleccin de las fuentes de informacin resultan de suma importancia para una evaluacin, una fuente mal elegida puede alterar sensiblemente el resultado de una observacin. Para aquella eleccin, es posible considerar al menos 5 criterios: calidad de los datos que proporciona (si reflejan realmente la variacin del indicador). cobertura de la informacin (si nos brinda datos de una cantidad suficiente de personas o situaciones afectadas por el proyecto). oportunidad (si podemos obtener la informacin en el tiempo adecuado segn lo planificado en el proyecto y ms precisamente, en el sistema de monitoreo y evaluacin). economa (si la fuente es accesible a los recursos disponibles en el proyecto). fiabilidad (si la informacin que brinda la fuente es plenamente confiable). vigencia (si se trata de informacin actualizada y vigente a la hora de revisar nuestro indicador). UNIVERSO Y MUESTRA Hemos definido hasta aqu una serie de cuestiones sobre las que realizaremos la observacin a la hora de monitorear el proyecto (indicadores), las herramientas que usaremos para recoger la informacin de lo que observamos (instrumentos), la forma en que nos organizaremos para usar tales herramientas (tcnicas de recoleccin) y, por ltimo los lugares o sitios donde acudiremos para buscar los datos que precisamos (fuentes). Nos queda ahora definir con precisin el conjunto de situaciones, objetos o personas que han sido infludas por la accin del proyecto y que sern nuestro universo de observacin.
Los universos observables podrn ser: aquellas personas directamente definidas como destinatarias de la accin del proyecto social de que se trate (favorecer el acceso a una vivienda digna a 43 familias..., capacitar a 4.945 jvenes..., o brindar alimentacin a 3.098 familias...); aquellas personas que figuran como destinatarias indirectas de la accin del proyecto (habitantes del vecindario lindero al barrio de viviendas construido...; familiares directos de los jvenes capacitados..., vecinos de los comedores comunitarios donde se brinda asistencia alimentaria...); organizaciones involucradas directamente en la implementacin del proyecto (organizaciones vecinales, ONGs u organismos pblicos promotores y financiadores, instituciones asociadas); personas e instituciones vinculadas indirectamente y afectadas por el proyecto (estado local, empresas proveedoras del sector de servicio de que se trate construccin, educacin, alimentacin-, organizaciones locales varias). La definicin del universo a observar variar segn la intencin de quienes promueven tal proceso de anlisis; lo que habitualmente sucede es que las evaluaciones concentran su mirada slo en la poblacin definida como destinatarios directos, revisando slo el cumplimiento de los objetivos previstos. Esta mirada queda habitualmente corta en relacin a los universos de personas y organizaciones que son realmente afectados por la accin del proyecto. Tambin ser necesario, en los casos en que el universo sea demasiado amplio para que podamos observarlo completo, establecer muestras de aquel conjunto, que nos permitan, mirando slo un sub-conjunto, inferir un anlisis sobre la totalidad. Existen diversos caminos para definir una muestra, caminos aleatorios (azar) y no aleatorios (por algn criterio definido tcnicamente). En la siguiente pgina retomamos el caso de Buenaventura para mostrar en una Matriz la sntesis de indicadores por nivel de objetivo. Presentamos a continuacin tres cuadros con una descripcin pormenorizada de variables, indicadores, fuentes de informacin y medios de verificacin para momentos diferentes de la evaluacin de nuestro proyecto ejemplo (ex-ante, intermedia e impacto).
32
34
36
5. RECURSOS NECESARIOS
Llevar adelante un proceso continuo de monitoreo y evaluacin implica necesariamente destinar recursos para ello. Ser importante entonces considerar durante la formulacin del proyecto, qu recursos necesitaremos para hacer efectiva esta tarea: recursos humanos (perfiles de profesionales, voluntarios, personasrepresentantes de las organizaciones intervinientes...). recursos tecnolgicos (bases de datos, sistemas de informatizacin y procesamiento de datos...). infraestructura (lugares de reunin, transporte...). recursos econmicos (cuantificacin econmica de los recursos que disponemos y de los que tendremos que conseguir para cubrir los costos del proceso de monitoreo, evaluacin y difusin de resultados).
PRESUPUESTO Como en el caso de la elaboracin de proyectos, existen diversas maneras de presentar el anlisis financiero del proyecto, pero bsicamente son cuatro las frmulas habitualmente requeridas: costos por actividad (segn momento de la evaluacin). costos por actividad y fuente de recursos (incluyendo diversos aportes de contrapartidas). costos por rubro (materiales, recursos humanos, equipos, administracin). detalle de costos e inversin por perodo de tiempo -"flujo de caja"-, (movimiento de fondos por etapas, segn cronograma propuesto). Al solicitar un determinado aporte financiero a una institucin, es importante cuantificar econmicamente todos los aportes de tiempo de trabajo humano y otros recursos aportados localmente e incluirlos en el presupuesto como contrapartida local (de gobierno, de ONGs y de organizaciones vecinales).
EJEMPLO Presupuesto para el monitoreo, evaluacin y difusin del proyecto El proceso de monitoreo, evaluacin y difusin del proyecto tendr un costo de 5200 $, a cubrir en los dos aos de ejecucin del proyecto, ms los dos meses anteriores y posteriores a su inicio y final. De ese total, 2200 sern aportados por las organizaciones intervinientes en el proyecto, y otros 3000 sern solicitados a diversas fuentes de financiamiento, segn se indica en el siguiente cuadro presupuestario:
COSTOS POR ACTIVIDAD Y FUENTE DE RECURSOS DEL PROCESO DE MONITOREO, EVALUACIN Y DIFUSIN
COSTOS EN PESOS APORTE LOCAL 300 500 1000 ----400 2200 APORTE SOLICITADO --500 500 800 800 400 3000 COSTO TOTAL 300 1000 1500 800 800 800 5200
El 'Aporte Local' se compone de: aporte de infraestructura de la ROBB; tiempo de voluntarios de FJD; equipos tcnicos del Municipio de Buenaventura
EJEMPLO Plan de trabajo para el monitoreo y la evaluacin Segn lo expresado en el punto en el que se describieron los momentos del proceso de monitoreo y evaluacin, se seguir durante proyecto el siguiente cronograma de actividades: el
COSTOS EN PESOS
PERODO DE EJECUCIN
9 10 11 12 13 14
7. USO Y DIFUSIN DE LOS RESULTADOS Resulta de suma importancia prever cmo se utilizarn los aprendizajes surgidos del proceso de evaluacin; necesitamos asegurarnos que las personas que toman las decisiones estn involucradas en el proceso y acuerden el uso de las recomendaciones surgidas del anlisis evaluativo. Se deber prever entonces los mecanismos a travs de los cules se realizarn los cambios necesarios identificados para mejorar la gestin del proyecto. Tambin tendremos que prever cmo se van a comunicar los logros, avances y sucesos producidos durante el transcurso y al concluir el proyecto. Hay que considerar aqu 4 tipos de necesidades segn sean los destinatarios de esta comunicacin: para que todas las personas que trabajan en el proyecto o programa sepan como est funcionando en todos sus niveles, para mantener informada a toda la comunidad afectada por el proyecto, para que las personas e instituciones que han hecho aportes al proyecto sepan en qu se han invertido sus recursos y para que otras personas e instituciones puedan aprender de la experiencia realizada. Con estos objetivos a la vista, cada proyecto debera contener una estrategia comunicacional, que variar de dimensin, claro est, segn la complejidad del emprendimiento. Ser necesario prever aqu tambin, algn mecanismo de sistematizacin de la experiencia, de modo de poder transmitir de manera ordenada las lecciones aprendidas al interior de las organizaciones que participan del proyecto y a otras que trabajan en la misma direccin.
EJEMPLO Uso y difusin de los resultados El proyecto tendr 3 formas concretas decomunicacin en las que se difundirn los resultados del proceso de monitoreo y evaluacin: Difusin Interna: informes quincenales de cada rea o grupo acerca de los ltimos avances y logros obtenidos, conteniendo las propuestas de cambio en las actividades del proyecto, surgidas del proceso de monitoreo. Cada director de rea deber considerar el resultado obtenido en las reuniones de monitoreo y proponer los cambios necesarios para ajustar el proyecto a la luz de las enseanzas surgidas del proceso de evaluacin permanente. Difusin a las organizaciones que apoyan el proyecto: trimestralmente se escribir una carta informativa a los donantes y asociados, a la que se adjuntarn 2 hojas con los logros obtenidos hasta el momento y los pasos y objetivos a seguir en el prximo trimestre (informacin surgida del proceso de monitoreo del programa). Al finalizar el primer ao de trabajo se realizar una reunin de evaluacin intermedia y de presentacin de resultados parciales, donde estarn invitados todos los que apoyan el proyecto para poder informarse y colaborar en las innovaciones y cambios necesarios. Una vez finalizado el proyecto se har una reunin general con todos los participantes en la que se mostrarn los resultados obtenidos y se resumir la gestin realizada mediante una exposicin del coordinador general y un boletn informativo.
Difusin a la comunidad de Buenaventura: se crear una pgina web donde habr informacin sobre el proyecto y sus objetivos, sobre el proceso llevado adelante, de los logros obtenidos, y de todas aquellas informaciones que permitan a las personas colaborar y apoyar el proyecto. Adems se designar un responsable de difusin que tendr como responsabilidad relacionar a la
organizacin con los medios locales de la zona donde se ejecuta el proyecto, con el fin de mantener informada a la comunidad vecina. Se espera adems editar un libro de lecciones aprendidas al finalizar el proyecto. El libro ser enviado a las universidades de argentaria y aparecer tambin en la pgina web de la FJD.
Aqu concluye la revisin de los diversos aspectos que resulta necesario conocer para la formulacin de un sistema de monitoreo y evaluacin de un proyecto social. Esperamos que sea de utilidad para quienes desde el estado y la sociedad civil trabajan da a da intentando caminar nuevos caminos hacia la construccin de un mundo mejor.
B I B L I O G R A F I A D E C O N S U LTA
40
BIBLIOGRAFIA DE CONSULTA
ANDRADE, SHEDLIN Y BONILLA, (1987), "Mtodos cualitativos para la evaluacin de programas", The Pathfinder Fund, Watertown, MA, USA ANZOLA LIBARDO, (1995), "Seguimiento a la gestin institucional y evaluacin de resultados sociales de los planes de inversin municipal", documento de trabajo, ILPES / CEPAL, Santiago de Chile. BID, (1995), "Evaluacin: una herramienta de gestin para mejorar el desempeo de los proyectos", documento de trabajo, Washington, USA. BOMBAROLO, FELIX (2001), "Variables e Indicadores para evaluar el impacto de programas sociales", documento de trabajo, Ministerio de Desarrollo Social, Buenos Aires, Argentina. BRIONES GUILLERMO, (1991), "Evaluacin de programas sociales", editorial Trillas, ciudad de Mxico. CEVE (1998), "Mtodo de evaluacin de programas sociohabitacionales", documento de trabajo, Centro Experimental de la Vivienda Econmica, Crdoba, Argentina. GUDIO, FLORENCIO (1997), "La evaluacin de la cooperacin al desarrollo en Espaa", Serie de Avances de Investigacin N 1, Instituto Universitario de Desarrollo y Cooperacin, Universidad Complutense de Madrid, Madrid, Espaa. IAF, (1995), "El marco del desarrollo de base", Inter-American Foundation, Arlington, Virginia, USA. MUIZ, ARLETTE (1997), "Evaluacin del impacto social. El valor de lo humano ante la crisis y el ajuste", Editorial Lumen-Humanitas, Buenos Aires, Argentina NIREMBERG, BRAWERMAN Y RUIZ, (2000),Evaluar para la transformacin, Piados, Buenos Aires, Argentina. PEREZ COSCIO & WALKER, (1998), "Evaluacin de efecto e impacto social", Cuaderno de Trabajo N5, Ediciones FICONG, Buenos Aires, Argentina. SIEMPRO, (1999), "Manuel Metodolgico para la Planificacin y Evaluacin de Programas Sociales", Fondo de Cultura Econmica, Buenos Aires, Argentina. SAMAJA, (1995), "Epistemologa y metodologa. Elementos para una teora de la investigacin cientfica", EUDEBA, Buenos Aires, Argentina. TAMARGO, MARIA DEL CARMEN, (2003), El impacto en el afuera: los indicadores del contexto, en Cambiar por dentro para impactar en el afuera, publicacin de las ponencias de la IX Jornada Argentina del Sector Social, Fundacin Compromiso, Buenos Aires, Argentina. UD-NORAD, (1997), "Evaluacin de proyectos de ayuda al desarrollo", edicin del Instituto Universitario de Desarrollo y Cooperacin, Madrid, Espaa. ZAFFARONI, CECILIA (1997),El Marco de Desarrollo de Base. La construccin de un sistema participativo para analizar resultados de proyectos sociales, Ediciones Trilce- Fundacin Interamericana, Montevideo, Uruguay.
42
2. Apoyar acciones de prevencin y atencin en salud. 3. Promover e informar sobre opciones educativas, laborales y de insercin social de nios y jvenes. 4. Formar, sensibilizar e informar sobre mejores herramientas de gestin en emprendimientos productivos o de servicios. 5. Apoyar la implementacin de sistemas o redes locales de prevencin social del delito.
44
proyectos, son los siguientes: 1. Difusin / llamado a concurso: se realizar a travs de diversos medios de difusin y transmisin personalizada hacia las organizaciones con las que Shell ha venido trabajando en los ltimos aos. 2. Formacin de organizaciones pre-seleccionadas: se brindar a las organizaciones de la zona de Refinera, un taller de formacin enFormulacin de proyectos, que les servir para definir y/o ajustar sus propuestas y fortalecer su capacidad en la elaboracin y presentacin de proyectos en otras instituciones. 3. Presentacin de perfiles de proyectos: las organizaciones presentarn un perfil de proyecto (mximo, dos propuestas por organizacin), que deber respetar los tem solicitados en la gua de presentacin difundida por la empresa. 4. Seleccin de propuestas: la realizar el Comit de Seleccin en base a los criterios ya mencionados y se comunicar el resultado a todas las organizaciones concursantes; 5. Primer desembolso e inicio de ejecucin: segn el tipo de proyecto, se podr hacer uno o dos desembolsos, al inicio y al promediar la ejecucin del proyecto. 6. Jornada de formacin en gestin y monitoreo de proyectos: al promediar la ejecucin de los proyectos, se realizar una jornada de evaluacin e intercambio entre todas las organizaciones que llevan adelante las iniciativas seleccionadas; durante la jornada se brindar tambin formacin especfica sobre algunos temas vinculados al monitoreo de proyectos. 7. Jornada de evaluacin y cierre de proyectos: cada ao, al finalizar la ejecucin de la cartera de proyectos, se realizar un evento de evaluacin final e intercambio entre las organizaciones de Avellaneda y las del resto del pas que ejecutaron proyectos durante el perodo, juntamente con personal de la empresa y otros actores sociales.
46
ANEXOS
ANEXO I Concurso de proyectos Shell
RELEVAMIENTO DE CUMPLIMIENTO DE ACTIVIDADES (resultados) Y METAS (efecto) 4 PERODO INFORMADO: DEL.............................., AL...........................
Qu actividades, de las planificadas en el proyecto se realizaron durante el perodo informado en esta Planilla...? (Indique las actividades que se prevea ejecutar en este perodo y comprelas con las actividades efectivamente ejecutadas. A partir de esa comparacin calcule el porcentaje ejecutado).
4 Se recomienda completar los siguientes puntos de la Planilla, conjuntamente con las organizaciones y personas involucradas en el proyecto, incluyendo especialmente a los destinatarios del mismo.
Qu resultados se alcanzaron y qu efecto han tenido las actividades en la poblacin destinataria del proyecto...?, cuntas personas ya se han beneficiado con las acciones del proyecto y de qu manera...? (Indique la cantidad de destinatarios que se prevea alcanzar con las actividades del proyecto en el periodo informado. Comprelo con la cantidad de destinatarios que efectivamente asistieron a las actividades. Calcule el porcentaje de cobertura alcanzada).
48
Cmo se ha utilizado especficamente el aporte financiero de Shell...? (descripcin de gastos / adjuntar comprobantes)
50
SHELL COMPAIA ARGENTINA DE PETRLEO S.A. AGRADECE A TODAS LAS INSTITUCIONES Y PERSONAS INVOLUCRADAS EN EL PROGRAMA CREANDO VNCULOS. ALGUNAS DE LAS IMGENES QUE ILUSTRAN LA PRESENTE GUA CORRESPONDEN A EX PARTICIPANTES DE DESAFO JOVEN Y A GANADORES DE LA BIENAL JUVENIL; OTRAS MUESTRAN A LOS COORDINADORES DE LOS PROYECTOS SOCIALES JUNTO CON LOS BENEFICIARIOS DIRECTOS DE CREANDO VNCULOS. TODOS ELLOS SON LOS VERDADEROS PROTAGONISTAS DE ESTE OBRAR COMPARTIDO RUMBO AL BIEN COMN.
Directora de la Publicacin Vernica Staniscia, Asuntos Pblicos Shell Compaa Argentina de Petrleo S.A. Asesora y Apoyo Tcnico Flix Bombarolo asociado a Organizacin Poleas www.organizacionpoleas.net
GUIA PARA EL MONITOREO Y EVALUACIN DE PROYECTOS SOCIALES Editado por SHELL COMPAIA ARGENTINA DE PETRLEO SOCIEDAD ANNIMA Hecho el depsito que marca la ley 11723I.S.B.N. N 987-95166-2-1 Se termin de imprimir en Proietto & Lamarque S.A. con domicilio en Jos Mrmol 2131, C1255 ABW, Buenos Aires, Argentina, Agosto de 2007 Segunda edicin con una tirada de 3000 ejemplares.