Curso Monitoreo de los programas sociales

9 de octubre al 18 de diciembre de 2006 Mdulo 3: Preguntas indicadores e informaciones Coordinadora: Karen Mokate

Unidad 3.1: El monitoreo basado en la cadena de resultados

Objetivos:

Fortalecer los aportes conceptuales brindados por la cadena de resultados sociales, en lo que concierne al monitoreo

Autora: Karen Mokate Monitoreo: un proceso de planteamiento y exploracin de preguntas inteligentes, que propone provocar y apoyar reacciones y decisiones gerenciales que garantizan la generacin de valor pblico. En la unidad 1.2, definimos que el monitoreo consiste en un proceso de planteamiento y exploracin de preguntas inteligentes. Se trata de un proceso gerencial estratgico, que explora los procesos de implementacin y los logros de los programas sociales. Provee informacin oportuna con respecto al desempeo, para servir de gua a los gestores, con el fin de facilitar la generacin de resultados valiosos. Levanta banderas rojas si se presentan evidencias que el programa no progresa hacia el logro de los resultados esperados. Las tres dimensiones de los procesos de monitoreo En la unidad 1.2, propusimos que los procesos de monitoreo se construyen con base en tres dimensiones: el marco conceptual, en forma de la cadena de resultados, que explicita los resultados esperados del programa; los actores que participan en y/o son usuarios del monitoreo y los estndares y/o criterios que se van a aplicar al juicio del programa que se monitorea. A continuacin, vamos a resumir la reflexin sobre el marco conceptual, ya bastante trabajado en el mdulo 2 y tambin vamos a reflexionar sobre los actores y los criterios. En seguida, entraremos en la descripcin de las preguntas del proceso de monitoreo, que dependen de cada una de estas tres dimensiones.
Un mapa conceptual para el monitoreo: la cadena de resultados

En el mdulo 2, propusimos la cadena de resultados como mapa para orientar diversas funciones gerenciales y, muy particularmente, el monitoreo. La cadena resume las especificaciones y las expectativas que se definen en el proceso de planear, programar y disear el programa. Dichas especificaciones y expectativas llegan a ser el punto de referencia en el monitoreo. Definen lo que esperamos en cuanto a los logros, tanto en relacin con actividades y productos, como tambin en lo que respecta a impactos y efectos. La cadena es el punto de inicio para la especificacin de las preguntas que se explorarn en el proceso de monitoreo, pues nos permite basar la formulacin de las preguntas en una exploracin sobre la medida en que los resultados que se observan coinciden con lo que se plane y se program. El uso de la cadena de resultados como referente prioritario en el monitoreo, adems de su uso en las funciones de desarrollo de estrategia (planeacin y diseo) como en las de implementacin y evaluacin, es una caracterstica vital de la gerencia social. La cadena invita a los que son responsables por el desempeo del sistema a mantener la vista puesta en el valor que se propone generar a travs de la transformacin deseada y los impactos esperados. La

cadena enmarca las actividades cotidianas en el contexto de su aporte a los logros especificados en la cadena de resultados valiosos; nos conduce a estar pendientes de asegurar que los logros bajo nuestra responsabilidad se generan efectivamente y conducen a los logros en el siguiente eslabn de la cadena. Nos motiva a preguntarnos por evidencias de logros que van ms all de lo que es nuestra responsabilidad inmediata, permitiendo de esa manera un aprendizaje o retroalimentacin que puede enriquecer el proceso en su conjunto. La cadena de resultados sintetiza los logros esperados que, a su vez, nos permiten referirnos al desempeo del programa: es decir, nos permite referirnos a la medida en que una intervencin para el desarrollo o una entidad que se ocupa de fomentar el desarrollo acta conforme a criterios/normas/directrices especfico u obtiene resultados de conformidad con metas o planes especficos. (OECD/CAD, 2002). El monitoreo se puede entender, entonces, como un proceso de seguimiento y anlisis del desempeo del programa. Desempeo: la medida en que un programa o una iniciativa se desarrolle conforme a criterios o estndares especificados y/o alcance los logros especificados en su cadena de resultados. Los actores: el monitoreo depende de sus responsabilidades e intereses Los actores pueden incluir todos los actores que tengan inters en el programa y su evaluacin, sea directamente involucrados en la gestin o no. Podran incluirse los gestores, las poblaciones objetivo, los proveedores, los excluidos, los financiadores (incluidos los contribuyentes) y diferentes segmentos de la sociedad civil. Los diversos actores interesados en el monitoreo cada uno con sus respectivos roles, responsabilidades e intereses requieren de informacin para guiar sus anlisis, sus procesos y sus decisiones. Como consecuencia, diversos actores van a requerir de procesos particulares de monitoreo que apoyan sus propias responsabilidades o intereses. Por lo tanto, sera recomendable que cada actor defina un proceso de monitoreo que explore las preguntas relevantes para su gestin y que aproveche de la informacin recopilada por otros gestores, generando flujos relevantes de informacin y sinergas entre los distintos procesos de monitoreo. La cadena de resultados esperados, como marco conceptual que fundamenta la razn de ser de los programas sociales, vara segn el actor o interesado? Nuestra reflexin al respecto es que la cadena de resultados es uno solo, pues describe la apuesta que se hace con el programa: que se invierten ciertos recursos y esfuerzos con el fin de producir determinados resultados. No obstante, es claro que diversos gestores e interesados tendrn enfoques diferentes y pondrn nfasis diferentes en diversos eslabones, relaciones y riesgos de la cadena. Segn los roles, responsabilidades e intereses, la mirada de la cadena puede estar enfocada de muy diversas maneras. Los responsables por los establecimientos de entrega de servicios podran estar muy enfocados en las actividades y productos; mientras que los que coordinan relaciones intersectoriales podran estar ms enfocados en los logros y los riesgos asociados con efectos e impactos. As, los procesos de monitoreo de diferentes gestores e interesados van a diferirse entre si; cada proceso va a enfocarse en preguntas pertinentes a las responsabilidades o intereses del respectivo involucrado. Las preguntas que se exploran reflejarn las necesidades de informacin del correspondiente actor. As, cuando nos referimos a flujos de informacin en el mdulo 4, vamos a reflexionar sobre la naturaleza sistmica del monitoreo: la forma en que los diversos procesos de monitoreo se puedan complementarse, proveyendo informaciones entre si y compartiendo las responsabilidades de recopilacin de datos.

Por ahora, en este mdulo, vamos a enfocarnos en las preguntas, los indicadores y las fuentes de informacin para el monitoreo, desde un punto de vista particular. Es decir, en este mdulo,
estaremos reflexionando sobre el monitoreo para un determinado actor, que plantear preguntas que corresponden a sus intereses y responsabilidades.

Es importante recordar que el monitoreo es normalmente pensado como una actividad interno de la gerencia una funcin que se realiza por el propio equipo gestor o por el interesado en recopilar y analizar informacin sobre el desempeo del programa. En ese sentido, es apenas lgico que el monitoreo ser particular al rol y responsabilidad del actor.

Los criterios del monitoreo y evaluacin El INDES propone que el ejercicio de la gerencia social adopte cuatro criterios fundamentales que permiten orientar la toma de decisiones, las acciones a seguir y evaluar los resultados alcanzados. Estos criterios son eficacia, eficiencia, equidad y sostenibilidad, que son complementarios entre s y que se refuerzan unos con los otros. De igual manera, proponemos que estos cuatro criterios se deben tomar en cuenta para la formulacin de las preguntas que se van a explorar en el proceso de monitoreo. Por eficacia, entendemos la capacidad o el poder de producir los resultados esperados. Un programa es, entonces, ms o menos eficaz, segn la medida en que cumpla los resultados esperados estipulados en su cadena de resultados. Cabe destacar que el cumplimiento de resultados contempla las dimensiones de cantidad, calidad y oportunidad. As, la eficacia (o, lo que es igual, la efectividad) depende del grado en se produzcan los resultados esperados, en la cantidad esperada, con la calidad esperada, con una llegada a la poblacin objetivo indicado y en los plazos esperados. El anlisis de eficacia no considera el uso de recursos, pues esa consideracin corresponde al anlisis de eficiencia. La eficiencia se refiere al grado en que se logran los resultados esperados al menor costo posible. El no logro de los resultados esperados y/o el desperdicio de recursos o insumos hacen que el programa reduce(n) la eficiencia de un programa. Ahora bien, la referencia al costo en la definicin de eficiencia corresponde a un entendimiento amplio del concepto. No todo costo necesariamente tiene que asociarse con un desembolso de dinero. No todo costo corresponde directamente a una expresin en unidades monetarias. Un costo representa el desgaste o el sacrificio de un recurso, tangible o intangible. Por lo tanto, podra referirse al uso (sacrificio) de tiempo, al desgaste o deterioro de un recurso ambiental (aunque ste no sea negociable) o al deterioro o sacrificio de otro bien no tangible como el capital social, la solidaridad o la confianza, entre otros. El criterio de equidad no se puede definir en un mbito exclusivamente tcnico, como podemos definir la eficacia y la eficiencia. Esto, porque el concepto de equidad se basa en tres valores sociales: igualdad, cumplimiento de derechos y justicia. El reconocimiento relativamente universal de la bondad de estos tres valores permite que el concepto de equidad por lo menos retricamente goce de cierta aceptacin universal. Hay amplio consenso con respecto a la prioridad que se debe asignar a la equidad como pauta o estndar para las polticas pblicas. No obstante, esta aceptacin universal se sostiene en parte por la ambigedad con que tpicamente entendemos estos valores.

El concepto de la equidad depende de una interpretacin del derecho natural, de las leyes y/o de la concepcin de justicia. Por ende, es un concepto que va a ser interpretado segn los valores, las tradiciones y la tica social. En el contexto de polticas y programas sociales, se ha asociado el concepto de equidad esencialmente con algn concepto de igualdad. No obstante, se han propuesto diferentes interpretaciones de la igualdad asociada con equidad. Especficamente, se ha hecho referencia a la equidad vertical el tratamiento igual para todos los diversos grupos e individuos de una sociedad y a la equidad horizontal igual tratamiento para iguales. La promocin de la equidad vertical insina que la equidad es equivalente a la igualdad absoluta. En contraste, la equidad horizontal abre la puerta a la tolerancia de tratamientos diferenciados, con el raciocinio de que los individuos y grupos son diferentes y pueden ser tratados en forma diferenciada sin ser injusto. Es ms, la equidad horizontal podra conducirnos a pensar que el tratamiento diferenciado es justo, ya que podra tener el fin de corregir o ajustar diferencias ya existentes entre diversos grupos o individuos. Intervenciones desigualitarias (por ejemplo, enfocadas hacia poblaciones pobres) por parte de organizaciones gubernamentales y no gubernamentales resultara consistentes con sus papeles de correctores y compensadores de inequidades existentes en la distribucin de ingresos y riquezas. As, cuando proponemos preguntas sobre la equidad en el proceso de monitoreo, va a hacer falta reflejar un determinado entendimiento de este concepto. Dicho entendimiento reflejar las interpretaciones valorativas de los actores involucrados. Igual ocurre con el concepto de sostenibilidad. El concepto se asocia con mltiples dimensiones de la gestin y los resultados de un programa: las dimensiones ambientales, financieras, polticas, institucionales, entre otras. La palabra sostener significa sustentar, mantener firme una cosa. Viene del Latn sub-, que significa desde abajo, y-tenere, que significa tener elevado. La definicin ms amplia de la sostenibilidad resulta tautolgica: la sostenibilidad es la capacidad de mantenerse o sostenerse. Una iniciativa es sostenible si persiste en el tiempo. Para que una determinado programa sea sostenible, el entorno tiene que ser consistente con los requerimientos para su gestin; pero, tambin impone demandas sobre el programa, para que sea armonioso con el entorno. Los impactos son sostenibles si perduran en el tiempo aun en ausencia de las intervenciones que los generaron. Para que los impactos de un programa sean sostenibles, el entorno tiene que apoyarlos y los impactos mismos tienen que consistente y mantenibles en las dinmicas mltiples del contexto. La sostenibilidad, entonces, depende de determinadas caractersticas y comportamientos del entorno y del programa y de la armona entre los dos. As, las preguntas del monitoreo que indagan sobre la sostenibilidad explorarn estas caractersticas y comportamientos del entorno y del programa, que podran afectar la capacidad de sostener el programa y/o sus impactos en el tiempo. No obstante, en general, se podra esperar que las preguntas sobre sostenibilidad incluiran las preguntas relacionadas con la probabilidad de ocurrencia de riesgos que amenazan el programa y sus efectos e impactos y las que tienen que ver con la gestin de estrategias para manejar dichos riesgos. Cabe destacar que las responsabilidades y roles de diversos actores harn que pongan mayor importancia en unos criterios que en otros. Ciertas organizaciones de la sociedad civil definen su misin en un enfoque de vigilancia de la eficiencia de las polticas y programas gubernamentales; otras se preocupan ms por temas relacionados con equidad. Gestores al nivel de establecimiento frecuentemente se enfocan en eficacia y eficiencia, dejando para otros responsabilidades la gestin y el monitoreo de la equidad. As, segn las responsabilidades y

roles de los diversos actores, las preguntas de monitoreo se enfocarn en los cuatro criterios propuestos, o en un subconjunto de ellos. Ahora bien, evidentemente puede haber muchos criterios adicionales a los cuatro que proponemos aqu. Diversos sectores o industrias tienen estndares que pueden tomar forma de criterios adicionales o pueden agregar interpretaciones especficas o hitos particulares para el juicio de ciertos criterios. Evidentemente, dichos estndares y/o criterios adicionales pueden expandir el conjunto de preguntas y anlisis que se explorarn en el monitoreo.

Preguntas del proceso de monitoreo y evaluacin

Preguntas sobre eficacia

Las preguntas ms comnmente asociadas con el monitoreo son las que exploran la eficacia: las que analizan el logro de los objetivos propuestos desde el diseo del programa. No obstante, tambin ha sido muy comn limitar este anlisis a los objetivos asociados con actividades y productos. La gerencia social, por tener su enfoque centrado en el logro de resultados que son valiosos para los ciudadanos, propone que el monitoreo de la eficacia en el logro de actividades y productos es importante, pero insuficiente. Los gerentes tambin requieren de informaciones que brindan evidencia de que las actividades y productos podran efectivamente generando efectos e impactos. As, las preguntas del monitoreo apuntan a hacer un acompaamiento de los procesos y las actividades, la entrega de productos y el uso de recursos; y los consiguientes logros en trminos de efectos e impactos. Este acompaamiento primero indaga sobre la implementacin del programa, suponiendo que plan de accin pre-programado sea el camino indicado para lograr los objetivos del programa. Luego, explorar evidencias para constatar que efectivamente es un camino indicado, buscando indicios de logros en trminos de efectos e impactos. As, el monitoreo se dirige a preguntas como las siguientes: Preguntas sobre la eficacia, en lo que respecta a actividades y productos i) En qu medida cumple el programa las actividades especificadas en su plan o en su programacin? ii) Qu coincidencia se presenta entre la cantidad, la oportunidad y la calidad de los logros en trminos de actividades y productos esperados y los que se estn generando? iii) En qu medida est los productos estn llegando a los beneficiarios apropiados (es decir, llegan a la poblacin objetivo previsto? a los diversos segmentos de dicha poblacin?) Ntese, las preguntas sobre eficacia exploran contemplan las dimensiones de cantidad, calidad y oportunidad y exploran que los productos hayan llegado a las poblaciones que fueron definidos como el objetivo del programa. Preguntas sobre la eficacia, en lo que respecta a efectos e impactos En lo que respecta a efectos e impactos, hay que destacar que el monitoreo observa tendencias y varianzas en comportamientos, consumos, actitudes, condiciones de vida y dimensiones del bienestar. No obstante, no hace un anlisis de atribucin para poder vincular aquellas varianzas

o cambios de estos fenmenos que se pueden vincular causalmente (o atribuir) al programa que estamos monitoreando. Por ello, se debe tener en cuenta que estamos monitoreando indicios de posibles efectos o impactos; estamos haciendo seguimiento de aquellos cambios que podran ser efectos o impactos. Solo a travs de anlisis de tendencias o un anlisis formal de atribucin (asociado con los mtodos de evaluacin de impacto), se podra probar que efectivamente son efectos o impactos del programa que gestionamos. En el monitoreo, exploramos evidencias de posibles efectos o impactos. i) Hay evidencias de logros de los cambios de consumos, comportamientos, conocimientos o actitudes que estaban previstos en los efectos esperados?. En qu medida cumple dichos objetivos con la calidad esperada, en los tiempos y lugares esperados? entre los diversos segmentos de poblacin que se buscaban afectar? ii) Cules son las satisfacciones y las insatisfacciones de diversos involucrados con respecto a las actividades del programa? por qu se sienten satisfechos o insatisfechos? iii) Hay evidencias de impactos del programa sobre las condiciones y calidad de vida de la poblacin objetivo? coinciden estos logros con los impactos esperados?. En qu medida cumple dichos objetivos con la calidad esperada, en los tiempos y lugares esperados? entre los diversos segmentos de poblacin que se buscaban afectar? iv) Las familias y comunidades de las poblaciones objetivo conocen las acciones necesarias para cumplir con sus roles de co-productores de los efectos e impactos esperados? Es decir, estn concientes que tienen que poner de su parte para que se produzcan los cambios deseados? Cumplen consistemente con ese rol? Preguntas sobre eficiencia i) Los recursos del programa se utilizan de manera apropiada? ii) Los costos por actividad son razonables, en relacin con antecedentes o estndares? iii) Los recursos, esfuerzos y tiempo dedicados a las actividades coinciden con lo presupuestado? iv) Los costos por unidad producida son razonables, en relacin con antecedentes, comparadores o estndares? Cmo se compara los costos por persona atendida con otras experiencias? v) Es posible analizar un costo por unidad de efecto o impacto? De ser posible, cmo compara este costo con lo esperado y/o con unos estndares?

Posibles preguntas sobre equidad i) Las actividades del programa se distribuyen igualitariamente o justamente en diversas organizaciones, diversas jurisdicciones, y diversos mbitos? ii) Los recursos se asignan y se utilizan de manera igualitaria o justa? el uso de recursos promueve la equidad? iii) Los productos se entregan de manera equitativa? Se toman en cuenta las necesidades y costumbres de diversos segmentos de la poblacin objetivo?

iv) Los diversos grupos de poblacin que conforman la poblacin objetiva acuden a los establecimientos de entrega de servicios? Usan los bienes o servicios ofrecidos por el programa? los diversos grupos muestran diferencias en su aceptacin o uso de la oferta del programa? v) Cmo varan los costos por unidad producida, entre diversos mbitos o diferentes segmentos de la poblacin objetivo? Cmo vara el gasto por usuario entre los diferentes grupos relevantes? vi) Los diversos grupos de poblacin que conforman la poblacin objetiva estn satisfechos con los bienes o servicios ofrecidos por el programa? el nivel de satisfaccin vara entre los diversos grupos muestran diferencias en su aceptacin o uso de la oferta del programa? vii) Se presentan evidencias de cambio en las condiciones de vida o el bienestar de todos los diferentes grupos y sub-grupos relevantes? Varan estas evidencias entre diversos grupos? Preguntas sobre sostenibilidad i) Los recursos necesarios para la gestin del programa son vulnerables a decisiones polticas o a otras decisiones y dinmicas que podran afectar la sostenibilidad de las actividades del programa? los recursos humanos y financieros necesarios estn a disposicin ii) Qu evidencias existen sobre posible ocurrencia de los riesgos formados por vulnerabilidad frente a fuerzas polticas o de oposicin al programa? Los planes de contingencia para su manejo estn comportando en la manera prevista? iii) Qu evidencias existen sobre posible ocurrencia de los riesgos que limitaran la capacidad de producir y/o entregar los bienes y servicios que conforman la oferta del programa? Los planes de contingencia para su manejo estn comportando en la manera prevista? iv) Qu evidencias existen sobre posible ocurrencia de los riesgos que limitaran la capacidad de lograr los efectos e impactos esperados? Los planes de contingencia para su manejo estn comportando en la manera prevista? v) Hay una participacin comunitaria sostenida que podra apoyar la sostenibilidad del programa y/o de sus efectos o impactos? existe una solidaridad ciudadana en torno al programa que podra apoyar su sostenibilidad y/o la sostenibilidad de sus efectos o impactos? vi) Se presentan evidencia de la sostenibilidad de los cambios atribuibles al programa?

Otras preguntas del monitoreo Ahora bien, el monitoreo no se debe limitar a verificar (o no) los resultados esperados y los riesgos especificados en la cadena de resultados. Tambin puede generar otras informaciones valiosas para los gestores, con respecto a lo que funciona bien (y lo que no funciona), para que ellos puedan introducir ajustes en la implementacin y/o en el plan de trabajo. Por lo tanto, las preguntas inteligentes no pueden limitarse a las preguntas bsicas sobre si un programa logra los objetivos propuestos o no; tambin tienen que preguntar sobre los por qus y los cmos; tienen que explorar y analizar impactos y efectos no esperados, tanto positivos como negativos. Las preguntas no es sola verificadoras; tambin deben ser descriptivas, diagnsticas y explicativas. Las preguntas podran incluir algunas como las siguientes:

i) Cules caractersticas de la gestin facilitan (o dificultan) el logro de los objetivos? algunos recursos, actores o procesos que han sido claves en la calidad u oportunidad del desempeo? ii) Cules cuellos de botella se han presentado? iii) Qu efectos (positivos y/o negativos) se generan entre la poblacin objetivo, diferentes a los que se reflejan en los objetivos? iv) Hay determinadas circunstancias o caractersticas entre las poblaciones objetivo que facilitan (o dificultan) el logro de los objetivos? Resumen: las posibles preguntas del monitoreo En esta unidad, hemos propuesto que las preguntas del proceso de monitoreo se definirn a la luz de: la cadena de los resultados del programa que se monitorea (incluyendo la identificacin de riesgos) el actor para el cual se propone el proceso de monitoreo, contemplando las necesidades de informacin segn sus responsabilidades e intereses un conjunto de criterios relevantes, incluyendo (pero no limitado a) la eficacia, la eficiencia, la equidad y la sostenibilidad. El siguiente cuadro propone un resumen de posibles preguntas que se podran proponer como base del proceso de monitoreo. Las particularidades de las preguntas, evidentemente, dependern del programa y del actor para el cual se disea el proceso.

Posibles preguntas exploradas en el proceso de monitoreo ACTIVIDADES Eficacia Cumplimiento Calidad Oportunidad Focalizacin PRODUCTOS Cumplimiento Cobertura Calidad Oportunidad Focalizacin EFECTOS IMPACTOS

Cumplimiento de Cumplimiento cambios esperados (en comportamientos, Evidencias de cambios en el actitudes, consumos, bienestar etc) Satisfaccin Conocimiento, reconocimiento del papel de coproduccin Costo por unidad Costo por unidad de impacto (ojo! Require de cierta certeza con de efecto (ojo! Require de cierta respecto a la atribucin) certeza con respecto a la atribucin)

Eficiencia

Costo por actividad

Recursos humanos o tiempo Costo por persona asignado por

Costo por unidad producida o por una de capacidad instalada

actividad Recursos comunitarios utilizados por actividad Equidad Distribucin de actividades por diversos mbitos (por zona, por ejemplos)

o familia atendida

Cobertura en diversos mbitos, para mujeres/hombres, para diferentes clases Uso de recursos socioeconmicas o por diversos etnias mbitos o por diversos Utilizacin segmentos de la sostenida del bien o servicio, entre poblacin diferentes grupos relevantes de usuarios Costo por persona o familia atendida en diferentes grupos relevantes

Satisfaccin entre diversos grupos (relevantes) de usuarios (por regin, por etnia, por grupo socioeconmico, por sexo)

Evidencias de cambios en el bienestar, por grupo de usuario (por regin, por etnia, por grupo socioeconmico, por sexo)

Sostenibilidad

Estabilidad de fuentes de recursos financieros Grado de susceptibilidad a decisiones polticas Fuerza de oposicin a las actividades Probabilidad de ocurrencia de riesgos que afectan las actividades del programa Gestin de las estrategias de manejo de riesgos

Factores que hacen vulnerable la capacidad de producir o entrega bienes y servicios Evidencias de estrategias para reducir vulnerabilidad

Evidencia de participacin comunitaria y solidaridad comunitaria, con respecto al programa

Evidencia de sostenibilidad de los cambios atribuibles al programa Probabilidad de ocurrencia de riesgos que afectan los impactos esperados del programa

Probabilidad de ocurrencia de riesgos que afectan Probabilidad de ocurrencia de riesgos los productos del que afectan los programa efectos esperados Gestin de las del programa estrategias de manejo de riesgos Gestin de las estrategias de manejo de riesgos

Gestin de las estrategias de Evidencia de sostenibilidad de los manejo de riesgo cambios en comportamientos, actitudes y consumos

10

Bibliografa BID. Oficina de Evaluacin. 1997. Evaluacin: una herramienta de gestin para mejorar el desempeo de los proyectos. Washington, D.C.: Banco Interamericano de Desarrollo. Mokate, Karen. 2002. Eficacia, Eficiencia, Equidad y Sostenibilidad. Qu Queremos Decir? Washington DC: BID/INDES. OECD/CAD. 1991. Principios de Evaluacin de Asistencia para el Desarrollo. Pars: OECD. OECD/CAD. 2002. Glosario de los principales trminos sobre evaluacin y gestin basada en resultados. Evaluation and Aid Effectiveness N6. OECD-DAC. Paris. Oficina del Auditor General del Canad. 2000. Implementing Results-Based Management: Lessons from the Literature. Sulbrandt, Jos. (2000) Introduccin a la Gerencia Social. Washington DC: BID/INDES. Notas de clase. UNICEF. 1991. Gua de UNICEF para Monitoreo y Evaluacin: marcando una diferencia? New York: UNICEF, Oficina de Evaluacin.

11

Unidad 3.2: Las preguntas y los indicadores

Objetivos:

Asociar los indicadores utilizados en los procesos de monitoreo con las preguntas que se proponen explorer en el proceso Fortalecer capacidades para proponer un conjunto de indicadores como insumo al proceso de monitoreo

Monitoreo: un proceso de planteamiento y exploracin de preguntas inteligentes, que propone provocar y apoyar reacciones y decisiones gerenciales que garantizan la generacin de valor pblico. El monitoreo se asocia con indicadores. Muchos consideran, de hecho, que el monitoreo se limita a un proceso rutinario de seguimiento de un conjunto de indicadores. Donde bien consideramos que los indicadores son indispensables para un proceso de monitoreo, parecen haber adquirido un papel sobredimensionado en la conceptualizacin convencional del monitoreo. Los indicadores forman parte del monitoreo porque facilitan la exploracin de las preguntas que forman la base del monitoreo. Son un medio que permite responder las preguntas de monitoreo y de manera sistemtica en diferentes perodos de tiempo. Los indicadores son determinados a partir de la definicin de las preguntas. As, entender el monitoreo como un mero seguimiento rutinario de un conjunto de indicadores empobrecera el proceso. Una conceptualizacin del monitoreo basada en preguntas inteligentes le brinda una naturaleza dinmica y estratgica. Preferimos esta conceptualizacin del monitoreo, como proceso que utiliza (inteligentemente) los indicadores para responder preguntas pertinentes a las funciones gerenciales. Esta construccin ms estratgica del monitoreo implica que se eliminara el anlisis de ciertos indicadores o se agregara el anlisis de nuevos indicadores en la medida que cambien las necesidades de informacin gerencial o que la misma dinmica del programa obligue a explorar nuevas preguntas. Los indicadores: naturaleza, caractersticas y ventajas Los indicadores son expresiones no ambiguas de fenmenos con caractersticas tanto cuantitativas como cualitativas. Los indicadores deben describir los fenmenos de tal manera que pueden ser comparados y contrastados en diferentes momentos del tiempo, en diferentes lugares o contextos, y en diferentes escenarios. Por esto mismo, los indicadores tienden a tomar una naturaleza cuantitativa, pues la cuantificacin facilita la agregacin y la comparacin. Para el monitoreo, los indicadores permiten explicitar y sistematizar la manera en que se proponen responder las preguntas que se exploran. Permite comparar las respuestas a dichas preguntas en un determinado momento con lo que se habra esperado, con lo que se respondi antes o con los que se responde en otro contexto.

12

Los indicadores se disean y se seleccionan de tal forma que contribuyan a la capacidad de responder las preguntas que se exploran en el proceso de monitoreo. De esa manera, contribuyen al entendimiento del desempeo de la iniciativa y apoyan los procesos y decisiones gerenciales. Los indicadores resumen informacin relevante sobre diversos procesos, dinmicas o fenmenos relevantes. Miden elementos observables, tanto cuantitativos como cualitativos. Tienen valor descriptivo y explicativo, facilitando la comunicacin entre actores clave, el anlisis de vnculos causales (o sea, la prueba emprica de las hiptesis causales en la cadena de valor), la deteccin de desvos del plan, y la toma de decisiones. Un buen indicador para el monitoreo de programas sociales se caracteriza por los siguientes rasgos: Es preciso, no ambiguo: puede ser interpretado de manera clara, de tal forma que sea plenamente entendible por diversos actores, en diferentes momentos. Es relevante: refleja elementos o fenmenos que forma parte de lo que se busca entender; se relaciona con algn aspecto de la cadena de resultados del programa. Se relaciona con lo que se propone monitorear. Es decir, facilita el anlisis de las preguntas propuestas para el monitoreo. Es apropiado para los usuarios de la informacin: los usuarios se identifican con el indicador, entienden el indicador y lo que indica, confan en que refleja fielmente informacin relevante. Es sensible a ser afectado por el programa: cuenta con el nivel adecuado de desagregacin y se recopila con una representatividad apropiada. Es prctico: el costo de recopilar los datos y producir la informacin a ser sintetizada por el indicador es razonable. Su construccin y monitoreo es viable con los recursos disponibles. Es confiable y objetivo, en el sentido en que sus valores no varan de acuerdo a la persona responsable de la recopilacin de datos. Describe el fenmeno que se va a indicar, explicitando su naturaleza (su calidad y su espacio o entorno; y en la medida que sea relevante, los grupos a ser afectados). Respeta la privacidad y la confiabilidad de individuos y de organizaciones individuales que reportan la informacin utilizada en su construccin. Su definicin incluye la definicin de las fuentes de informacin o de los mtodos de recopilacin de datos para su elaboracin.

El uso de indicadores conlleva varias ventajas que facilitan y fortalecen los procesos de monitoreo. Entre las ventajas figuran las siguientes: Un indicador permite sintetizar mucha informacin. La definicin y el seguimiento regular de un indicador facilitan y promueven una recopilacin regular y sistemtica de los datos necesarios para su construccin.

13

La precisin de un indicador promueve cierta homogeneidad en la manera que interpretamos la informacin que resume. Los indicadores facilitan la comparacin (entre lugares, entre diferentes momentos, entre lo observado y lo esperado).

Se suele presentar cierta resistencia a la definicin o uso de indicadores de efectos e impactos de programas sociales, pues los indicadores pueden resultar limitados para el anlisis de fenmenos complejos, cualitativos y multidimensionales. No obstante, los indicadores no tienen ninguna limitacin intrnseca para describir fenmenos cualitativos o complejos. Por cierto, ha habido sobre-simplificaciones que han intentado reducir fenmenos muy complejos en indicadores simplistas. Estas sobre-simplificaciones han generado la resistencia al uso de indicadores. Sin embargo, no podemos juzgar los indicadores por las malas aplicaciones de los mismos. Ahora bien, hay que reconocer que aquellos indicadores que miden exclusivamente las dimensiones cuantitativas o fcilmente observables de los fenmenos que queremos entender resultan insuficientes para muchos de los anlisis necesarios para apoyar la gerencia. Es muy probable que un determinado efecto o impacto no se pueda resumir en un solo indicador; cada efecto o impacto podra necesitar ms de un indicador para representar su dinmica. Por supuesto, hay tambin necesidades de informacin para fenmenos que no son observables. Esto puede ser porque la recopilacin de los datos necesarios para construir los indicadores no resulta viable por falta de mtodos confiables o por costos excesivos (por ejemplo, datos de ingresos o de condiciones de salud desagregados por raza o etnia, pues hasta hace poco, la mayora de los pases no contaba con datos confiables de la variable de raza o etnia en sus censos o encuestas de hogar). Asimismo, podra ser que la naturaleza del fenmeno no permite que sea observado (por ejemplo, la tranquilidad de las personas y las familias asociadas con mayor seguridad callejera). En estos casos, se recomienda definir y usar indicadores proxy: indicadores que pueden reflejar aunque sea de manera imperfecta las tendencias que se buscan explorar. Por ejemplo, en un estudio de las condiciones de salud de la poblacin afro-ecuatoriana, la Organizacin Panamericana de la Salud (OPS) utiliz los datos de dos provincias de poblacin predominantemente negra para caracterizar el perfil de los afro-ecuatorianos y los compar con datos de provincias con muy escasa poblacin negra. De la misma manera, se podran utilizar datos sobre la concurrencia a lugares pblicos en horas de la noche y/o el trnsito por las vas consideradas de alto riesgo para reflejar la tranquilidad de las personas frente al crimen callejero.

Tipos de indicadores Indicadores de actividades, productos, efectos, impactos y riesgos Indicadores de actividades, inversiones e insumos: describen las acciones y trabajos realizados y sus correspondientes procesos y recursos; contemplan las actividades de las dimensiones programticas, polticas y organizacionales de la gestin.

14

Indicadores de productos: describen los bienes y servicios entregados y, de ser relevante, su acogido por la poblacin usuaria (el encuentro de la oferta del programa con la demanda). Cabe destacar que los indicadores de actividades y productos se construyen con datos que en su mayor parte se recopilan en la(s) organizacion(es) ejecutora(s) del programa y sus puntos de trabajo. Son datos que reflejan procesos que se controlan por los equipos gestores y reflejan fenmenos tcnicos y gerenciables. Indicadores de efectos: describen cambios en los consumos, comportamientos, conocimientos y/o actitudes de los afectados por el programa. Indicadores de impactos: describen los cambios en el bienestar consecuentes de la generacin de los efectos. La construccin de los indicadores de efectos e impactos requiere de datos que se recopilan entre las poblaciones y comunidades objetivo del programa. Son datos que reflejan procesos que se producen en las comunidades, en los hogares y en los individuos. Indicadores relacionados con riesgos: describen evidencias (o falta de evidencias) de una posible ocurrencia del riesgo y las acciones y resultados de la gestin de estrategias de manejo del riesgo. Tipos de indicadores: segn sus propiedades estadsticas Indicadores que describen una sola observacin: (un evento, una organizacin, una comunidad, una poblacin, etc.) Conteo: un conteo de algn fenmeno relevante. Por tratarse de un nmero absoluto, solo aportar informacin til para los gestores en la medida que se pueda comparar con un referente: un estndar; ese nmero medido en otro momento o en otro mbito. Ejemplo: nmero de vacunas aplicadas durante la jornada de vacunacin en supermercados. Descriptores: una enumeracin de caractersticas descriptivas o explicativas de un fenmeno. Se tratan de descripcin ms cualitativas de una dinmica, un evento, una reaccin. Frecuentemente expresada en prosa, con un esfuerzo para expresarla de manera que puede ser comparada con la misma descripcin o la misma explicacin en otro momento o en otros mbitos. Ejemplo: principales actividades pblicas en la vereda durante las horas de la tarde, entre semana. Ejemplo: reacciones ms comunes de las mujeres a una nueva campaa de comunicacin que promueven la denuncia de la violencia domstica.

Indicadores que describen un fenmeno cuantitativo con mltiples observaciones (poblaciones, agrupaciones, industrias, eventos repetidos, etc): Medidas de tendencia central: Un nico valor que resume el conjunto de observaciones, sealando de alguna forma el centro de los valores.

15

La media (o promedio): el valor calculando sumando el valor de todas las observaciones y dividiendo por el nmero de observaciones. La mediana: el valor que representa el punto central de todas las observaciones, en el sentido que habr igual nmero de observaciones por debajo y por encima de la mediana. La moda: el valor que ms frecuentemente aparece. Medidas de la variabilidad del fenmeno: Describen la forma en que las diversas observaciones estn distribuidas alrededor de las medidas de tendencia central. Rango: describe la distancia entre el valor mximo y el valor mnimo. Desviacin estndar: una medida de la dispersin de las observaciones alrededor del medio. Calculada como la raz cuadrada de la sumatoria de las diferencias cuadradas entre cada observacin y el medio. Se puede interpretar como la diferencia promedia entre cada dato y el medio; entre ms grande la desviacin, ms dispersas se encuentran las diversas observaciones. Indicadores que describen ciertas caractersticas de un fenmeno cualitativo o cuantitativo con mltiples observaciones (poblaciones, agrupaciones, industrias, eventos repetidos, etc): Frecuencias: el nmero de veces un determinado fenmeno se presenta. Permite referirse a las ocurrencias ms frecuentes, menos frecuentes, etc. Ejemplo: nmero de personas que reportan desconfiar del gobierno central, al final del ao 2006.. Ejemplo: nmero de consultas externas atendidas por sala de emergencia en el 2005. Porcentaje: la proporcin (estandarizada para expresarse como proporcin entre cien observaciones) del total que se caracterizan por una determinada caracterstica. Cambio en el tiempo: cambio absoluto en un determinado indicador, entre un perodo y otro. Cambio porcentual: cambio porcentual en un determinado indicador, entre un perod y otro. Cambio porcentual = (Valor en el tiempo 1 Valor en el tiempo 0) / Valor en el tiempo 0.

Precisando los indicadores para el monitoreo. Los indicadores son precisos y no ambiguos; quiero decir que todos que analizan el indicador tienen claridad sobre cmo ha sido construido. Esta caracterstica de precisin requiere de esfuerzos particulares para concretar qu se mide, en qu plazo de tiempo, para qu poblaciones u organizaciones; en qu lugares o mbitos. Sugerimos, enctonces, una vez que se haya hecho una identificacin inicial de un indicador, es necesario someterlo a un afinamiento, para asegurar que su definicin aclare: el plazo del tiempo para el cual se va a medir o describir el fenmeno; los espacios o mbitos includos en la medicin o descripcin; las poblaciones, organizaciones o grupos incluidos en la medicin o descripcin.

16

si el indicador se trata de una proporcin o un porcentaje, se debe especificar qu grupos, poblaciones u organizaciones (etc) estamos analizando como parte (o numerador) de qu grupo ms amplio (o denominador). en caso de estar indicando elementos cualitativos del fenmeno, incluir las especificaciones o estndares que se desean indicar o medir.

A manera de ejemplo, considera un caso en que se propone monitorear el porcentaje de agricultores beneficiarios de un programa que han aplicado eficamente las recomendaciones realizado por los extensionistas de un programa que propone diversificar cultivos para lograr un mayor rendimiento y un mayor ingreso. Indicador inicialmente propuesto: El porcentaje de argicultores beneficiarios que han aplicado eficazmente las recomendaciones de los extensionistas. Al precisar plazo: El porcentaje de agricultores beneficiarios del programa que, al seis meses de haber recibido recomendaciones de los extensionistas del programa, estn aplicando eficazmente las recomendaciones Al precisar espacio: El porcentaje de agricultores beneficiarios en cada municipio participante del programa que, al seis meses de haber recibido recomendaciones de los extensionistas del programa, estn aplicando eficazmente las recomendaciones Al precisar poblaciones: El porcentaje de agricultores beneficiarios en cada municipio participante del programa que, al seis meses de haber recibido recomendaciones de los extensionistas del programa, estn aplicando eficazmente las recomendaciones (medido como porcentaje de todos los agricultores beneficiarios en el mismo municipio) Al precisar calidad: El porcentaje de agricultores beneficiarios en cada municipio participante del programa que, al seis meses de haber recibido recomendaciones del extensionista del programa, estn aplicando las recomendaciones tal como fueron especificadas y dibujadas en el plan de mejora elaborado en las visitas del extensionista (medido como porcentaje de todos los agricultores beneficiarios en el mismo municipio) Consideremos otro ejemplo: en el proceso inicial de identificacin de indicadores, podramos haber identificado el indicador de "familias con acceso a agua segura". Al precisar plazo: Familias con acceso a agua segura, al final de cada ao calendario. Al precisar espacio: Familias residentes en el estado de Cear, con acceso a agua segura, al final de cada ao calendario. Al precisar poblaciones: Porcentaje de todas los hogares en el estado de Cear, que cuentan con acceso a agua segura, al final de cada ao calendario.

17

Al precisar calidad: Porcentaje de todas los hogares en el estado de Cear, que cuentan con una conexin domicilaria de agua que llega por tubera y cuya calidad es controlada por una empresa proveedora, al final de cada ao calendario.

Ejemplos de indicadores que responden algunos de las preguntas del proceso de monitoreo El cuadro que se presenta a continuacin presenta unos ejemplos de indicadores que responden preguntas sobre diversos eslabones de una cadena de resultados, a la luz de los criterios que especificamos en la unidad 3.1. Por supuesto, son sencillamente unos ejemplos.

Fenmeno que se proponen indicar o describir Cumplimiento (actividades, productos)

Posibles indicadores

Ejemplos

Logro efectivo/Logro programado

Construccin en metros cuadrados en el 2006 en todas las obras del programa/ meta de construccin (en m2 ) del programa para el 2006 Cambio con respecto al ao anterior en el porcentaje de la poblacin estudiantil de las universidades pblicas del pas que manifiestan creencias o comportamientos de discriminacin racial (medida segn las pruebas IEC de valores y actividades), aplicado en diciembre de cada ao. Porcentaje de mujeres participantes en el programa que llegan a recibir microcrdito dentro de doce meses de haber salido del programa. Medido para todo el pas y por regin. Porcentaje de jvenes entre 18 y 25 aos que votan en las elecciones presidenciales y legislativas (medido sobre la poblacin total entre 18 y 25 aos).

Cumplimiento (efectos, impactos)

Cambio en indicadores que evidencian cambios deseados (nota: evidencias de potenciales efectos, impactos)

Calidad (actividades, productos)

Cumplimiento de estndares

Porcentaje de hospitales pblicos que cumplen consistentemente durante el ao los estndares de higiene establecidos por el Ministerio de Salud en sus consultorios y salas de emergencia, monitoreado en visitas no anunciadas de supervisin Partos atendidos en la provincia por

Cobertura

Poblacin cubierta / poblacin

18

Fenmeno que se proponen indicar o describir

Posibles indicadores objetiva total

Ejemplos profesional de salud en el trimestre. Partos totales reportados en la provincia durante el trimestre.

Oportunidad

Cumplimiento de plazos previstos o Porcentaje de obras terminadas dentro del estndares de tiempos de entrega o plazo previsto, en el plan operativo acordados atencin al inicio del programa. Porcentaje de pacientes de consulta externa en el 2006 que se atienden en un plazo inferior de treinta das desde la fecha de remisin o primer contacto.

Satisfaccin

Frecuencia de quejas o reclamos. Poblacin que reporta estar satisfecha o muy satisfechos / Poblacin total

Nmero de quejas o reclamos recibidos en los buzones creados para tales fines en los establecimientos de entrega de servicio. Porcentaje de egresados que responden la encuesta de salida, que reportan una satisfaccin de 7 puntos o ms (en escala de 10 puntos). Medido para cada curso y agregado para cada ao. Porcentaje de estudiantes becados (en todo el pas) en el 2005-2006 que reportan direcciones que corresponden a barrios de Estratos I y II.

Focalizacin

Porcentaje de usuarios que corresponden a la poblacin objetivo del programa

Utilizacin sostenida del bien Porcentaje de usuarios que acuden Porcentaje de usuarios de la biblioteca pblica (registrados por ficha de entrada) que o servicio ms de una vez. han utilizado el servicio bibliotecario tres veces o ms en el ltimo ao Evidencia de sostenibilidad Evidencias de cambio sostenido de efecto, impacto Porcentaje de egresados de las promociones 2005 y 2006 que al fin de un ao mantienen un vnculo laboral en que aplican las habilidades aprendidas. Inversiones totales en instalaciones y conexiones en el 2006 / Nmero de nuevas conexiones establecidas en el 2006

Costo por unidad producida Costo promedio de instalacin y o por unidad de capacidad conexin. instalada Evidencia de participacin comunitaria

Nmero de participantes en Nmero de organizaciones comunitarias diversos eventos asociados con la representadas en la sesin de las mesas de dilogo convocadas por el programa (Medido gestin. en cada sesin, Medido para cada municipio participante en el programa).

19

Fenmeno que se proponen indicar o describir

Posibles indicadores

Ejemplos

Nmero de organizaciones registradas como participantes en las jornadas de monitoreo y evaluacin (Medida en cada jornada, para cada municipio participante en el programa). Evidencia de solidaridad comunitaria Nmero de organizaciones que trabajan con fines solidarios. Numero de organizaciones comunitarias en el estado que participron entre enero y junio (financieramente o fsicamente) en la entrega de productos o servicios a la poblacin de bajos ingresos. Nmero de organizaciones formalmente constituidas durante el ao calandario cuya misin estipula un apoyo a grupos excluidos o en circunstancia oficial.

Recomendaciones para la formulacin de indicadores para el monitoreo Utiliza como punto de partida el conjunto de preguntas que proponen responder en el proceso de monitoreo. No pierda de vista para quines se est montando el proceso de monitoreo. Los indicadores que se proponen deben reflejar el mbito de sus intereses o sus responsabilidades y deben incluir indicadores de los diversos criterios de inters a ese actor. Cuidado con "indicadores" que no son, en efecto, indicadores.El indicador no esun mero parafraseo del resultado que se propone describe. Por ejemplo, menos agresin entre jvenes no es un indicador para describir cambio de actitudes frente a la violencia como medio para resolver conflicto; no cumple las caractersticas de precisin.

A algunas personas, les atrae asociar esta recomendacin con el desarrollo de una formula" para el indicador. No argumentara que todo tenga que tener formula. Pero, un indicador debe ser preciso, todos debemos saber exactamente lo que vamos a observar o indicar, y como lo vamos a hacer. En el caso de experimentar dificultad para especificar un indicador, detengase a preguntar si el resultado esperado (o el riesgo) que estn intentando describir est especificado de manera precisa. Puede ser que hace falta reducir la ambiguedad en el fenmeno que van a indicar para poder generar el indicador. Por ejemplo, podra resultar difcil definir un indicador para el impacto de Mejora de condiciones de vida de las familias en las zonas rurales. Este impacto no cumple con la caracterstica de ser delimitado y verificable. Hasta que transforme el impacto en una expresin ms delimitada y verificable, van a sufrir dificultad en definir un indicador para describirlo. hay que tener cuidado para asegurar que los indicadores van a poder ser interpretados de tal manera que ayuden a gestionar el programa que se monitorea: en ese sentido,

20

sugerimos cuestionar el uso de indicadores que son meros conteos: nmero de obras realizadas; nmero de familias beneficiadas; nmero de organizaciones participantes. Dichos nmeros tienen que tener un referente (un hito o un estndar) para resultar interpretables. Tengan cuidado para asegurar que los indicadores de impactos o efectos estn bien dimensionados, para que sean sensibles a los cambios que el programa puede producir. La tasa de empleo regional o nacional, el IDH del pas o la incidencia de la pobreza de todo el paspodran ser pocosensibles a la dimensin de los cambios realizados por un programa regional o local. Indicadores ms apropiados se enfocaran en los efectos e impactos en las comunidades donde realiza se ejecuta el programa. Evite limitar su seleccin de indicadores a los que analizan la eficacia (a no ser que el actor para el cual construye el proceso solo est responsable por o interesado en la eficacia.) Para contar con indicadores de eficiencia, habra que agregar una reflexin sobre el uso de recursos. Para contar con indicadores de equidad, har falta mirar los indicadores correspondientes a diversos grupos de poblacin o diversos mbitos. Indicadores de sostenibilidad obligan a definir y seguir los determinantes de sostenbilidad y/o de seguir variaciones de ciertos indicadores sobre el tiempo. Es importante incluir indicadores que permite vigilar la posible ocurrencia de los riesgos que amenazan la generacin de valor pblico. Cada indicador propuesto debe ser precisado, en lo que respecta a plazos, lugar y poblaciones o grupos descritos. Antes de proponer un indicador, se debe juzgar la viabilidad de la recopilacin de los datos necesarios para su construccin y se debe definir la fuente de la informacin. La viabilidad va a depender de la representatividad de los datos con respecto al fenmeno que se propone describir, la periodicidad de la recopilacin de datos y el costo, entre otros. La Unidad 3.3 va a tratar estos temas.

Bibliografa Alarcn, Diana et al. 2006. Curso Virtual del INDES. Indicadores para el Desarrollo. Unidad 2.2. Construccin de los Indicadores. Mokate, Karen M. 2001. Eficacia, eficiencia, equidad y sostenibilidad: que queremos decir? INDES Working Paper I-24. Washington, D.C.: BID/INDES. Mokate, Karen M. 2003. Convertiendo el monstruo en aliado: la evaluacin como herramienta de la gerencia social. INDES Working Paper I-23. Versin modificada. Washington, D.C.: BID/INDES. Mokate, Karen M. 1999. Monitoreo y evaluacin: herramientas indispensables de la gerencia social. INDES Notas de Clase. Washington, D.C.: BID/INDES. Osborne, David y Ted Gaebler. 1992. La Reinvencin del Gobierno. Buenos Aires: Paids. Wholey, Joseph. 1999. Performance Management: Getting Results. Washington, D.C.: The Urban Institute Press.

21

Unidad 3.3: Las fuentes de informacin

Esta unidad fue redactada por Karen Mokate y Elssy Bonilla.

Objetivos Incorporar en el proceso de identificacin de indicadores para el monitoreo una reflexin sobre las fuentes de informacin o mtodos de recopilacin de datos Caracterizar de manera general diversas fuentes de informacin y mtodos de recopilacin de datos

Monitoreo: un proceso de planteamiento y exploracin de preguntas inteligentes, que propone provocar y apoyar reacciones y decisiones gerenciales que garantizan la generacin de valor pbl i c o.

El monitoreo se asocia con indicadores. Y, a su vez, la seleccin de indicadores idneos para el monitoreo no resulta completa hasta cuando se identifiquen las fuentes de informacin que brindarn los datos necesarios para construir los indicadores. Tratndose de un proceso que se realiza continuamente durante la ejecucin de un programa, el monitoreo requiere de datos e informacin que podrn ser actualizados (y monitoreados) a travs del tiempo, en plazos que brindarn informacin pertinente y oportuna para los gestores. As, el monitoreo requiere de fuentes de informacin que se actualizan continuamente o que brindan actualizaciones con una periodicidad idnea para verdaderamente generar informacin til para los que toman decisiones con respecto al programa, sus actividades y sus inversiones. En la unidad 3.2 propusimos que la identificacin de indicadores debe incluir la definicin de las fuentes de informacin o los mtodos de recopilacin de datos para su elaboracin. En esta unidad, vamos a proponer unas pautas para contemplar posibles fuentes de informacin o mtodos de recopilacin.

Fuentes primarias y fuentes secundarias Iniciamos la reflexin con una distincin bsica entre dos tipos de fuentes de informacin: Fuentes primarias (o directas): se tratan de los datos obtenidos "de primera mano", por los que estn gestionando el proceso de monitoreo, por medio de procesos de recopilacin que ellos mismos disean y gestionan. Cuando contemplamos el uso de datos de fuentes primarias, tenemos que referirnos a mtodos de recopilacin de datos.

22

Fuentes secundarias: consisten en datos recopilados por otros gestores, frecuentemente para otros fines. Se trata de datos ya recopilados, que pueden ser utilizados directamente o pueden ser procesados de tal manera que resulten tiles para el proceso de monitoreo. Cuando nos referimos a datos de fuentes secundarias para el monitoreo, nos obligamos a analizar la capacidad de los datos ya recopilados a suplir las necesidades de informacin del proceso. El cuadro que se presenta a continuacin resume posibles fuentes primarias y fuentes secundarias, para los procesos de monitoreo de programas sociales. Vern que se presentan primero las fuentes secundarias. Esto, porque en general, se recomienda que los procesos de investigacin y anlisis tomen las fuentes secundarias, pues se pueden economizar los esfuerzos y los recursos de recopilacin de datos. A su vez, se reconoce que las fuentes secundarias de datos pueden obligar a acomodar las demandas y necesidades del anlisis o investigacin a los mtodos de recopilacin de datos ya aplicados. El cuadro intenta caracterizar cada posible fuente de informacin con ejemplos, una identificacin preliminar de ventajas y desventajas que podran presentar para los procesos de monitoreo y una identificacin de algunas fuentes de informacin impresa y de acceso electrnico. Cabe anotar que la mayora de los links electrnicos llevan a referencias redactadas en ingls. Las fuentes impresas son, en su mayor parte, disponibles en espaol.

23

FUENTES SECUNDARIAS: Uso de datos recopilados para otros fines

Fuente de informacin Ejemplos Ventajas, Fortalezas Desventajas, Limitaciones Ver mayor informacin en:
(ver referencias completas al final de la unidad)

Bases de datos internacionales sobre desarrollo, condiciones de vida, poblacin, empleo

Indicadores de Desarrollo Mundial (Banco Mundial) Indicadores de Desarrolllo Humando (PNUD) Panorama Social (CEPAL) EqXis (BID) Sociometro (BID) Mapa de la Mayora (BID) Metas de Desarrollo del Milenio (Naciones Unidas)

Costo de uso de datos es reducido Periodicidad regular Alta comparabilildad de datos sobre el tiempo y entre observaciones

Alta nivel de desagregacin de datos. Demora significativa en la publicacin de datos. Exigencias sobre los datos (para permitir comparabilidad) hacen que muchos datos recopilados al nivel nacional (y subnacional) no se usan Traen desventajas correspondientes a los mtodos utilizados para recopilacin de datos originales (que suelen ser censos y encuestas nacionales de hogar).

http://www.bancomundial.or g/datos/ http://hdr.undp.org/statistics /statistics.htm http://www.eclac.org/estadis ticas/ http://www.iadb.org/xindicat ors/ http://www.iadb.org/res/soci ometro.cfm?language=Spa nish&ID_SEC=8 http://www.iadb.org/bop/ma pping/ http://millenniumindicators.u n.org/unsd/mi/pdf/MDG%20 BOOK_SP_new.pdf

Traen ventajas correspondientes a los mtodos utilizados para recopilacin de datos originales (que suelen ser censos y encuestas nacionales de hogar).

24

Fuente de informacin

Ejemplos

Ventajas, Fortalezas

Desventajas, Limitaciones

Ver mayor informacin en:

(ver referencias completas al final de la unidad)

Censos de poblacin

Censos nacionales, con mdulos universales y mdulos temticos aplicados a una muestra

Costo de uso de la informacin es muy bajo. Cobertura universal permite analizar datos desagregados en distinto grupos o jurisdicciones relevantes.

Periodicidad puede limitar su uso para monitoreo de muchos fenmenos. (Los censos continuos estn contribuyendo a superar esta limitacin) Anlisis y publicacin de datos tienden a demorarse. Analiza un conjunto limitado de temas. Poblaciones excluidas (por diseo o por error ) tienden a ser los marginados, los cuales interesan mucho para las polticas y programas sociales.

Censos de establecimientos, organizaciones

Censos de industria, Censos de pymes, Censos de establecimientos hospitalarios

Costo de uso de la informacin es muy bajo. Cobertura exhaustiva del universo seleccionado. Costo de uso de la informacin es muy bajo. (Costos de encuesta asumidos por ente que la realiz originalmente). Recopila datos sobre un conjunto amplio de temas relacionados con efectos e impactos de programas sociales.

Los universos seleccionados tienden a conceentrarse en entidades del sector formal.

http://www.inegi.gob.mx/est/ contenidos/espanol/proyect os/metadatos/censos/ce_13 .asp?c=1442

Encuestas de hogar o de condiciones de vida, encuestas de ingresos y gastos

Encuestas Nacionales de Hogares. Encuesta Nacional de Ingresos y Gastos. Encuestas de Medicin de Condiciones de Vida.

Marco muestral no necesariamente se adecua a las necesidades de datos del proceso de monitoreo. Encuestas nacionales son representativas del pas, pero su representatividad de reas ms reducidas es limitada.

http://www.iadb.org/sds/doc /1374spa.pdf http://www.worldbank.org/ls ms/

25

Fuente de informacin

Ejemplos

Ventajas, Fortalezas

Desventajas, Limitaciones

Ver mayor informacin en:

(ver referencias completas al final de la unidad)

Otras encuestas peridicas

Encuestas Nacionales de Salud. Encuestas (regulares) de opinin pblica. Encuesta de Demografa y Salud. Latinobarmetro Estadsticas vitales. Registros de ingresos, egresos hospitalarios. Registros de vigilancia. Registros de matrcula escolar. Nminas, agencias gubernamentales.

Costo de uso de la informacin es muy bajo. (Costos de encuesta asumidos por ente que la realiz originalmente). Recopilan datos sobre un conjunto amplio de temas. Costo de uso reducido. Cobertura universal de usuarios u otros grupos relevantes. Datos actualizados con alta frecuencia. Datos tienden a incluir variables demogrficas u otros descriptotes que permiten desagregar en subpoblaciones.

Marco muestral no necesariamente se adecua a las necesidades de datos del proceso de monitoreo. Encuestas nacionales son representativas del pas, pero su representatividad de reas ms reducidas es limitada. Conjunto de temas limitado Calidad de datos muy sujeta al control de gestin en los puntos de recopilacin. Se presenta riesgo de datos incompletos. Datos frecuentemente reflejan solo la oferta (o el uso) de servicios existentes y no toda la dinmica del fenmeno que se propone describir.

http://www.measuredhs.co m/aboutsurveys/dhs/start.cf m http://www.latinobarometro. org/index.php?id=8

Registros administrativos de otras organizaciones o programas

Rossi y Freeman, p. 197204

26

FUENTES PRIMARIAS: Datos recopilados especficamente para el monitoreo del programa

Mtodo de recopilacin Ejemplos, Descripcin Ventajas, Fortalezas Desventajas, Limitaciones Ver mayor informacin en:
(ver referencias completas al final de la unidad)

Registros administrativos del programa

Registros de rutinas y procesos. Registros contables. Reportes de auditora. Informes a la gerencia. Registros de entrega de los servicios.

Costos reducidos Corresponden a fuentes directas en la entrega de los servicios con informacin en tiempo real. Cobertura exhaustiva del universo seleccionado. Temas analizados corresponden directamente a lo que se propone monitorear.

r La recopilacin de datos mientras se presta el servicio introduce riesgos a su calidad. Resulta clave entrenar responsables de los registros Los incentivos naturales de los que recopilan datos conducen a un foco concentrado en recopilacin de datos. Hay que definir estrategias proactivas para validar, procesar, analizar y difundir la informacin. Costo de disear, probar, aplicar y analizar las encuestas. Exigente en tiempo. Riesgo de error de muestreo. Necesidades de datos que describen el universo que se propone describir, para poder elaborar el marco muestral. Encuestas por correo y correo electrnico: baja tasa de respuesta. Encuestas por correo, correo electrnico y telefono: excluyen ciertas poblaciones sin acceso al medio Encuestas por telefono y personales: posible sesgo del encuestador

Rossi y Freeman, p. 197204

Encuestas

Encuesta de usuarios (por telfono, por correo o correo electrnico, en persona) Encuesta a la poblacin objetivo (tanto usuaria como no usuaria) (por telfono, por correo o correo electrnico, en persona).

El control de las encuestas por el equipo responsable del monitoreo permite explorar los temas particulares que se proponen monitorear, con la periodicidad deseada. Permiten cubrir un amplio conjunto de temas directamente relacionados con lo que se propone monitorear.

http://www.ehr.nsf.gov/EH R/REC/pubs/NSF97153/CHAP_3.HTM

Observacin participante

Observacin directa de la operacin del programa en los sitios de entrega de los servicios.

Informacin directa de la entrega del servicio y de la relacin proveedor usuario Analista puede identificarse o mantener guardada su presencia e identidad.

La presencia del observador puede introducir cambios en los comportamientos regulares de funcionarios y usuarios (Efecto Hawthorne).

Patton, ccaptulo 6 Bonilla y Rodrguez, captulo 5 http://www.ship.edu/%7Ec gboeree/qualmeththree.ht ml http://www.ehr.nsf.gov/EH R/REC/pubs/NSF97153/CHAP_3.HTM

27

Entrevista narrativa informal/convers acional

Conversaciones informales y al azar con usuarios para detectar satisfaccin y o insatisfaccin con la entrega de los servicios Entrevistas a lideres de las comunidades beneficiadas, o a autoridades locales

Conocimiento desde el usuario que permite profundizar en dimensiones especficas pertinentes al monitoreo Permite incorporar en el proceso de monitoreo a personas difciles de incluir en otros mtodos de recopilacin de datos (los de alta responsabilidad, los sin hogar, etc). Fcil tramite, recuperacin y anlisis de la informacin Puede ser facilitada con un computador en tiempo real (Ver Keller, 1995 y Bonilla y Rodrguez, p. 212) Se hacen las mismas preguntas bsicas con el mismo orden a todos los entrevistados y permite comparabilidad. Reduce juicios entrevistador.

Pocos casos que no permiten generalizacin Exigente en tiempo y costos. Riesgo del sesgo del entrevistados.

Andrade, Shedlin, y Bonilla, p. 54 Bonilla y Rodrguez, p.180 http://www.ehr.nsf.gov/EH R/REC/pubs/NSF97153/CHAP_3.HTM

Entrevistas estructuradas con un esquema

Entrevistas con preguntas especificas y precodificadas segn requerimientos del monitoreo

Puede requerir muestro significativo para asegurar validez de la informacin y poder generalizar

Andrade, Shedlin y Bonilla. p.54

Entrevistas abiertas estandarizadas

Entrevistas sobre conocimientos, actitudes y practicas

La redaccin estandarizada puede limitar la espontaneidad de las respuestas y la relevancia de las preguntas desde la perspectiva del entrevistado. Los datos no pueden usarse como base nica para hacer monitoreo ni evaluar programas Posibles sesgos por miembros dominantes del grupo y por el/la facilitador(a) Difcil de resumir y analizar los datos recopilados Algunos entrevistados prefieren la anonimidad.

Andrade, Shedlin y Bonilla, p.55 http://www.wpi.edu/Acade mics/Depts/IGSD/IQPHbo ok/ch11e.html#g

Entrevistas con grupos focales

Entrevistas con grupos con ciertos rasgos comunes preidentificados, para conocer percepciones e ideas. Entrevistas a lideres de las organizaciones de base Entrevistas con grupos de usuarios o gestores de un determinado servicio

Sensibles con respecto a las caractersticas, intereses, conocimientos y opiniones de los entrevistados. Permiten el intercambio de ideas y percepciones entre miembros del grupo entrevistado. Muchos entrevistados prefieren la comodidad de conversar en grupo.

Bonilla y Rodrguez, p. 191 Andrade, Shedlin y Bonilla, p. 63- 66 http://www.soc.surrey.ac. uk/sru/SRU19.html http://www.ehr.nsf.gov/EH R/REC/pubs/NSF97153/CHAP_3.HTM

28

Estudios de caso

Estudios en las comunidadesbenefici arias, enfocados en experiencias con relacin al programa y/o con los fenmenos relacionados con efectos e impactos.

Se disea el estudio segn las particularidades de cada caso. Permite profundidad de anlisis, exploracin de temas que no fueron identificados antes del inicio del estudio. Permite identificar dinmicas que debe ser analizadas y monitoreadas. Permite analizar lo solo lo que ha sucedido, sino cmo y por qu. Anlisis de datos sencillo y rpido; las respuestas pueden ser comparadas y agregadas

Exigente en teimpo. Nmero reducido de casos no permite generalizacin. Susceptible a sesgos del analista.

Andrade, Shedlin y Bonilla, p.79 http://www.ehr.nsf.gov/EH R/REC/pubs/NSF97153/CHAP_3.HTM

Entrevista cerrada cuantitativa

Entrevistas sobre la satisfaccin con los servicios segn las caractersticas del programa

Las respuestas se restringen a las categoras que se desea monitorear. Pueden ser percibidas por los entrevistados como irrelevantes o mecnicas.

Andrade, Shedlin y Bonilla, p.52 - 55 Briones. 1985.

Analicemos las posibles fuentes, contemplando los diferentes datos necesarios para un proceso de monitoreo: Indicadores de actividades, inversiones e insumos: describen las acciones y trabajos realizados y sus correspondientes procesos y recursos. Por tanto, los datos necesarios van a ser descriptivos de procesos internos a las organizaciones ejecutoras del programa. Resulta apenas lgico que la mayora de los datos van a resultar de fuentes primarias, en buena parte de registros administrativos de las organizaciones ejecutoras. Se pueden utilizar datos contables, de recursos humanos, de procesos y rutinas, de auditoria, entre otros. Evidentemente, los datos de registros administrativos se podran complementar y cualificar con datos de entrevistas con diversos actores de estas organizaciones. Indicadores de productos: describen los bienes y servicios entregados y, de ser relevante, su acogido por la poblacin usuaria (el encuentro de la oferta del programa con la demanda). En su mayor parte, estos indicadores se pueden construir con datos recopilados por los establecimientos o los mbitos donde se entregan los productos o servicios del programa. Para estos datos, lo ms comn sera utilizar registros administrativos y, en algunos casos, fichas de atencin a usuarios y entrevistas o encuestas con usuarios. Todos estos, clasificados como

29

fuentes primarias, pues se recopilaran directamente por los gestores del programa, para fines de monitoreo. Indicadores de efectos y impactos: describen evidencias cambios en los consumos, comportamientos, conocimientos y/o actitudes de los afectados por el programa y evidencias cambios en el bienestar consecuentes de la generacin de los efectos. La construccin de estos indicadores de efectos e impactos requiere de datos que se recopilan entre las poblaciones y comunidades objetivo del programa. Son datos que reflejan procesos que se producen en las comunidades, en los hogares y en los individuos. Como tal, abren la posibilidad de uso de fuentes secundarias de informacin. Se podra utilizar datos de encuestas -- bien sean recopiladas primordialmente para fines del monitoreo (fuentes primarias) o que sean tomados de encuestas realizadas para otros fines (encuestas de ingresos y gastos, o encuestas de condiciones de vida, por ejemplo). Asimismo, se pueden utilizar datos censales, datos de registros administrativos de organizaciones beneficiarias del programa u organizaciones que interactan con la poblacin objetivo del programa. Indicadores relacionados con riesgos: describen evidencias (o falta de evidencias) de una posible ocurrencia del riesgo y las acciones y resultados de la gestin de estrategias de manejo del riesgo. Estos indicadores requieren de datos que se recopilan entre las poblaciones y comunidades objetivo del programa y tambin de datos internos de la organizacin. Como tal, se pueden utilizar datos de fuentes primarias y/o secundarias de informacin: fuentes que hacen seguimiento de evidencias de posible ocurrencia del riesgo (por ejemplo, observatorios de la actividad empresarial o de los indicadores macroeconmicos) y fuentes que monitorean la gestin de estrategias de manejo del riesgo (que muy probablemente se tratarn de datos internos). Factores que se deben tomar en cuenta para la seleccin de fuentes de informacin

Relevancia de los datos: Los datos que utilizamos en el monitoreo tienen que facilitar las respuestas a las preguntas que proponemos explorar en el proceso. La relevancia de los datos es, por lo tanto, el criterio primordial para la seleccin de las fuentes de informacin. Una fuente de informacin secundaria solo va a ser til si los datos recopilados efectivamente reflejan (directa o indirectamente) los fenmenos que efectivamente estamos tratando de monitorear. De la misma forma, si se toma la decisin de levantar los datos primarios, hay que ser fiel a los fenmenos que se proponen monitorear. Cobertura: El monitoreo requiere datos sobre ciertos procesos, determinadas poblaciones, organizaciones o grupos. Si se propone realizar una recopilacin de datos primarios, es necesario preguntar si se va a recopilar datos sobre el universo de los miembros de los grupos que se desean monitorear o de una muestra representativa del mismo. Si se propone hacer un conteo de un fenmeno, evidentemente sera importante recopilar datos sobre el universo (todos los egresados, todos los usuarios, por ejemplo). Si se propone caracterizar el grupo e/o indagar sobre percepciones y experiencias, es posible que la recopilacin de datos de todo el universo resulte demasiado exigente y costoso; podra convenir recopilar datos de una muestra apropiada.

30

Antes que optar por una fuente secundaria de informacin, es indispensable preguntar si los datos brindados por dicha fuente tengan una cobertura adecuada: los datos cubren las poblaciones, los grupos, los procesos o las organizaciones que proponemos monitorear? Cubren una muestra representativa de ellos, de forma que podramos proponer generalizar a partir de los datos recopilados? Permiten hacer una desagregacin lo suficientemente fina que podemos asegurar que los datos que utilizamos representan fielmente los grupos o las organizaciones que proponemos monitorear? Periodicidad Por definicin, el monitoreo va a requerir de datos que se recopilan con cierta periodicidad regular; la posibilidad de actualizar los datos regularmente tiene que ser tomada en cuenta al disear un mtodo de recopilacin y/o juzgar la idoneidad de una fuente secundaria de informacin. Para el monitoreo, vamos a requerir de actualizaciones muy frecuentes (mensual, trimestal, etc) de datos sobre actividades, inversiones y productos y menos frecuentes (semestrales, anuales, bianuales, etc) de evidencias de efectos e impactos. Si no es posible contar con una frecuencia suficiente de actualizacin de datos (por la exigencia de los mtodos de su recopilacin), conviene definir unos indicadores intermedios o unos indicadores proxi para poder hacer un seguimiento de evidencias que sugieran que pueda (o no) estar presentando evidencias de posibles efectos e impactos. Otro elemento importante para tener en cuenta al definir la periodicidad con que se van a recopilar los diferentes datos particularmente de los efectos e impactos tiene que ver con el tiempo necesario para que se produzca una varianza en el indicador. Una tasa de escolaridad de la poblacin mayor de 10 aos, un coeficiente Gini (de desigualdad distributiva) o una tasa de analfabetismo entre los mayores de 25 aos solo produce varianzas lentas en el tiempo. En caso de incluir indicadores de esta naturaleza en el proceso de monitoreo, tambien podra convenir incluir en el monitoreo unos indicadores intermedios para poder explorar evidencias que sugieran que estemos (o no) en el camino que conduce hacia ese logro.

Costos Evidentemente, en el monitoreo, hay que buscar un equilibrio entre lo ideal y lo alcanzable en la definicin de fuentes de informacin. Es importante tener en cuenta los recursos necesarios (recursos financieros, y de tiempos de los gestores del proceso de monitoreo) para poder utilizar las diversas alternativas de fuentes de informacin.

A manera de conclusin En el mdulo 3, hemos propuesto tres pasos concretos para avanzar sobre el diseo de procesos de monitoreo, a saber:

La especificacin de las preguntas que se proponen explorar, a partir de la cadena de resultados esperados, las responsabilidades e intereses de los actores para los cuales se construye el proceso y los criterios que se van a utilizar en el anlisis del programa.

31

La seleccin de indicadores que pueden facilitar las respuestas a estas preguntas, agregando precisin y facilitando una sntesis de informaciones importantes. La identificacin de fuentes de informacin o mtodos de recopilacin de los datos necesarios para construir los indicadores.

En el mdulo 4, vamos a construir sobre estos pasos, para definir flujos de informacin y estrategias para el uso de informacin, para completar el diseo del proceso de monitoreo.

32