Agencia Suiza para el Desarollo

y la Cooperación

Gestión de proyectos basada en resultados

Un vademécum para gente interesada en el desarollo y la cooperación Módulo 3

Medición de los Resultados

Indice

1 Introducción 3

2 Medición, Evaluación, Pilotaje 4

3 Indicadores para Medir el Cambio 6

3.1 Uso de los Indicadores 6
3.2 Elementos de Indicadores Completos 7
3.3 Tipos de Indicadores 9
3.4 Calidad de Indicadores 11

4 Medición del Cambio 12

4.1 Línea de Base y Norma de Referencia 12
4.2 Métodos de Recopilación de Datos 14
4.3 Preguntas y Cuestionarios 17
4.4 Calidad de Datos 18

5 Apreciación del Cambio 20

Información legal:
Autor y editor de texto: Nadel - Centro para el Desarrollo y la Cooperación, Zurich
Mandante y editor: Centro para el Desarrollo y la Cooperación COSUDE,
Sección del Aseguramiento de la Calidad y Red, Berna
Traducción: Alexis Amette, Rennes
Gestión de proyecto: LerNetz AG, Berna
Ilustración: gut&schön, Zurich
Diseño: Büro eigenart, Berna
Foto de la portada: Martin Walser, Vaduz

2
1 Introducción

Definir y Medir Resultados

Resultado

Matriz de Marco Lógico

Revisión/ Resultados e
Planificación
Evaluación Indicadores

Implementación
Monitoreo

Gestionar un proyecto significa pilotar un proyecto, dirigirlo y redirigirlo, buscar el mejor

«Una ley inmuta- camino y tomar posibles desvíos. Para realizar este pilotaje de manera racional, tanto la
ble en los negocios gestión de proyecto como las otras entidades de pilotaje dependen de la relevancia y de la
es que palabras fiabilidad de la información en las fechas previstas. El centro de la gestión de proyectos con-
son palabras, expli- siste en apreciar el progreso del proyecto sobre la base de indicadores claramente definidos y
caciones son expli- válidos y tomar las decisiones de pilotaje necesarias. Sin indicadores, la gestión de proyectos
caciones, promesas sería como volar en la obscuridad sin instrumentos de pilotaje.
son promesas pero Definir y medir los resultados de un proyecto – outputs y outcomes – es un proceso complejo.
sólo el desempeño Empieza con la identificación y la planificación mucho antes que los primeros resultados del
es la realidad.» proyecto sean visibles. En el momento en el que llegamos a un acuerdo sobre los indicadores,
 Harold S. Geneen las declaraciones de resultados a veces imprecisas o abstractas se vuelven entonces más con-
cretas. Si esperamos el final del proyecto para reflexionar sobre los resultados, presentarlos
con el respaldo de hechos y pruebas puede volverse muy complicado y costoso, o tal vez
imposible a realizar.
El trabajo de la cooperación para el desarrollo es realizado con el dinero de los contribuy-
entes (impuestos) y de los donantes, a quienes debemos mostrar cambios positivos. Por este
motivo la siguiente pregunta es fundamental: ¿qué es un efecto? Un efecto es un cambio
esperado o no, basado en una intervención directa o indirecta. El efecto no aparece sin otro
elemento clave: la causa. Dos elementos son decisivos: un cambio y una relación causal plau-
sible entre dos «cosas». Por supuesto, en la cooperación para el desarrollo se intenta brindar
cambios relevantes con efectos positivos y significativos.
Cuando hablamos de lograr resultados relevantes, aparecen entonces términos como: me-
dida, apreciación, evaluación, monitoreo, pilotaje, indicadores, etc. ¿Cómo definirlos y cómo
están vinculados los unos con los otros? En este módulo 3 presentamos las bases de la apre-
ciación, el término genérico para monitoreo y evaluación, en el módulo 4 nos interesamos
por los problemas específicos del monitoreo de proyecto y en el módulo 5 por los problemas
específicos de la evaluación.

3
2 Medición, Evaluación, Pilotaje

Como lo hemos mencionado anteriormente, los proyectos apuntan a lograr resultados sig-
nificativos, o, en otros términos, a brindar un cambio positivo en un grupo meta específico.
¿Cómo podemos medir el cambio esperado, y si se puede en qué medida este ha ocurrido?
¿Y si el cambio se ha producido, como definir si se debe al proyecto y no a otras influencias?
¿Cuál es la diferencia entre medición y evaluación? ¿Y cuál es el lugar de la medida, de la
apreciación y del pilotaje en el PCM?

La Apreciación en la Gestion de Proyectos

Gestión
1 Definir los resultados e indicadores esperados

Planificación
Appreciación = Monitoreo o Evaluación

Medición
2 Definir el concepto de M y E

3 Medir y procesar los datos

Implementación
4 Interpretar las medidas procesadas

Analizar la influencia del proyecto

5
sobre los resultados logrados

Tomar, implementar las decisiones de

6
pilotaje para lograr los resultados esperados

1. En la fase de planificación se define y se llega a un acuerdo sobre los resultados esperados,

sobre los indicadores marcando el progreso y sobre los métodos que permiten la obtención
de una información fiable.
2. En la planificación definimos también el concepto de monitoreo y de evaluación. ¿Qué
verificamos, en qué momento y para que propósito?
3. Cuando realizamos el monitoreo o la evaluación de un proyecto nos aseguramos de que
las medidas son tomadas y tratadas de manera correcta.
4. La interpretación de las medidas obtenidas comparándolas con los resultados esperados y
tomando en cuenta los métodos de medida son parte del monitoreo y de la evaluación.
5. Otra tarea del monitoreo y de la evaluación es proporcionar evidencias sobre la manera en
la cual el proyecto y los factores externos han contribuido a los resultados alcanzados y en
qué medida.
6. Finalmente, una tarea clave de la gestión de proyectos, una vez instalado, es tomar las
decisiones de pilotaje adecuadas que permitirán el logro de los resultados esperados.

4
Las etapas 2 y 3, las más «técnicas», son denominadas como: medición. Estas dos etapas
junto con las etapas 1, 4 y 5 están denominadas como: apreciación. Deben establecer los
resultados, medir y sacar conclusiones y recomendaciones. Evaluar sin medir es solo una su-
posición. Dentro de la cooperación para el desarrollo se denomina apreciación al monitoreo
(o seguimiento), a la revisión o la evaluación según su intención, su tiempo y el lugar de
mando. Dentro de la COSUDE, las apreciaciones formales encomendadas y controladas por la
unidad de responsabilidad operativa se llaman revisiones, las encomendadas por la «Sección
Evaluación y Control de Gestión» se llaman evaluaciones (externas).
En fin, sin verdaderas tomas de decisiones de pilotaje por parte de la gestión de proyectos,
el monitoreo y la evaluación tienen un valor práctico poco significativo. La excepción es la
evaluación ex post, mucho después de la finalización del proyecto. En este caso, las lecciones
aprendidas pueden ser utilizadas en otros proyectos.

5
3 Indicadores para Medir el Cambio

3.1 Uso de los Indicadores

Los indicadores significativos son el elemento central y la base de la medida, de la apreciación

y las decisiones basades en evidencias. Generalmente, un primer conjunto de indicadores se
forma durante la fase de planificación. Durante la fase de implementación podemos modi-
ficar estos indicadores y valores meta planificados a la luz de la experiencia práctica y del
estudio de la línea de base efectuada al principio del proyecto.
La participación de los actores involucrados en la elaboración de los indicadores y en la
definición de los valores meta es esencial para crear un entendimiento común del proyecto
y lo que se quiere lograr entre los donantes, los socios, el equipo del proyecto y los ben-
eficiarios. Llegar a un acuerdo sobre los indicadores y establecer valores meta nos obliga a
mirar nuevamente los objetivos de forma más cercana esta vez. A menudo, esto lleva a la
conclusión de que ciertas declaraciones de outcome o output han sido definidas con impre-
cisión o de forma irrealista. Eso puede (y debe) llevar a una redefinición de estos objetivos
particulares. Este proceso de participación aumenta la apropiación y tiene efectos positivos
en la motivación. Además, hacer que el público esté de acuerdo con los objetivos fomenta la
rendición de cuentas y protege los proyectos de posibles oponentes.

Indicadores en el Marco Lógico

Jerarquía de los Indicadores Medios de verificación Factores externos

objetivos (Supuestos)

Impacto Indicadores
requiridos aquí…

Outcomes … y tal vez aquí

Outputs

Actividades Recursos Inputs

Los indicadores son los instrumentos de control de un proyecto que proporcionan datos con-
«Usted obtiene lo cretos y verificables objetivamente sobre hechos que no siempre pueden ser percibidos di-
que mide. Si mide rectamente. En un auto, el velocímetro nos dice a qué velocidad se está conduciendo. Un
con criterios equiv- termómetro nos indica la temperatura del agua de refrigeración y el indicador de combustible
ocados, obtendrá muestra la cantidad de combustible en el tanque. Si no prestamos atención a estos indica-
comportamientos dores podríamos tener una multa por exceso de velocidad, el motor podría sobrecalentarse
equivocados.» o quedarse sin combustible. La COSUDE define un indicador como «un factor cuantitativo o
 John H. Lingle cualitativo o una variable que proporciona medios sencillos y fiables para medir los logros y
resultados, y que refleja tanto los procesos como los cambios en el contexto.»
Para seguir con la analogía de la conducción de automóviles, también tenemos que tomar en
cuenta la importancia de los factores externos como el estado de la carretera y la densidad
del tráfico. Estamos más atentos conduciendo en una carretera de montaña cerca de los
acantilados que sobre una carretera amplia y llana sin huecos. ¿Cuán difícil sería conducir si,
por ejemplo, no estuviéramos seguros de que los otros automovilistas respetan las señales de
stop y semáforos? Por lo tanto, como demuestran los accidentes en los cruces, esta hipótesis
práctica no se verifica en todos los casos.

6
3.2 Elementos de Indicadores Completos

Un indicador completo para un output, un outcome o un impacto está compuesto por varios
elementos:
Criterio: ¿Qué característica medible de la situación descrita en el output específico, outcome
o impacto observamos y analizamos?
Medida / indicador: ¿Cómo podemos medir el criterio? ¿Cuál es la unidad de medición?
Valor meta: ¿Cuál es la meta cuantitativa a ser alcanzada al final del proyecto, al final de la
fase o del año?
Línea de Base: ¿Cuál es la situación al comienzo del proyecto?
Fuente de datos: ¿De dónde se sacan los datos? ¿Qué métodos utilizamos para recoger
datos? ¿Cuando y con qué frecuencia recogemos y recopilamos los datos?
Análisis y presentación: ¿Cómo analizamos los datos y presentamos la información?
Función: ¿Quién es el responsable para recoger y recopilar estos datos específicos?

Resultado Elementos condensados del Indicador de Marco Lógico Elementos para el Sistema de Monitoreo

Línea de base o Medios de Presentación

Criterio Medida Valor Meta Función
norma de referencia verificación del Análisis

Ejemplo 1

El niño está Temperatura °C 36–37 39 Medición con Curva de Enfermera

sano del cuerpo termómetro fiebre en la
ficha del
paciente

Ejemplo 2

Impacto : Prevalecencia Número de < 250 504 Evaluación de Cuadro en el Comité de

Estado de salud de enfermeda- casos por año registros de informe anual Gestión del
de la población des gastro- reportados en puesto de Agua (CGA)
mejorado intestinales puesto de salud salud al final
entre los niños por año de año
menores de 5
años
Outcome 1: Disponibilidad Número de < 10 n.c. Registros CGA Cuadro en el CGA
La comunidad del agua días sin agua informe anual
utiliza un por año
abastecimiento
de agua
sostenible y que % de grifos > 80% n.c. Medición del Cuadro en el CGA
funcione bien suministrando flujo de agua en informe anual
40 litros de los grifos una
agua potable vez al año Aná-
por persona y lisis de labora-
por día al final torio (Ministerio
de la temporada de Salud)
seca
Output 1: Las nuevas Número 45 0 Inspección Mapeo Jefe de
Instalación de bombas siguen material proyectos
bombas funcionando
después de 1
año

7
 En el Marco Lógico podemos inscribir los indicadores en un formulario condensado, porque
los indicadores sin metas no proporcionan mucha información:

Impacto: Menos de 250 casos de diarrea por año registrados en el puesto de salud
Outcome: Grifos sin agua menos de 10 días al año (media)
Mínimo del 80% de los grifos suministran 40 litros por persona y por día
al final de la temporada seca
Output: Las 45 nuevas bombas funcionan un año después de la instalación

Observación: Los valores meta dependen de la situación. Arriba, en el ejemplo 2, establec-

emos la meta de 40 litros por persona y por día. Para la ayuda humanitaria en situaciones
de emergencia, la COSUDE define el valor meta mínimo de 15 litros por persona y por día.
Para verificar resultados complejos y a gran escala como el outcome del ejemplo 2, utilizamos
varios indicadores. Sobrecargar el sistema de monitoreo con una multitud de indicadores es
un error común, esto convierte el monitoreo en una carga que consume demasiado tiempo y
a veces hasta en un fin en sí mismo.
Los indicadores producen datos que deben ser tratados de la forma correcta para convertirse
en informaciones útiles. La cantidad de datos no es solamente una cuestión de viabilidad,
«Los errores es también un costo. Los datos fiables son valiosos y costosos. Numerosos proyectos des-
más graves no perdician recursos humanos y financieros acumulando datos sin tener una idea clara de su
provienen de malas utilización.
respuestas. El ver- El arte de definir indicadores y de tratar los datos empieza con la definición clara de los ob-
dadero peligro es jetivos a alcanzar. Contestar a una de estas dos preguntas ayudará a reducir la acumulación
hacer la pregunta de datos:
equivocada.» - ¿Cuáles son las preguntas específicas a las que los datos deben ayudar a dar una respuesta?
 Peter Drucker - ¿Cuáles son las hipótesis de causa-efecto que los datos deben ayudar a verificar?
Cuando el objetivo está claro, es mucho más fácil diferenciar entre los datos que DEBEMOS
conocer, los datos que DEBERIAMOS conocer y los datos que SERÍA BUENO conocer. De tal
manera, obtenemos los datos indispensables reduciendo su cantidad y el riesgo de perder
datos importantes. Menos se vuelve más.

Saber que saber

BUENO a saber

DEBERIA saber

DEBE saber

8
3.3 Tipos de Indicadores

Indicadores cuantitativos: Los indicadores cuantitativos (es decir, objetivamente verifica-

bles) se refieren a las características que pueden determinarse de forma fiable. Los siguientes
ejemplos son todos indicadores cuantitativos simples:

• Temperatura corporal del niño,

• Número de hogares a 300 metros de distancia de un grifo,
• Número de sesiones de asesoramiento por agente de extensión al mes.

Los indicadores cuantitativos complejos incluyen varios elementos que deben ser medidos
y después combinados. Un ejemplo relacionado es el indicador sobre la disponibilidad de
agua potable, que consiste en medir la producción diaria de un grifo en un período de tiempo
especial (al final de la temporada seca, cuando las fuentes suministran la menor cantidad de
agua) y su relación con la cantidad de personas del grupo de usuarios.

Los indicadores cualitativos miden las percepciones y experiencias personales y subjetivas.

La información cualitativa es de gran importancia y no debe ser descuidada. Los indicadores
cualitativos permiten saber lo que es importante para las personas y detectar los efectos no
deseados o los elementos que faltan. Sin embargo, la objetividad es un problema. Podemos
hacerlos más objetivos y concretos de varias maneras:

• Cuantificamos los indicadores cualitativos: Por ejemplo en una encuesta sobre el servicio
de buses, los clientes expresan su grado de satisfacción sobre una escala de 1 (insatisfecho)
a 5 (muy satisfecho).
• Aumentamos la objetividad con una muestra estadísticamente correcta. Realizamos la
encuesta de clientes con un número representativo de personas seleccionadas según su
representatividad.
• Anotamos las indicaciones en un registro cuando las observamos, con el fin de minimizar
los errores que pueden ser atribuidos a nuestra memoria.

Indicadores compuestos: Son indicadores que contienen elementos cualitativos, que

requieren una mayor definición y cuantificación.
Ejemplo: Indicador de outcome de actividades de desarrollo de capacidades con organiza-
ciones comunitarias: número de asociaciones de usuarios del agua (AUA) con buen funcion-
amiento.
El concepto de «buen funcionamiento» podría definirse como:

• AUA tiene un Consejo de Administración elegido;

• AUA se reúne al menos una vez al mes;
• AUA trabaja según reglamentaciones aprobadas.

9
Indicadores proxy: Los indicadores proxy son un medio indirecto para registrar hechos.
Los utilizamos, cuando el indicador directo deseado es demasiado complicado o demasiado
costoso para medir. Para utilizar los indicadores proxy, un buen conocimiento del contexto es
indispensable. Aquí dos ejemplos:
• La tasa de recuperación de inversión en un programa de micro-crédito indica de cierta
manera la calidad de la gestión del banco (aclaraciones anteriores con los prestatarios,
atención al cliente, etc);
• La sustitución de techos de paja por calamina metálica puede ser un indicio de que la sit-
uación económica en el hogar ha mejorado.

Criterios estándares: Para varios ámbitos del desarrollo hay listas con criterios estándares
y indicadores (por ejemplo, agricultura, salud, desarrollo de empresa, etc.). Las encontramos
en los sitios web de organizaciones especializadas de las Naciones Unidas (FAO, OMS, etc)
o de redes (ex. Comité de Donantes para el Desarrollo Empresarial, Plataforma Mundial de
Donantes para el Desarrollo Agrícola, etc.). Sin embargo, los equipos de proyecto deberían
sopesar la ventaja del uso de estos criterios uniformes frente a la ventaja de desarrollar indi-
cadores específicos para el proyecto, a través de un proceso participativo. La tabla siguiente
proporciona un ejemplo de criterios estándares utilizados en el desarrollo rural.

Seguridad Alimentaria Pobreza Empoderamiento de Empoderamiento de

Organizaciones de Base las Mujeres

• Producción de alimentos • Ingresos reales de • Participación de grupos de • Matriculación de las niñas en

• Zona cultivada
• Rendimientos de alimentos
básicos
• Consumo de productos
básicos
• Precios de alimentos básicos
• Acceso a los mercados
• Capacidad de
almacenamiento de
alimentos en las granjas
• Desnutrición crónica
entre niños
• Tasa de retraso del
crecimiento
(menores de 5 años)
los hogares
• Acceso a ingresos
no agrarios
• Acceso al capital
• Acceso al trabajo
• Acceso a las instalaciones
de riego
• Disponibilidad de
servicios básicos
• Acceso al agua potable
• Acceso a la educación básica
• Acceso a servicios básicos
de salud
agricultores en la toma de
decisiones a nivel del
proyecto / local
• Formación de un grupo de
agricultores autónomos en
la zona del proyecto
• Capacidad de las bases para
monitorear y evaluar ellos
mismos los avances
• Capacidad de comercializar
sus productos
• Términos y condiciones de
los acuerdos de
comercialización
educación primaria
• Número de grupos de
mujeres formados en la zona
del proyecto
• Número de préstamos
aprobados / desembolsados
para los grupos de mujeres
• Número de grupos de
mujeres que tienen acceso a
un segundo y tercer
préstamo.
• Número de mujeres
miembros de asociaciones
locales de
productores o servicios
• Capacidad de decisión de las
mujeres en los hogares
• Participación de las mujeres
en la toma de decisiones al
nivel de proyecto/local

10
3.4 Calidad de los Indicadores

Existen numerosos sistemas para evaluar la calidad de los indicadores. El mas famoso se
denomina con la abreviación SMART – Específicos, Medibles, Alcanzables, Pertinentes y Tem-
porales. Esta abreviación es extraída del campo de la educación para verificar la calidad de
los objetivos de aprendizaje, y como no todos utilizan los mismos adjetivos para constituir
SMART, sugerimos los criterios de calidad siguientes, que incluyen los conceptos esenciales
de test: validad y fiabilidad.

Relevante : El indicador representa un aspecto significativo del resultado. Hay un vínculo de causalidad plausible
entre el indicador y el objetivo.
Cada indicador

Fiable : El indicador es preciso y puede ser medido imparcialmente. Si dos personas utilizan el mismo indicador de
forma independiente el uno del otro los llegarán a los mismos resultados.

Realista : Los valores meta del indicador son realizables en el tiempo definido.
Grupo de indicadores

Factible : Los datos pueden ser recogidos fácilmente, a tiempo y a costo razonable.

Suficiente : El grupo de indicadores relacionados con el objetivo es adecuado para medir el resultado

11
4 Medición del Cambio

4.1 Línea de Base y Norma de Referencia

Los proyectos apuntan a brindar un cambio o una diferencia en la vida cotidiana de las per-
sonas y de las organizaciones. Para medir estos cambios o diferencias esperadas, se debe
comparar la situación presente con lo que era antes o lo que es en otro lugar. Entonces se
necesita puntos de referencia como una línea de base o normas de referencia.

Puntos de Referencia para Medir el Cambio

Referencia

Línea de Base Año pasado Valores Meta

Grupo de control

2010 2013 2016

Línea de Base: El concepto de línea de base se refiere a la situación al inicio de un proyecto.

La forma más simple de una línea de base es la recopilación de datos para el outcome clave y
los indicadores de impacto (máximo de tres cada uno). Cada vez más agencias donantes exi-
gen la inclusión de datos de línea de base en las propuestas de proyectos como una condición
previa al financiamiento. La comparación entre la medición de los indicadores después de uno
o más años y los datos de referencia permite determinar los efectos causados por el proyecto.

Estudios amplios de línea de base analizan en detalle la situación al inicio de un proyecto,

recogiendo datos respecto a una multitud de indicadores. Estos estudios a veces forman parte
del proceso de planificación y permiten a los interesados obtener una imagen amplia de la
situación inicial. Datos existentes como estadísticas, ingresos de los hogares y encuestas sobre
gastos, muchas veces pueden utilizarse para los estudios de línea de base (igual como para
el monitoreo). Estos estudios detallados de línea de base forman una condición ideal para un
estudio igualmente detallado sobre el impacto después de la ejecución del proyecto durante
varios años.

En la implementación de proyectos, los estudios detallados de la línea de base que incluyen

numerosos puntos interesantes pueden provocar estrés, a menos que el concepto de moni-
toreo defina claramente que datos de la línea de base DEBEN ser constantemente actualiza-
dos y los que no lo necesitan. Una regla inteligente podría ser: el estudio de la línea de base
debe ser simple. Si un estudio de la línea de base está disponible, debe precisar claramente los
artículos representando la base del monitoreo y los que pueden ser utilizados para otros fines.

12
 El uso de una Norma de Referencia o un estándar de comparación significa comparar el
desempeño de su propio proyecto al de los mejores o a un conjunto de normas. Los objetivos
de referencia implican juntar los productos entregables o los resultados (outcomes, impacto)
con los valores estándar comparables. La evaluación comparativa se utiliza principalmente
para establecer metas para la implementación de proyectos. Organizaciones internacionales
de las Naciones Unidas especializadas y / o ministerios nacionales han establecido normas o
estándares en muchas áreas que pueden ser utilizadas como puntos de referencia.

Una buena manera para medir el cambio es comparar los datos proporcionados por el sistema
«Procesando de monitoreo con los datos del estudio de la línea de base. Pero muchos proyectos carecen
cifras, el aproxi- de datos fiables para la línea de base. En algunos casos los grupos de control pueden servir
madamente exacto de puntos de referencia. Donde los grupos de control no están incluidos en el diseño del
es preferible al proyecto, encontramos pocas veces los puntos de referencia adecuados - o el ejercicio se
precisamente er- vuelve demasiado complejo, largo y costoso.
róneo.» Si no existen datos de línea de base ni tampoco grupos de control disponibles, el cambio suele
 Carl G. Thor ser evaluado como un ejercicio de retrospectiva preguntando a la gente sobre su percepción
de los cambios y del progreso. Pero cuando tenemos que confiar en la memoria de las perso-
nas, debemos calcular y aceptar errores de medición importantes.

Tipos de Comparación Aspectos Metodológicos Ventajas Desventajas

antes / después
Línea de base : evaluar el
cambio comparando la
situación al inicio del proyecto
con la situación actual.
Fácilmente factible si los datos
de línea de base están
disponibles y son coherentes
con los datos de monitoreo
actualizados.
Atribuir el cambio a la acción
del proyecto podría ser difícil
(factores externos).

con / sin Grupo de comparación o
control : evaluar el cambio
comparando la situación de los
grupos meta con la situación
de grupos fuera del proyecto.
Buena manera para atribuir el Difícil de encontrar grupos de
cambio a la intervención del control adecuados; puede ser
proyecto, sobre todo si los datos demasiado complejo y costoso.
de la línea de base están
disponibles en los grupos de
intervención y de control.

Diferencia Línea de base y grupo de
en la diferencia comparación : evaluar el
cambio comparando con un
Lo mejor para el Monitoreo grupo de comparación (primera
y la Evaluación diferencia) antes y después del
proyecto (segunda diferencia).
Proporciona la mas alta Necesita la más grande
precisión. cantidad de datos en
Controla el tiempo y los efectos comparación a los otros
en una ubicación fija, teniendo métodos.
en cuenta riesgos de confusión
(influencias por otro proyecto y
factores) y sesgo de selección.

retrospectiva Reconstruir el cambio : Evaluar
el cambio tratando de
reconstruir la línea de base y
pidiendo a los destinatarios que
reconstruyan el proceso de
cambio.
Sin necesidad de línea de base.
Los resultados pueden no ser
muy precisos; la situación inicial
no esta clara, a veces con gran
error de medición; atribución
difícil.

13
4.2 Métodos de Recopilación de Datos

Aquí se presenta un breve resumen de los métodos ampliamente utilizados en los círculos
internacionales de desarrollo.

2
Métodos Principales utilizados en el Monitoreo y en la Evaluación

Métodos centrales:
Estos métodos centrales son utilizados muy a menudo para el monitoreo y evaluación, puesto que son
particularmente adecuados para medir y registrar cambios.

• Análisis de los actores involucrados • Análisis de costos y beneficios

• Revisión de la documentación • Encuestas y cuestionarios
• Mediciones biofísicas • Entrevistas semi-estructuradas
• Observación directa • Estudios de caso

Métodos de discusión para grupos:

Estos métodos son especialmente apropiados para el monitoreo participativo y los procesos de evaluación. La técnica
Metaplan (tablón, fichas) es particularmente útil para estimular y estructurar el debate.

• Lluvia de ideas • FODA o SEPO

• Grupo focal • Juego de roles

Métodos para obtener información distribuida en el espacio:

Estos métodos permiten registrar los aspectos geográficos. Pueden incluir la distribución de tierras y cuestiones
respeto al uso del suelo, pero también pueden ser vinculados a la salud, a la educación o a temas económicos

• Esbozo (mapeo) • Mapeo SIG (sistema de información geográfico)

• Trayectos • Fotografías y video

Métodos para modelos de cambio basados en el tiempo:

Estos métodos ayudan a registrar y a comprender el cambio basado en el tiempo, por ejemplo, cambios de un mes o
un año al otro.

• Agendas • Tendencias históricas y calendarios

• Monitoreo-foto

Métodos para analizar vínculos y relaciones:

En el monitoreo y la evaluación es esencial captar los cambios dentro de las relaciones entre grupos (actores
involucrados, organizaciones), así como entre los problemas, ciclos de producción, recursos, causa-efecto, e
input-output.

• Mapas mentales • Arboles de problemas y objetivos

• Diagrama de flujo de impacto • Rueda M&E
(causa y efecto) • Diagrama de input-output
• Diagrama de Venn

Métodos para clasificar y priorizar:

La clasificación es importante cuando la información debe ser comparada en base a las fortalezas, la importancia o
los criterios previamente definidos.

• Clasificación de la riqueza • Clasificación

• Matriz de notación

2 FIDA 2002, Anexo D

14
Hay diferencias importantes entre enfoques y métodos cuantitativos y cualitativos.

Métodos cualitativos: Estos enfoques y métodos son muy populares en el trabajo de desar-
rollo, sobre todo porque los enfoques cualitativos concuerdan con un enfoque participativo.
Enfoques como la Diagnóstico Rural Participativa (DRP) y el Aprendizaje y Acción Participa-
tivos (PLA), que se han convertido en una práctica casi habitual del trabajo de desarrollo inter-
nacional, se basan principalmente en métodos cualitativos. Los métodos cualitativos pueden
registrar información con percepciones subjetivas, observaciones, sentimientos y opiniones;
frecuentemente proporcionan descripciones. De vez en cuando se utilizan otros medios de
ilustración como fotografías, dibujos, etc.
Los enfoques cualitativos nos ayudan a responder a preguntas tales como de qué manera y
por qué determinadas situaciones ocurrieron. Son especialmente adecuados para registrar los
hábitos, opiniones, experiencias y prioridades de la gente. Algunos métodos comúnmente
utilizados son las entrevistas individuales (con informantes clave), entrevistas de grupo (entre-
vistas con grupos seleccionados según criterios específicos) y los estudios de casos.
Los críticos sostienen que estos métodos cualitativos para medir el cambio tienen todos el
punto común de ser subjetivos y de no ser representativos. Por lo tanto es difícil comparar los
resultados y sacar generalizaciones es problemático. Demasiados elementos dependen de la
elección de los socios interrogados, de las dinámicas de grupo en grupos de reflexión o de
intereses escondidos en la selección de los casos a estudiar. Las ventajas de los métodos cuali-
tativos de poder captar las percepciones, las observaciones y las apreciaciones son al mismo
tiempo sus principales desventajas. Numerosas personas entrevistadas dan sus opiniones y
percepciones como si fueran hechos, y con la ausencia de datos cuantitativos, muchos evalu-
adores los toman así.
A pesar de esta desventaja, los métodos cualitativos siguen jugando un papel importante en
la medida y la apreciación del cambio y también en completar los datos cuantitativos. Ayudan
a encontrar interpretaciones plausibles de estos datos. También permiten la apreciación pru-
dente de resultados que no pueden ser medidos de otra manera.

Métodos cuantitativos: El objetivo de los métodos cuantitativos es registrar hechos como

unidades contables. Ellos proporcionan resultados, que generalmente se expresan en cifras.
La exactitud de los resultados depende de la exactitud de los datos primarios, de la exactitud
de los instrumentos de medición, del tratamiento correcto de los datos y de su correcta in-
terpretación. Estar acostumbrado a las estadísticas es una de las habilidades metodológicas
necesarias para utilizar métodos cuantitativos. Los enfoques cuantitativos se utilizan para reg-
istrar mediciones cuantificables, por ejemplo, en el rendimiento de cultivos (kg / ha), la con-
strucción de canales de riego (km), el aumento de ingresos del hogar, etc. Los resultados de
los métodos cuantitativos se presentan en series estadísticas, tablas, gráficos, diagramas, etc.
Los métodos cuantitativos también pueden ser utilizados para medir elementos abstractos
como las opiniones personales o la satisfacción que generalmente se asocia con la calidad.
Como lo muestra el siguiente ejemplo, los cuestionarios y las encuestas estandarizadas están
basados en el principio de la cuantificación de las informaciones cualitativas, es decir las opin-
iones personales de los encuestados interrogando de esta manera el mínimo de personas nec-
esarias para obtener conclusiones estadísticas significativas. Son costosos en tiempo y dinero.
Los prerrequisitos para emprender estos tipos de encuestas son las habilidades metodológicas
y los recursos materiales y humanos necesarios.

15
Indicador : Nivel de 1. 2. 3. 4. 5.
satisfacción de los agricultores totalmente en gran parte mas o menos poco
con los servicios de extensión satisfecho satisfecho satisfecho satisfecho insatisfecho Sin respuesta

1. Los asesores ofrecen

servicios adaptados a mis
necesidades.

2. Los servicios de asesoramiento

son de primera calidad.

3. Gracias al asesor mis ingresos en

la horticultura han aumentado
de forma significativa.

4. Estoy de acuerdo con brindar

una contribución financiera a
los servicios de asesoramiento.

5. ¿En qué campos los servicios

de asesoramiento deberían
ser mejorados? ¿Y cómo?

Los datos obtenidos por métodos cuantitativos son más objetivos – al menos en el sentido en
el que pueden ser verificados de nuevo y validados. Los resultados pueden ser utilizados como
puntos de partida concretos para un análisis más profundo de las razones, causas, efectos
secundarios positivos y negativos etc. Pero una vez más, los métodos cuantitativos necesitan
habilidades especializadas.
A los críticos de los métodos cuantitativos les gusta citar Albert Einstein: «Lo que cuenta no
puede ser siempre contado y lo que se puede contar no cuenta necesariamente.» Si hacemos
solamente lo que se puede contar, tomamos el riesgo de quedarnos superficiales, pero el de-
sarrollo apunta a atacar la raíz de los problemas y así brindar soluciones sostenibles.
La cooperación para el desarrollo es un trabajo de campo práctico y no está adecuado para
debates meramente teóricas. Por lo tanto, el verdadero problema no es cualitativo versus
cuantitativo pero cómo combinar los métodos de la manera la más práctica. El desafío es
cuantificar lo que se puede con un esfuerzo razonable y valorizar lo que no puede ser cuan-
tificado. Para seleccionar los métodos relativos a un contexto específico, consideramos los
criterios siguientes:

• Recursos y habilidades disponibles

• Requisitos en términos de participación
• Requisitos en términos de exactitud y de rigor científico
• Tiempo disponible
• Posibilidad de utilizar datos o información existentes

Si los resultados tienen una importancia crucial, y además, son difíciles de medir, los costos
de un estudio de impacto realizado por un especialista pueden entonces ser justificados. Eso
reduce la carga de trabajo para el equipo del proyecto y aumenta la probabilidad de obtener
resultados fiables.

16
 4.3 Preguntas y Cuestionarios

El diseño de los cuestionarios es una habilidad con muchos obstáculos y necesita una pericia
«Si usted quiere especializada muchas veces subcontratado por consultores. Los cuestionarios mal diseñados
una respuesta traen datos que no pueden ser tratados. Lo mismo ocurre con la formulación de las pregun-
sabia, haga una tas, la unidad básica de un cuestionario. Aquí compartimos algunas consideraciones básicas
pregunta razon- sobre las preguntas y los cuestionarios:
able.»
 Johann W. 1. Las preguntas y los cuestionarios suscitan respuestas sinceras.
 von Goethe Cuando una persona encuestada piensa que la respuesta puede tener consecuencias neg-
ativas, la probabilidad de obtener una respuesta honesta disminuye. Una primera solución
es garantizar la confidencialidad o el anonimato, pero eso no siempre es suficiente.
2. Las preguntas no son basadas en supuestos.
Mal ejemplo: ¿Cuál es el porcentaje del presupuesto de su hogar que dedica en la edu-
cación?
Esta pregunta contiene tres supuestos dudables: Muchas familias no tienen ingresos fijos.
Ciertas personas no saben cuánto gastan realmente en la escolarización, el transporte,
el material etc. ¿Y finalmente, cuántos padres son capaces de calcular correctamente los
porcentajes?
3. Cada pregunta solicita una sola dimensión.
Mal ejemplo: ¿Es su asesor competente y el servicio útil?
¿Cómo usted interpretaría la respuesta «mas o menos satisfecho»?
a) El asesor es bastante competente y el servicio en parte útil.
b) El servicio es útil a pesar de las pocas habilidades del asesor.
c) El asesor es competente pero el servicio tiene poco valor.
d) O ……...
4. Las preguntas no implican la respuesta que conviene al interrogante.
Mal ejemplo: ¿No debemos aumentar el programa «mosquiteras gratis para la gente po-
bre»?
Las preguntas dirigidas son un error común de los principiantes, particularmente en las
entrevistas orales.
5. Las preguntas son fáciles de entender.
Mal ejemplo: ¿Considerando las dos desventajas, que aparecen como ventajas bajo un
cierto ángulo, no tenemos que desalentar el uso de la tecnología moderna?
Las preguntas fáciles de entender se expresan en el lenguaje cotidiano de las personas
encuestadas, usan una sintaxis simple y evitan las expresiones con (doble) negación. A
menudo es más difícil escribir preguntas fáciles de entender que escribir preguntas compli-
cadas.
6. Los cuestionarios son cortos.
Los cuestionarios largos cansan y la calidad de las respuestas baja hacia el fin. Debemos
respetar las limitaciones de tiempo de nuestras personas interrogadas. Además los cues-
tionarios largos traen más datos para procesar.
7. Los cuestionarios tienen una estructura lógica.
Agrupar las preguntas según los asuntos o según el tipo de pregunta aumenta las proba-
bilidades de que las personas encuestadas completen el cuestionario. Se sienten más có-
modos.

17
4.4 Calidad de Datos

Aunque teniendo indicadores perfectos e instrumentos apropiados para medir el cambio, hay
muchas oportunidades para cometer errores y equivocarse en el proceso de recopilación de
datos, su procesamiento, interpretación y en la comunicación hacia el usuario final.

Calidad de los Datos

DATOS

incorrecto Muestreo correcto

manipulada Recopilación correcta

incorrecta

no ¿reparable? si

incorrecto Tratamiento correcto

no réparable? si

Interpre-
inapropiada
tación

apropiada

Descartar incorrecto debido a negligencia, error UTILISAR

(o manipulación)

Los puntos siguientes deberían ayudar en mejorar o validar la calidad de los datos:

Muestreo

• Determinar la talla apropiada de su muestreo que le permite obtener resultados estadísti-

cos significativos.
• Efectuar una selección aleatoria para evitar los riesgos de parcialidad.

Recopilación

• Formar bien a los recopiladores. Deben entender el objetivo de la recopilación de datos y

los métodos utilizados.
• Llamar a su profesionalidad. Deben comprometerse a permanecer lo más imparciales posi-
ble.
• Hacer un test piloto del cuestionario. Eso permite reformular las preguntas imprecisas y
puede revelar la necesidad de formar de nuevo a los recopiladores.

18
Tratamiento

• Verificar la plausibilidad de los resultados.

Interpretación

• Verificar cada interpretación de los resultados por medio de una triangulación con otras
fuentes.

19
5 Apreciación del Cambio

La medición del cambio frente a los puntos de referencia es una cosa, pero demostrar que
los cambios previstos han ocurrido y fueron causados por las intervenciones del proyecto es
otra cosa. Como los proyectos se realizan en contextos complejos y a lo largo de un tiempo
determinado, los factores externos juegan un papel y pueden tener una influencia aún mayor
que el mismo proyecto. Tres tipos de análisis nos ayudan a determinar los efectos provocados
por un proyecto.

Tendencia – Contribución – Atribución

Matriz de Marco Lógico

Ingresos del algodón orgánico en la región

Marco Lógico para Análisis de atribución = análisis de tendencia

el Análisis de = monitoreo
evaluación de impacto
Contribución

atribución
del proyecto

factores
externos

Línea de base

2006 2008 2010

El Análisis de Tendencias pretende demostrar hasta donde se puede observar un cambio

«Una medición de outcomes a lo largo del tiempo. Para alcanzar este objetivo necesitamos una línea de base.
más precisa de lo Idealmente, cada sistema de monitoreo debe ser capaz de conducir un análisis de tendencias.
necesario perjudica La pregunta es: ¿Estamos yendo en la dirección correcta?
tanto como una
medición que no El Análisis de la Contribución pretende demostrar en qué medida el proyecto puede ser
es suficientemente una de las causas de los cambios observados en los outcomes. El análisis de contribución se
precisa.» apoya en cadenas de argumentos lógicos (es decir, el Marco Lógico) y en cambios medidos (es
 Arthur David decir, un sistema de monitoreo). El análisis de la contribución debe ser parte de todo informe
Ritchie de evaluación. La pregunta es: ¿Nuestros argumentos SI-ENTONCES y supuestos son (todavía)
correctos?

El Análisis de Atribución tiene por objetivo evaluar la proporción del cambio observado,
que puede realmente atribuirse al proyecto o programa evaluado. Esto implica elaborar una
evaluación contrafactica: ¿Cuál habría sido la condición de la población en el momento del
análisis de impacto, si el proyecto no hubiera sido llevado a cabo? Esto suele ser posible para
los outputs de proyectos, a veces para los outcomes y en la mayoría de los casos imposible
para los impactos de un proyecto.

20