Evaluacin de Impacto de Proyecto

Unidad
8
Marco lgico en el Monitoreo y Evaluacin de Proyectos
Compilado por:
Jorge de la Fuente Olgun
Unidad 8
Indice:
Ojetivo 03
Introduccin 03
Qu es el Impacto? 04
Qu es la Evaluacin de Impacto? 05
Modelo experimental clsico 07
Modelo cuasi-experimental 07
Modelos no experimentales 08
E
v
a
l
u
a
c
i

n

d
e

I
m
p
a
c
t
o

d
e

P
r
o
y
e
c
t
o
s
02
Unidad 8
Evaluacin de Impacto de Proyectos
Objetivo
El objetivo de esta unidad es lograr que los participantes del curso - a partir de los contenidos tratados - puedan
conocer y valorar la importancia de la evaluacin de impacto de los proyectos implementados por el PROSAP.
Introduccin
Cada vez es ms fuerte la tendencia a medir el impacto que generan los proyectos de desarrollo. Ya no solo basta
con el monitoreo para establecer qu tan bien se estn haciendo las cosas, sino tambin se requiere mostrar y
medir qu ha cambiado luego de la implementacin de un proyecto. El monitoreo y evaluacin ayudan a evaluar
qu tan bien se estn haciendo las cosas con el fin de ayudar a hacerlo mejor y tambin permiten conocer que
ha cambiado y as determinar el impacto. Esta tendencia se ha observado tanto en los Gobiernos y ONGs como
en Empresas y Organismos de la Cooperacin Internacional.
En el mundo del monitoreo y la evaluacin son varias las metodologas y herramientas con las que se trabaja. La
meta de una evaluacin de impacto es atribuir impactos a un proyecto y nicamente a ese proyecto. Para poder
hacerlo, se necesita un grupo de comparacin (situacin contrafactual) para medir lo que hubiese sucedido a los
beneficiarios si el proyecto no se hubiera llevado a cabo. El proceso de identificar ese grupo, recolectar los datos
necesarios, y conducir los anlisis relevantes requiere de mucha y cuidadosa planificacin.
Una buena evaluacin de impacto provee las bases para una slida formulacin de polticas. Ayuda a entender si
el proyecto ha tenido impacto o no, cun grande es ese impacto, y quin se ha beneficiado (o no). Adems de
proporcionar evidencia firme que puede utilizarse para sopesar y justificar prioridades de polticas, la evaluacin
de impacto tambin puede utilizarse como una herramienta de gerenciamiento por resultados. A medida que la
evaluacin avanza a la par del proyecto, puede utilizarse para testear caractersticas del proyecto, para modificar
el diseo y mejorar la efectividad en el tiempo. Entre otras cosas, las evaluaciones de impacto pueden ayudar a
quienes disean las polticas para examinar el efecto de un piloto, comparar diferentes modos de prestaciones, y
examinar el impacto del proyecto para diferentes poblaciones. Sobre todo, la evaluacin de impacto permite
aprender qu proyectos funcionan en qu contextos, y usar estas lecciones para informar a las generaciones
siguientes acerca de polticas no slo en el pas de inters, sino tambin en otros pases. Finalmente, el ejercicio
de llevar a cabo una evaluacin de impacto contribuye a construir y sostener capacidades nacionales para una
formulacin de polticas basada en evidencia.
No hay un enfoque estndar para conducir una evaluacin de impacto. Cada evaluacin debe ser diseada
especficamente para el proyecto, el pas, el contexto institucional y los actores involucrados. Habiendo dicho esto,
existen algunas cuestiones generales y acciones que influyen en el xito de cualquier evaluacin de impacto.
03
E
v
a
l
u
a
c
i

n

d
e

I
m
p
a
c
t
o

d
e

P
r
o
y
e
c
t
o
s
Unidad 8
Qu es el Impacto?
El impacto se refiere a los beneficios "netos" de un proyecto en el tiempo, relevante a las caractersticas del mismo.
Para identificar el impacto o los beneficios "netos" de un proyecto sobre sus beneficiarios, en primer trmino se
deben identificar las relaciones de causa-efecto entre los componentes que produce el proyecto y los resultados
finales esperados de la intervencin a evaluar.
Por lo tanto para cuantificar el impacto del proyecto no basta con la comparacin de la situacin de los beneficiarios
"antes versus despus" de la intervencin, sino que se debe responder lo ms certeramente a la pregunta: Cul
sera la situacin actual de estos beneficiarios si no hubieran participado en el proyecto?.
04
E
v
a
l
u
a
c
i

n

d
e

I
m
p
a
c
t
o

d
e

P
r
o
y
e
c
t
o
s
Unidad 8
05
Qu es la Evaluacin de Impacto?
En la literatura, una evaluacin global se define como una evaluacin que incluye el monitoreo, la evaluacin de
los procesos, la evaluacin de costos-beneficios y la evaluacin de impacto. No obstante, cada uno de estos
componentes es completamente diferente.
El monitoreo ayudar a evaluar si un proyecto se est implementando de acuerdo a lo planificado. Un sistema de
monitoreo de proyectos permite una retroalimentacin constante sobre el estado en que se encuentra la
implementacin de las intervenciones e identifica los problemas especficos a medida que surgen.
La evaluacin de los procesos se relaciona con la forma en que funciona el proyecto y se centra en los problemas
de la entrega de servicios.
En las evaluaciones de costo-beneficio o eficacia en funcin de los costos se estiman los costos de los proyectos
(monetarios o no monetarios), en particular su relacin con respecto a usos alternativos de los mismos recursos
y a los beneficios que produce el proyecto.
Por ltimo, la evaluacin de impacto tiene el objeto de determinar en forma ms general si el proyecto produjo
los efectos deseados en las personas, hogares e instituciones; y si esos efectos son atribuibles a la intervencin
del proyecto. Las evaluaciones de impacto tambin permiten examinar consecuencias no previstas en los beneficiarios,
ya sean positivas o negativas.
E
v
a
l
u
a
c
i

n

d
e

I
m
p
a
c
t
o

d
e

P
r
o
y
e
c
t
o
s
Unidad 8
06
Algunas de las preguntas que se abordan en la evaluacin de impacto son las siguientes:
- Cmo afect el proyecto a los beneficiarios?
- Algn mejoramiento fue el resultado directo del proyecto o se habra producido de todas formas?
- Se podra modificar el diseo del proyecto para mejorar sus repercusiones?
- Se justificaban los costos?
Sin embargo, estas preguntas no se pueden medir simplemente a travs del resultado de un proyecto. Puede haber
otros factores o sucesos que estn correlacionados con los resultados, sin ser causados por el proyecto. Para
asegurar un rigor metodolgico, una evaluacin de impacto debe estimar el escenario contrafactual o simulado
alternativo, es decir, lo que habra ocurrido si el proyecto nunca se hubiera realizado o lo que habra ocurrido
normalmente. Por ejemplo, si un recin graduado de un proyecto de capacitacin laboral obtiene empleo, es un
resultado directo del proyecto o habra encontrado empleo de todas formas?.
Para determinar el escenario contrafactual, es necesario separar el efecto de las intervenciones de otros factores;
una tarea algo compleja. Esto se logra con la ayuda de grupos de comparacin o de control (aquellos que no
participan en un proyecto ni reciben beneficios), que luego se comparan con el grupo de tratamiento (personas
que reciben la intervencin). Los grupos de control se seleccionan en forma aleatoria de la misma poblacin que
los participantes del proyecto, mientras que el grupo de comparacin es simplemente el grupo que no recibe el
proyecto que se est investigando. Los grupos de comparacin y de control deben ser semejantes al grupo de
tratamiento en todo aspecto y la nica diferencia entre los grupos es la participacin en el proyecto.
La construccin del escenario contrafactual es el corazn de una evaluacin de impacto y es esencial para su diseo.
Esta puede ser abordada mediante varias metodologas alternativas, las cuales pueden agruparse en dos grandes
categoras, diseos experimentales (aleatorios) o diseos cuasi - experimentales (no aleatorios). Sin embargo, es
bastante complicado separar el efecto del proyecto de las condiciones hipotticas que pueden verse afectadas por
la historia, el sesgo de seleccin y la contaminacin. Tambin se pueden usar mtodos cualitativos y participativos
para evaluar el impacto. Estas tcnicas con frecuencia proporcionan informacin decisiva sobre las perspectivas
de los beneficiarios, el valor que los proyectos revisten para stos, los procesos que pueden haber afectado los
resultados y una interpretacin ms profunda de los resultados observados en el anlisis cuantitativo.
Con base en el Enfoque de Marco Lgico desarrollado en el curso, la evaluacin de impacto de un proyecto consiste
en evaluar los logros finales que corresponden a los efectos/impactos de la intervencin y se encuentran asociados
al Fin (Impacto) en la Matriz de Marco Lgico (MML), an cuando tambin pueden darse a nivel del Propsito
(Resultado) de la MML. Ellos implican un mejoramiento significativo y, en algunos casos, perdurable o sustentable
en el tiempo, en alguna de las condiciones o caractersticas de los beneficiarios que se plantearon como esenciales
en la definicin del problema que dio origen a la intervencin.
Ejemplos de este tipo de logros son: familias que aumentan sus niveles de seguridad alimentaria y nutricional en
forma sostenible; nios/as que mejoran su estado nutricional y salen de la desnutricin crnica; pequeos
productores de alimentos que elevan sus niveles de productividad e ingresos; etc.
Para evaluar el efecto del proyecto sobre los resultados finales se debe identificar y separar los beneficios logrados
como consecuencia de la intervencin, de aquellos que de todas maneras hubieran ocurrido sin la ejecucin de
sta, por efecto de la evolucin normal de las condiciones del entorno o la accin de otros programas/proyectos
pblicos o privados.
La evaluacin de impacto se desarrolla, generalmente, a travs del anlisis de informacin obtenida a travs de
una encuesta aplicada a una muestra representativa de beneficiarios, y el uso de tcnicas economtricas.
La evaluacin de impacto se ubica en la categora de las evaluaciones de trmino y ex - post de una intervencin,
y puede tomar como base la MML, junto a la evidencia generada por el monitoreo en trminos de las mediciones
realizadas a los Indicadores de Componentes/Productos, Propsito (Resultado) y Fin (Impacto), respaldadas por
los Medios de Verificacin generados durante la implementacin.
Sin embargo, el Enfoque de Marco Lgico y particularmente la MML de la intervencin, normalmente es aplicada
en evaluaciones con la informacin disponible y en perodos de tiempo relativamente cortos, lo que no permite
obtener juicios evaluativos sobre logros finales de la intervencin que sean de carcter conclusivo.
Es por ello que se recomienda efectuar evaluaciones de impacto de las intervenciones, en las que se utilizan
instrumentos y metodologas ms complejas de recoleccin y anlisis de informacin. A diferencia de las evaluaciones
que se basan solamente en el Marco Lgico, las evaluaciones de impacto de las intervenciones requieren de una
mayor investigacin en terreno, de la aplicacin de instrumentos de recoleccin de informacin primaria (encuestas),
del procesamiento y anlisis de un conjunto mayor de antecedentes de la intervencin, y de la aplicacin de
modelos de estimacin economtrica.
E
v
a
l
u
a
c
i

n

d
e

I
m
p
a
c
t
o

d
e

P
r
o
y
e
c
t
o
s
Unidad 8
07
El elemento metodolgico central para medir el efecto/impacto de la intervencin a evaluar consiste en separar
de los beneficios observados, todos aquellos efectos sobre los beneficiarios derivados de factores externos a la
intervencin propiamente tal y que de todas maneras hubiesen ocurrido sin la ejecucin de sta, como consecuencia
de la evolucin normal de las condiciones del entorno o de la accin de otras iniciativas, tanto pblicas como
privadas, para lo cual normalmente se construye un grupo de control y se aplican herramientas economtricas.
La evaluacin de impacto de una intervencin requiere desarrollar un proceso de trabajo sistemtico e independiente
orientado a responder preguntas tales como:
- Se ha contribuido significativamente a resolver el problema que dio origen a la intervencin?
- Los receptores de los bienes y servicios que genera la intervencin han resultado realmente beneficiados?
- Los beneficios recibidos por los participantes son los que se haba propuesto lograr la intervencin o son
otros no previstos?
- Los beneficios estn llegando al grupo que se pretende atender?
- Los usuarios de la intervencin estn satisfechos con los bienes y servicios recibidos?
- Los beneficiarios han experimentado un mejoramiento significativo en su condicin-problema inicial,
como consecuencia de su participacin en la intervencin?
Es importante evaluar tanto la eficiencia como la eficacia pues ambos aspectos resultan clave para asegurar los
efectos/impactos de un proyecto, as como garantizar la sostenibilidad de stos a travs del tiempo.
Entre los distintos tipos de evaluaciones, las ms complejas de realizar son las que miden el impacto de una
intervencin, donde se busca realizar una comparacin entre el estado "inicial" de los beneficiarios (Lnea Base)
y otro de "comparacin" que es la situacin existente despus de un tiempo de operacin de la intervencin (Lnea
de Comparacin), eliminando (o tratando de minimizar) la incidencia de factores externos.
Como se indic previamente, existe una variedad de modelos cuyo objetivo es medir el impacto, entre los ms
destacados se pueden mencionar los siguientes:
Modelo experimental clsico
Este tipo de modelo exige seleccionar aleatoriamente una muestra que se divide, tambin aleatoriamente,
en dos submuestras, el grupo con intervencin o poblacin beneficiaria (grupo experimental o de tratamiento)
y el grupo sin intervencin (grupo de control). Estas submuestras se seleccionan al inicio de la intervencin
(en la situacin de lnea de base) y deben diferir slo en que la primera recibe los bienes o servicios de la
intervencin, y la segunda no.
Tomando en cuenta la seleccin aleatoria de ambos grupos, las diferencias iniciales entre ellos, si las hay,
debieran ser mnimas. Es decir, entre ambos grupos no deben existir diferencias estadsticamente significativas.
El diseo experimental o aleatorio es considerado la metodologa de evaluacin tcnicamente ms robusta.
Consiste en la seleccin aleatoria de los beneficiarios dentro de un grupo de individuo s elegibles creando dos
grupos estadsticamente idnticos entre s, uno que participa en el programa (grupo de tratamiento) y otro
que, cumpliendo todas las condiciones para participar, esta fuera de l (grupo de control). La cuantificacin
o estimacin del impacto del proyecto se realiza mediante una simple diferencia de medias (para las variables
de resultado relevantes) entre el grupo de control y el grupo de tratamiento.
Modelo cuasi-experimental
La lgica de este modelo es idntica a la del experimental clsico. Se efectan mediciones en las lneas de
base y de comparacin, para luego comparar las diferencias. La distincin radica en que la pertenencia al
grupo con o sin intervencin no se determina aleatoriamente. La seleccin se realiza en funcin de las variables
de mayor relevancia en relacin al efecto/impacto perseguido.
El diseo cuasi-experimental es utilizado cuando no es posible generar los grupos de control y tratamiento a
travs de un diseo experimental, pues la intervencin del programa ya tuvo lugar y se seleccionaron los
beneficiarios del programa usando mtodos no aleatorios, a travs de la aplicacin de criterios de elegibilidad
y focalizacin que establecen diferencias entre stos y los no -beneficiarios. Existen varias alternativas
metodolgicas pero todas coinciden en intentar simular las condiciones de un diseo experimental, a partir
de bases de datos de beneficiarios y no-beneficiarios y usando avanzadas tcnicas estadsticas (doble diferencia,
propensity score matching, variables instrumentales) que permiten eliminar o minimizar las diferencias
existentes entre ambos grupos.
E
v
a
l
u
a
c
i

n

d
e

I
m
p
a
c
t
o

d
e

P
r
o
y
e
c
t
o
s
Unidad 8
08
Modelos no experimentales
Estos modelos se aplican cuando los beneficiarios de la intervencin no pueden ser comparados con un grupo
de control. Vale decir, se considera slo al grupo beneficiario de la intervencin, lo que impide controlar la
incidencia de variables exgenas. En este caso, se hace una comparacin de la situacin en la que se encuentra
el grupo de beneficiarios, antes (o al inicio) y despus de la intervencin, a travs de la denominada "comparacin
reflexiva".
La generacin de un grupo de control (escenario contrafactual) y del escenario prefactual generalmente se
utiliza para estimar el impacto promedio del proyecto sobre los beneficiarios. Sin embargo tambin pueden
ser utilizados para indagar respecto de la heterogeneidad de efectos causales del proyecto para distintos sub-
grupos de la muestra. La estimacin del promedio de un proyecto pudiese significar promediar impactos
positivos y negativos de sub-grupos de los beneficiarios, no permitiendo, en ocasiones, observar impactos de
distinto signo para subgrupos de la muestra. Obviar la posible heterogeneidad en resultados impide conocer
si existen sub conjuntos de hogares o personas que pueden estar siendo perjudicados por el proyecto, cuando
el resto de los beneficiarios goza de los resultados positivos de ste.
Para estimar la heterogeneidad del efecto causal del proyecto se debe aplicar una metodologa que no solo
mida la diferencia de efectos para ciertas observaciones dadas, sino que tambin permita tener un grado de
confiabilidad estadstica sobre el resultado obtenido.
Dada la multiplicidad de los tipos de proyectos, preguntas de la evaluacin, disponibilidad de datos, restricciones
de tiempo y circunstancias del pas, cada estudio de evaluacin de impacto ser diferente y requerir cierta
combinacin de las metodologas adecuadas, tanto cuantitativas como cualitativas. El evaluador debe examinar
con cuidado las opciones metodolgicas al disear el estudio, con el objetivo de producir los resultados ms
slidos posibles. Entre los mtodos cuantitativos, se considera que los diseos experimentales son el enfoque
ptimo y las comparaciones pareadas una alternativa subptima. Sin embargo, otras tcnicas tambin pueden
producir resultados confiables, especialmente con un buen diseo de evaluacin y datos de alta calidad.
Las metodologas elegidas para la evaluacin de impacto no son mutuamente excluyentes. Desde luego, en
las evaluaciones ms robustas con frecuencia se combinan mtodos para asegurar su solidez y prever las
contingencias en su implementacin. Desde una perspectiva metodolgica, una combinacin muy recomendada
es unir un enfoque "con y sin" con un enfoque "antes y despus" que use datos bsicos y de monitoreo. Contar
con datos bsicos permitir que los evaluadores verifiquen la integridad de los grupos de tratamiento y de
comparacin, evalen la focalizacin y preparen una evaluacin slida de los efectos. Esto aplica incluso para
los diseos de control aleatorio. Aunque la aleatorizacin asegura un grupo de tratamiento y de comparacin
equivalentes en el momento de sta, este aspecto no debera influir para que evaluadores piensen que no
necesitan datos bsicos. Por cierto, los datos bsicos podran ser decisivos para reconstruir por qu se producen
ciertos hechos y controlar por estos hechos en la evaluacin de impacto.
Una evaluacin de impacto debe abarcar tanto los aspectos cuantitativos como cualitativos de un programa.
Las dimensiones cuantitativas de la evaluacin se expresan a travs de variables cuantitativas (quintales de
trigo por hectrea, miles de pesos reales mensuales, etc). No obstante, los aspectos cualitativos tambin son
susceptibles de mediciones cuantitativas. Por ejemplo s el grado de aceptacin de la asistencia tcnica por
parte de los campesinos es sistematizado por medio de una encuesta, el aspecto cualitativo "aceptacin"
tendr una medicin y expresin cuantitativa, por ejemplo: "porcentaje de campesinos que califican la asistencia
tcnica como MUY BUENA".
Tambin se insiste en recomendar la incorporacin de anlisis de costo-beneficio o eficacia en funcin de los
costos. Esta metodologa puede permitir que las autoridades responsables comparen intervenciones alternativas
sobre la base del costo de producir un resultado determinado. Esto es de particular importancia en el marco
de los pases en desarrollo, en que los recursos son extremadamente limitados. Por ltimo, es ideal combinar
mtodos cuantitativos y cualitativos, porque esto proporcionar el efecto cuantificable de un proyecto y una
explicacin de los procesos e intervenciones que originaron estos resultados.
E
v
a
l
u
a
c
i

n

d
e

I
m
p
a
c
t
o

d
e

P
r
o
y
e
c
t
o
s
Unidad 8
09
Aunque cada evaluacin de impacto tendr caractersticas nicas que requieren diferentes enfoques
metodolgicos, algunas cualidades generales de una evaluacin del impacto que sea de calidad son las
siguientes:
- Una estimacin del escenario contrafactual realizada (a) usando una asignacin aleatoria para crear un grupo
de control (diseo experimental) y (b) usando en forma adecuada y cuidadosa otros mtodos como el de
pareo para crear un grupo de comparacin (diseo cuasi experimental).
- Para controlar las diferencias antes y despus del proyecto en los participantes y establecer los efectos del
mismo, hay datos pertinentes recopilados como referencia y en el monitoreo (adems de un tiempo suficiente
que permita observar los efectos del proyecto si corresponde).
- Los grupos de tratamiento y de comparacin son de tamao suficiente como para establecer inferencias
estadsticas con una mnima eliminacin.
- Incluye el anlisis de costo-beneficios o eficacia en funcin de los costos para medir la eficiencia del proyecto.
o Incorpora tcnicas cualitativas para permitir la triangulacin de los resultados.
E
v
a
l
u
a
c
i

n

d
e

I
m
p
a
c
t
o

d
e

P
r
o
y
e
c
t
o
s