Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
2008
Alcalde Mayor, DC
Samuel Moreno Rojas
Secretaria de Desarrollo Econmico
Mnica De Greiff Lindo
Subsecretaria de Desarrollo Econmico
Martha Madrid Malo De Andreis
Director de Estudios Socioeconmicos y Regulatorios
Hugo Muoz Berrio
Subdireccin de Seguimiento y Evaluacin
Sonia Cancino Acua
Asistente de Investigacin
Claudia Ximena Camacho Corzo
EQUIPO DE TRABAJO
Director de Estudios Socioeconmicos y Regulatorios
Hugo Muoz Berro
Subdirectora de Seguimiento y Evaluacin
Sonia Cancino Acua
Subdirector de Estudios Estratgicos
Juan Carlos Segura Ortiz
Subdirectora de Regulacin e Incentivos
Nubia Angarita Gmez
Profesionales
Claudia Ximena Camacho Corzo, Margarita Muoz Mendoza, Yanlicer Prez
Hernndez
Presentacin
El presente documento pretende constituirse en un soporte conceptual y
metodolgico a quienes desean y/o deban efectuar seguimiento y evaluacin a
polticas1, programas y proyectos. En este marco, el documento inicia su
presentacin con un Marco Conceptual que nos ubica en el tema, desarrollando
conceptos tales como indicadores, monitoreo y evaluacin ex -ante, entre otros,
para continuar con el Marco Legal que permite que la Ciudad Capital pueda
materializar dichos conceptos. Contina este escrito con la nocin del ciclo de las
polticas pblicas y con un compendio de mtodos de seguimiento y evaluacin
del cumplimiento de metas frente a objetivos propuestos en los procesos de
construccin y desarrollo de los Planes de Desarrollo.
Se trata, entonces, de un documento que presenta elementos metodolgicos y
conceptuales, aportando elementos tcnicos para fundamentar las decisiones
polticas. El corazn de este documento es un compendio de diversos mtodos o
metodologas que vinculan clara y permanente el ciclo de la poltica pblica con la
fase de aprendizaje de lo recopilado a travs del seguimiento y las
recomendaciones que resultan de la evaluacin.
En el compendio se privilegian los modelos prcticos y de sencilla aplicacin, con
el propsito de facilitar su utilizacin en la evaluacin ex post por parte de los
interesados y sirva, desde luego, como gua o manual.
Cabe sealar que no existe una nica frmula a aplicar en la construccin de un
sistema de seguimiento y evaluacin. Se trata, ms bien, de una construccin
permanente y flexible ante las prioridades que fije cada Plan de Desarrollo. Sin
embargo, algunos parmetros clsicos y bsicos deben hacer parte de cada
ejercicio que se pretenda desarrollar. Ser entonces importante no abandonar el
mejoramiento continuo y estar alertas para identificar debilidades, para lo cual se
impone la revisin y el fortalecimiento del diseo y de la implementacin.
Adicionalmente, es indispensable tener presente que en ocasiones prevalecern
1
las consideraciones de tipo poltico sobre las tcnicas, que son aquellas sobre las
que descansan los principios que regulan las metodologas propuestas de
seguimiento y evaluacin. No por esto se debe abandonar la conviccin de que el
conocimiento constituye una base importante para retroalimentar los procesos.
En resumen, luego de esta introduccin se presentan el Marco Conceptual, el
Marco Legal y el ciclo de las polticas pblicas para ubicar el momento en el que
se lleva a cabo el seguimiento y la evaluacin. Posteriormente se presenta el
compendio de los mtodos de seguimiento y evaluacin, el cual no es ms que un
inventario documental de metodologas aplicadas en estos menesteres, para
continuar luego con un captulo que relaciona un listado de evaluaciones ex post
que se han realizado y las conclusiones particulares de algunas de ellas. Los dos
ltimos captulos presentan el Glosario de Trminos, til para la comprensin del
tema central del escrito, y la Bibliografa empleada.
CONTENIDO
1. MARCO CONCEPTUAL....9
1.1 Qu es y cuando se adelanta el seguimiento? .....13
1.2. Qu es y cuando se adelanta la evaluacin?..................................................15
2. MARCO LEGAL DISTRITAL E INSTRUMENTOS EMPLEADOS A NIVEL
NACIONAL Y DISTRITAL...20
3. EL CICLO DE LAS POLTICAS PBLICAS.30
4. MTODOS DE SEGUIMIENTO.38
4.1 Seguimiento Fsico-Financiero.38
4.2 Seguimiento a las metas de los indicadores..40
4.3 Seguimiento presupuestal y contable.....45
4.4 Seguimiento a contratos....46
4.5 Seguimiento cualitativo o categrico...47
4.6 Seguimiento a resultados..50
5. METODOS DE EVALUACION EX -ANTE Y EX -POST....50
5.1 Evaluacin ex ante...52
5.1.1 Evaluacin Costo-Beneficio o eficacia en funcin a los costos...52
5.1.1.1 Valor Presente Neto....52
5.1.1.2 Tasa Interna de Retorno.....53
5.1.1.3 Evaluacin Costo-Eficiencia...54
5.1.1.3.1 Costo Mnimo....54
5.1.1.3.2 Costo por Unidad......55
5.1.1.4 Costo Anual Equivalente.....55
5.1.1.5 Evaluacin Costo-Efectividad....55
5.2 Evaluacin ex ante de Impacto..56
5.3 Evaluacin de Impacto Ambiental....63
5.4 Evaluacin de Impacto de Gnero...67
5.5. Evaluacin sobre la marcha.....70
5.6 Evaluacin ex post...71
5.6.1 Evaluacin Rpida...74
5.6.2 Estudio de Caso...74
5.6.3 Evaluacin de Impacto...75
1. Marco Conceptual
Lo primero que se har, en desarrollo de este numeral, es precisar conceptos
clave como seguimiento, monitoreo y evaluacin, para indicar luego cmo se
utilizan estos instrumentos en los planes, polticas, programas y proyectos; con
este tratamiento, lo que se pretende es unificar conceptos y terminologa y, desde
luego, ambientar y socializar el lenguaje que en adelante se utilizar.
Antes de presentar el contenido del captulo, es til revisar la siguiente imagen,
que ubica al lector sobre el momento en cual se realiza el seguimiento y la
evaluacin en los ciclos de las polticas, programas y proyectos, conceptos que
sern abordados posteriormente. En esta ilustracin se seala de manera
esquemtica que la planeacin tiene en cuenta los objetivos (los cuales se
construyen a partir de los problemas identificados), sus resultados y las
actividades requeridas para lograr los productos o resultados.
Ilustracin No. 1 Ubicacin del seguimiento y la evaluacin
Lgica
Descendente
(Planificacin)
Objetivo Superior
Objetivos Especficos
Resultados
Actividades
Lgica ascendente
(Seguimiento/Evaluacin)
ACTIVIDADES
TAREAS
PREINVERSIN
Formulacin
Planeacin
Evaluacin ex ante:
Idea
Evaluacin
Revisin
Perfil
Programacin
Prefactibilidad
Factibilidad
Diseos
preliminares
Ejecutar
Diseos definitivos
Construccin
Reprogramacin
Control
Revisin
OPERACIN Y
Operar y
MANTENIMIENTO mantener
Control
Revisin
10
ETAPA
ACTIVIDADES
TAREAS
Fuente: Modificado a partir de: Grupo Asesor de la Gestin de Programas y Proyectos de Inversin
Nacional, DNP. Metodologa de Seguimiento. Julio 2004.
11
ACTIVIDADES
Formular objetivos,
metas e
indicadores.
Programar
presupuestalmente
el Plan a nivel de
proyectos y
programas.
PUESTA EN
MARCHA
TAREAS
TIPO DE SEGUIMIENTO,
MONITOREO Y EVALUACION
Planeacin.
Revisin.
Marco Lgico
Establecimiento
de lneas de
base y metas
esperadas.
Control.
Revisin.
12
13
Programa:
Proyecto:
Objetivo General:
14
15
al enfrentar correcciones fiscales, los pases tienen que evaluar bien dnde
hacen recortes y dnde mantienen recursos
The World Bank- IBRD, Designing and Building a Results-Based Monitoring and Evaluation
System, 2000
8
DNP. Direccin de Polticas Pblicas. Presentacin del Sistema Sinergia. 2002
9
Depende adems del rigor de los instrumentos de medida, de la calidad de la informacin
recogida, del sentido prctico de las valoraciones y de la comunicacin permanente entre
evaluadores y evaluados.
16
ii)
iii)
10
Banco Mundial. Guerrero, P. "Comparative Insights from Colombia, China and Indonesia",
Evaluation Capacity Development, Working Paper Series, N 5, Washington, D.C.,1999.
11
CEPAL. Evaluacin del Impacto. 2005
17
12
18
13
Evaluar es :
a.
b.
Con la observacin fsica del proceso de ejecucin del proyecto y los costos en los
14
que se ha incurrido en cada una de las etapas , se pretende el anlisis de
variables tales como:
o
o
o
o
o
o
14
El punto de referencia para llevar a cabo el seguimiento de un programa o proyecto es el resultado obtenido
en el proceso de la evaluacin ex -ante, mediante el que fue conceptuado viable y posteriormente financiado.
15
CEPAL - SERIE Manuales N 45. 2005
19
b.
c.
d.
e.
Imparcialidad
Utilidad
Adecuado empleo de lo tcnico
20
Participacin de interesados
Valor agregado al dinero invertido
Retroalimentacin
21
16
16
1.
2.
22
3.
4.
d.
e.
17
DNP. Programa Nacional de Desarrollo Humano. Propuesta de Diseo del Observatorio del
PMASAB. 2007.
23
24
Dimensin
Asignacin
Tecnologa
Logstica
Ejecucin
Normativa
Polticas
Recursos
Financieros,
humanos,
fsicos
Normas
Tcnicas,
Manuales,
Controles
de calidad
Seleccin de
instrumentos
operativos
Anlisis de
planeacinejecucinrevisinretroalimentacin
Marco
Legal
Entradas
Diagnstico
(anlisis de
mercado)
Programacin
presupuestal,
planes de
accin
Estndares
Seleccin de
herramientas,
elementos de
trabajo
Rutas crticas o
instrumentos que
recojan el ciclo
mencionado
Normas
Salidas
Evaluacin
de Impacto
Evaluacin de
gestin
Evaluacin
de
eficiencia y
oportunidad
Control
administrativo
(lleg el
abastecimiento
a tiempo,
completo y con
calidad?)
Control operativo
(pilotos de alerta
en el sistema de
informacin)
Auditora
Basado en: DNP. Programa de Desarrollo Humano. Presentacin del Diseo del Observatorio del
Plan Maestro de Abastecimiento y Seguridad Alimentaria. 2007
25
f.
26
g.
2.
18
Es la medida en que los objetivos de una intervencin para el desarrollo son congruentes con
los requisitos de los beneficiarios, las necesidades, las prioridades globales y las polticas. A
diferencia de la Eficacia, no mide el grado de cumplimiento de los objetivos.
27
a.
b.
c.
d.
Uno de los principales componentes del modelo de gestin pblica orientado por
resultados es la evaluacin de los efectos de las intervenciones, cuyo fin es
proveer una valoracin analtica de los resultados de las polticas, instituciones y
19
programas pblicos .
El POR20 relaciona Productos-Recursos-Impactos (Beneficios Sociales) ejercicio
que se realiza bajo el Marco de Gasto de Mediano Plazo21(recursos planeados a 4
aos bajo restricciones determinadas)22. El presupuesto por resultados presupone
la fijacin de montos consistente con las metas (o productos) y objetivos claros
sobre el problema de gasto social (aumentos de cobertura, mejoramiento de la
calidad, etc.)23.
19
22
28
29
Objetivos institucionales
Objetivo 1:
Objetivo 2:
Productos
Total ($)
Producto 1:
Producto 1:
Producto 2:
Indicadores
Metas Unidad
medida
Indicador 1:
Indicador 1:
Indicador 1:
Indicador 2:
Marco de Gastos de
Mediano Plazo
Objetivos, productos,
metas y resultados
Soportado en:
Polticas Pblicas
Sistemas Integrados de Informacin
Estrategia de Rendicin de Cuentas
30
Sistema de Costeo
(actividades,
procesos,
productos,
polticas)
de
Planeacin estratgica
2.
Objetivos, con indicadores y metas. Los objetivos son las polticas pblicas
que buscan generar un cambio social frente a una necesidad manifiesta.
Expresan impactos que provienen de varias causas (sobre las cuales se
responsabilizan varias entidades).
3.
4.
2.
3.
24
31
4.
5.
6.
7.
8.
9.
32
Presupuestacin
Modificar,
ajustar,
corregir
Modificar,
ajustar,
corregir
1 Planeacin
Modificar,
ajustar,
corregir
Ejecucin
Modificar,
ajustar,
corregir
Seguimiento y Evaluacin
Ahora bien, este ciclo se debe desagregar para mayor claridad y concrecin en los
siguientes pasos ilustrados en la siguiente imagen:
33
Planeacin
Seguimi ento y evaluacin
Seleccin
de
indicadores
Valoracin
inicial
2
Acuerdos
sobre los
resultados
Papel de las
evaluaciones
Seleccin
de metas
Lnea de
base
Seguimiento
a resultados
Uso de los
resultados
10
Reporte a Sostenibilidad
resultados
del
sistema
Presupuestacin
Ej ecucin
34
b.
c.
35
26
36
Plan de Desarrollo
Poltica
Programa
Proyecto
37
Reportes de seguimiento
dirigidos al interior del
Gobierno y a la ciudadana
Plan Nacional de
Desarrollo: objetivos,
estrategias y programas
Genera responsabilidad
hacia los resultados
Definido con la
comunidad y basado
en resultados
Concertacin de
indicadores, metas y
elaboracin de lnea de
base para realizar el
seguimiento
Vnculo entre recursos y
resultados
Cumplimiento o
incumplimiento de las metas
programadas
Avance fsico y
presupuestal de los
indicadores establecidos
Asignacin presupuestal
de acuerdo con metas
programadas
38
Programas
Gestin de resultados de
las entidades
Apoya el proceso de toma
decisiones para mejorar
resultados y gestionar
procesos,
apoyar
la
rendicin de cuentas, la
planeacin
y
la
programacin
presupuestal.
De qu sirve evaluar?
El punto principal de evaluar es aprender para poder coordinar la administracin
de las organizaciones. Los resultados encontrados de una evaluacin:
a.
b.
c.
d.
e.
f.
g.
39
4. Mtodos de seguimiento
Existen diferentes mtodos, segn el tipo de seguimiento que se desee adelantar:
4.1 Seguimiento fsico-financiero
Es el que se realiza al programa o proyecto desde la perspectiva de su ejecucin
fsica y financiera. El objetivo de este seguimiento es el de detectar y corregir los
posibles problemas de ejecucin fsico-financiera que se presentan durante su
27
ejecucin . Para este tipo de seguimiento se emplean formatos tipo matriz, como
el que se presenta a continuacin:
Ilustracin No. 7. Programacin fsico-financiera
PROGRAMACIN FSICO FINANCIERA (Cifras en miles de pesos)
COMPONENTE
O CATEGORA
DEL GASTO
ACTIVIDAD
UND
CANTIDAD
VALOR
UNITARIO
VALOR
TOTAL
(A)
(B)
(C=A*B)
PARTICIPA
CIN
%
(D = C *
100/N)
PERIODOS
....
AO CALENDARIO
200...
%MF MFA VTMF VTMFA
200...
%MF
MFA
VTMF VTMFA
200...
%MF
1.
P
RP
E
P
......
RP
E
P
n
RP
E
E. TOTAL PROGRAMADO (1P +...P + nP)
F. TOTAL REPROGRAMADO (1R +...R + nR)
G. TOTAL EJECUTADO (1E +...E + nE)
27
40
Donde:
%MF, Porcentaje de meta fsica.
MFA, Meta fsica acumulada.
VTMF, Valor total meta financiera.
VTMFA, Valor total meta financiera acumulada.
P, programado.
RP, reprogramado.
E, ejecutado.
41
200_
E
200_
E
200_
E
200_
E
200_
E
Total
E
Poltica
Recursos (Millones de pesos corrientes)
Meta (%)
Meta Fsica Total_____Unidad de Medida_____
100
Programa 1
Recursos (Millones de pesos corrientes)
Meta (%)
Meta Fsica Total_____Unidad de Medida_____
Proyecto 1
Recursos (Millones de pesos corrientes)
Meta (%)
Meta Fsica Total_____Unidad de Medida_____
Proyecto 2
Recursos (Millones de pesos corrientes)
Meta (%)
Meta Fsica Total_____Unidad de Medida_____
100
100
100
Programa 2
Recursos (Millones de pesos corrientes)
Meta (%)
Meta Fsica Total_____Unidad de Medida_____
Proyecto 1
Recursos (Millones de pesos corrientes)
Meta (%)
Meta Fsica Total_____Unidad de Medida_____
Proyecto 2
Recursos (Millones de pesos corrientes)
Meta (%)
Meta Fsica Total_____Unidad de Medida_____
100
100
100
Notas:
1. Las metas no se deben acumular anualmente; solo acumule en la columna Total.
2. P: Programado; E: Ejecutado
Fuente: Direccin de Estudios Socioeconmicos y Regulatorios-Secretara de Desarrollo
Econmico. Metodologa de Formulacin de Indicadores. 2008.
42
43
% ponderac
frente
a
asignacin
presupuestal
200_
%
Grado
de
ponderacin cambio ante
con mtodo las
metas
propio
establecidas
Ponderacin
segn grado
de cambio,
ante
asignacin
presupuestal
Ponderacin Descripcin
segn grado criterio
de
de cambio, ponderacin
ante mtodo (mtodo
propio
propio)
Programa 1
Indicador 1
Indicador 2
Indicador 3
Proyecto 1
Indicador 1
Indicador 2
Indicador 3
Proyecto 2
Indicador 1
Indicador 2
Indicador 3
Programa 2
Indicador 1
Indicador 2
Indicador 3
Proyecto 1
Indicador 1
Indicador 2
Indicador 3
Proyecto 2
Indicador 1
Indicador 2
Indicador 3
Total poltica
Notas: Grado de cambio: 50 movimiento positivo mayor al 50%; 100 cumplimiento total; 0 sin cambio; 30 cambio entre 0 y 49%
44
45
46
47
48
49
50
28
Reducir los datos. Esto con el fin de transformar las respuestas en algo
manejable e inteligible. Este proceso involucra la decisin de descartar lo que
no es relevante en el estudio. Una forma de realizar este descarte, es
focalizarse y analizar lo que la mayora responde de forma similar, ya sea a
favor o en contra de un tpico. Lo anterior cuidando de no generar
51
Mostrar los datos. Esto se puede dar en un prrafo, diagrama, cuadro, etc.
Un Marco Lgico puede ayudar en este caso. De esta informacin se
resaltan los patrones sistemticos y las interrelaciones. Es muy importante
establecer el porqu, es decir, que las respuestas que den los encuestados,
siempre se acompaen de las razones o motivos de dichas respuestas.
Tambin es clave determinar la razn de las diferencias en las repuestas, es
decir, se requiere definir los sesgos. El seguimiento cualitativo debe ir ms
all de ranquear respuestas, pues se trata de conocer las razones de las
respuestas y el origen de los sesgos en las mismas.
3.
52
53
ALTO
(8 a 1 0)
54
Jus tifica ci n
C A LIFIC ACI N
M ED IO
(4 a 7) Justifica ci n
B A JO
(0 a 3)
Jus tifica ci n
sobre las cuales se conoce el umbral inferior (medida mnima esperada) . Con
este dato se pueden eliminar de la serie las observaciones de la muestra que
estn alejadas de la media.
El mtodo ms frecuente empleado por las entidades para recoger informacin
cualitativa es el de habilitar un espacio en sus pginas WEB institucionales para
quejas y reclamos. As revisan las opiniones y pueden compilar y analizar en qu
aspectos existen debilidades para poder fortalecer lo requerido.
4.6. Seguimiento a resultados
Se constituye en una funcin continua, a travs de la cual se hace una constante
recoleccin de informacin sobre indicadores especficos para la valoracin del
31
progreso y logro de los objetivos en el uso de unos recursos asignados . Aqu se
contempla el mtodo del estudio de los indicadores de producto, en metodologas
anotadas anteriormente.
5. METODOS DE EVALUACION EX ANTE Y EX -POST
Evaluacin cualitativa y cuantitativa: Aquella de tipo cualitativo se refiere a
entrevistas adelantadas en profundidad, discusiones en grupo o seminarios, tanto
para formular hiptesis como para probarlas. Cabe recalcar que el autor de este
29
La desviacin estndar, que se obtiene como la raz cuadrada de la varianza, demuestra qu tan
representativa es la media de la serie de datos analizada.
30
Basado en Manual de Oslo. OECD. 2005
31
Rist y Kusek. Banco Mundial. Diez pasos del Sistema de Seguimiento y Evaluacin. 2004
55
32
56
33
33
Basado en Grupo Asesor de la Gestin de Programas y Proyectos Pblicos, Gapi, DNP. Marco
Conceptual Banco de Indicadores Sectoriales. 2002
57
(1 + r )
i =0
Donde:
Bi = Beneficios del proyecto
Ci = Costos del proyecto
r = tasa de inters u oportunidad
i = nmero de periodos de tiempo (Ej. Tres aos, dos meses, etc).
Valga anotar que los valores del flujo de caja que se componen de los beneficios
menos los costos, deben estar en valor presente para que puedan ser
comparables al momento de su anlisis.
Lo que se debe realizar es una comparacin de varios flujos de caja para al menos
dos alternativas, y se escoger la alternativa que mayor VPN presente. Claro que
no es el nico argumento para escoger una alternativa frente a otra, por lo que es
pertinente calcular otros indicadores y ver qu beneficios (incluidos los
cualitativos) se pueden tener en cuenta para la mejor seleccin.
Valga anotar que el DNP contrat con recursos del BID, a principio de los aos 90,
el clculo de la Tasa de Oportunidad a tener en cuenta en los proyectos a financiar
con recursos pblicos, obteniendo una tasa del 12%. Esta se denomina Tasa
34
Social de Descuento y es la nica que se emplea para este tipo de proyectos
an a la fecha en Colombia.
34
Para conocer ms del tema, ver www.dnp.gov.co en Banco de Proyectos Estimaciones de las
Razones Precio Cuenta. 1992.
58
Igualmente, en este anlisis, se considera que una vez se determinen los costos y
beneficios, la razn eficacia en funcin de los costos (R) es R =costo/unidad (o
beneficio).
5.1.1.2
Evaluacin costo-eficiencia
La literatura comenta que esta evaluacin se lleva a cabo cuando el clculo de los
beneficios es muy costoso o dispendioso.
El autor de este escrito plantea que no se debe desestimar el clculo monetario de
los beneficios y que existen mtodos de relativo fcil empleo que pueden acercar
a un formulador y evaluador de proyectos a variables cualitativas cuantificadas.
Entre los mtodos ms comunes para calcular cuantitativamente los beneficios, se
encuentra el denominado Preferencia Revelada en donde se aplica el concepto
35
de Precios Hednicos (valorar un bien o producto por sus caractersticas; por
ejemplo, cunto se podra pagar por un paisaje que rena cadas de agua y fauna
silvestre frente a un paisaje que no tenga estas caractersticas o cunto se pagara
por un computador con cierto margen de memoria y esttica). Tambin se puede
mencionar el mtodo de la Preferencia Declarada, en el cual se aplica el
concepto de Valoracin Contingente (cunto se estar dispuesto a pagar por un
bien o servicio que puede no estar disponible en el futuro). Otros mtodos son el
35
Antonio Pulido. Precios Hednicos. El origen del trmino viene de ese viejo sistema filosfico,
hedonismo, que considera el placer como fin primordial de la vida. Revista Nueva Economa. 2001.
59
Este mtodo se basa en beneficios iguales para las alternativas en estudio, slo
que las alternativas presentan vidas tiles diferentes. Su frmula de clculo, es:
60
r + (1 + r ) n
CAE= VPC +
n
(1 + r ) 1
Donde:
36
Precios sombra o cuenta son aquellos que resultan de multiplicar los precios de mercado por las
Razones Precio Cuenta, entendidas como el factor de descuento que elimina las intervenciones del
Estado en los precios de mercado.
61
37
Una funcin de produccin se define como la relacin existente entre el producto y un conjunto
de insumos. Se define como la relacin o ecuacin matemtica que establece la mxima cantidad
de producto que puede obtenerse a partir de unos conjuntos determinados de insumos.
62
Donde:
Sij mortalidad infantil del nio j en la regin i
hij programa de planificacin
xij
eij
40
Coeficiente es un factor multiplicativo que pertenece a cierto objeto como una variable, un
vector unitario, una funcin base, etctera. Generalmente, los objetos y los coeficientes estn
indexados de la misma forma, conduciendo a expresiones como: a1 x1 + a2 x2 + a3 x3 + ...
63
41
64
65
66
67
43
42
Banco Mundial. Baker, J. Evaluacin del impacto de los proyectos de desarrollo en la pobreza.
2000.
43
Basado en Espinoza, G. BID. Fundamentos de Evaluacin de Impacto Ambiental. 2001
68
69
70
Los criterios utilizados para realizar la evaluacin se vinculan con los impactos
directos e indirectos sobre la poblacin, la fauna, la flora, el suelo, el aire, el agua,
los factores climticos, ruido, vibraciones, olores, emisiones luminosas, el paisaje
71
44
44
72
73
Se procede a una evaluacin del impacto en funcin del gnero para evitar
consecuencias negativas no intencionales y para mejorar la calidad y la eficacia de
48
las polticas .
Las evaluaciones de impacto de gnero nacen dado que se ha constatado que un
tratamiento igualitario, que no contenga discriminaciones directas, no produce,
necesariamente, el mismo impacto sobre la vida de mujeres y hombres.
Las diferentes posiciones de partida y realidades de mujeres y hombres dificultan
que se produzca un igual aprovechamiento de los beneficios derivados de la
actuacin de las polticas pblicas y las normas.
En las evaluaciones de impacto se valora el concepto de igualdad, que no significa
semejanza, sino homologacin (en derechos y oportunidades) entre hombres y
mujeres.
Para valorar el impacto de gnero, es necesario identificar, claramente, las
diferencias sociales y las causas que las producen. Adems, es necesario indagar
sobre las consecuencias que estas diferencias tienen sobre la posicin social de
mujeres y hombres y las oportunidades que unas y otros tienen de obtener
beneficios y disfrutar de derechos, en el mbito de la intervencin que se est
analizando. Entonces, en estas evaluaciones no se habla de beneficio puro, sino
de beneficio equivalente.
Este es un tema relativamente reciente en el mundo y los pases que implementan
este tipo de evaluacin concluyen, que se debe cumplir con los siguientes
objetivos:
48
Unin Europea. Gua para la evaluacin del impacto en funcin del gnero. 1997
74
5.5.
75
49
Los mecanismos que permiten saber en realidad que tan eficientes son los
proyectos, los programas y los planes trazados en vista de los medios
empleados para implementarlos y administrarlos.
Los instrumentos empleados para saber si se estn obteniendo los
resultados esperados de las intervenciones pblicas, o si han surgido nuevas
condiciones y propuestas que justifiquen cambios en los planteamientos
iniciales.
Los medios que proporcionan informacin sobre cuatro aspectos de la
implementacin de los proyectos y programas que conforman un plan:
o Su ejecucin en cuanto al plan inicial (Ejecutado vs Programado): se
refiere a las metas fsicas, recursos financieros econmicos y al
tiempo.
o Su eficacia en relacin con los objetivos de las instituciones y de los
grupos involucrados: se pretende medir el grado de solucin de los
problemas.
o Su eficiencia en el logro de dichos objetivos: mide los resultados de
calidad al menor costo, al menor tiempo.
o Su pertinencia: analiza la coherencia del objetivo de un programa
frente a los requerimientos de la resolucin de un problema. Esta
evaluacin se aplica a dos niveles. En el primero se hace una
apreciacin del programa en trminos de su capacidad de alcanzar
su objetivo final. Es decir, la evaluacin debe establecer, por
ejemplo, si el conjunto de los proyectos y acciones contemplados en
un programa de nutricin y salud preventiva es adecuada al alcance
de su objetivo: la reduccin de la tasa de mortalidad infantil. En un
segundo nivel se establece la pertinencia de cada uno de los
proyectos y acciones que forman parte del programa (en qu medida
los recursos materiales, financieros, humanos son ptimos para
alcanzar, en la forma ms eficiente, las metas establecidas por el
programa).
49
Basado en Grupo Asesor de la Gestin de Programas y Proyectos Pblicos, Gapi, DNP. Marco
Conceptual Banco de Indicadores Sectoriales. 2002
76
77
51
78
Por ejemplo, para adelantar la Lnea de Base que sirviera para la Evaluacin del Programa
Empleo en Accin, se recogi informacin sobre la situacin socioeconmica de los beneficiarios y
de aquellos contra los cuales lo beneficiarios seran medidos a futuro. Esto se realiz antes de la
iniciacin de las obras, lo cual permiti caracterizar la situacin antes de la intervencin.
79
80
54
55
la Secretara de
la evaluacin de
las poblaciones
ser atribuidos al
81
82
83
84
(f)
85
86
58
87
62
resultados .
Una definicin clara de escenario contrafactual se encuentra en CEPAL, Manual
para la Evaluacin de Impacto de programas y proyectos de lucha contra la
pobreza, as: Este enfoque establece que X (el programa) fue la causa de Y
(variable de impacto) si y solo si tanto X como Y ocurrieron, y si X no hubiera
ocurrido, tampoco lo hubiera hecho Y. La frase si X no hubiera ocurrido.. es
lo que se conoce como el contrafactual. As, la pregunta que responde este
mtodo de evaluacin de impacto es Cul hubiera sido la situacin de los
beneficiarios si ellos no hubieran participado en la intervencin o no hubieran
estado expuestos a la intervencin que se evala? Esto se calcula con la siguiente
frmula:
= Y1i -Y0i
Donde Y1i son las condiciones de vida que el individuo alcanz cuando particip
en el
programa, Y0i representa las condiciones de vida que el individuo hubiera
alcanzado en ausencia del programa, y es el impacto del programa sobre la
persona i.
El contrafactual busca aislar el efecto de factores externos al programa que
pudieron tambin haber causado las variaciones en las variables de impacto, para
determinar el efecto neto o impacto del programa.
Estimar el impacto de un proyecto requiere comparar la situacin actual de los
beneficiarios con la que hubieran experimentado en caso que de no haber sido
beneficiarios del proyecto. Dado que es imposible observar a los individuos en
estos dos escenarios al mismo tiempo, es necesario utilizar diseos de evaluacin
experimentales y/o cuasi-experimentales para construir un escenario contrafactual
que simule la situacin de los beneficiarios en el escenario de no participacin en
el programa. Estos diseos deben incluir como mnimo un grupo de tratamiento
(beneficiarios) y uno de control (escenario contrafactual o hipottico de los
beneficiarios en el escenario de no participacin en el programa).
62
88
64
89
65
Idem.
Universidad de Los Andes. Ral Castro. Metodologas y estudios de caso en la evaluacin de
proyectos de inversin pblica en educacin y salud. 2004
66
90
67
91
70
92
93
94
Navarro, H., para CEPAL. Manual para la evaluacin de impacto de proyectos y programas de
lucha contra la pobreza.
73
Autoseleccin en el tratamiento. Se considera un problema de seleccin en tanto las personas
interesadas en participar pueden apropiar los resultados por motivaciones personales fuera de la
intervencin. Por ejemplo, una persona que entra a un grupo de tratamiento mdico puede ser
95
75
Creado por Paul Rosenbaum y Donald Rubin en 1983. The Central Role of the Propensity
Store in Observational Studies for Causal Effects. Traduce: Correspondencia de puntuacin de la
propensin.
76
Una regresin logit permite estimar la probabilidad de cada variable, caracterstica u observacin
de un participante de un programa como de un no participante.
77
Se plantea, por parte del entrevistador, una ponderacin indicativa de los atributos, pero esta se
podr recalcular segn las respuestas.
78
Banco Mundial. Baker, J. Evaluacin del impacto de los proyectos de desarrollo en la pobreza.
2000.
96
97
98
80
99
5.7.
82
Datos que servirn para escoger la poblacin que har parte de la muestra. Aquellas personas
que no respondan igual a la media, no sern seleccionadas en la muestra.
100
E (Y NBt +1 D = 0)
101
SC = (Y Bt +1 Y NBt +1 )
En donde
E (Y Bt +1 D = 0)
102
83
103
84
85
En estadsticas y econometra, el trmino de datos de panel se refiere a datos que combinan una
dimensin temporal con otra transversal. Un conjunto de datos que recoge observaciones de un
fenmeno a lo largo del tiempo se conoce como serie temporal. Dichos conjuntos de datos estn
ordenados y la informacin relevante respecto al fenmeno estudiado es la que proporciona su
evolucin en el tiempo. Un conjunto transversal de datos contiene observaciones sobre mltiples
fenmenos en un momento determinado. En este caso, el orden de las observaciones es
irrelevante. Un ejemplo tpico de datos de panel es el de la Encuesta de Calidad de Vida que
recoge la evolucin de decenas de miles de hogares de Colombia entre por ejemplo, 1994 y 2005.
104
2.
3.
4.
86
86
87
105
(grupo de control) que sean considerados comparables con los primeros. Para la
aplicacin de esta metodologa es necesario contar con informacin posterior al
programa (t+1), tanto para los participantes como para los no participantes.
El mtodo tiene en cuenta aquellos individuos del grupo de tratamiento para los
cuales existe una persona o grupo de personas similares en el grupo de control. El
impacto del programa es solo estimable para este grupo de individuos. Para
lograr medir la similitud de un individuo del grupo de tratamiento y uno del grupo
de control es necesario recurrir a los modelos probabilsticos.
Anota el BID en Tcnicas para la Evaluacin de Polticas Pblicas, que el
mtodo de matching trata de acercarse al mtodo experimental obteniendo la
probabilidad ex-ante de participar en el programa
Para los dos grupos se debe estimar la probabilidad de formar parte del programa
dado un conjunto de variables condicionales (X) (ciertas caractersticas
socioeconmicas que explican la probabilidad de participar en el programa). Esta
probabilidad es la medida de similitud entre individuos.
0 < P( D = 1 X ) < 1
106
P( X B )
107
No Beneficiarios
P(X)
0.02
0.45
0.58
0.75
.
.
.
0.94
Ym , B = NBi =1 YNBi n
n
Debe encontrarse el valor m, B para cada uno de los integrantes del grupo de
tratamiento con el objetivo de encontrar la diferencia promedio para todos los
beneficiarios. El estimador Matching (m) permite llevar a cabo esta estimacin.
m=
B =1 (YB Ym,B )
Ht
108
(Y Y
90
88
109
110
92
i =1
111
=0
Por ejemplo, en el caso que aqu interesa, al intentar calcular el EPPP uno se
encuentra que para todo i tal que Di=1, el valor de Yi(0), el estado contrafactual
(grupo de control), no es observable.
Para enfrentar este problema, se recurre a construir entre los individuos elegibles
que no participaron en el programa, un grupo de control similar al grupo de
participantes en algunas variables de inters. Es decir, se construye una muestra
de N0 + N1 = N individuos elegibles, donde N0 es el tamao de la muestra de
control y N1, el de la muestra de participantes. El estimador del efecto promedio
del programa sobre los participantes ser:
EPPP = (1/N1) Di =1 (Yi(1) - i(0))
donde i(0) = es el estimador de Yi(0) construido sobre la base de informacin
pre-programa de los miembros del grupo de control que han sido emparejados con
el participante i.
Realizar un proceso de emparejamiento, es decir, de bsqueda de distancias
mnimas entre individuos, en un espacio multidimensional, puede fcilmente llevar
a un grado de complejidad que torne el problema inabordable. Sin embargo, bajo
ciertas condiciones, se puede lograr un resultado similar de manera mucho ms
sencilla si en lugar de utilizar todo el set de atributos pre-programa X, se usa el
mtodo del Propensity Score Matching. Es decir:
p(X) = Probabilidad ( D=1 | X ) = E [ D | X ]
El estimador del efecto de participar en el programa para los participantes puede
expresarse como:
EPPP = E[(Yi(1) - Yi(0))| Di =1]
EPPP = E[E[(Yi(1) - Yi(0))| Di =1, p(Xi)]]
EPPP = E[{E[Yi(1)|Di =1, p(Xi)] - E[Yi(0)|Di =0, p(Xi)] }| Di =1]
Para obtener las propensiones estimadas a participar es posible usar cualquier
mtodo de estimacin, por ejemplo el Logit.
112
93
113
94
95
114
Meta evaluacin
115
Plan
Poltica
Estrategia
Programa
Sumatoria
Insumo
Producto
Actividad
Proyecto
116
117
118
2.
3.
96
119
b.
98
97
120
99
99
Banco Mundial. Baker. J. Evaluacin del impacto de los proyectos de desarrollo en la pobreza.
2000
Este Programa tiene como objetivo contribuir a mejorar los niveles y la calidad del empleo de
jvenes de Sisben 1 y 2 de las 7 principales ciudades de Colombia, a travs de acciones de
formacin para conocer un oficio y adelantar prcticas laborales en empresas formalmente
constituidas. Estas acciones estn dirigidas a mejorar la empleabilidad, y en consecuencia las
posibilidades de insercin laboral y social de los jvenes beneficiarios del Programa.
121
102
122
103
Iniciativa ciudadana que desde el ao 1998, realiza la evaluacin de los cambios en la calidad de vida de
Bogot, sobre la base del impacto del plan de desarrollo y tomando en cuenta la opinin de la ciudadana. Ver
www.bogotacomovamos.org
123
Basado en DNP, BM y BID (2004). Programa Familias en Accin. Condiciones iniciales de los beneficiarios
e impactos preliminares. Bogot D.C.
124
125
126
127
Diferencias en diferencias
Pareamiento (Matching)
Lnea base
Primer
seguimiento
Lnea
base
0.0129
0.0315
0.0238
0.0407
(0.007)
(0.0092)
(0.0194)
(0.0198)
0.0505
0.153
0.0626
0.0979
(0.0129)
(0.0268)
(0.026)
(0.0419)
0.0276
0.0735
0.0334
0.0848
(0.0116)
(0.0112)
(0.0254)
(0.019)
0.0524
0.1243
0.1113
0.2005
(0.0217)
(0.0289)
(0.032)
(0.0542)
#
de
jvenes
pareados
Primer
seguimiento
Urbano
8-13 aos
14-17
aos
2,815
1,574
Rural
8-13 aos
14-17
aos
3,935
2,025
Del cuadro anterior se desprende que los mayores efectos del programa se
obtuvieron sobre los nios mayores de las reas rurales. La estimacin de
diferencias en diferencias muestra que el incremento en la asistencia escolar
causado por el programa pas del 5% al 12% desde el momento en que se realiz
la primera encuesta hasta el primer seguimiento. En la estimacin por matching
este porcentaje tambin se increment desde 11.13% hasta 20.05%.
Igualmente se observan efectos positivos sobre los nios mayores en las reas
urbanas, pero no se puede decir lo mismo acerca de los efectos sobre los nios
menores, en los que el incremento en la asistencia escolar es pequeo desde la
lnea de base hasta el primer seguimiento.
En Colombia, la evaluacin preliminar concluye que Familias en Accin ha
influenciado positivamente la tasa de inscripcin en la escuela de los nios entre
14 a 17 aos en las reas que comenzaron el programa, sin embargo, los
impactos del programa en la oferta laboral de los nios no son significativamente
128
129
106
130
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(i)
De otro lado,
(1)
(2)
(3)
(4)
(5)
(6)
131
107
107
www.ciudadhumana.org
132
133
SP = Servicios pblicos.
GO = Gastos operacionales.
Algunos de los resultados ms relevantes del estudio elaborado en el ao 2004,
son:
134
135
Fortalecer la prevencin
Reforzar la atencin de emergencia
Apoyar el restablecimiento
Brindar atencin Psico-social
136
En la evaluacin ex-post del programa, se obtuvo, entre otros datos, que el 60%
de los usuarios participaron en el funcionamiento de las obras, y el 35% en la toma
de decisiones para su seleccin. Tambin, que el 77% de las obras se encuentran
en excelente estado, el 21% en estado regular y que el 87% de los beneficiarios
se siente satisfecho con las obras. En cuanto a la utilizacin de las mismas, el
45% de los usuarios usan constantemente las obras, mientras que el 37% las
108
usan de vez en cuando .
Como conclusin, siempre es necesario desarrollar una poltica de evaluacin ex
post peridica de los programas en la cual debe considerar:
109
1.
2.
108
BID. Project Completition Report. Infraestructura Social y Gestin Municipal para la Paz
COLOMBIA. 2006.
109
Ver presentacin de este estudio en www.dnp.gov.co en Banco de Proyectos/Presentaciones y
Eventos
137
3.
4.
5.
6.
7.
8.
9.
138
139
7. GLOSARIO
Gestin: Grupo de acciones necesarias para transformar determinados insumos
en productos, en un periodo determinado y dentro del marco de una poltica,
programa o proyecto en particular.(Fuente: Metodologa General Ajustada para
Formulacin y Evaluacin de Proyectos. Bpin, 2002)
Efecto: Es el resultado de una accin, que puede darse en el corto, en el
mediano o el largo plazo (el del largo plazo se puede asimilar a Impacto). A nivel
de proyecto, el efecto es el segundo nivel de resultados dentro del ciclo del
proyecto, cuando ste comienza a generar los beneficios previstos en su
operacin. (Fuente: Metodologa General Ajustada para Formulacin y
Evaluacin de Proyectos. Bpin, 2002)
Efectividad: Impacto del programa o proyecto, esperado o no, fuera de su esfera
de accin. Se diferencia de los impactos generados propiamente por el programa
o proyecto en la comunidad objetivo. (Mtodos de Seguimiento y Evaluacin.
Direccin de Estudios Socioeconmicos, Secretara Distrital de Desarrollo
Econmico. 2008)
Eficiencia: Empleo apropiado y oportuno de los diversos recursos puestos a
disposicin para el desarrollo de un programa o proyecto. (Mtodos de
Seguimiento y Evaluacin. Direccin de Estudios Socioeconmicos, Secretara
Distrital de Desarrollo Econmico. 2008)
Eficacia: Cumplimiento de los objetivos esperados. (Mtodos de Seguimiento y
Evaluacin. Direccin de Estudios Socioeconmicos, Secretara Distrital de
Desarrollo Econmico. 2008)
Equidad: Se concreta en la bsqueda de instrumentos, recursos y mecanismos
para compensar y reparar las desigualdades, exige crear condiciones para el
pleno desarrollo personal por cuanto hace relacin al trato diferencial, y en
ocasiones preferencial, que requieren las personas o grupos en razn de su
situacin, generada desde sus diferencias y desventajas, lo que facilita garantizar
mayor acceso a la igualdad en el disfrute de sus derechos y recursos. (Gua
Complementaria para Proyectos de Inversin con Equidad de Genero. Bpin. 2006)
140
141
variable con respecto a otra. Un buen indicador debe ser claro, til para tomar
decisiones y actualizable cada vez que se necesite. Proporciona la capacidad de
medir el logro de los objetivos propuestos en torno a lo que se hizo, lo que se
est haciendo lo que se deber hacer en el futuro. Ejemplos: cobertura del
servicio de alcantarillado, porcentaje de desnutricin infantil, inversin en
construccin de vivienda de inters social. (Fuente: Sinergia a partir de Bpin,
2002, Bezzi, 2002 y OECD, 2002). Relacin entre variables que miden el
cumplimiento de las metas de acuerdo con los resultados esperados de un
proyecto o programa. Proporcionan una escala con la que puede medirse un
cambio real logrado. (Fuente: Metodologa General Ajustada para Formulacin y
Evaluacin de Proyectos. Bpin, 2002)
Indicador de gestin: Representacin cuantitativa de una variable en relacin
con otra, que permite medir los procesos, acciones y operaciones adelantados
dentro la etapa de implementacin de una poltica, programa o proyecto. Ejemplo:
horas de clase dictadas dentro de un programa de alfabetizacin. (Fuente:
Sinergia a partir de IBRD, 2000)
Indicador de formulacin: Representacin cuantitativa de una variable en
relacin con otra, que permite medir la calidad del diseo o formulacin de una
poltica, programa o proyecto. Ejemplo: Proyectos construidos dentro de un
programa de mejoramiento urbano, que contaban con estudios previos de
factibilidad. (Fuente: Sinergia)
Indicador de impacto: Representacin cuantitativa de una variable en relacin
con otra, que permite medir los efectos a mediano y largo plazos, generados por
una poltica, programa o proyecto, sobre la poblacin en general. Los efectos
medidos son aquellos directamente atribuibles a dicha poltica, programa o
proyecto especfico. Incluye efectos positivos y negativos, producidos directa o
indirectamente por una intervencin, sean stos intencionales o no. Ejemplos:
nivel de ingresos de profesionales con especializacin, aumento de la actividad
comercial de poblaciones con nuevas carreteras de acceso. (Fuente: Sinergia a
partir de World Bank, 1996 e IBRD, 2000)
Indicador de insumo: Representacin cuantitativa de una variable en relacin
con otra, que permite medir los recursos financieros, humanos y fsicos
necesarios para implementar una poltica, programa o proyecto. Ejemplos:
presupuesto anual del programa de mejoramiento vial, nmero de docentes del
142
143
144
145
146
8. BIBLIOGRAFA
Alcalda de Bogot. Departamento Administrativo de Planeacin Distrital. Circular
001 de Noviembre 5 de 2004.
Alcalda de Bogot. Secretara Distrital de Hacienda. Desarrollo Social de Bogot,
D.C. No. 1 de 2006
Alcalda de Bogot. Secretara Distrital de Desarrollo Econmico. Metodologa
para la Formulacin de Indicadores. 2007
Banco Centro Americano de Integracin Econmica. Estrategias para el
Desarrollo. 2005
Banco Mundial. Pautas para el Anlisis Econmico de Proyectos de Educacin.
1995
Banco Mundial. Bourguignon, F. y Pereira Da Silva, L. The Impact of Economic
Policies on Poverty and Income Distribution. Evaluation Techniques and Tools.
2003
Banco Mundial. Guerrero, P. "Comparative Insights from Colombia, China and
Indonesia", Evaluation Capacity Development, Working Paper Series, N 5,
Washington, D.C.,1999.
Banco Mundial. The contribution of social protection to the Milennium Goals. 2003
Banco Mundial. El Ciclo de los Proyectos. 2007
Banco Mundial. Baker. J. Evaluacin del impacto de los proyectos de desarrollo
en la pobreza. 2000
Banco InterAmericano de Desarrollo -BID. Lecciones aprendidas en la evaluacin
de proyectos de innovacin. Octubre 2005.
Banco InterAmericano de Desarrollo -BID. Espinoza, G. Fundamentos de
Evaluacin de Impacto Ambiental. 2001
147
Report.
148
149
150
151
152