Evaluacin de Polticas Pblicas

Centro de Investigacin y Docencia Econmicas (CIDE)

LAURA ATUESTA

EMAIL. LAURA.ATUESTA@CIDE.EDU

Requisitos de la clase
Horario: Martes y jueves, 11:10am- 1:10pm

Evaluacin:
Examen parcial: 25%
Examen final: 30%

Entrega parcial del trabajo: 10%

Entrega final del trabajo: 10%
Participacin y asistencia: 10%
Tareas: 15%
Asistencia: 10 puntos menos en el total de participacin y asistencia por cada ausencia.

Requisitos para el trabajo final

Estudiar un programa o proyecto pblico que se haya llevado en Mxico o en
Latinoamrica en los ltimos aos.
Presentar un plan de evaluacin siguiendo alguna de las metodologas enseadas en clase
(evaluacin cualitativa o cuantitativa, ex ante o ex post).
Pasos:
1. Presentar la propuesta del plan de evaluacin incluyendo el marco lgico del programa
(marzo 26).
2. Entrega final del plan de evaluacin (mayo 28).

Preguntas, dudas, sugerencias?

Introduccin a la
evaluacin de proyectos
OBJETIVOS E IMPORTANCIA DE LA EVALUACIN DE PROGRAMAS Y
PROYECTOS
DEFINICIN Y COMPONENTES DE LA DEFINICIN
TIPOS DE EVALUACIONES
CMO ASEGURAR UN BUEN DESEMPEO DEL PROGRAMA?

Por qu es importante realizar

evaluaciones?
Para ayudar a tomar decisiones acerca del futuro de los programas y proyectos.
Para valorar la utilidad de nuevos programas e iniciativas.
Para incrementar la efectividad en la administracin de los programas y proyectos.
Como rendicin de cuentas para presentarlo a los fundadores del programa.
El valor de la evaluacin est en medir la importancia de la evidencia producida por un programa o
proyecto, en la credibilidad de los resultados y en lo til que sea la informacin para las partes
interesadas.

Diseo de la evaluacin:

Qu preguntas va a responder la evaluacin?

Qu data se va a recolectar para responder estas preguntas?
Cmo se van a analizar estos datos?
Cmo se va a usar la informacin obtenida de este anlisis?

Propsito de la evaluacin
Proveer resultados vlidos acerca de la eficacia de los programas o proyectos
a las personas con responsabilidades o con intereses relacionados con su
creacin, continuidad o modificacin.
Quines son estas personas?
Clientes
Patrocinadores
Gobiernos
Acadmicos
Pblico en general

Evolucin de los programas sociales y su

evaluacin
En esta clase nos enfocaremos en programas sociales, los cuales empezaron a
implementarse cuando el Estado ejerci su rol en la provisin de servicios
pblicos.
Estos programas se llevaron a cabo por especialistas en administracin pblica y
polticas pblicas:
Personas entrenadas en ciencias sociales que buscaban entender las decisiones de poltica
pblica.
Economistas interesados en crear modelos de planeacin y en medir los efectos de los
programas sociales.
Politlogos contratados por el gobierno para entender la importancia de las polticas pblicas
y las responsabilidades en planeacin.
Las agencias de gobierno tambin crearon sus oficinas de evaluacin.

Quines son evaluadores?

Hay gran variedad de disciplinas haciendo evaluacin. La mayora tienen alguna experiencia en
anlisis de ciencias sociales.

El evaluador debera manejar diferentes mtodos relacionados con la investigacin social

(preparacin en social science methods).
Los perfiles de la Asociacin Americana de Evaluacin son:
Educacin

22

Psicologa

18

Evaluacin

14

Mtodos Estadsticos

10

Sociologa

Economa y Ciencia Poltica

Desarrollo organizacional

Otros

21

EVALUACIN
Componente acadmico

Entrenamiento estadstico
Metodologas
Teora de la evaluacin
Estudio de los efectos de los
programas sociales

Componente pblico
Valoracin y monitoreo de los
costos (sostenibilidad fiscal)
Evaluacin de los beneficios
obtenidos

Debate: Qu clase de evaluacin

queremos?
EVALUACIN CIENTFICA

EVALUACIN PRAGMTICA

Basada en mtodos de investigacin social.

Basada en el conocimiento del evaluador.

Busca criterios estandarizados de

comparacin.

Tiene en cuenta las experiencias personales de

los involucrados en el proyecto o programa.

Donald Campbell (1969): las polticas y

decisiones acerca del programa deben surgir
de la experimentacin social continua. Es
decir, cada evaluacin debe ser parte del
paradigma cientfico de investigacin.

Lee Cronbach (1982): la evaluacin es ms un

arte que una ciencia y cada evaluacin debe estar
diseada segn las condiciones del programa. A
pesar de existir estudios cientficos, las
evaluaciones deben tener en cuenta el contexto,
las circunstancias, las limitantes del programa y
los recursos disponibles.

Evaluacin de programas o proyectos

Uso de metodologas de investigacin social (social research) para investigar
sistemticamente la efectividad de una intervencin social que fue adaptada
a su ambiente poltico y organizacional, y diseada para informar a los
interesados de una manera que mejore las condiciones sociales actuales.
Componentes:

1. Uso de metodologas de investigacin social

2. Eficacia de la intervencin de programas o proyectos sociales
3. Adaptando la evaluacin al contexto poltico y organizacional del programa
4. Informando a los interesados para mejorar las condiciones sociales

1. Uso de metodologas de investigacin

social
Describir el rendimiento de la entidad que est ejecutando el proyecto basado un criterio estandarizado.
El evaluador debe construir una descripcin vlida de los aspectos del programa que va a evaluar. Esto
significa:
Que la descripcin es lo suficiente distintiva y precisa para poder hacer una evaluacin.
Que esta descripcin realmente representa lo que el programa estaba buscando.
Que esta descripcin est descrita adecuadamente y representa el grado de desagregacin necesario para poder
detectar diferentes niveles de rendimiento.

La evaluacin debe usar procedimientos que hayan sido estudiados e investigados anteriormente con el
propsito de construir descripciones del fenmeno social:

Observacin sistemtica
Mediciones
Muestreos
Diseo de investigacin
Anlisis de los datos

2. La efectividad de la intervencin de
programas o proyectos sociales
Toda evaluacin debe evaluar uno o ms aspectos del programa. Es decir, que la evaluacin de
sus componentes pueda ser comparada con un criterio estandarizado.
Evaluacin de programas sociales: evaluacin llevada a cabo con el propsito de mejorar
condiciones sociales o solucionar programas sociales. Dos caractersticas:
1. Producir beneficios sociales
2. Mejorar condiciones sociales

5 mbitos de evaluacin

1.
2.
3.
4.
5.

La necesidad del programa

El diseo del programa
La implementacin y la provisin de servicios
Los impactos o resultados del programa
La eficiencia del programa (costo-eficiencia)

Evaluacin de programa sociales

Eficacia, eficiencia, efectividad
Eficacia

Eficiencia

Depende de la definicin de un bien social que se espera obtener

mediante el mejoramiento de las condiciones sociales
Cmo se pueden obtener los mismos resultados con un mnimo de
costos?

Efectividad= eficacia + eficiencia

3. Adaptando la evaluacin al contexto

poltico y organizacional del programa
Cada evaluacin es diferente dependiendo de las circunstancias en las que se dise el
programa y normalmente requiere modificaciones y revisiones durante su implementacin.

Necesidad de disear un plan de evaluacin: basado en las preguntas acerca del programa
realizadas por aquellos que requirieron de la evaluacin y las personas interesadas en la
evaluacin.

Aunque las preguntas iniciales sean vagas o muy generales, el evaluador debe hacerlas explcitas
y descriptivas especficamente del programa a evaluar.

4. Informando a los interesados para

mejorar las condiciones sociales
El objetivo de esta clase es la evaluacin de programas sociales: si el propsito del programa es
mejorar la condicin social, el propsito de la evaluacin es mejorar estos programas.

El objetivo de la evaluacin es dar respuestas:

Cmo est funcionando el programa?
Qu est bien hecho y qu necesita de mejora?

La audiencia principal: aquellos con el poder de modificar el programa. Sin embargo, no son la
nica audiencia interesada (a quines ha afectado esta evaluacin?)

El rol de los programas piloto: son importantes porque en estos resultados se basar el diseo
del programa. Quines son los principales interesados?

Tipos de evaluaciones
Evaluacin ex ante

Evaluaciones intermedias

Marco lgico
Evaluabilidad
Anlisis costo beneficio
Anlisis costo efectividad

Evaluacin

Planes de monitoreo y
rendicin de cuentas

Evaluacin ex post

Evaluacin de impacto
Estudios de caso
Grupos focales

Evaluacin cualitativa

Marco lgico
Evaluabilidad
Monitoreo

Estudios de caso
Grupos focales

Evaluacin cuantitativa

Anlisis costo-beneficio
Anlisis costo-efectividad
Evaluacin de impacto

Combinacin de diferentes evaluaciones

Cualitativas y cuantitativas

Evaluaciones cuantitativas
complementadas con estudio
de caso.
Casos de estudio cualitativos
que se enfoquen en las
relaciones causa-efecto.

Evaluaciones en diferentes sitios

Mismo programa
implementado en diferentes
sitios.
Comparacin de resultados y
lecciones aprendidas en la
implementacin.

Diferencias entre poltica pblica,

programa y proyecto
Poltica pblica

Conjunto de objetivos, decisiones

y acciones que lleva a cabo un
gobierno para solucionar los
problemas que considera
prioritarios.
Educacin universal y alta
calidad educativa en todas las
regiones de Mxico

Programa

El programa se remite a una

construccin tcnica de la
poltica pblica, sin referirse a
procesos polticos o sociales.

Programa de educacin a
distancia y educacin
televisada

Proyecto

El programa se conforma con un conjunto

de proyectos. Los proyectos son
responsables de establecer las
prioridades de intervencin, son la
unidad mnima de asignacin de recursos
para el logro de uno o ms objetivos.
Imparticin de clases por
medio de televisin satelital a
comunidades indgenas

Cmo se mejora el desempeo de un

programa a travs de la evaluacin?
Anlisis de cuatro componentes:

1. Cmo vincular el enfoque de la evaluacin a las necesidades de los interesados?

2. Cmo identificar los elementos contextuales que se utilizarn durante la
implementacin de la evaluacin?

3. Cmo obtener el rigor metodolgico necesario para generar resultados confiables?

4. Cmo disear una evaluacin que sea til y que sus resultados sean extrapolables?

1. Cmo vincular el enfoque de una evaluacin

a las necesidades de los interesados?
OBJETIVO: que los interesados (clientes, patrocinadores, etc) entiendan los resultados de la
evaluacin.
Cinco preguntas que deberamos preguntarnos cuando consideramos hacer la evaluacin de un
programa:
1.

Los resultados de la evaluacin pueden influenciar las decisiones que se tomen con
respecto al programa?

2.

La evaluacin puede ser realizada a tiempo para que sea til?

3.

Es el programa lo suficientemente relevante para que se merite hacer una evaluacin?

4.

Se cree que el desempeo del programa es problemtico?

5.

Cul es la evolucin del programa? (evaluacin con enfoque de utilizacin- que los
resultados sirvan para la implementacin del programa).

2. Elementos contextuales usados en la

evaluacin
Formativa

Sumativa

Continua

Esttica

Observadores imparciales
Enfocada en metas
Cuantitativa
Orientada a problemas

Participativa
Sin enfoque de metas
Cualitativa
No orientada a problemas

3. Rigor metodolgico para obtener

resultados confiables
Reportaje claro
de las opciones
Apoyando la
inferencia causal

Escribir los resultados y las recomendaciones de

una manera que sean crebles y que estn
apoyados en bases fuertes

Validez estadstica
Validez externa

A medida que incrementan los niveles,

se mejora el nivel de credibilidad

Validez interna
Confiabilidad en la medicin

Validez de medicin

Construccin de una base fuerte

Inferencia causal: Validez interna y externa

Validez interna

Validez externa

Los resultados observados ocurrieron despus

de que el programa fue implementado?
En qu medida los cambios en los resultados
fueron mayores despus de implementado el
programa?
Qu factores sucedieron al mismo tiempo que el
programa?

Implementar los resultados a otros grupos

diferentes al programa.
Asegurar que la muestra seleccionada es
representativa de la poblacin.
Identificar subgrupos de poblacin y asegurar
que estn representados

DIFICULTADES: (i) factores paralelos; (ii) problemas de timing; (iii) fallas en el diseo y la implementacin

4. Diseo de evaluaciones tiles con

resultados extrapolables
Comparar diferentes diseos de evaluacin, su factibilidad y sus costos.

Balancear el rigor metodolgico con los recursos disponibles.

Siempre pensar en cmo se van a usar los resultados y qu decisiones se van a tomar con base
en estos resultados.
Hacer un plan de la evaluacin:

Las medidas que se van a usar.

El diseo de la evaluacin
Mtodos estadsticos a usar
La recoleccin de datos
El anlisis de datos
La confiabilidad de los resultados

Matriz para el diseo de una evaluacin

Preguntas de
investigacin

Criterios usados,
informacin
requerida y fuentes

Alcance y
metodologaconfiabilidad de los
datos

Limitantes

Qu preguntas el
evaluador est
tratando de
responder?

Qu informacin
necesita el evaluador
para contestar la
pregunta? Dnde va
a obtener esta
informacin?

Cmo el evaluador
contestar esta
pregunta?

Cules son las

Cules son los
limitantes del diseo y resultados esperados
cmo van a afectar el de la evaluacin?
resultado de la
evaluacin?

Pregunta 1
Pregunta 2
Pregunta 3

Qu podr decir el
patrocinador con los
resultados de esta
evaluacin?

Ejercicio en grupos
4 proyectos para ser evaluados.
Cada grupo va a preparar la matriz para el diseo de la evaluacin y la presentar al resto de la
clase.
Proyecto 1
Jornada Nacional contra el
Hambre

Proyecto 2
Programa de Agua Limpia

Proyecto 4
Fondo PYME y Programa de Creacin
de Empleo en Zonas Marginadas

Proyecto 3
Programa de Becas de
Madres Jvenes y Jvenes
Embarazadas

Relacin entre las partes interesadas y

los evaluadores: como ayudar a disear
una intervencin evaluable?

EL ROL DEL EVALUADOR EN LA JUSTIFICACIN DEL PROGRAMA O

PROYECTO.

EL ROL DEL EVALUADOR EN EL DISEO DEL PLAN DEL PROGRAMA

O PROYECTO.

El rol del evaluador desde el principio

El evaluador debe estar involucrado en la intervencin desde el principio del programa o
proyecto.
2 formas:
1.

Colaborando en la realizacin de una buena justificacin del programa.

2.

Colaborando en la preparacin del plan del programa.

Tanto la justificacin como la preparacin del plan conforman la infraestructura de la

intervencin.

justificacin del programa: llama a la accin.

plan del programa: da los procedimientos para generar dicha accin.

Relacin entre la justificacin y el plan

del programa
Cul es el problema que
vamos a solucionar?

Qu intervencin
vamos a usar para
atacar los
determinantes del
problema?

Cul es la poblacin objetivo en

la que nos vamos a enfocar?

Cules son los

determinantes que
estn causando el
problema?

Cules son los

objetivos del
programa?

Justificacin del
programa

Modelo de cambio

Preguntas durante la justificacin del

programa
Las preguntas que deben responderse en la justificacin son las siguientes:

1.

Cul es el problema que la intervencin trata de solucionar?

2.

Qu poblacin recibir la atencin?

3.

Cules son las metas medibles que tendr el programa?

4.

Cuales son los determinantes que van a crear este cambio?

5.

Cmo la intervencin puede afectar estos determinantes?

Por qu se necesita la justificacin del

programa?
Existen tres razones principales para hacer una justificacin del programa:

1.

Para mejorar la comunicacin entre el director del programa, el staff y la audiencia fuera y
dentro del programa.

2.

Para tener una visin clara de lo que se quiere hacer, y as tener programas focalizados y
eficaces.

3.

Para establecer la base para que despus se pueda realizar una evaluacin sobre los
resultados del programa.

Estrategias del evaluador para elaborar

una buena justificacin
Hay muchas formas en cmo el evaluador puede ayudar a mejorar la justificacin. Las tres
estrategias ms usadas son las siguientes:

1.

La estrategia de informacin de contexto

1.
2.

Evaluacin de necesidades
Investigacin formativa

2.

Estrategia para facilitar el desarrollo

3.

Estrategia de solucin de problemas

1. La estrategia de informacin de contexto

EVALUACIN DE LAS NECESIDADES
Identifica, evala y prioriza las necesidades de
una comunidad.

INVESTIGACIN FORMATIVA
Mejor descripcin de las caractersticas
culturales y de contexto de los clientes.

Facilita la seleccin de metas y la seleccin de

los grupos de control.

Recolecta informacin sobre cules son las

opiniones que los clientes tienen sobre los
programas propuestos.

Estudia a la poblacin a travs de encuestas,

grupos focales y entrevistas.

Hace un muestreo de las opiniones de los

clientes sobre posibles metas e
intervenciones.
Mtodos de investigacin utilizados: grupos
focales y entrevistas

Ejemplo de programa en Hawaii para disminuir el cncer de piel en nios en edad escolar

2. Estrategia para facilitar el desarrollo

El evaluador se convierte en un facilitador de los administradores para ayudarlos a
conceptualizar su justificacin o plan del programa.
Hay cuatro etapas en la estrategia para facilitar el desarrollo:
1.

Identificar el problema

2.

Identificar a la poblacin objetivo

3.

Identificar las metas y generar resultados medibles

1.
2.

4.

Que las metas sean las deseadas y que sean factibles

Que se distingan las metas de largo y corto plazo

Identificar los determinantes que van a cambiar los resultados

Acciones, metas, resultados y

determinantes
Acciones: son actividades que se crean para fortalecer el sistema de implementacin.

Metas: son conceptos abstractos de lo que se espera llegar con el programa. Todas las metas
deben ser compatibles.
Ejemplos de metas incompatibles entre s.

Resultados: son declaraciones concretas y concisas que indican el propsito del programa. Tiene
que estar bien definidas y estar basadas en trminos medibles.
Ejemplos de resultados no medibles.

Determinantes: son los factores o fuerzas que van a cambiar los resultados. Los determinantes
son los causantes del problema.

3. Estrategia de solucin de problemas

El evaluador es llamado para hacer revisiones empricas del programa. Principalmente busca
saber si la poblacin objetivo acepta el programa tal como est previsto.

Mtodos: grupos focales, entrevistas y encuestas de opinin.

Tres preguntas relevantes:

1.

Son las metas de la justificacin del programa apropiadas y razonables de acuerdo al

programa que identifica la poblacin objetivo?

2.

Es probable que los determinantes que se identifican en la justificacin tengan un impacto

en la poblacin objetivo?

3.

Ser la intervencin aceptada por la poblacin objetivo?

Cmo los evaluadores pueden ayudar a

la elaboracin del plan del programa?
Los evaluadores normalmente trabajan en los seis componentes que tiene el modelo de accin
para el programa:
1.

Implementando la organizacin: evaluar, mejorar y asegurar la capacidad

2.

Protocolos de intervencin y de provisin de servicios: delineando el contenido de los

servicios y los procedimientos para su entrega

3.

Implementadores del programa: reclutando, capacitando y manteniendo la calidad y el

compromiso.

4.

Asociaciones con otras organizaciones: estableciendo las colaboraciones

5.

Contexto ecolgico: buscando apoyo externo

6.

Poblacin objetivo: identificacin, reclutamiento, evaluacin y servicio