Taller Evaluacin de polticas pblicas

Desafos en la construccin de
indicadores y el diseo de instrumentos
de recoleccin de datos
Programa de Evaluacin de Polticas Pblicas
Primera jornada de trabajo

Preparada por Mag. Mara Fernanda Potenza Dal Masetto
Las prcticas de evaluacin, como contexto para el
planteo de indicadores
Tipos de evaluaciones
Definicin de indicadores su relacin con
objetivos y metas
Caractersticas de los indicadores
Tipos de indicadores
Pasos en la construccin de indicadores
Medidas convencionales
Consejos prcticos malas prcticas
Ejemplos de indicadores genricos
TEMAS QUE TRATAREMOS
EVALUACIN


Es la emisin de un juicio de valor acerca de una
poltica, programa o proyecto.

Puede ser entendida como un proceso reflexivo que se
apoya en la formulacin de preguntas precisas sobre uno o
varios aspectos relativos al diseo, ejecucin o finalizacin
de programas o proyectos.
Dichos interrogantes se responden a travs de
procedimientos de recoleccin, anlisis e interpretacin de
informacin.
EVALUACIN


Es un insumo para orientar la accin, un proceso
permanente de aprendizaje y mejora, una herramienta
para la toma de decisiones.

Son mejor aprovechadas cuando:
- no es una experiencia aislada.
- forma parte de las preocupaciones del equipo que
gestiona la iniciativa desde su formulacin misma.
- responde a necesidades o preguntas de los propios
gestores.

TIPOS DE EVALUACIN



Momento

Tipo

En qu consiste?

Para qu sirve?
Durante
planifica
cin
Diag
nsti
ca
Estado de situacin integral sobre la
pertinencia y viabilidad del proyecto.
Anlisis de:
Principales problemas
Recursos existentes
Viabilidad del proyecto
Orienta las decisiones para la formulacin del
proyecto:
Identifica problemas no abordados
Identifica problemas ya abordados
Dimensiona poblacin beneficiaria potencial
Mapeo de actores relevantes. Posibles aliados y
resistencias.
Toma de decisiones sobre actividades a priorizar
para potenciar el proyecto.
Durante
ejecucin
Moni
toreo
Estado de avance de gestin.
Relevamiento continuo de
informacin. Basado en la
comparacin de lo que se est
haciendo con lo programado
Orientado a las decisiones que permitan la
correccin de problemas detectados a tiempo:
Detecta emergencias y soluciones a tiempo
Detecta dificultades, obstculos y logros
Ahorra recursos econmicos y humanos
Permite ajustar los recursos necesarios para
mayor impacto.

Momento

Tipo

En qu consiste?

Para qu sirve?
Inmediata
mente
despus
de la
finaliza
cin
De
resul
tados
fina
les
Evaluacin del grado de
cumplimiento final de los objetivos
especficos del programa y
procesos de la implementacin.
Identifica logros y dificultades en la
implementacin del proyecto
Analiza la eficiencia de la inversin realizada
Identifica las condiciones de sustentabilidad
Planifica los pasos siguiente
Dimensionar beneficiarios para futuros proyectos
Un
tiempo
despus
de la
finaliza
cin
De
impac
to
Compara la situacin actual con la
previa al proyecto para identificar
los cambios producidos.
Orientado a evaluar los logros de los objetivos
ms generales del proyecto y su posible
contribucin a la solucin del problema que lo
motiv.
Constata los cambios en condiciones de vida de
la poblacin y/o en sus actitudes
Indaga las causas por las que se dieron o no
ciertos efectos/impactos
Detecta efectos no esperados.
TIPOS DE EVALUACIN
EN SNTESIS
Al hablar de indicadores, debemos tener en
cuenta, en primer lugar, para qu tipo de
evaluacin los estaremos utilizando
Es una medida o apreciacin, directa o indirecta, de
un evento, una condicin, una situacin o un
concepto.

Permiten inferir conclusiones apreciativas acerca de su
comportamiento y variacin.

Permiten organizar la recoleccin de informacin
mediante la confeccin de instrumentos o protocolos
que facilitan la estandarizacin requerida.



INDICADORES: DEFINICIN
Por lo general se elaboran para permitir
comparaciones (respecto de su propia
evolucin dinmica, de estndares definidos
previamente o bien en relacin a otros
programas o unidades territoriales).

Los indicadores son el instrumento idneo para
articular los objetivos declarados (planes,
programas) con los resultados que se espera
obtener.
INDICADORES: DEFINICIN
Ventajas: capacidad de condensar una gran cantidad
de informacin en un valor nico y bien definido, fciles
de comunicar y de ser interpretados sin dificultad por
un pblico amplio, seala sin ambigedad el avance o
retroceso en el logro de un objetivo.

Limitacin: en tanto tratan de representar de manera
simplificada una realidad que es multidimensional o
multicausal, en su definicin siempre habr riesgo de
simplificar la realidad o de no reflejar completamente la
amplitud del objetivo.


INDICADORES: DEFINICIN
Los indicadores son el resultado de
operacionalizar los objetivos a alcanzar en el
marco de una poltica, programa o proyecto.

Se expresan en metas a partir de las cuales se
disean los indicadores que permiten medir el
grado en que fueron alcanzadas (Cohen y
Franco, 1988).
INDICADORES: VINCULACIN CON OBJETIVOS
Y METAS
Objetivo: es la expresin de lo que se quiere lograr, la
visin de futuro.
Meta: es el logro individual que se quiere conseguir en
un tiempo determinado y en una cierta magnitud.
Indicador: medidas concretas que se utilizan para
estimar el progreso hacia la meta.
Son necesarios para hacer operativos los objetivos y
esclarecer lo que realmente significan las metas.
Constituyen el grado de mayor especificacin de los
objetivos: si stos estn bien definidos, la construccin
de indicadores se ver facilitada.
INDICADORES: VINCULACIN CON OBJETIVOS
Y METAS
Objetivo: alcanzar la educacin bsica universal.
Meta: promover que en el ao 2015, todos los nios y
adolescentes puedan completar la educacin bsica
post-obligatoria (polimodal/media).
Definen los conceptos mencionados, plantean una
meta cuantitativa y un plazo concreto pero necesitan
ser complementadas por indicadores concretos que
ayuden al monitoreo y evaluacin de los progresos.
EJEMPLOS
Las metas deben ser ambiciosas pero, a la vez,
realistas.
Indicadores:
Tasa de escolarizacin de 12 a 14 aos
Tasa de alfabetizacin para jvenes entre 15 y 24 aos
Tasa de variacin de matrcula Polimodal
Tasa de retencin Polimodal
Tasa de egreso Polimodal
EJEMPLOS
Meta: promover que en el ao 2015, todos los nios y
adolescentes puedan completar la educacin bsica
post-obligatoria (polimodal/media).
Pertinencia conceptual/validez: debe hacer
referencia a aquello que realmente procura medir o
apreciar.

Verificabilidad: debe ser empricamente
contrastable.

Simplicidad e inteligibilidad: deben ser sencillos
para facilitar su lectura, interpretacin y uso.

CARACTERSTICAS DE LOS INDICADORES
Confiabilidad: deben generar confianza no slo
entre los productores de informacin (responsables
de cuidar la calidad de los datos) sino tambin
entre los usuarios de la misma.
Ante diferentes mediciones o recolecciones
efectuadas en las mismas circunstancias, en las
mismas poblaciones y al mismo tiempo, el valor del
indicador ser el mismo.

Utilidad: los usuarios de la informacin deben
percibir la utilidad del indicador como un
marcador de progreso hacia los objetivos o de
logro de resultados inmediatos o finales.

CARACTERSTICAS DE LOS INDICADORES
Disponibilidad o viabilidad de su construccin:
que puedan ser calculados a partir de fuentes de
datos disponibles.
Economa de costos en su recopilacin: que el
levantamiento de la informacin (censos,
encuestas, registros administrativos) y su
sistematizacin no implique costos demasiado
elevados ni tiempos excesivos, lo que condiciona la
sostenibilidad de su medicin.
Claridad: deben proporcionar medidas directas y
sin ambigedad de los progresos hechos a lo largo
del tiempo (por ejemplo, vinculacin entre cobertura de
vacunacin / gasto en salud por hogar y mejora en la situacin de
salud).
CARACTERSTICAS DE LOS INDICADORES
Especificidad: debe reflejar slo los cambios en la
cuestin o factor en anlisis, y no otros.
Sensibilidad: debe ser capaz de registrar los
cambios que se producen en las escalas que se
estn midiendo (desnutricin infantil o esperanza de vida al
nacer).
Representatividad: cubre todas las cuestiones y
los individuos que se espera cubrir.
Replicabilidad: no es nico para un proyecto, sino
que puede ser til para otros proyectos, debe
permitir ulteriores comparaciones.


CARACTERSTICAS DE LOS INDICADORES
Insumos: recursos con que se cuenta para realizar
las actividades.
Actividades: acciones que son llevadas a cabo.
Productos: lo que se entrega (bienes, servicios,
informacin, regulacin).
Efectos/resultados: cambios en los consumos,
comportamientos, actitudes o convicciones de la
poblacin objetivo.
Impactos: mejoras sostenidas en las condiciones
de vida que contribuyen a la transformacin
deseada (objetivo general del programa).
TIPOS DE INDICADORES: INTRODUCCIN
Objetivo (transformacin deseada): universalizar la
educacin.
Insumos: dinero, materiales.
Actividades: obras de reparacin y construccin
de edificios escolares.
Productos: edificios escolares reparados /
construidos.
Efectos/resultados: aumento en la inscripcin y
asistencia por mejora en las condiciones edilicias
de las escuelas.
Impactos: aumento en la cantidad de nios que
concurren regularmente a primaria.

TIPOS DE INDICADORES: INTRODUCCIN
Indicadores intermedios: asociados a insumos,
actividades o productos.

De recursos: miden los recursos financieros y
fsicos que se utilizan en un proceso (ej: dinero
invertido en nuevas aulas) o los recursos humanos
(ej. nmero de docentes disponibles).

De producto: miden los bienes y servicios
producidos por los recursos (ej. nro. de nuevas
aulas o de horas de clases disponibles).

TIPOS DE INDICADORES: INTERMEDIO Y
FINALES
Indicadores finales: asociados a efectos o
impactos.

Indicadores de efectos (tambin, de resultados):
miden el acceso a servicios y la satisfaccin con
ellos (tasa de matriculacin en enseanza
primaria).

Indicadores de impacto: miden nivel de bienestar
que persiguen las polticas (tasa de alfabetizacin).
TIPOS DE INDICADORES: INTERMEDIO Y
FINALES
Indicadores Ejemplos
De estructuras
(insumos y
recursos)
Plantas fsicas, equipamiento, herramientas, materiales, plantel
de recursos humanos, reglamentaciones y normas, sistemas de
informacin
De procesos
(actividades,
tareas)
Actividades de capacitacin, de asistencia tcnica, de
comunicacin, de entrega de bienes o servicios, talleres o
cursos realizados
De resultados
Productos Materiales didcticos producidos, documentos elaborados,
personas capacitadas, cobertura o alcance logrado con las
actividades
TIPOS DE INDICADORES: OTRAS
CLASIFICACIONES
Indicadores Ejemplos
Efectos Son los cambios buscados, previstos o programados para el
ciclo de ejecucin de una poltica. Son cambios positivos en la
situacin inicial, como consecuencia de la intervencin.

Ej: incremento en la retencin escolar, incremento en el uso
adecuado de preservativos.
Efectos no
previstos
Son los cambios positivos o negativos que no fueron
contemplados en la formulacin.

Ej: mejoramiento de los lazos familiares atribuibles a la
insercin laboral de los adolescentes
Impactos Cambios verificables en plazos mayores que el de los efectos
programados; o bien repercusiones ms amplias, en otras
poblaciones ms all de los destinatarios directos, en otras
localizaciones, en la agenda de otros actores, etc.

TIPOS DE INDICADORES: OTRAS
CLASIFICACIONES
Indicadores cuantitativos o cuantificables
Utilizan nmeros para describir un fenmeno (cifras
absolutas, tasas, proporciones o porcentajes).
Tambin pueden calcularse a partir de otros
indicadores (relacin de nias y nios en un
determinado nivel de enseanza, a partir de
nmero de estudiantes matriculados por gnero).
Pueden ser conteos puntuales (nmero de nios
vacunados) o mediciones continuas (porcentaje de
poblacin que vive por debajo de la lnea de
pobreza).
No son suficientes para comprender cmo se
producen los procesos.
TIPOS DE INDICADORES: CUANTIFICABLES Y
CUALITATIVOS
Indicadores cualitativos
Se utilizan para describir caractersticas intangibles
que son difciles de medir en trminos numricos.
Su informacin se expresa de forma nominal como
categoras puramente cualitativas u ordinales.
Pueden medir varias dimensiones de un fenmeno.
Resulta conveniente combinar adecuadamente
indicadores cualitativos y cuantitativos para tener
una imagen ms completa del avance de las
polticas (equilibrio entre indicadores ms duros y
juicios ms valorativos relacionados a aspectos
cualitativos).
TIPOS DE INDICADORES: CUANTIFICABLES Y
CUALITATIVOS
Objetivo: promover oportunidades laborales para los jvenes.
Actividad: oferta de cursos de formacin para el trabajo.


TRIANGULACIN DE INDICADORES
Cuantificable Cualitativo
Producto Cantidad de jvenes que
asistieron a los cursos
Conformidad de los jvenes con la
calidad de los cursos

Efecto Proporcin de jvenes
asistentes que adquirieron las
competencias esperadas para
determinado oficio
Cambios en los modos de
vincularse entre pares

Impacto Proporcin de jvenes que
lograron insertarse
laboralmente en tareas
vinculadas a la capacitacin
recibida
Relevancia de los cursos a los que
asistieron tanto para su futura
insercin laboral como para mejorar
la situacin de sus familias
Definir lo que se quiere medir: formularse
preguntas que apunten a precisar el sentido de lo
que se quiere medir.

Definir requerimientos de informacin: saber si
existe la informacin para implementar esas
mediciones, o bien crear un mecanismo para
recabarla.

Definir los indicadores: requiere precisar las
variables que se utilizarn, cmo stas se
relacionarn, la unidad de medida, la periodicidad
del clculo.
PASOS EN LA CONSTRUCCIN DE
INDICADORES
Definir estndares: plantear criterios de
comparacin, los cuales pueden ser de carcter
normativo o en base a la realidad de los resultados
histricos, o en base a comparar el desempeo de
unidades similares.

Proceso de elaboracin: obtencin de la
informacin, preparacin y centralizacin de datos,
clculo en s mismo.
PASOS EN LA CONSTRUCCIN DE
INDICADORES
TIPOS DE INDICADORES: MEDIDAS
CONVENCIONALES
Medias: promedio de dos o ms valores.
Media simple: suma de todos los valores divididos
por el nmero de esos valores.
Media ponderada: promedio de un conjunto de
valores, donde algunos elementos tienen ms
importancia que otros. Permite tomar en cuenta el
peso especfico de cada elemento del conjunto.



Ratio: relacin entre dos cantidades que se miden
en una misma unidad. Se expresa como un valor
dividido por otro. No tiene unidades (las unidades
del denominador y del numerador se cancelan
mutuamente (ej. nro. total de nias en enseanza
primaria / nro. total de nios en enseanza
primaria).
Proporciones: cuando una relacin se refiere a la
divisin de una parte por el todo.
Porcentajes: es la proporcin multiplicada por 100.


TIPOS DE INDICADORES: MEDIDAS
CONVENCIONALES
Tasas: cuando una relacin entre dos cantidades
es el cociente de un numerador y un denominador
que se expresan en diferentes unidades. Por lo
general, se expresan como unidades del
numerador por unidades del denominador (tasa de
mortalidad materna, que surge de dividir el nmero de muertes
maternas en un ao por el nmero de nacidos vivos).

Cuantiles: son puntos tomados en intervalos
regulares de un conjunto de datos ordenados, que
dividen la distribucin en n conjuntos de igual
tamao. Los cuantiles son los valores de los datos
que marcan la frontera entre esos subconjuntos.

TIPOS DE INDICADORES: MEDIDAS
CONVENCIONALES
- Procurar que sean vlidos y confiables.
- Redactarlos en lenguaje claro y preciso.
- Identificar una lista de posibles indicadores y
evaluarlos junto con los actores involucrados.
- Seleccionar los ms apropiados en trminos de
importancia y facilidad para la recoleccin de los
datos.
- Considerar si son consistentes en el tiempo, es
decir, durante la implementacin de toda la poltica,
programa o proyecto.
- Determinar su dimensin temporal, es decir, el
plazo de tiempo en el cual se evaluarn sus
resultados.

CONSEJOS PRCTICOS
- En lo posible, hacer anlisis de tendencias: al
contar con pocas cifras el anlisis se restringe
porque no podemos indicar progresos ni retrasos,
cunto falta para llegar a la meta, no proporciona
informacin sobre disparidades.

- Extrapolacin; a partir de la evolucin de los
indicadores, es posible deducir el comportamiento
esperado en el futuro, de no haber cambios
radicales en el contexto.

CONSEJOS PRCTICOS
- Comparaciones entre diferentes indicadores
(fenmenos complejos como pobreza)
- Uso de indicadores aproximados (proxy): cuando
resulta difcil el clculo de los indicadores porque
las fuentes de datos no estn disponibles o bien
porque la informacin es de mala calidad (ej: el
nivel de cloroflourocarbonos como proxy del
agotamiento de la capa de ozono).
- Verificacin cruzada de indicadores
- Empleo de diversas fuentes de informacin
CONSEJOS PRCTICOS
- Uso de indicador equivocado (ingreso en hospitales
como medida de demanda de servicios de salud).
- Comparacin de escalas diferentes (comparacin
del ndice de precios al consumidor de pases con canastas
de consumo diferentes).
- Anlisis o presentacin deficiente (olvidar multiplicar
la tasa de mortalidad materna por 100.000 para obtener el
nmero real de muertes maternas).
- Utilizacin de valores de mala calidad,
desactualizados o errneos.
- Extrapolacin muy distante de la fecha del ltimo
valor disponible
- Uso de indicadores proxy incorrectos

MALAS PRCTICAS
PREVENCIN EMBARAZO ADOLESCENTE
Producto Cantidad de adolescentes que asistieron a charlas
Efecto Conocimiento de mtodos para prevenir embarazos
Predisposicin al uso de mtodos para prevenir
embarazos
Impacto Reduccin del embarazo adolescente
ATENCIN DE LA VIOLENCIA FAMILIAR
Producto Cantidad de denuncias atendidas
Proporcin de denuncias resueltas en relacin con las
atendidas
Efecto Modificacin en la percepcin de la violencia (como
hecho natural o como problema)
Impacto Mejoramiento de los vnculos familiares
EJEMPLOS DE INDICADORES GENRICOS
Tema Indicadores
Cobertura Relacin entre beneficiarios y meta de cobertura
Relacin entre beneficiarios y poblacin objetivo
Focalizacin Proporcin de beneficiarios cubiertos que cumplen con los
criterios definidos por el programa
Progreso en
la ejecucin
Concordancia entre actividades ejecutadas y programadas (por
componente y global)
Cumplimiento de cronogramas: momento de comienzo y
duracin de cada actividad
Cantidad de actividades realizadas (por componente y global)
EJEMPLOS DE INDICADORES GENRICOS
Tema Indicadores
Progreso en
la ejecucin

Adecuacin de las metodologas de trabajo implementadas en
cada componente
Aprendizajes realizados a partir de las experiencias
Modificaciones en funcin de los aprendizajes
Resultados y
conformidad
Cambios en las situaciones de los beneficiarios (incluyendo
concepciones, conocimientos, conductas)
Concordancia entre resultados esperados y logrados
Conformidad de los beneficiarios
EJEMPLOS DE INDICADORES GENRICOS

Tema Indicadores
Construcciones Avance en la ejecucin de obras
Adecuacin de las obras con el propsito de uso
Calidad de la obra ejecutada
Equipamiento Cumplimiento de normas de compra
Adecuacin con lo programado (en elementos y en tiempos)
Adecuacin de los equipos con el propsito de uso
Administracin Cumplimiento de normas
Cumplimiento de fechas
Monto efectivamente rendido en comparacin lo
desembolsado por el programa
EJEMPLOS DE INDICADORES GENRICOS

Tema Indicadores
Ejecucin
presupuestaria
Grado de ejecucin global - Monto ejecutado respecto de lo
previsto (por rubros y global)
Estructura del gasto segn destino (administracin y otros)
Coherencia de lo ejecutado con las actividades previstas
Costo de las
prestaciones
Costos reales de las prestaciones brindadas
Costos reales en relacin con los costos de referencia
Carcter
participativo
Existencia de instancias (formales o informales) para la
participacin comunitaria
Tipo de participacin predominante
Amplitud de la participacin
EJEMPLOS DE INDICADORES GENRICOS

Tema Indicadores
Sustentabilidad
econmico
financiera
Cantidad de personal del programa pagado con fondos
propios
Diversificacin de fuentes de financiamiento significativas y
autofinanciamiento
Estructura de las fuentes de financiamiento
Capacidad para gestin de proyectos
Sustentabilidad
social
Grado de conocimiento por parte de la comunidad
Grado de confianza/adhesin por parte de la comunidad
Participacin
EJEMPLOS DE INDICADORES GENRICOS
INDICADORES DE PROCESO
Cumplimiento de la programacin presupuestaria
Monto ejecutado/monto proyectado x 100
Ejecutado acumulado en el ao/proyectado en el ao x 100
Gasto
Gastos operativos/gastos totales x 100
Gasto total por beneficiario
Grado de cumplimiento de la programacin por actividades
Actividades y tareas ejecutadas / actividades y tareas programadas
Tiempo real
Tiempo empleado en la realizacin de tareas programadas en relacin con el
tiempo previsto
Cumplimiento de metas
Nmero total de prestaciones realizadas respecto de las proyectadas
EJEMPLOS DE INDICADORES GENRICOS

INDICADORES DE PRODUCTO
Costo
Costo unitario (por unidad de producto, excluyendo los costos de gestin)
Calidad
Tipo de prestacin ofrecida en relacin los requerimientos de la prestacin
definida por el programa
Tipo de prestacin ofrecida en relacin con los requerimientos de la demanda
Oportunidad de la prestacin
Tiempo y forma de entrega de la prestacin
Entrega de la prestacin en relacin con las necesidades y tiempos de los
destinatarios
Uso
Uso efectivo de las prestaciones del programa por sus beneficiarios
EJEMPLOS DE INDICADORES GENRICOS

INDICADORES DE COBERTURA
Meta de cobertura
Beneficiarios proyectados / demanda potencial x 100
Cumplimiento de la meta de cobertura
Nmero total de beneficiarios atendidos / beneficiarios que est proyectado
atender
Grado de focalizacin
Porcentaje de los beneficiarios que cumplen con los criterios de focalizacin
definidos por el programa en relacin con todos los beneficiarios atendidos
Demanda

EJEMPLOS DE INDICADORES GENRICOS

INDICADORES DE RESULTADO
Alcances de los resultados
Resultados obtenidos en relacin con los objetivos especficos proyectados
Costo por resultados
Costo total del resultado
Resultados no esperados
Otros resultados obtenidos, positivos y negativos, no planificados en los
objetivos especficos
EJEMPLOS DE INDICADORES GENRICOS