EVALUACIÓN DE PROGRAMAS Y POLÍTICAS PÚBLICAS

¿Qué son las políticas públicas? -> Producto de las decisiones de gobiernos.

Los gobiernos – conjunto de organizaciones que combinan recursos (jurídicos, organizativos, humanos y tecnológicos)
PRODUCEN = POLÍTICAS PÚBLICAS, PROGRAMAS Y SERVICIOS PÚBLICOS.

Las políticas públicas

 Conjunto de OBJETIVOS, DECISIONES Y ACCIONES que llevan a cabo los gobiernos
 Son fruto de un proceso que arranca cuando un decisor público / directivo público detecta un problema público
 Este proceso finaliza con la EVALUACIÓN DE LA POLÍTICA PÚBLICA.

EL CICLO DE LA POLÍTICA PÚBLICA

Es un proceso = CÍCLICO / SISTÉMICO

Las fases de las políticas públicas

1. Identifica y define el problema

2. Formulación alternativas
3. Adopción de una alternativa
4. Implantación de la alternativa
5. Evaluación de resultados

EN RESUMEN: a este conjunto de decisiones y acciones emprendidas por los gobiernos para influir sobre el
PROBLEMA lo llamamos POLÍTICAS PUBLICAS.

¿QUÉ ES EL ANÁLISIS DE POLÍTICAS PÚBLICAS?

 Conjunto de técnicas, conceptos y herramientas destinadas a mejorar el impacto de las políticas públicas.
 En análisis de políticas/programas no es un ejercicio técnico sino “construir sentido”
 El analista de políticas genera información para mejorar la toma de decisiones políticas buscando reforzar la
legitimidad de los poderes públicos

El analista busca generar información

Factores externos a la administración pública:

 Identifica problema
 Dimensiones del mismo
 Colectivos afectados
 Recursos necesarios

Factores internos a la política o el programa:

 Implicación y comportamiento de los actores sociales críticos
 Los objetivos y las metas: valoración de la adecuación.
 Métodos e instrumentos utilizados (humanos, materiales tecnológica, simbólicos, etc.)

Importante resaltar que, el analista de políticas públicas filtra la realidad basada en:

 Valores (creencias sobre el problema y sus soluciones)

 Capacidades técnicas.
 Interés
 Grado de información.
1ª IDENTIFICACIÓN Y DEFINICIÓN DEL PROBLEMA

Características de la fase de definición del problema

 Es una fase a la que tradicionalmente no se le ha dado mucha importancia.
 Los poderes públicos siempre han comenzado tratando de buscar una solución rápida - el problema se define
objetivamente.
 La importancia estaba en la FORMULACIÓN.
 La experiencia ha demostrado que la DEFINICIÓN DEL PROBLEMA ES FUNDAMENTAL en su tratamiento y formas
de encauzar los problemas públicos.

Fase de diseño de la agenda

 El planteamiento es: los poderes públicos no pueden atender todos los problemas sociales.
 No todos los problemas detectados son prioritarios para el decisor público.
 Sólo algunos tienen entidad para convertirse en problemas públicos.

DOS TIPOS DE AGENDAS:

1. Agenda sistémica: todos los problemas que preocupan a la sociedad.

2. Agenda institucional o política: problemas considerados prioritarios por el directivo público.

LA AGENDA POLÍTICA
 Es condición necesaria pero no suficiente que un problema entre en esta agenda para que sea objeto de una
POLÍTICA PÚBLICA.
 En muchas ocasiones los problemas entran en esta agenda pero poco después desaparecen.
 Existe también “incubación de problemas”
 Los temas permanecen largo tiempo en la agenda sin un tratamiento hasta que llega su momento.
 Ello ocurre por diversas causas:
 Desaparición del problema de la agenda sistémica
 Pérdida de interés del directivo por el problema
 Búsqueda infructuosa de recursos
 Aparición de problemas más graves

Agenda Política: características

1. Es más estable que la Agenda sistémica.

2. En esta agenda encontramos problemas viejos y
problemas nuevos.

Se explica porque los problemas públicos difícilmente

tienen una solución definitiva. Pongamos por ejemplo:
 La seguridad ciudadana.
 El tratamiento de los presos y su reinserción.
 Las dificultades de acceso a la vivienda.
 La integración social de colectivos inmigrantes.
2 ª FORMULACIÓN
FORMULACIÓN DE LA POLÍTICA

LA TOMA DE DECISIONES EN LA FORMULACIÓN DE LAS POLÍTICAS PÚBLICAS

4 ª IMPLEMENTACIÓN

IMPLEMENTACIÓN: Características

a) Tradicionalmente no se le concedió importancia

b) Lo importante era la decisión.
c) Erróneamente se consideró que los órganos encargados de aplicar la política funcionan de forma mecánica –
automática – como una máquina (BUROCRACIA)
d) De hecho durante mucho tiempo esta fase no fue considerada parte de la política pública.
5 ª EVALUACIÓN DE LA POLÍTICA PÚBLICA
La evaluación es la última fase del proceso de la política pública, y al tiempo la primera.

Se justifica porque,
 Generalmente no se tiene toda la información sobre los problemas sociales objeto de la política.
 Estos problemas son conocidos parcialmente.
 Existen condicionantes políticos que obligan a soluciones de compromiso / reducción conflicto de intereses.
 Generación de impactos imprevistos.
 Capacidades limitadas / inadecuadas de las administraciones.

EL RESULTADO DE LA EVALUACIÓN

Lo más normal es que lleve a introducir cambios en algunos aspectos, reformas, en función de la nueva situación del
PROBLEMA.
 La evaluación no es una mera función técnica, sino que tiene una importante componente POLÍTICA.
 En Democracia los resultados de la evaluación tienen diferentes utilidades.

UTILIDADES DE LA EVALUACIÓN
1. El control parlamentario de las acciones del ejecutivo y sus administraciones.
2. La presentación de resultados a los usuarios de los servicios públicos.
3. La legitimación de reformas, cambios organizativos, políticas de ajustes de recursos.
4. Mantenimiento de la confianza y la cooperación de actores implicados en un programa.
5. Reforzamiento o no de la reputación de eficacia, eficiencia, oportunidad de una política.
6. Reforzamiento de un tipo de liderazgo y las oportunidades de apropiación presupuestaria.

En resumen

En los sistemas políticos democráticos, los gobiernos necesitan legitimarse por los RESULTADOS DE SUS
DECISIONES Y POLÍTICAS.
a) Necesitan mostrar los LOGROS alcanzados.
b) LA EVALUACIÓN OFRECE UN INSTRUMENTO DE JUSTIFICACIÓN DE LA ACCIÓN POLÍTICA
c) Tiene la VIRTUALIDAD DE SERVIR PARA PRESENTAR RESULTADOS a los ciudadanos / beneficiarios.

La justificación última de la EVALUACIÓN es el EJERCICIO DE LA RESPONSABILIDAD DEMOCRÁTICA Y LA

EFICACIA DE LA MISMA.

Esta función política tiene plena justificación en nuestro sistema político administrativo

 Existencia en nuestro estado de una gran cantidad de políticas y

programa de GESTIÓN INTERGUBERNAMENTAL.

 Implica la implementación de programas por distintas

administraciones pertenecientes a tres niveles gubernamentales:
LA EVALUACIÓN: METODOLÓGICAMENTE

La evaluación se vale de las técnicas y métodos de investigación de las ciencias sociales.

 Con la finalidad de valorar,

o La conceptualización
o El diseño
o La implantación
o La utilidad

Distintos tipos de evaluación

La evaluación (una definición ampliamente aceptada) → «un proceso sistemático de búsqueda de evidencias para
formular juicios de valor que orienten la toma de decisiones»

Fundamentado en tres pilares:

 EVIDENCIAS
 VALORES
 DECISIONES
LA FUNCIÓN EVALUADORA

Principios orientadores y directrices

La evaluación como proceso de generación de conocimiento de carácter:

 Sistemático
 Razonado
 Apoyado en evidencias
 Incluye juicios de valor sobre criterios explícitos
 Finalidad de utilidad práctica

La utilidad práctica de la función evaluadora es contribuir:

 Mejorar la eficacia de las intervenciones públicas
 Impulsar la transparencia
 El aprendizaje
 La rendición de cuentas

La función evaluadora tiene un ENFOQUE:

 Pragmático
 Riguroso
 Adaptado al objeto
 Adaptado a los objetivos de cada evaluación

Las evaluaciones deben construirse sobre la base de los siguientes principios:

 Evidencias (certezas, certidumbres manifiestas y perceptibles en las que apoyar nuestras valoraciones)
 Mediante el uso de técnicas rigurosas
 Recoger la opinión de los principales actores implicados
 Aplicarse de forma eficiente
 Siguiendo estándares de calidad
 Comunicarse de manera que facilite su uso por el decisor
 Favorezca el aprendizaje organizativo
 Generación cultura de la evaluación

Estos principios los agrupamos en tres categorías

A. El marco institucional y organizativo de las actividades de la evaluación
B. La planificación de las actividades de evaluación.
C. El proceso de evaluación: incluyendo la fase de comunicación y seguimiento

A. El marco institucional y organizativo de las actividades de la evaluación.

Atenderán al cumplimento de los acuerdos y principios institucionales que rigen la evaluación y el trabajo del equipo
de evaluadores.
 Orientaciones del trabajo de evaluación: especialmente desde un punto de vista del manejo de la información,
desarrollo metodológico y calidad.
 Asesoramiento en el desarrollo de las líneas de trabajo, obtención de evidencias y análisis de riesgos.

B.- Planificación de las actividades de evaluación

C.- Fases del proceso de evaluación

1.- FASE: ANÁLISIS DEL ENCARGO

1. Estudio preliminar: definiendo del objeto a evaluar, la justificación, alcance y contenido, las principales fuentes
de información y preguntas a responder, las partes interesadas, todo esto se detallara en un primer informe.
2. Configuración del equipo evaluador: seleccionados de acuerdo a los conocimientos, aptitudes, capacidades y
experiencia relacionados con la evaluación.

2.- DISEÑO Y PLANIFICACIÓN DE LA EVALUACIÓN

Desarrolla la lógica de la evaluación, definición de los Términos de Referencia TdR (documento que acota el objeto,
presenta el enfoque de la evaluación y recoge el acuerdo entre las partes interesadas) y en su caso en el plan de
evaluación (Instrumento operativo: clave para la gestión: recoge detalles relativos al reparto de tareas, cumplimiento
de plazos y responsabilidades del equipo evaluador) si este figura como documento independiente del anterior.
Plan de evaluación + cronograma actividades.

Estrategias para el diseño de la evaluación

Estrategias para profundizar en el conocimiento de la intervención:

 Identificación de las fuentes de información
 Reconstrucción de la lógica de la intervención
 Objetivos, medidas, resultados e indicadores
 Verificación del grado de implementación de la intervención, de los estudios o análisis existentes en ámbitos
comparables y de la existencia de mecanismos de seguimiento, control y evaluación.

Estrategia negociadora y de comunicación

 Identificación de actores e informantes clave y establecimiento de los procedimientos de comunicación y
relación con los mismos
 Determinación de las necesidades de información de los distintos actores.

Estrategia metodológica
 Delimitación del alcance de la investigación
 Elaboración de matriz de evaluación preliminar, con el repertorio de posibles preguntas
 Criterios de evaluación, indicadores, fuentes y tipología de la evaluación a desarrollar.
 Selección de las herramientas y técnicas a aplicar.

Estrategia organizativa
Configuración del equipo definitivo (incluido colaboradores para el desarrollo del trabajo de campo)
 Establecimiento de un PLAN DE TRABAJO
 Elaboración de los Términos de Referencia. TdR (normas principios y compromisos de la evaluación)
Recoge: objeto, alcance y propósitos de la evaluación. Contexto institucional, y socioeconómico, actores
implicados, preguntas y tipo de evaluación solicitada.

(ANEXO I recoge los productos o documentos resultantes del proceso de evaluación)

(ANEXO II elementos a considerar para la elaboración de los Términos de Referencia (TdR)
3.- FASE. EJECUCIÓN.
Desarrolla el trabajo de campo, aplicando las técnicas seleccionadas, recopilando información y analizando e
interpretando los datos.
4.- FASE. RESULTADOS:
El Informe. Descripción de los principales elementos de la evaluación, presentando evidencias y hallazgos. Aportando
conclusiones y recomendaciones.
5.- FASE COMUNICACIÓN Y UTILIZACIÓN DE LAS EVALUACIONES.
En esta última fase se comunican los resultados de la evaluación, se da publicidad y desarrollan actuaciones para la
promoción de la utilización del informe. Asimismo, se lleva a cabo un seguimiento del Informe y se extraen lecciones del
proceso.

Producto final: INFORME DE RESULTADOS

¿EN QUÉ COSISTE LA EVALUACIÓN?

Vamos a comparar los resultados obtenidos en la ejecución del programa con los establecidos en su diseño:

Para ello revisaremos:

 ¿Qué se pretendía hacer? – PREVISIONES

 ¿Qué se ha conseguido? - REALIZADO
 ¿Cómo se ha llegado hasta aquí? -ESTRATEGIA

Necesitamos información que nos permita conocer qué se ha hecho y cómo en términos de EFICACIA, EFICIENCIA E
IMPACTO.

La evaluación nos debería permitir

1. Identificar progresos
2. Detectar problemas en la planificación y/o implementación
3. Proponer ajustes/cambios

¿Qué supone la evaluación del proyecto?

 Evaluar supone recordar qué se pretendía conseguir, cómo y para qué.
 Conocer qué impacto se quería lograr en la realidad social en la que se interviene.
 Valorar el progreso en términos de lo que se quería conseguir.
 Revisar la estrategia del proyecto y la organización.

Respondiendo a las preguntas:

 ¿El programa tenía una estrategia?
 ¿Ha sido efectivo?
 ¿La estrategia era pertinente? Y SI NO LO FUE ¿Por qué?

REVISAR CÓMO SE HA TRABAJADO:

 ¿Los recursos se utilizaron de manera eficiente?
 ¿Se han valorado los costes de oportunidad? ¿Se hizo según lo
expresado en el proyecto? ¿Es el proyecto sostenible?
 IMPLICACIONES PARA LOS DISTINTOS GRUPOS DE
INTERÉS.
PODEMOS HACER DOS TIPOS DE EVALUACIONES

EVALUACIÓN INTERNA: evaluación realizada desde dentro:

¿Qué implicaciones?

Este tipo de evaluaciones desde dentro tiene sus:

VENTAJAS:

 Conocimiento de la organización: misión, visión y objetivos

 Es entendida como una herramienta de gestión, genera menos rechazo que la evaluación externa.

DESVENTAJA:

 Hay un problema de objetividad. Por la implicación de los evaluadores con el proyecto

 El equipo evaluador puede no contar la experiencia y las competencias para desarrollar adecuadamente una
evaluación
 Incremento de los costes de oportunidad –tiempo dedicado del equipo.

EVALUACIÓN EXTERNA: La evaluación externa se realiza por personas no implicadas en el programa o política
(agente externo)

¿Qué implicaciones tiene?

VENTAJAS

 Objetividad: distancia respecto al programa y el éxito o no de sus resultados

 Evaluadores son conocedores de las técnicas y herramientas de evaluación, además tiene
experiencia acumulada de evaluación (EXPERTISE)
 El trabajo de campo esta facilitado por la no implicación de los evaluadores.
 Las evidencias serán más creíbles: en especial las positivas.

DESVENTAJAS

Menor conocimiento de la cultura de la organización –sentimiento de amenaza respecto al evaluador externo (menor
cooperación)- mayor dificultad en la comprensión del objetivo de la organización en la evaluación
FASES DEL PROCESO DE EVALUACIÓN

1ª FASE PLANIFICACIÓN

1. Establecimiento de objetivos de la evaluación

2. Definición o creación de INDICADORES

 Estos indicadores deben sintetizar información sobre
 ¿Qué queremos saber?
 ¿Qué tipo de información debemos recoger?
UN INDICADOR ES UN SIGNO TANGIBLE DE QUE ALGO SE HA CONSEGUIDO O REALIZADO

→¿Quién? ¿Cuánto? ¿Con que frecuencia?

En esta fase responderemos a las siguientes preguntas:

 ¿Qué queremos conocer?

 Tipos de información requerida.
 ¿Cómo la obtendremos?
 ¿Quién debería estar involucrado?

Pasos en la creación de indicadores:

a) Identificar / diseñar indicadores de consecución de objetivos
b) Identificar / diseñar indicadores de proceso
c) Identificar indicadores de EFICACIA
d) Identificar indicadores de EFICIENCIA
e) Identificar / diseñar indicadores de IMPACTO

Calidad de los indicadores

Los indicadores aportan información RELEVANTE teniendo las siguientes cualidades:
MESURABLE, REPRESENTATIVO, FIABLE Y FACTIBLE

En función de los objetivos del proyecto:

 Recoger las características generales nos permitirán responder a las preguntas:
 ¿Quién? ¿Cuánto? ¿Con qué frecuencia?
 Calidad del indicador
 ¿Qué hacer con el indicador?

Pasos previos:
 Definir la situación que nos encontramos versus situación deseada.
 Diseñar un proceso sobre cómo conseguiremos nuestro objetivo.
 Diseño de indicadores de eficacia = ¿Se han conseguido hitos relevantes vinculados al objetivo del
programa?
 Diseño de indicadores de eficiencia = Actividad / Coste. ¿Se ha impartido el número de cursos de
formación al coste previsto?
 Sobre el tipo de información que necesitamos

CUANTITATIVA: información expresa en números, porcentajes, tasas, nos permiten medir – comparar. La
dificultad está en la interpretación.

CUALITATIVA: se trata de información de carácter subjetivo. Nos aporta información sobre SENTIMIENTOS,
PERCEPCIONES, COMPARACIONES de los sujetos y colectivos implicados.

Es una información que se obtiene preguntando, observando e interpretando

2ª FASE DE DISEÑO

El diseño de un sistema de evaluación equivale a la elaboración de los términos de referencia (TdR):

Incluye:

1. ANTECEDENTES: Razones de la evaluación, qué problema pretende resolver el programa, para qué colectivos.
2. El PROPÓSITO: ¿Para qué evaluamos? Tipo de evaluación. Eficacia, Impacto, Calidad.
3. LAS PREGUNTAS CLAVE: Vinculan propósito de la evaluación con objetivos del programa evaluado.
4. METODOLOGÍA: ¿Cómo se realiza la evaluación?
5. ASPECTOS LOGÍSTICOS: Plazos, costes, recursos, personas involucradas.

RECOGIDA DE INFORMACIÓN
 MÉTODOS DE RECOGIDA DE INFORMACIÓN
ENCUESTAS: importante que la muestrea sea “aleatoria” y “representativa”
1. MUESTRA ALEATORIA: Cualquier sujeto de la población puede formar parte de la muestra.
2. MUESTRA ESTRATIFICADA: Seleccionar grupo dentro del universo posible. Ej. conductores menores de 25 años
3. CLÚSTER: Seleccionamos los que cumplan con un criterio fijado. Ej. Menores de 25 años varones con estudios.

EL ANÁLISIS DE LA INFORMACIÓN
Finalizado el trabajo de campo, analizamos la información:
1. Hemos de traducirla en “tendencias”, “patrones de comportamiento” “ineficiencias”
2. El equipo hemos de discutir y debatir respecto a las grandes líneas observadas, los cambios, bloqueos, desvíos.
3. Por ultimo escribimos las “conclusiones”
4. Finalizamos proponiendo “recomendaciones”
LA EVALUACIÓN GENERA ACCIÓN
Con este objetivo:
1. Informamos a las “partes interesadas”
2. Favorecemos el aprendizaje sobre el proceso
3. Asesoramos la toma de decisiones sobre cómo seguir adelante
4. Si es aconsejable gestionar las posibles resistencias al cambio dentro de la organización
5. Asesoramos y ayudamos en la implementación de las recomendaciones

GENERACIÓN DE INFORMES DE RESULTADOS

Estos informes serán diferentes, y contendrán una información más o menos detallada en función de los destinatarios
Se apoyaran en presentaciones orales, y audiovisuales en función de objetivo buscado.