Construyendo una cultura para Resultados

Noviembre 2009

www.coneval.gob.mx

ndice

Antecedentes
Qu es el Coneval: Aspectos Institucionales Sistema de Evaluacin y Monitoreo en Mxico Monitoreo, avances y usos de la MML

Evaluacin de Consistencia y Resultados

Esquema de Seguimiento a Recomendaciones Retos a futuro

ANTECEDENTES 1990s: Algunas evaluaciones de programas y nuevas formas de presupuestacin 2000: Inicio normativo sin una estrategia clara 2000-2006: Desarticulacin de la evaluacin con la mejora en la gestin

PEF y Acuerdo entre SHCP y SFP Ausencia de una estrategia de monitoreo Agenda del Buen Gobierno, e Iniciativas de Innovacin y Calidad Gubernamental Sistema de Metas Presidenciales 2005: Impulso normativo de la evaluacin solo en el sector social, pero an desarticulado con la mejora en la gestin pblica
Creacin del Coneval

Primer impulso normativo al monitoreo

Vnculo con Pobreza

NDICE

Antecedentes

Qu es el Institucionales

Coneval:

Aspectos

Sistema de Evaluacin y Monitoreo en Mxico Monitoreo, avances y usos de la MML

Evaluacin de Consistencia y Resultados

Esquema de Seguimiento a Recomendaciones Retos a futuro

QU ES EL CONEVAL: ASPECTOS INSTITUCIONALES

Nace a partir de la Ley General de Desarrollo Social: Normar y coordinar la evaluacin de la poltica y los programas de desarrollo social Aprobar los indicadores de resultados, gestin y servicios que sern sometidos a consideracin de la SHCP y a la Cmara de Diputados por conducto de la ASF

Establecer los criterios para la definicin, identificacin y

medicin de la pobreza El CONEVAL est integrado por 6 investigadores acadmicos electos democrticamente por la CNDS, a travs de una convocatoria pblica Contribuir a la toma de decisiones de Poltica de Desarrollo Social y combate a la pobreza y rezago social en Mxico

Informacin til, objetiva y oportuna

LEYES Y NORMAS

Emisin de normatividad como marco jurdico y de accin

Ley General de Desarrollo Social (Principales objetivos del CONEVAL) Decreto de creacin

Estatuto Orgnico
Decreto por el que se regula el CONEVAL

Normatividad aplicable a los programas federales

Lineamientos Generales de Evaluacin de los Programas Federales de la

Administracin Pblica Federal

Lineamientos de la Matriz de Indicadores Programa Anual de Evaluacin Mecanismos para el seguimiento de las evaluaciones externas

Normatividad interna
Manual de organizacin General Manual de Identidad Institucional Polticas laborales

CONSTITUCIN DEL CONEVAL

2004 Creacin del CONEVAL en la LGDS como un organismo

descentralizado agrupado en el sector coordinado por Desarrollo

Social 2005 publicacin del Decreto por el que se regula el CONEVAL 2006 Conduccin de la evaluacin de los programas sociales sujetos a Reglas de Operacin Conformacin del Comit Directivo Convocatoria para integrar el Consejo Estructura organizacional

VNCULOS SISTEMA NACIONAL DE DESARROLLO SOCIAL

CONSULTIVA

POLTICA

OPERATI VA

TCNICA-EVALUACIN

CONSEJO CONSULTIVO
Analiza y propone programas y acciones que inciden en la Poltica Nacional de Desarrollo Social

COMISIN INTERSECRETARIAL
Propone partidas y montos de gasto social Ordena la Poltica Social a nivel Federal

DEPENDENCIAS Y ENTIDADES Operacin de los programas, acciones y fondos

CONSEJO DE EVALUACIN Norma y analiza las evaluaciones Evala la poltica Define pobreza Recomendaciones

COMISIN NACIONAL Coordinacin de programas y acciones de dependencias y entidades federales

NDICE

Antecedentes Qu es el Coneval: Aspectos Institucionales

Sistema de Evaluacin y Monitoreo en Mxico

Monitoreo, avances y usos de la MML Evaluacin de Consistencia y Resultados Esquema de Seguimiento a Recomendaciones Retos a futuro

MARCO NORMATIVO PREVIO ESQUEMA DE EVALUACIN 2002-2006 Caractersticas: Evaluacin Externa Periodo Anual, con 2 informes (septiembre y marzo) Se distribuye a la SHCP, SFP y el Congreso Difusin a travs de Internet El proceso de contratacin es individual y a travs de la Ley de Adquisiciones Algunos programas: Entregan los informes slo por cumplir y no usan la informacin Agregan y/o eliminan temas en la evaluacin En una menor proporcin, usan informacin para informes oficiales, planeacin y monitoreo

DIAGNSTICO VENTAJAS Se ha avanzado en la cultura de la evaluacin Existen casos particulares de evaluaciones que han apoyado la toma de decisiones Existe un respaldo normativo para institucionalizar un M&E Ley General de Desarrollo Social, CONEVAL,

Ley Federal de Presupuesto y Responsabilidad Hacendaria,

PEF 2007 Actores principales conscientes de la poca efectividad del sistema vigente: SHCP, Funcin Pblica, Congreso Transicin poltica favorable para la introduccin de cambios

DIAGNSTICO VENTAJAS Elementos de M&E desarticulados y no alienados conceptual, metodolgica ni operacionalmente Alto costo de esquema actual: Cada evaluacin cuesta aprox. $1 milln: 170 programas: $170 millones al ao. y con poca utilidad Percepcin del sistema de M & E como instrumento de fiscalizacin, y no de gestin y rendicin de cuentas La medicin de Resultados no es una prioridad para el programa o la dependencia. Mucho nfasis en indicadores de ejercicio del recurso y de cantidades de bienes y servicios entregados No hay claridad en los objetivos estratgicos de las dependencia Muchos indicadores que no se usan para una gestin por resultados Lineamientos actuales poco flexibles Seguimiento limitado a las recomendaciones generadas de la evaluacin

NUEVO MARCO NORMATIVO

2007: Una oportunidad para mejorar el marco normativo CONEVAL (2005)
Evaluar y coordinar la evaluacin de la polticas y programas Sociales en el Gobierno Federal

Los programas sociales: evaluaciones externas

Aprobacin de los indicadores definidos por los programas sociales 6 acadmicos independientes

Ley de Presupuesto y Responsabilidad Hacendaria. SHCP (2006)

Todos los programas: evaluacin externa

Sistema de Evaluacin del Desempeo (SED) Programa de Mejoramiento de la Gestin (SFP)

PEF 2007. Cmara de Diputados

Establecer Objetivos Estratgicos

Matriz de Indicadores, ligada a Objetivos Estratgicos CONEVAL, SHCP y SFP coordinan el sistema de evaluacin y monitoreo

MARCO NORMATIVO EVALUACIN

CONEVAL (2005-2006)

Ley de Presupuesto y Responsabilidad Hacendaria. SHCP (2006-7)

Lineamientos Generales de Evaluacin (Marzo 2007) Sistema de Evaluacin del Desempeo (2007)

SFP PEF 2007. Cmara de Diputados

NUEVAS REGLAS DEL JUEGO

CONEVAL (2005) SHCP:

Ley de Presupuesto y Responsabilidad Hacendaria (2006) SED y planes de una Reforma Fiscal

Lineamientos de Evaluacin y Monitoreo (Marzo 2007)

SFP:
Programa de Mejoramiento de la Gestin

PEF 2007. Cmara de

HERRAMIENTAS DE PLANEACIN

Uso de la informacin y seguimiento de recomendaciones

Diagnstico
Evaluaciones Rendicin de cuentas
PND Programas Sectoriales Objetivos de las Dependencias Programas Federales

Diseo Presupuesto

Operacin
Evaluacin y Monitoreo (Indicadores)

Indicadores estratgicos y de gestin

SISTEMA DE EVALUACIN Y MONITOREO

Planeacin
Plan Nal. de Desarrollo Evaluacin

Programa Anual de Evaluacin

Evaluacin de Consistencia y Resultados

Objetivos estratgicos: Instituciones

Resultados

Evaluacin de Impacto Evaluacin de Procesos

Matriz de Marco Lgico: Programas

Evaluacin de Polticas

Seguimiento de Recomendaciones

Evaluacin Especfica de Desempeo

PLANEACIN INCOMPLETA SI NO SE LLEGA A ROP Poltica de Desarrollo Social

Nivel 1
Objetivos Nacionales Ejes poltica pblica Objetivos y Estrategias

Programas Sectoriales
Nivel 2

Objetivos de los Programas del PND Estrategias Lneas de accin

Objetivos de las dependencias

Nivel 3

Objetivo estratgico de la Dependencia

Programas presupuestarios
Nivel 4

Fin Propsito Componentes Actividad

Reglas de operaci n

PRINCIPALES INSTRUMENTOS DE ESTA NUEVA GESTIN PARA RESULTADOS

Matriz de Indicadores (marco lgico). Permite focalizar la atencin y los esfuerzos de una dependencia o entidad, as como apoyar los procesos de planificacin, diseo, monitoreo y evaluacin Lineamientos generales de evaluacin (DOF, marzo 2007) con varios tipos de evaluaciones y mayor libertad para temas especficos
Evaluacin de programas Federales

Evaluacin Estratgica

Evaluacin de Programas Nuevos

Evaluacin de Consistencia y Resultados Evaluacin de Indicadores Evaluacin de Procesos Evaluacin de Impacto Evaluacin Especfica

Programa o conjunto de programas en torno a las estrategias, polticas e instituciones

Diagnstico Matriz de Indicadores Evaluacin en materia de Diseo Anlisis del funcionamiento y operacin

NDICE

Antecedentes Qu es el Coneval: Aspectos Institucionales

Sistema de Evaluacin y Monitoreo en Mxico

Monitoreo, avances y usos de la MML

Evaluacin de Consistencia y Resultados Esquema de Seguimiento a Recomendaciones Retos a futuro

 Hoy en da es difcil conocer la lgica interna de los programas y por lo tanto saber si su diseo es el adecuado para alcanzar los objetivos planteados (resultados en la poblacin objetivo) Por otro lado, tenemos que reportar muchos indicadores, no necesariamente tiles para medir el desempeo del programa y tomar decisiones (medicin parcial: GESTIN) Por lo anterior, en el 2007 los programas deben construir una matriz de indicadores que permita la identificacin de sus objetivos, sus relaciones causales, los indicadores y los supuestos o riesgos que pueden influir en el xito o fracaso del mismo.

MATRIZ DE INDICADORES (MARCO LGICO)

ESQUEMA LGICO DE UN PROGRAMA

Resultados

Fin

Contribuir a que la poblacin desempleada en pobreza tenga un mejor acceso a empleos de calidad
Mejorar los conocimientos tcnicos de los desempleados en situacin de pobreza extrema 1.- Capacitacin a individuos en pobreza extrema desempleados 2.- Beca de apoyo a familias beneficiadas - Focalizacin Geogrfica 1.1 Identificacin y seleccin de familias en pobreza extrema 2.1 Distribucin de las becas de apoyo

Propsito

Implementacin

Componentes

Actividades

MENOS Y MEJORES INDICADORES

Resultados

Fin

Porcentaje de capacitados que obtienen un mejor trabajo Porcentaje de beneficiarios capacitados que efectivamente adquieren los conocimientos tcnicos adecuados 1.- Porcentaje de cursos y talleres realizados 2.- Porcentaje de becas repartidas 3.- Monto total de las becas repartidas 4.- Porcentaje de desempleados capacitados 1.- % del presupuesto ejercido 2.- Costo promedio x actividad 3.- Costo promedio de distribucin de la beca

Propsito

Implementacin

Componentes

Actividades

QUEREMOS PASAR DE ESTO Resultados

Propsito???

Componentes
Implementacin

Actividades

 A ESTO EN UN PRIMER MOMENTO Resultados

Propsito?

Componentes
Implementacin

Actividades

 Y A ESTO EN UN SEGUNDO MOMENTO

Objetivos Nacionales

Resultados

Fin

Propsito

Componentes

Actividades

MATRIZ DE INDICADORES PARA RESULTADOS

Objetivo del Plan Nacional de Desarrollo:

Objetivo Estratgico de la Dependencia y/o Entidad:

Indicadores de Desempeo Resumen Narrativo Enunciado Frmula de Clculo Frecuencia de Medicin Medios de Verificacin Supuestos

Resultados

Fin:

propsito:

Productos y Servicios

Componentes:

Gestin

Actividades:

FICHA TCNICA DE INDICADORES

FICHA TCNICA DE INDICADORES

APROBACIN DE INDICADORES

Ley General de Desarrollo Social Artculo 77. El Consejo Nacional de Evaluacin, antes de aprobar los indicadores a que se refiere este artculo, los someter a la

consideracin de la Secretara de Hacienda y Crdito Pblico y a la

Cmara de Diputados por conducto de la Auditora Superior de la Federacin, para que emitan las recomendaciones que en su caso

estime pertinentes.

APROBACIN DE INDICADORES

2007 NORMATIVA/IMPLEMENTACION

2008 REVISION MIR/DIAGNOSTICO

2009 MEJORAMIENTO INDICADORES/ APROBACION DE INDICADORES

ETAPA III ETAPA I Lineamientos de Evaluacin Lineamientos de la matriz de indicadores

Capacitacin y Asistencia Tcnica de Marco Lgico Carga de MIR 2008 al PASH Revisin de la consistencia de las Matrices

ETAPA V Capacitacin bsica y asesora tcnica en construccin indicadores Programas mejoran sus MIR y actualizan PASH

ETAPA II Capacitacin bsica en Marco Lgico Carga de MIR 2007 al PASH

ETAPA IV* Diagnstico de las MIR 2008 Capacitacin en construccin indicadores

ETAPA VI*

Aprobacin de Indicadores

APROBACIN DE INDICADORES
Etapas I. Validacin integral de todos los Indicadores
Diseo de Ficha Tcnica de Revisin General Revisin de indicadores con FICHA TCNICA *

REPORTE de Criterios Mnimos por Programa

COMIT*

II. Valoracin especifica de Indicadores de Resultado

Seleccin de Experto Temtico

Revisin de Indicadores de Resultados por Comit

Reporte + VALORACI N indicadores Resultado

III. Aprobacin de los indicadores

Se turna Dictamen a Comisin Ejecutiva

Se turna Dictamen a Comit Directivo

DICTAMEN sobre Indicadores por programa

APROBACIN DE INDICADORES

Etapa I Revisin Integral de Indicadores

Etapa consistente en el diagnstico de caractersticas mnimas que

debe contener un indicador de desempeo

En esta etapa se identificar si el grado de calidad de los

indicadores en lo correspondiente a claridad, relevancia, monitoreabilidad y adecuacin por medio de una serie de preguntas contenidas en la Ficha de Revisin Integral de Indicadores

Se realiz para la totalidad de los indicadores de 225 Matrices de

Indicadores para Resultados (MIR)

Los resultados completos se tendrn en el mes de octubre

REVISIN DE INDICADORES DE RESULTADOS

Etapa consistente en el diagnstico de los indicadores de

resultados de un conjunto de programas

La seleccin de 35 programas de la Administracin Pblica Federal

(APF) se llev a cabo considerando las siguientes variables:

Calificacin de la MIR 2008 Calificacin de los indicadores contenidos en la MIR 2008

Presupuesto 2009
Programas estratgicos de la SHCP Indicadores PEF

REVISIN DE INDICADORES DE RESULTADOS

El Comit Tcnico estar conformado por los siguientes participantes: CONEVAL

Secretara de Hacienda y Crdito Pblico

Auditora Superior de la Federacin Programa Unidad de Evaluacin de la Coordinadora de Sector Experto Temtico

Experto Estadstico

SEMFORO GENERAL PRELIMINAR ABRIL DE 2008

Las MI fueron analizadas considerando: El cumplimiento de la definicin de sus elementos (PND, Fin,
Propsito, Componentes y Actividades) La lgica que presenta cada uno de ellos (Vertical y Horizontal) Semaforizacin de las matrices de indicadores,
Abril 2008

30, (21%)

60 (41%)
55 (38%)

PRINCIPALES RESULTADOS: LGICA VERTICAL

El 70% de las MI tienen deficiencias en sus actividades

(principalmente porque no estn identificadas)

El 52% tiene mal definidos los componentes El 28% de las MI tiene problemas en la definicin del Propsito En el 24% el Propsito no implica una contribucin significativa al
Fin

El 11% de las MI no presenta una clara vinculacin del Fin con el

OE

Casi el 32% presenta algn tipo de duplicidad en niveles de

objetivos

Los supuestos no estn bien identificados: Fin (44%), Propsito

(53%), Componentes (52%), Actividades (69%)

CAMBIOS EN LA SEMAFORIZACIN OCT-07 ABRIL 08

En la nueva semaforizacin se puede observar lo siguiente:

47 Rojo Amarillo (25) Amarillo Verde (11) Rojo Verde (11)
SAGARPA SEDESOL SEMARNAT SEP

42

=
11 Amarillo Rojo (8) Verde Amarillo (3)
FOMMUR, PYME, Microempresario (SE) IMSS-Oportunidades (IMSS) Caravanas de la Salud (SS) Guarderas Infantiles (SEDESOL) Oportunidades (SEDESOL)

EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPS ANTES

Indicadores de Resultados de las Reglas de Operacin 2004

NOMBRE
Otorgamiento de becas de capacitacin Participacin de beneficiarios en los esquemas de atencin del Sistema

DESCRIPCIN
Becas otorgadas/Becas programadas Becas otorgadas por cada esquema de atencin/Total de becas otorgadas Becarios que recibieron apoyo econmico/Becarios inscritos

PERIODICIDAD
Trimestral

Trimestral

Pago efectivo de becas

Trimestral

EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPS ANTES En el Informe de Labores 2006, la dependencia reporta como resultados del Programa los siguientes:

De enero a junio de 2006 se atendieron a 180,390 personas

Se lograron colocar en un empleo 90,325 personas (50.1%)

Se comprometieron 324.6 millones de pesos

Los resultados de algunas estrategias en el 2005 fueron:

BCATE atendi a 207,118 personas y logr colocar al 54.5% Empleo Formal atendi a 118,425 personas y logr colocar al 54.9% Jornalero Agrcolas atendi a 47,936 personas y logr colocar al 42.9%

EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPS AHORA

Como resultado de la estrategia de capacitacin y de los comentarios que el
CONEVAL y la SHCP emitieron a la matriz de indicadores, el programa ahora cuenta con los siguientes indicadores de RESULTADOS
NOMBRE DESCRIPCIN
Y-Yh FIN: (Eficacia): Impacto neto del programa en el total de empleos formales ocupados (equivalente al total de trabajadores ocupados en empleos formales)
Y= Nmero de empleos formales ocupados al final del periodo examinado Yh= Nmero de empleos formales que hubieran estado ocupados al final del periodo examinado si no existiera el PAE

PERIODICIDA D

Trianual

PROPSITO: (Eficacia):Porcentaje de buscadores de empleo que se colocaron respecto del total de buscadores de empleo enviados a vacante mediante Vinculacin Presencial

(VDC/VDA)*100
VDC= Buscadores de empleo colocados VDA= Buscadores de empleo enviados a vacantes

Mensual

EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOL ANTES

Indicadores de Resultados de las Reglas de Operacin 2008

NOMBRE Porcentaje de aprobacin de proyectos Orientacin a obras de impacto social Orientacin de recursos a localidades de muy alta y alta marginacin DESCRIPCIN Nmero de proyectos aprobados/Nmero de proyectos presentados PERIODICIDAD Trimestral

X 100

Obras de infraestructura social/ Total de proyectos aprobados X 100 Inversin Federal aplicada en localidades de muy alta y alta marginacin/ X 100 Inversin Federal del programa

Trimestral

Trimestral

NOTA: El programa no ha actualizado los indicadores de las ROP

EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOL ANTES En el informe de labores 2007, la dependencia reporta como resultados del programa lo siguiente:

Para el presente ejercicio, el Programa cuenta con un techo

presupuestal de 220 millones de pesos. A julio de 2007 se han realizado un total de 696 proyectos, de los cuales:

40.9% son obras de pavimentacin, urbanizacin y mejoramiento urbano; 12.5% son proyectos de agua potable; 9.9% son de drenaje, mientras que las electrificaciones fueron un 8.8% de los proyectos realizados; 10.6% son obras de infraestructura educativa, deportiva y de salud; 2.2% son caminos rurales, y un 15.1% se destinaron a otro tipos de proyectos (productivos, orfanatos, asilos, centros comunitarios, centros culturales, rehabilitacin de edificios histricos y becas).

EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOL AHORA

Como resultado de la estrategia de capacitacin y de los comentarios que el CONEVAL y la SHCP emitieron a la matriz de indicadores, el programa ahora cuenta con los siguientes indicadores de RESULTADOS NOMBRE
FIN: (Eficacia): Porcentaje de las localidades intervenidas por el programa que mejoraron sus ndices de Marginacin Absoluta (por localidad, IML) PROPSITO (Eficacia): Variacin de las variables de infraestructura social bsica y productiva que componen los ndices de marginacin y de rezago social en las localidades atendidas por el programa

DESCRIPCIN
(Nmero de localidades que mejoraron su IML 2005/2010) X 100 /Nmero total de localidades intervenidas)
(Valor de la variable en el ao que se evala-Valor X 100 de la variable en el ao base) / (Valor del indicador en el ao base)

PERIODICIDAD

Quinquenal

Quinquenal

NDICE

Antecedentes Qu es el Coneval: Aspectos Institucionales

Sistema de Evaluacin y Monitoreo en Mxico

Monitoreo, avances y usos de la MML

Evaluacin Resultados
Retos a futuro

de

Consistencia

Esquema de Seguimiento a Recomendaciones

EVALUACIN DE CONSISTENCIA Y RESULTADOS

Objetivo:
Evaluar hasta qu punto los programas sociales tienen una clara consistencia interna y una orientacin hacia resultados, basados en la documentacin y

procesos de los propios programas

Es un diagnstico sobre la capacidad institucional, organizacional y de gestin de los programas para la bsqueda de resultados.

Es un instrumento homogneo, cuantificable, para poder comparar

el desempeo entre programas. La evaluacin se llev a cabo entre 2007 y 2008 para 119

programas (Sedesol, Sagarpa, IMSS, SEP, SS, Economa, STPS,

Reforma Agraria, )

EVALUACIN DE CONSISTENCIA Y RESULTADOS: OBJETIVOS Busca medir, de manera homognea, el desempeo global de los Programas (gestin y RESULTADOS) Con base en los resultados de la evaluacin, se espera que los programas mejoren su diseo y gestin; volvern a ser evaluados en un futuro En el 2007, ser un Diagnstico de la orientacin de los programas hacia una gestin para RESULTADOS En aos posteriores, la evaluacin deber contener adicionalmente una comparacin con los resultados encontrados en la evaluacin de consistencia y resultados que se haya efectuado con anterioridad

IMPORTANCIA DE LA EVALUACIN DE CONSISTENCIA Y RESULTADOS

La evaluacin servir para tomar decisiones de poltica pblica con el fin de mejorar la gestin y los resultados de los programas Se desarrollarn seminarios entre evaluadores, junto con servidores pblicos, para analizar conjuntamente los resultados de las evaluaciones y metodologas aplicadas. Los evaluadores presentarn al H. Congreso de la Unin, al CONEVAL, a la SHCP y a la SFP, los resultados obtenidos de la evaluacin Las evaluaciones sern difundidas pblicamente con el objetivo de que los

actores claves y la ciudadana en general, conozcan el desempeo de los

programas El CONEVAL tendr un mecanismo de evaluacin del proceso de evaluacin, que incluye la calidad de las evaluaciones

EVALUACIN DE CONSISTENCIA Y RESULTADOS. CARACTERSTICAS

Esta evaluacin es la lnea de base para analizar con qu tipo de programas cuenta el nuevo Gobierno para lograr sus metas. La evaluacin se compone de 100 preguntas en los temas de: Diseo, Planeacin Estratgica, Operacin, Poblacin Objetivo y Cobertura, Percepcin de los Beneficiarios y Resultados Finales.

Diseo
Identificacin correcta para solventar el problema o necesidad Contribucin del programa federal a los objetivos estratgicos Evidencia cientfica de que el programa contribuye positivamente a la consecucin de su fin y propsito

Lgica vertical y horizontal de la matriz de indicadores

Poblacin potencial, padrn de beneficiarios, Reglas de Operacin, Duplicidades

EVALUACIN DE CONSISTENCIA Y RESULTADOS CARACTERSTICAS

Planeacin Estratgica
Mecanismos y herramientas de planeacin Mecanismos para establecer y definir metas e indicadores Avance en el desarrollo de mecanismos de seguimiento y monitoreo Herramientas enfocadas a implementar y desarrollar una gestin para resultados Impacto presupuestario y las fuentes de financiamiento

Cobertura y focalizacin
Cuantificacin de la poblacin potencial y objetivo Poblacin atendida con respecto a la poblacin potencial y objetivo Estrategia de cobertura y focalizacin Funcionamiento de los mecanismos de seleccin y focalizacin aplicados

EVALUACIN DE CONSISTENCIA Y RESULTADOS CARACTERSTICAS

Operacin
Observancia de las reglas de operacin Acciones de mejora y simplificacin regulatoria Mecanismos de organizacin y administracin financiera Eficacia, eficiencia y economa operativa Rendicin de cuentas

Percepcin de la poblacin objetivo

Medicin del nivel de satisfaccin de la poblacin objetivo

Resultados

instrumentos disponibles que le permiten al programa federal medir los

resultados (MML) calidad de las evaluaciones de impacto que se hayan realizado difusin de los resultados y evaluaciones

EVALUACIN DE CONSISTENCIA Y RESULTADOS

Las evaluaciones fueron elaboradas por entidades externas (universidades, centros de investigacin, expertos)

En la evaluacin se pidi tener un resumen ejecutivo y un

documento de Fortalezas, Retos y Recomendaciones. Las evaluaciones se entregaron a la Cmara de Diputados en

Marzo 2008 y pueden ser consultadas en www.coneval.gob.mx .

EVALUACIN DE CONSISTENCIA Y RESULTADOS

Tema Hallazgos

67%
DISEO 50%

de los programas tienen propsitos y objetivos que corresponden a la solucin del problema que atienden de los programas definieron bienes y servicios pblicos necesarios y suficientes para el logro del su propsito

PLANEACIN ESTRATGICA

21% quieren alcanzar

de los planes establecen los resultados que se

25% a corto, mediano y largo plazo POBLACIN OBJETIVO Y COBERTURA 24% y potencial

de los programas cuentan con planes estratgicos

de los programas cuantifican su poblacin objetivo

23% cobertura a corto, mediano y largo plazo

de los programas cuentan con una estrategia de

EVALUACIN DE CONSISTENCIA Y RESULTADOS

Tema 72% OPERACIN Hallazgos
de los programas tienen procesos estandarizados y adecuados para la seleccin de proyectos y beneficiarios de los programas cuentan con indicadores de

84% eficacia en la operacin PERCEPCIN DE BENEFICIARIOS

54%

de los programas cuentan con instrumentos para medir el grado de satisfaccin de la poblacin objetivo de los programas recolectan informacin veraz y oportuna sobre los indicadores que miden sus objetivos de los programas han llevado a cabo evaluaciones

42% RESULTADOS

26% externas que le permiten medir su impacto

NDICE

Antecedentes Qu es el Coneval: Aspectos Institucionales

Sistema de Evaluacin y Monitoreo en Mxico

Monitoreo, avances y usos de la MML Evaluacin de Consistencia y Resultados

Esquema de Recomendaciones
Retos a futuro

Seguimiento

SEGUIMIENTO DE RECOMENDACIONES

Son de aplicacin opcional de acuerdo con las necesidades e intereses de las dependencias y entidades, siempre y cuando no se encuentren previstas en el Programa Anual de Evaluacin

En 2007-2008 las dependencias y entidades realizaron Evaluaciones de Consistencia y Resultados y de Diseo a los programas sujetos a reglas de operacin.

Sin embargo, no siempre haba sido claro cul es el destino y el

uso de los resultados de las evaluaciones externas. El principal objetivo de las evaluaciones debe ser mejorar sistemticamente

los programas y las polticas pblicas, en este caso las polticas

sociales, tomando en cuenta la informacin y los hallazgos relevantes que arrojan.

SEGUIMIENTO DE RECOMENDACIONES

Objetivo de establecer el procedimiento general para atender

los resultados de las Evaluaciones de Consistencia y

Resultados y de Diseo 2007 de los programas federales

Mejorar la poltica y programas sociales

Emisin del Mecanismo para el Seguimiento a los Aspectos Susceptibles de Mejora derivados de los Informes y Evaluaciones Externas a Programas Federales 2008.

SEGUIMIENTO A RECOMENDACIONES Para la mayora de los programas no se haca nada de

manera explcita.
Se diseo un proceso para que los programas se involucren en hacer compromisos de mejora, a partir de las

recomendaciones pertinentes.
Las recomendaciones finales se clasifican dependiendo de qu institucin debe ser la responsable
Programa, dependencia, Comisin Intersecretarial, Congreso, SHCP
y SFP

Los programas tiene que dar:

Una opinin oficial, y Una respuesta oficial sobre las acciones que implementarn.

LO QUE SE ESPERA EN EL MEDIANO PLAZO Promover la gestin y evaluacin basada en Resultados Tener un sistema sistematizado de Evaluacin y Monitoreo coordinado y

Menor nmero de indicadores a reportar, pero de mejor calidad

Que el sistema tenga nexos con el proceso presupuestario Promover el uso sistemtico de la informacin de evaluacin y monitoreo

Que la informacin se utilice para mejorar la gestin de los programas y dependencias

Que se puedan evaluar polticas en su conjunto, especialmente polticas sociales

Con esta informacin ms la evolucin de los indicadores de pobreza nacionales, estatales y municipales, poder evaluar la poltica social en su conjunto
Reforzar la transparencia y la rendicin de cuentas

NDICE

Antecedentes Qu es el Coneval: Aspectos Institucionales

Sistema de Evaluacin y Monitoreo en Mxico

Monitoreo, avances y usos de la MML Evaluacin de Consistencia y Resultados Esquema de Seguimiento a Recomendaciones

Retos a futuro

TEMAS A CONSIDERAR Diferencias entre:

Evaluacin: Las cosas que se hacen son las correctas? Auditoria: Las cosas se estn haciendo correctamente?

Vnculo entre: Gestin y evaluacin; Resultados y presupuesto, Coordinacin entre diferentes actores

Al interior y entre de las secretarias

Con el Jefe de Gobierno y el Congreso Local Definir roles de los diferentes actores

Impulsar los resultados y mejorar la gestin (agenda poltica) Implementacin gradual y/o aplicacin de pilotos
Temas, instrumentos, alcances, etc.

TEMAS A CONSIDERAR Iniciar por voluntad poltica y luego se impulsa normativamente Fortalecer capacidad tcnica de las secretarias Fortalecer la oferta de evaluadores
Normatividad de adquisiciones

Diagnstico de lo existente y lo aprendido hasta el momento

Normatividad y prcticas actuales Nomenclatura y conocimientos bsicos

Detectar prcticas exitosas ya existentes

Analizar la experiencia internacional

Pocos casos locales, ms experiencia federal

Definir con claridad lo que se busca Evaluar constantemente los avances que se tengan
Apoyado con un organismo externo nacional o internacional

FACTORES DE XITO DE LOS SE&M x RESULTADOS Considerable demanda gubernamental Objetividad y calidad Grado de utilizacin (oferta adecuada de instrumentos y productos) Importancia de los incentivos para generar informacin Diagnstico del SE&M existente

Peligro de complejidad excesiva

Esfuerzo de largo plazo, impulso por etapas Promotor influyente Impulso de una secretaria competente Normatividad (limitaciones y ventajas)

DEFINIR OBJETIVOS CLAROS

Cules son los usos efectivos o previstos de la informacin proporcionada a travs del SE&M?
Orientar las decisiones de asignacin de recursos en el proceso presupuestario. Contribuir a la preparacin de la planificacin nacional o sectorial. Favorecer la gestin y prestacin habitual de servicios pblicos. Reforzar las relaciones de rendicin de cuentas.

Muchas gracias
Mayor informacin y comentarios jdelmuro@coneval.gob.mx