Metodologa del INDEP 2013

El proceso de construccin metodolgica del ndice de Desempeo de los Programas Pblicos

Federales 2013 (en adelante INDEP 2013) parte de los siguientes supuestos clave:

1. Que tras cinco aos de implementacin de la Poltica de Evaluacin del Desempeo, el

gobierno federal ha avanzado en el fortalecimiento y decantacin de las Matrices de
Indicadores para Resultados (MIR) de los programas presupuestarios, as como del
conjunto de indicadores (presupuestarios y no presupuestarios) que constituyen el
Sistema de Evaluacin del Desempeo (SED).
2. Que, por lo tanto, los indicadores de las MIR y del SED reflejan adecuadamente el sentido
de logro estratgico y de gestin de cada programa.
3. Que los indicadores de las MIR y del SED de cada programa proveen avances en toda la
cadena lgica del desempeo (insumos, procesos, productos, resultados e impactos) de
los mismos.
4. Que los indicadores estratgicos y de gestin de cada programa reportados por el
Ejecutivo en sus Informes Trimestrales y en Cuenta Pblica 2012 a la Cmara de Diputados
derivan de las MIR y del SED, por lo cual pueden ser tomados como referentes confiables
para reflejar los niveles de avance y cumplimiento de cada programa en sus respectivos
indicadores.
5. Que los indicadores estratgicos y de gestin de cada programa reportados por el
Ejecutivo a travs de la SHCP en el Portal de Transparencia Presupuestaria
(www.transparenciapresupuestaria.gob.mx) derivan de las MIR y del SED, por lo cual
pueden ser tomados como referentes confiables para reflejar los niveles de avance y
cumplimiento de cada programa en sus respectivos indicadores.
6. Que las Evaluaciones de Consistencia y Resultados (ECRs) y las Evaluaciones de Diseo
coordinadas por CONEVAL y realizadas durante los ciclos 2011-2012 y 2012-2013 a los
programas sujetos a reglas de operacin y otros de subsidio, reflejan, con la informacin
pblicamente disponible ms actualizada y confiable, la consistencia del diseo y las
previsiones institucionales y operativas con las que cuentan los programas.
7. Que las Evaluaciones Especficas de Desempeo (EEDs) y las Fichas de Monitoreo de las
Evaluaciones Especficas de Desempeo del periodo 2012-2013 coordinadas por CONEVAL
identifican, con la informacin pblicamente disponible ms actualizada y confiable, a la
poblacin potencial, poblacin objetivo y poblacin atendida de cada programa evaluado
para el ciclo fiscal ms reciente y que sta fue validada por las Unidades Responsables
(URs) de cada programa.
A partir estos supuestos clave, el INDEP 2013 se dise con base en dos componentes que
expresan la capacidad de cada programa presupuestario para contribuir de forma significativa a
resolver el problema pblico que le dio origen, a saber:

1. Componente de Calidad de diseo y Cumplimiento de metas (CCC). Este componente se

integra por dos subcomponentes, a saber:
a) Subcomponente de calidad de diseo (S-CaD). Este subcomponente informa el grado de
calidad de diseo y la coherencia de cada programa, entendidos como el grado en que el
programa identifica y sustenta con evidencia el problema que atiende y sus causas;
establece una teora de cambio y utiliza instrumentos de poltica consistentes; establece
objetivos, metas e indicadores pertinentes; cuenta con las previsiones de
implementacin, seguimiento y evaluacin correctas; as como de incorporacin de las
necesidades y expectativas de los ciudadanos que atiende. Este subcomponente se
alimenta de las Evaluaciones de Consistencia y Resultados (ECRs) y las Evaluaciones de
Diseo realizadas a los programas presupuestarios sujetos a reglas de operacin y otros
de subsidio, con clave presupuestal S y U, con base en los trminos de referencia
establecidos por el Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social
(CONEVAL) .1

Con base en los trminos de referencia establecidos por CONEVAL se busc generar una
metodologa uniforme estandarizada. Para las Evaluaciones de Consistencia y Resultados se
analiz un cuestionario de 51 preguntas que deba ser respondido por los evaluadores externos.
Del total de preguntas, 34 se encontraban bajo un formato binario (esto es, aceptaban una
respuesta S/No), adems de un esquema por niveles (a partir de 1 y hasta 4 dependiendo de si el
programa cumpla con las caractersticas formuladas por CONEVAL para considerar una mximo
cumplimiento o bien una disminucin de la esta calificacin dependiendo de las caractersticas con
las que contara el Programa). El resto de las preguntas tenan un esquema de respuesta abierta.

1
Para el periodo 2012-2013 no se establecieron en el Plan Anual de Evaluacin (PAE) generado por
CONEVAL Evaluaciones de Consistencia y Resultados, por lo que se asume que la Calidad de Diseo de los
programas sujetos a dichas evaluaciones en el periodo 2011-2012 permanece constante. Por otra parte,
para los programas (Acciones para la Igualdad de Gnero con Poblacin Indgena, a cargo de la CDI. El
Programa Integral de Fortalecimiento Institucional, Fondo para la atencin de problemas estructurales de
las UPES, Fondo para elevar la calidad de la educacin superior y Fondo para ampliar y diversificar la oferta
educativa en educacin superior, todos ellos a cargo de la SEP. Finalmente, Programa de Recuperacin y
Repoblacin de Especies en Peligro de Extincin, Programa de Adecuacin de Derechos de Uso de Agua,
Programa de Monitoreo Biolgico en reas Naturales Protegidas (PROMOBI) y Programas de Manejo de
reas Naturales Protegidas (PROMANP), a cargo de SEMARNAT.) que no fueron sujetos a evaluacin en el
periodo 2011-2012 en trminos de ECRs, pero s de Evaluaciones de Diseo, se opt por determinar la
calificacin de esta variable a partir de dichos instrumentos, que si bien, no resultan tan exhaustivos y
robustos como las ECRs, s permiten conocer inicialmente la coherencia interna del programa en trminos
de identificacin y sustento con evidencia del problema que atiende y sus causas; identificacin de la
poblacin que se encuentra bajo los supuestos del problema pblico que busca atender as como el
establecimiento de objetivos, metas e indicadores pertinentes.
El cuestionario agrupaba las preguntas en seis captulos distintos, los cuales, se presentan a
continuacin:

Captulo Nmero de Preguntas Descripcin

Justificacin de la creacin y del diseo del Programa.
Contribucin del Programa a los objetivos nacionales y los
sectoriales.
Diseo 13 Definicin de la Poblacin Potencial, Objetivo y Atendida.
Anlisis de la Matriz de Indicadores para Resultados.
Anlisis de posibles complementariedades y coincidencias
con otros Programas Federales.
Anlisis de los instrumentos de planeacin.
Planeacin y Anlisis de la orientacin hacia resultados y esquemas o
Orientacin a 9 proceso de evaluacin del Programa.
Resultados Anlisis de la generacin de informacin sustantiva del
Programa.
Existencia de mecanismos que permitan medir la cobertura
Cobertura y
3 de la poblacin potencial, objetivo y atendida por el
Focalizacin
Programa.
Anlisis de los procesos establecidos en las Reglas de
Operacin o Normatividad aplicable del Programa: Solicitud
de apoyos, seleccin de beneficiarios y/o proyectos, tipos de
apoyos, ejecucin de procesos.
Anlisis de mejora y simplificacin regulatoria del Programa.
Operacin 17 Anlisis del modelo organizativo y de gestin del Programa.
Eficiencia, eficacia y economa operativa del Programa.
Sistematizacin de la informacin.
Cumplimiento y avance en los indicadores de gestin y
productos.
Rendicin de cuentas y transparencia.
Percepcin de la Existencia de mecanismos de medicin de satisfaccin de la
1
Poblacin Atendida poblacin atendida.
Existencia de instrumentos que permitan medir el nivel
Medicin de de cumplimiento de los objetivos del programa a nivel
8
Resultados Fin y Propsito de las Matrices de Indicadores para
Resultados.

En este subcomponente, con base en las Evaluaciones de Consistencia y Resultados, se

construyeron tres subndices, cada uno de ellos con una parte para las preguntas binarias
(respuestas S/No) y otra para las preguntas cuya respuesta se refera al nivel de cumplimiento
del programa (nivel 1 al 4). Estos subndices se utilizaron para evaluar los distintos aspectos de la
calidad de diseo de cada programa.

1. En primer lugar, en el subndice de diseo y alineacin estratgica se agruparon todas

aquellas preguntas (binarias y por nivel) relacionadas con la definicin de objetivos, metas
y alcances estratgicos de cada programa y que corresponden a los captulos de diseo y
planeacin estratgica de las ECR. Este subndice concentr el 44.11% de las preguntas de
las Evaluaciones de Consistencia y Resultados.
2. En segundo lugar, en el subndice de operacin se agruparon aquellas preguntas (binarias
y de nivel) relacionadas con las previsiones institucionales y organizacionales que
permitiran una correcta operacin de los programas por parte de las dependencias
 ejecutoras. Este subndice concentr el 35.29% de las preguntas de las ECRs que se
desprenden del captulo de operacin de las mismas.
3. Finalmente, se construy un subndice de orientacin a resultados y a la ciudadana, que
agrupa las preguntas referentes a las previsiones de los programas para medir resultados
e impactos, as como la percepcin y opinin de la poblacin beneficiaria. Aunque en esta
seccin solamente se emplea el 20.60% de las preguntas de las Evaluaciones de
Consistencia y Resultados, stas provienen de captulos que se consideran de especial
relevancia: cobertura y focalizacin, percepcin de la poblacin atendida y medicin de
resultados.

Tabla de Distribucin de los Subndices

Subndice Captulos de las ECRs Porcentaje total de preguntas

Diseo
Diseo y alineacin estratgica Planeacin y Orientacin a 44.11%
Resultados
Operacin Operacin 35.29%
Cobertura y Focalizacin
Orientacin a resultados y a la
Percepcin de la Poblacin Atendida 20.60%
ciudadana
Resultados

Una vez obtenidos los subndices, el clculo del Subcomponente de Calidad de Diseo (S-CaD), con
base en las Evaluaciones de Consistencia y Resultados, se realiz a partir de una ponderacin
asignada a cada uno. Se opt por emplear un mtodo simple de tal forma que los resultados
fueran fcilmente replicables y comunicables. La seleccin de los ponderadores para cada
categora responde a los elementos propuestos en el marco conceptual arriba descrito,
considerados fundamentales para definir la calidad del diseo de un programa gubernamental.

As, se opt por una ponderacin en la que la dimensin de diseo (aspecto medular para definir
la claridad y coherencia del programa) agrega 45% del valor del S-CaD; la dimensin de operacin
(que contempla las bases institucionales y organizativas y que, generalmente, son independientes
del diseo del programa) agrega 30% del valor final del subcomponente y la dimensin de
orientacin a resultados y a la ciudadana (esto es la capacidad prevista en el diseo de los
programas para generar valor pblico) agrega un 25% del valor del subcomponente.

En el caso de las Evaluaciones de Diseo se analiz un cuestionario de 21 presuntas que deban ser
respondidas por los evaluadores externos. Del total de preguntas, 16 se encontraban bajo un
formato binario (esto es, aceptaban una respuesta S/No), adems de un esquema por niveles (a
partir de 1 y hasta 4 dependiendo de si el programa cumpla con las caractersticas formuladas por
CONEVAL para considerar una mximo cumplimiento o bien una disminucin de la esta calificacin
dependiendo de las caractersticas con las que contara el programa). El resto de las preguntas
tenan un esquema de respuesta abierta.
El cuestionario agrupaba las preguntas en cinco captulos distintos, los cuales, se presentan a
continuacin:

Captulo Nmero de Preguntas Descripcin

Justificacin de la
creacin y del diseo
del programa
Contribucin a los
objetivos nacionales y
a los sectoriales
Poblacin potencial y
objetivo
Matriz de Indicadores
para Resultados (MIR)
Complementariedades
y coincidencias con
otros programas
federales
Identificacin del problema pblico al que se orienta el
programa.
Existencia de un diagnstico sobre el problema pblico al
3
que se orienta el programa.
Justificacin terica o emprica documentada que sustente
el tipo de intervencin que el programa lleva a cabo.
Vinculacin del propsito del programa a los objetivos del
programa sectorial, especial o institucional al que pertenece
el programa.
3 Vinculacin del programa con ejes temticos y objetivos del
Plan Nacional de Desarrollo vigente.
Vinculacin del propsito del programa con las Metas del
Milenio
Definicin de la poblacin potencial y objetivo presente en
documentos oficiales y/o en el diagnstico del problema.
3 Existencia de padrn de beneficiarios actualizada.
Recoleccin de informacin socioeconmica de beneficiarios
por parte del programa.
Existencia de actividades por cada Componente de la MIR.
Suficiencia y calidad de los Componentes del programa
incluidos en la MIR.
Orientacin estratgica del Propsito del programa incluido
en la MIR.
Claridad y suficiencia del Fin del programa incluido en la
MIR.
Existencia de resumen narrativo por nivel (Fin, Propsito,
11
Componentes y Actividades) en la MIR del programa.
Existencia de indicadores por nivel de la MIR del programa.
Existencia y calidad de las Fichas Tcnicas de los indicadores
del programa.
Existencia y calidad de las metas de los indicadores de la MIR
del programa.
Existencia de medios de verificacin por cada indicador
incluido en la MIR del programa.
Complementariedad y/o coincidencias del programa con
otros programas federales.
1

En este subcomponente, con base en las Evaluaciones de Diseo, se construyeron tres

subndices, cada uno de ellos con una parte para las preguntas binarias (respuestas S/No) y otra
para las preguntas cuya respuesta se refera al nivel de cumplimiento del programa (nivel 1 al 4).
Estos subndices se utilizaron para evaluar los distintos aspectos de la calidad de diseo de cada
programa.

1. En primer lugar, en el subndice de justificacin del programa y contribucin a los

objetivos nacionales y a los sectoriales se agruparon todas aquellas preguntas (binarias y
por nivel) relacionadas con la justificacin de la creacin y el diseo del programa, as
como de la contribucin del mismo a las metas sectoriales y del Plan Nacional de
 Desarrollo. Este subndice concentr el 30.00% de las preguntas de las Evaluaciones de
Diseo.
2. En segundo lugar, en el subndice de poblacin potencial y objetivo se agruparon aquellas
preguntas (binarias y por nivel) relacionadas con definicin e identificacin de la poblacin
que se encuentra bajo los supuestos del problema pblico que el programa busca atender,
as como aquellos que el programa est en posibilidades de atender de acuerdo a los
recursos que posee a su disposicin. Este subndice concentr el 15.00% de las preguntas
de las EDs que se desprenden del captulo de Poblacin potencial y objetivo de las mismas.
3. Finalmente, se construy un subndice de Matriz de Indicadores para Resultados (MIR),
que agrupa las preguntas referentes a las previsiones relativas a los diferentes niveles de
objetivos del programa pblico, su calidad y suficiencia. Esta seccin representa el 55.00%
de las preguntas de las Evaluaciones de Diseo.

Finalmente, para el captulo de Complementariedades y coincidencias con otros

programas federales, no fue posible incluirlo dentro del alguno de los subndices, ya que la
pregunta incluida dentro del mismo es una pregunta en esquema de respuesta abierta.

Tabla de Distribucin de los Subndices

Subndice Captulos de las ECRs Porcentaje total de preguntas

Justificacin del programa y
contribucin a los objetivos
nacionales y a los sectoriales
Poblacin potencial y objetivo
Matriz de Indicadores para
Resultados (MIR)
Justificacin de la creacin y del
diseo del programa
30.00%
Contribucin a los objetivos
nacionales y a los sectoriales
Poblacin potencial y objetivo 15.00%
Matriz de Indicadores para
55.00%
Resultados (MIR)

Una vez obtenidos los subndices, el clculo del Subcomponente de Calidad de Diseo (S-CaD), con
base en las Evaluaciones de Diseo, se realiz a partir de una ponderacin asignada a cada uno. Se
opt por emplear un mtodo simple de tal forma que los resultados fueran fcilmente replicables
y comunicables. La seleccin de los ponderadores para cada categora responde a los elementos
propuestos en el marco conceptual arriba descrito, considerados fundamentales para definir la
calidad de diseo de un programa gubernamental.

As, se opt por una ponderacin en la que la dimensin de diseo (aspecto medular para definir
la claridad y coherencia del programa) agrega 33.33% del valor del S-CaD; la dimensin de
justificacin del programa y contribucin a los objetivos nacionales y a los sectoriales, para la
dimensin de poblacin potencial y objetivo se le otorg el mismo peso, es decir, 33.33%,
mientras que para la dimensin de la Matriz de Indicadores para resultados su ponderacin dentro
del total de la calificacin del subcomponente fue de 33.34%.

Con las ponderaciones aplicadas a cada subndice, el clculo del S-CaD consisti en la suma de
cada uno de ellos, obteniendo una medicin en un rango de 0 a 100, donde este ltimo valor
significa la calificacin ms alta posible.
S-CaD-ECRs= (Subndice de Diseo y Alineacin Estratgica + Subndice de Operacin + Subndice
de Orientacin a resultados y a la ciudadana)

S-CaD-EDs= (Subndice de Justificacin del programa y contribucin a los objetivos nacionales y a

los sectoriales + Subndice de Poblacin potencial y objetivo + Subndice de Matriz de
Indicadores para Resultados)

b) Subcomponente de avance en los indicadores reportados (S-CAI). Este subcomponente

informa el grado de cumplimiento de todas las metas estratgicas y de gestin de cada
programa en el ao 2012, tal y como fueron reportadas por cada dependencia en la
Cuenta Pblica 2012 o, al menos, en el cuarto Informe Trimestral al Congreso, y/o en las
Matrices de Indicadores para Resultados (MIR) publicadas en el Portal de Transparencia
Presupuestaria de la SHCP.

En este subcomponente se busc estandarizar los porcentajes de cumplimiento de metas y

castigar, de forma escalonada, aquellos programas que reportaron avances superiores al 100%.
Se basa en el supuesto de que es tan cuestionable el avance de indicadores de un programa que
reporta cumplimientos mediocres (50%, por ejemplo) como aqul que reporta avances por encima
del 100%, ya que esto no permite conocer cul es su verdadero potencial para entregar resultados
de valor. De acuerdo a lo anterior, el clculo del S-CAI se hizo en tres etapas:

1. Primero se calcularon por separado los avances de los indicadores de Fin y de Propsito
(Indicadores estratgicos) para determinar el porcentaje de avance en cada uno de ellos.
2. Posteriormente se calcularon los avances de los indicadores de Componente y de
Actividades (Indicadores de gestin) realizando un promedio entre los avances de ambos
tipos de indicadores para finalmente realizar una sumatoria con el resultado arrojado de
los indicadores estratgicos.
3. Finalmente se procedi a realizar una estandarizacin para identificar y penalizar el
fenmeno de targeting, el cual consiste en establecer metas cmodas o poco retadoras
en funcin de las capacidades organizativas y presupuestales que tiene una UR. Esta
estandarizacin se realiz de la siguiente manera:
o Con respecto a los indicadores de Fin, un promedio de avance superior a 100%
se tradujo en un castigo de 5 puntos; en los casos en que el avance promedio fue
igual o mayor a 300% se aplic un castigo adicional de 5 puntos, por lo que un
programa con avances superiores a 100% y menores a 300% poda perder hasta 5
puntos, pero si el avance era igual o superior a 300% entonces el programa poda
perder hasta 10 puntos en la calificacin final.
o Para los indicadores de Propsito, un promedio de avance superior a 115% se
tradujo en un castigo de 5 puntos; si el avance promedio fue igual o mayor a 300%
se aplic un castigo adicional de 5 puntos, por lo que un programa con avances de
superiores a 115% y menores a 300% poda perder hasta 5 puntos, pero si el
avance era igual o superior a 300% entonces el programa poda perder hasta 10 en
puntos en la calificacin final.
o En cuanto al castigo para el promedio de avance en los indicadores de gestin,
ste fue de 5 puntos para programas que reportaran un promedio de avance
superior a 125%; si el avance promedio fue igual o mayor a 300% se aplic un
castigo adicional de 5 puntos, por lo que un programa con avances superiores a
125% y menores a 300% poda perder hasta 5 puntos pero si el avance era igual o
 superior a 300% entonces el programa poda perder hasta 10 puntos en la
calificacin final.

De lo anterior se desprende que un programa poda perder hasta 30 puntos en castigos por efecto
de targeting.

S-CAI= (Promedio Avance de Indicadores de Fin + Promedio de Avance de Indicadores de

Propsito + Promedio de Avance de Indicadores de Gestin) Castigo por diseo ad hoc

Finalmente, el Componente de Calidad de diseo y Cumplimiento de metas se obtiene mediante

una suma simple del Subcomponente de calidad de Diseo (S-CaD) y el Subcomponente de avance
de indicadores (S-CAI), todo ello dividido entre dos.

CCC= (S-CaD + S-CAI)/2

1. Componente de cobertura de la poblacin potencialmente beneficiaria (CCPB). Este

componente refleja el nivel de cobertura de la poblacin potencialmente beneficiaria de
cada programa al ao 2012 con la informacin ms actualizada pblicamente disponible,
tal y como fue reportada en las Evaluaciones Especficas de Desempeo del ciclo 2012-
2013 y en las Fichas de Monitoreo de las Evaluaciones Especficas de Desempeo del
periodo 2012-2013 coordinadas por CONEVAL. La cobertura de la poblacin
potencialmente beneficiaria parte de las definiciones de poblacin potencial (aquella que
se encuentra en las condiciones que el programa pretende atender), poblacin objetivo
(aquella que el programa est en condiciones de atender de acuerdo a los recursos
disponibles para su operacin) y poblacin atendida (aquella que el programa realmente
alcanz en el periodo anual de operacin). Para poder determinar el grado de avance en la
cobertura de la poblacin que el programa se ha propuesto atender se opt por el
siguiente mtodo de clculo:
1. En primer lugar se calcul el avance de cobertura en funcin de la poblacin
atendida entre la poblacin potencial.
2. Posteriormente se realiz el mismo procedimiento citado en el inciso anterior,
sustituyendo la poblacin potencial por la poblacin objetivo.
3. Finalmente, se obtuvo el promedio entre los clculos obtenidos de los pasos
previos y se multiplic por 100 para elevar la calificacin a base del mismo
nmero.

CCPB= [[(Poblacin Atendida / Poblacin Potencial) + (Poblacin Atendida / Poblacin Objetivo)]

/ 2]*100

Finalmente, para mejorar las condiciones de comparabilidad se introdujo un ponderador con el

objetivo de evitar distorsiones en la comparacin entre los programas que entregan subsidios
intergubernamentales respecto de aquellos que entregan subsidios directos a la poblacin. Esto se
basa en el supuesto de que no resulta posible valorar de la misma forma a un programa pblico
que identifica a su poblacin potencialmente beneficiaria como otra agencia gubernamental, que
a un programa cuya poblacin potencialmente beneficiaria la constituyen beneficiarios directos
fuera del aparato gubernamental.
Cada componente representa 50% del total de la calificacin obtenida por cada programa en el
INDEP 2013.

INDEP 2013 = (CCC + CCPB)/2

Lo anterior se resume en la siguiente frmula y ponderaciones:

Dimensin Apartados incluidos Frmula Rango

{( )
Diseo y Alineacin
Estratgica
S-CaD-ECRs Operacin ( ) 0 100
Orientacin a Resultados
y a la Ciudadana
( )}

{(
Justificacin y
Contribucin
Poblacin Potencial y
S-CaD-EDs ) ( ) 0 100
Objetivo
Matriz de Indicadores
para Resultados
( )}

Indicadores de Fin ( ) ( )
Indicadores de Propsito
S-CAI 0 100
Indicadores de Gestin
Castigos por ( )

( )
Castigos de reportes de
CRAE, IF 0,-5,-10
avances excesivos
( )

( )
Castigos de reportes de
CRAE, IP 0,-5,-10
avances excesivos
( )

( )
Castigos de reportes de
CRAE, IG 0,-5,-10
avances excesivos
( )
 Promedio Indicadores de Fin
ajustado del Indicadores de Propsito
0-100
avance de Indicadores de Gestin
indicadores

Poblacin Potencial
( ) ( )
CCPB Poblacin Objetivo CCPB 0-100
Poblacin Atendida
Ponderacin de
Calificacin de
Cobertura de la
PCPPB, PTI Si PTI = 1 CCPB -30 0, -30
Poblacin
Potencialmente
Beneficiaria

De esta forma, un programa que bajo la medicin del INDEP 2013 cuenta con una calificacin de
100 debera:

o Contar con una alta calidad en su diseo.

o Definir metas retadoras pero alcanzables en los niveles estratgico y de gestin.
o Reportar informacin pblica sobre el avance alcanzado en todas sus metas para el ao
fiscal Evaluado (2012) en Cuenta Pblica, al menos en el cuarto Informe Trimestral al
Congreso, o bien en el Portal de Transparencia Presupuestaria de la Secretara de
Hacienda y Crdito Pblico.
o Cumplir 100% las metas establecidas para el ao fiscal evaluado (2012).
o Reportar informacin pblica sobre el avance alcanzado en la cobertura de su poblacin
potencialmente beneficiaria en las Evaluaciones Especficas de Desempeo del ciclo 2012-
2013.
o Alcanzar la cobertura total de su poblacin potencialmente beneficiaria para el ao fiscal
evaluado (2012).

Limitaciones de la metodologa del INDEP

El INDEP 2013 no considera el grado de progresividad o regresividad de cada programa como una
de las variables del anlisis, en razn de que ninguna instancia pblica (incluida CONEVAL) produce
este dato de forma sistemtica para cada programa.

Se asumi como condicin bsica de estimacin que cada programa debera reportar informacin
tanto de avance de indicadores en la Cuenta Pblica 2012, o al menos en el cuarto Informe
Trimestral y/o en el Portal de Transparencia Presupuestaria de la SHCP, as como contar con
informacin de cobertura de su poblacin potencialmente beneficiaria (para esta edicin del
INDEP se utiliz la informacin ms actualizada pblicamente disponible correspondiente a las
Evaluaciones Especficas de Desempeo (EEDs) y las Fichas de Monitoreo de las Evaluaciones
Especficas de Desempeo del periodo 2012-2013 coordinadas por CONEVAL) como condicin
bsica para ser evaluable y, por tanto, incluido en el ndice. Todo programa que no present
informacin en alguna de estas dos dimensiones fue excluido y clasificado como Opaco.

Los programas que s reportaron esta informacin y, por lo tanto obtuvieron calificaciones en cada
uno de los dos componentes (CCC y CCPB), fueron ubicados en una matriz que los correlaciona.
Dicha matriz clasifica a los programas en cinco categoras con base en su capacidad para resolver
el problema pblico que les dio origen, la cual es tomada como un proxy de su nivel de
desempeo2.

A continuacin se ofrece una descripcin detallada de cada una de estas categoras:

1. Programas con Nivel de Desempeo ptimo

Los programas ubicados en el primer cuadrante y categorizados con un Nivel de

Desempeo ptimo son aquellos que poseen una alta calidad en su diseo, y que han
alcanzado un avance significativo en su cumplimiento de metas as como una cobertura
sustantiva de su poblacin potencialmente beneficiaria. Es decir, estn contribuyendo de
forma significativa a resolver el problema pblico que les dio origen.

2
Se debe considerar que la cobertura de los programas pblicos federales est directamente relacionada
con la asignacin presupuestal.
 En trminos presupuestarios, los Programas con Nivel de Desempeo ptimo se
caracterizan por requerir de incrementos presupuestales poco significativos ya que han
alcanzado la cobertura total de su poblacin potencialmente beneficiaria, o estn muy
cerca de hacerlo (Calidad/Cumplimiento de metas superior a 80% as como cobertura de
poblacin potencialmente beneficiaria superior a 80%).

2. Programas con Alto Potencial de Desempeo

Los programas ubicados en el segundo cuadrante son aquellos con Alto Potencial de
Desempeo. Se caracterizan por demostrar niveles adecuados de calidad en su diseo y
por haber alcanzado un avance significativo en su cumplimiento de metas, pero no
cuentan con el presupuesto suficiente para cubrir de forma significativa a su poblacin
potencialmente beneficiaria.

En razn de su buen rendimiento y su mediana cobertura, los programas ubicados en este

segundo cuadrante son los candidatos idneos para incrementar su presupuesto de forma
significativa. Cada peso invertido en ellos ser una inversin social justificada en tanto que
son los programas con mayor potencial para resolver el problema pblico que atienden a
partir de un incremento en sus asignaciones presupuestales (Avance promedio de
Calidad/Cumplimiento de metas superior a 80% as como cobertura de poblacin
potencialmente beneficiaria superior a 65% pero inferior a 80%).

3. Programas con Nivel de Desempeo Mejorable

Los programas ubicados en el tercer cuadrante son aquellos con un Nivel de Desempeo
Mejorable. Son programas cuyas principal cualidad es haber conseguido una cobertura
sustantiva de su poblacin potencialmente beneficiaria. Sin embargo, estos programas
presentan problemas en la consecucin de las metas que se haban propuesto en el ao,
as como contar con una media calidad de diseo (rango de 76.86 a 58.62).

En trminos presupuestales, antes que pensar en algn incremento presupuestal para

dichos programas, es necesario que el Congreso genere una agenda de mejora sustantiva
para mejorar la calidad de diseo y fortalecer la capacidad de gestin para cumplir con las
metas que los propios programas se propusieron. Dicha agenda funcionara como un
mecanismo de seguimiento y evaluacin puntual vinculado a la asignacin presupuestal de
cada programa, que podra darse incluso sin incrementos presupuestales con respecto al
ao anterior. Dicha agenda debe ser pblica, incluir acciones concretas con tiempos de
implementacin y reporte de avances precisos. Esta agenda puede ser monitoreada por el
propio Congreso as como por las OSCs (Calidad/Cumplimiento de metas inferior a 80% as
como cobertura de poblacin potencialmente beneficiaria superior a 80%).

4. Programas con Nivel de Desempeo Escaso

Los programas ubicados en el cuarto cuadrante de la matriz son aquellos que tienen un
Nivel de Desempeo Escaso. Estos programas presentan condiciones de bajo nivel de
cobertura de su poblacin potencialmente beneficiaria as como de valores bajos de
calidad en su diseo y/o avances mediocres en su cumplimiento de metas.
 n este tipo de programas no se justifica ningn incremento presupuestal y se recomienda
una revisin integral de los mismos para mejorar su calidad de diseo y fortalecer su
capacidad de gestin para cumplir con sus metas antes de pensar en incrementar su
cobertura (Avance promedio de Calidad/Cumplimiento de metas inferior a 80% as como
cobertura de poblacin potencialmente beneficiaria inferior a 80%).

5. Programas que reflejan la Dispersin programtica y presupuestal de la Poltica Social

Federal para atender problemas sociales relevantes.

Programas que cuentan con una alta calidad de diseo y que durante el periodo analizado
obtuvieron avances aceptables en el cumplimiento de las metas que se haban propuesto
pero con bajos niveles de cobertura de su poblacin potencialmente beneficiaria (en
rangos que van desde 64.93% a 0.18%).

Estos programas son una muestra clara de la dispersin de esfuerzos por parte del
gobierno federal para dar una respuesta integral a problemas sociales relevantes. Debido
a su bajo nivel de cobertura, estos programas no estn en condiciones de resolver el
problema pblico que les dio origen. Por lo tanto, se recomienda hacer una revisin
integral de la poltica social del gobierno federal, que identifique prioridades claras y
determine, en su caso, cules de estos programas recibirn un incremento presupuestal
sustantivo para incrementar significativamente su cobertura, y cules de ellos deberan
integrarse a otros programas ya existentes con una orientacin similar en la atencin del
problema pblico al que estn enfocados (Avance promedio de Calidad/Cumplimiento de
metas superior a 80% as como cobertura de poblacin potencialmente beneficiaria
inferior a 65%).