EVALUACIN DE PROGRAMAS E INDICADORES DE DESEMPEO TRANSPARENCIAY MEJORAMIENTO DE LOS PROCEDIMIENTOS PARA LA DISCUSIN PRESUPUESTARIA

MARCELA GUZMN

1 Marcela Guzmn, Economista, Jefa de la Divisin de control de Gestin de la direccin de Presupuestos del Ministerio de
Hacienda

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

INDICE
I. INTRODUCCIN......................................................................................................................................................4 II. PROGRAMA DE EVALUACIN DE PROYECTOS GUBERNAMENTALES..............................................5 1. PUESTA EN MARCHA Y DESARROLLO DEL PROGRAMA .........................................................................................5

1. Objetivos y Requisitos...............................................................................................................5 2. Focos de la Evaluacin y Elementos Metodolgicos.................................................................6 3. Marco institucional....................................................................................................................7

2. PARTICIPACIN DE LAS INSTITUCIONES RESPONSABLES DE LOS PROGRAMAS EVALUADOS .................................7

1. Recomendaciones y Seguimiento..............................................................................................8 2. Integracin al Ciclo Presupuestario...........................................................................................9 3. Balance de la Experiencia. Principales Avances ..................................................................11 4. Requisitos y Principios, Ejes del Mejoramiento del Programa ..............................................11 5. Marco Institucional..................................................................................................................11 6. Generacin de Competencias en Evaluacin...........................................................................11 7. Consolidacin de la Metodologa............................................................................................12 8. Consolidacin del Diseo Operativo.......................................................................................12 9. Oportunidad de la informacin e Integracin al Ciclo Presupuestario ...................................12 10. Incorporacin del Concepto de Evaluacin ..........................................................................13 11. Aspectos Pendientes y Soluciones .......................................................................................13 12. Diseo de Programas y Disponibilidad de Informacin para la Evaluacin .......................13 13. Oportunidad e Integracin a la Discusin Legislativa .......................................................14 14. Impacto de los Programas Pblicos ......................................................................................15
III. PRESENTACIN DE PROGRAMAS NUEVOS Y/O AMPLIACIONES O REFORMULACIONES SUSTANTIVAS............................................................................................................................................................15 A. PUESTA EN MARCHA Y DESARROLLO DESCRIPCIN............................................................................................15

1. Objetivos y Requisitos.............................................................................................................15 2. Focos y Elementos Metodolgicos .........................................................................................16 3. Marco Institucional..................................................................................................................16 4. Participacin de las Instituciones ............................................................................................16 5. Balance de la Experiencia. Principales Dificultades y Soluciones ........................................16
ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

IV. INDICADORES DE DESEMPEO....................................................................................................................17 A. PUESTA EN MARCHA Y DESARROLLO DE LOS INDICADORES DE DESEMPEO.....................................................17

1. Objetivos y Requisitos.............................................................................................................17 2. Focos de los Indicadores de Desempeo y Elementos Metodolgicos ..................................18 3. Marco Institucional..................................................................................................................20 4. Participacin de las Instituciones ............................................................................................20 5. Seguimiento.............................................................................................................................21 6. Integracin al Ciclo Presupuestario ........................................................................................21
2. BALANCE DE LA EXPERIENCIA
Y

PRINCIPALES AVANCES ..................................................................................22

1. Procesos de Formulacin de Indicadores.................................................................................22 2. Seguimiento.............................................................................................................................22 3. Integracin al Ciclo Presupuestario.........................................................................................23

3. ASPECTOS PENDIENTES Y SOLUCIONES ................................................................................................................23

1. Formulacin, Socializacin e Internalizacin en las Instituciones..........................................23 2. Seguimiento.............................................................................................................................23 3. Integracin al Ciclo Presupuestario.........................................................................................24

ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

I.

INTRODUCCIN

Los interrogantes que surgen frente al desafo de evaluar el desempeo de las instituciones pblicas y sus acciones se pueden sintetizar en dos preguntas fundamentales a travs de qu instrumentos es posible efectuar esta funcin? y cmo incorporamos los juicios evaluativos que surjan de tales evaluaciones en acciones que mejoren la situacin?. Las respuestas a estas preguntas no son fciles. En efecto, como est ya ampliamente documentado, la evaluacin de las acciones de dichas instituciones enfrenta las siguientes caractersticas del sector pblico. La amplitud y ambigedad en la definicin de sus objetivos, debido en muchos casos a la larga data de las instituciones y/o a la lgica del proceso poltico, derivando en una alta heterogeneidad de productos y beneficiarios asociados. La vinculacin compleja entre productos y resultados, estos ltimos en muchos casos diversos, con dimensiones cualitativas difciles de objetivar, con efectos no siempre observables en perodos de tiempo compatibles con los tiempos que imponen los procesos administrativos o las agendas polticas, y en otros casos con efectos finales no completamente controlables producto de variables externas. La ausencia de una relacin transaccional con el beneficiario, debido a que muchos de los productos o servicios se proveen gratuitamente o con significativos subsidios que impiden una adecuada expresin de la valoracin de los productos o servicios por parte de los usuarios, lo que tambin dificulta disponer de un indicador de resultados de gestin agregado. Contrariamente a lo que ocurre con el sector privado donde las ventas son un indicador claro de aceptacin y el balance un indicador agregado de resultados. Los problemas recin mencionado se traducen en serias dificultades para los tomadores de decisiones de asignacin de los recursos pblicos, en un escenario de exigencias cada vez mayores de disciplina fiscal y de responsabilidad por la calidad del gasto frente a la ciudadana. Chile no escapa de los problemas recin sealados ni de la necesidad de mejorar su desempeo. Por esto durante los ltimos aos, como parte de un conjunto ms amplio de iniciativas de mejoramiento de la gestin pblica, el Gobierno ha desarrollado e introducido en el proceso presupuestario diferentes instrumentos con el objeto de mejorar el anlisis en el proceso de formulacin del presupuesto pblico, y por tanto de las decisiones en materia de asignacin de recursos a los diferentes programas, proyectos e instituciones. Dichos instrumentos, se han perfeccionado en el tiempo, incorporando adems nuevos
ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

elementos innovadores. Todos ellos enfatizan la bsqueda de resultados y transparencia en la gestin, y forman parte de un proceso gradual de cambio de prctica de la gestin pblica. La elaboracin del presupuesto 2001 dispuso de informacin evaluativa de un conjunto de programas, incorpor indicadores de desempeo de los .servicios pblicos y cre un Fondo Central de Recursos para Prioridades Gubernamentales, al cual postularon en un formato estandarizado las iniciativas nuevas, y las ampliaciones o reformulaciones sustantivas de programas existentes. Este documento describe los diferentes instrumentos, sus elementos conceptuales y metodolgicos y vinculacin con el proceso presupuestario. II. PROGRAMA DE EVALUACIN DE PROYECTOS GUBERNAMENTALES

1. Puesta en Marcha y Desarrollo del Programa 1. Objetivos y Requisitos Con el objeto de disponer de informacin que apoye la gestin de los programas pblicos y el anlisis de resultados en el proceso de asignacin de recursos pblicos, a partir del ao 1997, el Gobierno de Chile incorpor la evaluacin ex - post de programas pblicos a travs del Programa de Evaluacin de Proyectos Gubernamentales (PEPG). La creacin de la iniciativa form parte de un Protocolo de acuerdo firmado entre el Congreso Nacional y el Ministerio de Hacienda con motivo de la aprobacin de la Ley de Presupuestos de ese ao, dejndose la responsabilidad por su ejecucin en esta ltima institucin. Cada ao se evalan alrededor de 20 programas pblicos. El diseo del Programa fue definido sobre la base de cinco requisitos o principios que deben cumplir las evaluaciones: que sea, independiente, pblica, oportuna, pertinente y tcnicamente confiable, y eficiente. Para responder al carcter de independiente se ha optado por una modalidad de ejecucin de las evaluaciones externa al sector pblico, a travs de paneles de expertos, con una administracin del proceso tambin externa a la institucin responsable del Programa. Las evaluaciones realizadas por paneles de expertos no slo buscan independencia en los juicios evaluativos sino que tambin que sus resultados sean tcnicamente confiables y pertinentes, respondiendo de esta forma a otros de los requisitos sealados.

ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

El carcter de informacin pblica se concreta, formalmente, a travs del envi de los informes finales de cada evaluacin al Congresos Nacional y a las instituciones pblicas con responsabilidades sobre la toma de decisiones que afectan al programa respectivo, estando dichos informes siempre disponibles a quien lo solicite. El requisito de oportunidad se relaciona con la necesidad de que los resultados de las evaluaciones constituyan, efectivamente, informacin para el proceso de asignacin de recursos. Finalmente, el requisito de eficiencia dice relacin con la necesidad de que las evaluaciones se realicen a costos razonables posibles de solventar, lo que unido a los requisitos anteriores busca que en plazos y costos razonables se obtengan juicios evaluativos de los principales aspectos del desempeo de los programas. 2. Focos de la Evaluacin y Elementos Metodolgicos. Teniendo en consideracin los objetivos y requisitos del Programa este se ha basado en la metodologa de marco lgico utilizada por el Banco Interamericano de Desarrollo y por otras agencias internacionales. Los focos o aspectos en que se centran las evaluaciones cubren el diseo y el desempeo/resultados de los programas (Ver anexo 1, formato de matriz de marco lgico utilizada). La evaluacin del diseo consiste en el anlisis del ordenamiento y consistencia del programa considerando sus definiciones de fin y propsito, y componentes, actividades y organizacin para responder a ellos. Lo anterior se efecta revisando la justificacin inicial del programa y como estos elementos de diagnstico evolucionan. La evaluacin del desempeo/resultados se centra fundamentalmente en la evaluacin de la eficacia y eficiencia/ economa del programa. El concepto de eficacia comprende el grado de cumplimiento de los objetivos planteados, tanto en trminos de produccin de bienes y servicios como de los resultados en la poblacin objetivo, incluyendo en este concepto la dimensin de calidad del servicio medida a travs de factores tales como oportunidad y accesibilidad. El concepto de eficiencia comprende la relacin entre recursos y productos, centrndose en los costos unitarios de produccin, uso de insumos y niveles de actividad, gastos de administracin, identificacin de actividades prescindibles o posibles de externalizar y grados de competencia de estos procesos, entre otros aspectos. Por su parte el concepto de economa se refiere a la capacidad del programa para generar y movilizar adecuadamente sus recursos financieros, observndose aspectos tales como la capacidad de ejecucin presupuestaria, la capacidad de recuperacin de prestamos y la capacidad de generar ingresos cuando estos no interfieren con el objetivo del programa. 6

ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

Sobre la base del anlisis del diseo y del desempeo del programa la evaluacin tambin incorpora una fase de identificacin de aprendizajes, un juicio con relacin a su continuidad considerando tambin la evolucin del diagnstico inicial, y recomendaciones para corregir problemas detectados y perfeccionar el programa. 3. Marco institucional El Programa cuenta con un Comit Interministerial, el que tiene por objeto asegurar que el desarrollo del Programa de Evaluacin sea consistente con las polticas gubernamentales, que las conclusiones que surjan de este proceso sean conocidas por las instituciones que conforman el comit y que se disponga de los apoyos tcnicos y coordinaciones necesarias para al buen desarrollo del mismo. Est conformado por un representante de los Ministerios Secretara General de la Presidencia, Planificacin y Cooperacin, y Hacienda, a travs de la Direccin de Presupuestos, cartera esta ltima que lo preside. La Direccin de Presupuestos del Ministerio de Hacienda tiene la responsabilidad de la ejecucin y funcionamiento del Programa de Evaluacin de Proyectos Gubernamentales. Corresponde a esta institucin definir el diseo metodolgico y operativo del programa, la provisin de recursos para su funcionamiento, la administracin de su operacin, la recepcin y envo de los informes de evaluacin a las instancias respectivas (Ejecutivo y Congreso Nacional) y su integracin al ciclo presupuestario. 2. Participacin de las Instituciones Responsables de los Programas Evaluados Las instituciones responsables de los programas evaluados se incorporan al proceso a travs de las siguientes actividades:

ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

a)

Proveer de un conjunto de informacin del programa para su entrega al panel evaluador, al inicio de proceso, y proveer de cualquier otra informacin disponible y necesaria durante la evaluacin. 2. Elaborar la matriz de marco lgico preliminar, para su entrega al panel evaluador como insumo base. 3. Participar en todas aquellas reuniones que solicite el panel evaluador y la Direccin de Presupuestos para analizar aspectos especficos del proceso de evaluacin. 4. Analizar y emitir comentarios a los resultados intermedios y finales de la evaluacin, los que son entregados al panel de evaluacin a travs del Ministerio de Hacienda. 5. Analizar y emitir comentarios a las recomendaciones, y a partir del ao 2000 participar en el proceso de fijacin de compromisos en torno al mejoramiento de los programas que se describe ms adelante. Recomendaciones y Seguimiento

1.

Como ya se sealara la evaluacin de cada programa incorpora como etapa final la presentacin de un conjunto de recomendaciones, como respuesta a las debilidades o insuficiencias identificadas en el proceso de evaluacin Estas recomendaciones pueden tomar las siguientes formas.

a)

f)

Eliminar el programa porque ya no se justifica o justificndose sus componentes no contribuyen al logro del propsito y por tanto del fin. 2. Eliminar componentes porque ya no se justifican o justificndose no contribuyen al logro del propsito y por tanto del fin. 3. Modificar significativamente componentes para adecuarse a cambios en el diagnstico (justificacin inicial) o para cumplir de un mejor modo el logro del propsito y fin. 4. Modificaciones menores de los componentes (modificacin de actividades) para adecuarse a cambios en el diagnstico (justificacin inicial) o para un mejor cumplimiento del logro del propsito y fin. 5. Agregar componentes nuevos para sustituir componentes eliminados o por incorporacin de un nuevo objetivo especfico (objetivo del componente) que permita de mejor forma el cumplimiento del propsito y fin. Independiente o complementariamente con lo anterior, introducir modificaciones en aspectos de gestin u organizacin con el objeto de mejorar el logro de componentes y propsito.

ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

En la prctica, desde el punto de vista de los recursos, las recomendaciones pueden ser incorporadas en el marco de los recursos disponibles en el programa, en algunos casos sustituyendo componentes y/o actividades, en otros con ahorros derivados de ganancia de eficiencia en la ejecucin de algunos de ellos. En este caso se busca mejorar el desempeo de los recursos ya asignados al programa. Si las situaciones sealadas no son posibles considerando el funcionamiento del programa y el carcter de las recomendaciones, entonces su incorporacin estar supeditada a la disponibilidad de recursos adicionales. No obstante lo anterior, es necesario tener en cuenta que las recomendaciones tambin pueden ser incorporadas con recursos ya asignados a la institucin o Ministerio, lo que requiere de una revisin ms amplia de disponibilidades financieras y uso de recursos, anlisis que est fuera de las posibilidades de un panel evaluador de un programa. Por esto la propuesta del panel no es conclusiva en esta materia, sino una propuesta inicial para su anlisis. A partir del ao 2000, las recomendaciones formuladas por los evaluadores son analizadas por el Ministerio de Hacienda en conjunto con la institucin responsable del programa, con el objeto de precisar como ellas sern incorporadas y su oportunidad, identificar los espacios institucionales involucrados (institucin, ministerio, otras instituciones pblicas); y posibles restricciones legales y de recursos 2. El producto final ha sido el establecer, formalmente, compromisos de incorporacin de recomendaciones en cada uno de los programas de evaluacin. Dichos constituyen la base del seguimiento de los mejoramientos. El seguimiento es una etapa que busca recoger informacin de cmo las recomendaciones han sido efectivamente incorporadas y como ha evolucionado el desempeo del programa, antecedentes que deben enriquecer el anlisis de asignacin de recursos pblicos. Atendiendo a lo anterior, el programa se ha propuesto que el seguimiento no sea una actividad burocrtico- administrativa, sino que un espacio de reflexin y anlisis en torno a la relacin resultados-recursos.

Para estos efectos se han definido dos momentos de seguimiento, oportunos al ciclo presupuestario. El primero que comprende hasta el 31 de diciembre de cada ao y el segundo junto con la presentacin de la propuesta de presupuesto por parte de cada servicio, lo que ocurre en el mes de julio.
2. Integracin al Ciclo Presupuestario

2 El proceso de anlisis de recomendaciones con las instituciones se inici en el ao 1999, no obstante este fue parcial y no estableci compromisos formales con las instituciones
ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

El objetivo del programa con relacin a la asignacin de recursos no necesariamente implica una relacin mecnica e inmediata de ms o menos recursos dependiendo de los resultados de la evaluacin en el perodo. En algunos casos de programas con resultados insuficientes, con el fin de no perjudicar a los beneficiarios con reducciones significativas del presupuestos, es ms recomendable fijar condiciones que propicien o exijan un mejor desempeo, condiciones que pueden ser establecidas en la propia Ley de Presupuestos o en el proceso de definiciones de compromisos de mejoramiento ya descrito. De este modo, con posterioridad se podr revisar la decisin en base al desempeo que presente el programa con las modificacin introducidas. En otros casos, programas bien evaluados pueden no requerir de recursos adicionales si su oferta cubre adecuadamente las necesidades. Por estas razones los resultados deben ser utilizados con prudencia, ya sea que estos constituyan fundamento o condicionantes de decisiones financieras. En la experiencia Chilena, a partir del ao 2000 los resultados finales de las evaluaciones son analizados en reuniones con el Director de Presupuestos en las que participan los analistas correspondientes de la Divisin de Control de Gestin y de los Sectores Presupuestarios de la Direccin. Tales antecedentes sirven de base en la etapa de formulacin del presupuesto, en algunos casos afectando directamente estas asignaciones o dando lugar a condiciones para la ejecucin del gasto (glosas presupuestarias). Los informes finales de las evaluaciones son enviados al Congresos Nacional en forma previa al envi del Proyecto de Ley de Presupuestos de cada ao, acompaados de los comentarios a los resultados de la evaluacin por parte de las instituciones responsables de los programas. Este ltimo documento cumple con permitir que la institucin exprese formalmente sus acuerdos o discrepancias con los juicios evaluativos finales que emite el panel evaluador, en su carcter de instancia de evaluacin externa. A partir del ao 2000 la informacin tambin forma parte de los anexos con informacin que acompaa al Proyecto de Ley de Presupuestos, informacin que es presentada y discutida en las subcomisiones de presupuesto. Estos anexos incluyen adems indicadores de desempeo, informacin sobre personal y gastos efectivos de acuerdo a la misma desagregacin del proyecto de presupuesto en trmite. Finalmente, la informacin de seguimiento de las recomendaciones tambin constituye informacin que es utilizada en el ciclo presupuestario. En efecto, dicho ciclo cuenta con una etapa interna de evaluacin de cada servicio, que se efecta en forma previa y es la base para las definiciones de los marcos presupuestarios que ms tarde el Ministerio de Hacienda envan a cada una de las instituciones, junto con las instrucciones para la preparacin de sus propuestas de presupuesto. En esta etapa son analizados todos los antecedentes disponibles con relacin a la gestin financiera y de desempeo de los

ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

10

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

servicios, entre los que se contemplan los resultados de las evaluaciones y el avance de la incorporacin de recomendaciones surgidas de estas 3. 3. Balance de la Experiencia. Principales Avances El Programa de Evaluacin tiene ya cuatro aos de existencia, incluyendo el ciclo de evaluacin efectuado al ao 2000 se han evaluado a travs de el un total de 101 programas pblicos. A partir de la experiencia del equipo tcnico que lo dirige, as como tambin sobre la base de antecedentes de diferentes procesos evaluativos del mismo programa, durante este perodo se han incorporado modificaciones en diferentes aspectos con el objeto de perfeccionarlo. 4. Requisitos y Principios, Ejes del Mejoramiento del Programa Los principios bsicos del Programa se han mantenido, y han constituido ejes orientadores de las revisiones y anlisis efectuados y de los cambios introducidos al Programa. Esto ha permitido el continuo desarrollo y estabilidad de su propsito. 5. Marco Institucional Se han diseado arreglos institucionales (Comit Interministerial) que apoyan y se informan del proceso, redefinindose algunas funciones de modo de optimizar los objetivos y misiones de las instituciones involucradas 6. Generacin de Competencias en Evaluacin La constitucin de los paneles de evaluacin evolucion desde una con participacin de evaluadores institucionales4 a otra conformada exclusivamente por consultores externos al sector pblico, con el objeto de resguardar la objetividad de los resultados. Un nmero importante de consultores ha participado en los paneles de evaluacin, desarrollndose con ello recursos profesionales especializados en programas pblicos y en el proceso de evaluacin. 40 panelistas han participado en dos o ms de estos procesos desde la creacin del programa. Por otra parte, se ha capacitado a ms de 120 profesionales de las instituciones y Ministerios responsables de las iniciativas evaluadas, profesionales que con posterioridad han participado en el proceso de evaluacin lo que les ha permitido un espacio de reflexin y anlisis del programa del que son responsables.
3 En los ao 1998 y 1999 esta informacin fue recogida de los Balances de Gestin Integral que cada institucin debe enviar al Congreso Nacional a travs del Ministerio de Hacienda. 4 Profesionales de las instituciones.Ministerio de Planificacin, Ministerio Secretaria General de la Presidencia y Ministerio de Hacienda, todos ellos externos a las instituciones responsables de los programas evaluados.
ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

11

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

Lo recin sealado es una contribucin al desarrollo de un capital humano especializado, el que a su vez hace posible continuar fortaleciendo la evaluacin de las acciones pblicas. 7. Consolidacin de la Metodologa En general la metodologa es considerada apropiada, y elementos esenciales de sta han sido incorporados en un formato estndar para la presentacin a financiamiento de iniciativas nuevas, ampliaciones o reformulaciones sustantivas de programas existentes. En los sucesivos procesos de ejecucin del Programa se han introducido cambios, precisando mbitos y alcances de la evaluacin. Entre estos destacan la incorporacin de un captulo de organizacin y gestin del programa, la ampliacin del captulo de anlisis de eficiencia, y un formato especial de identificacin de los aspectos presupuestarios y de costos. Lo anterior se ha traducido en modificaciones de los formatos y orientaciones tcnicas a los paneles de evaluacin. No obstante las modificaciones ya incorporadas, subsisten aspectos que deben ser mejorados con el objeto de obtener siempre juicios evaluativos pertinentes y precisos, en informes claros y de lectura amigable. Entre estos se encuentran una mayor relevancia al anlisis de actividades y componentes prescindibles o que pueden ser realizados a un menor costo y en general un mayor desarrollo de indicadores de eficiencia. 8. Consolidacin del Diseo Operativo Se ha mejorado el diseo operativo del programa. En particular, aspectos tales como convocatoria y seleccin de evaluadores, informacin de procedimientos del programa, capacitacin y apoyos metodolgicos es bien evaluada por instituciones y paneles. 9. Oportunidad de la informacin e Integracin al Ciclo Presupuestario Se ha avanzado en disponer de informacin de los resultados de las evaluaciones en forma ms oportuna, y sta se ha incorporado en el proceso presupuestario. En efecto, en el ao 2000, los resultados de las evaluaciones efectuadas en el ao han sido analizados en reuniones con el Director de Presupuestos del Ministerio de Hacienda, en las que participaron profesionales de la Divisiones de Control de Gestin y Sectores Presupuestarios de la institucin. Tales antecedentes se utilizaron en la etapa de formulacin del presupuesto del ao 2001, en algunos casos afectando directamente estas asignaciones o dando lugar a condiciones para la ejecucin del gasto (glosas presupuestarias).
ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

12

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

Como ya se sealara, en el ao 2000 la informacin tambin form parte de los anexos con informacin que acompaa al Proyecto de Ley de Presupuestos, informacin que es presentada y discutida en las subcomisiones de presupuesto. Incorporacin de un Proceso Regular de Definicin de Compromisos y Seguimiento Las recomendaciones surgidas en las evaluaciones del ao 2000 han sido analizadas por los profesionales responsables de los programas evaluados, contrapartes asignadas en cada Ministerio y Profesionales del Ministerio de Hacienda. La incorporacin de este proceso ha tenido por objeto definir compromisos entre cada institucin y este ministerio con relacin a la incorporacin de modificaciones en los programas. Tales compromisos sealan la forma particular en que se dar respuesta a los problemas o insuficiencias detectadas y sus plazos. Este trabajo constituye la base de un proceso de seguimiento ms riguroso, pertinente y regular de los cambios ocurridos, con el fin de impulsar que estos se produzcan efectivamente, informacin que ms adelante se podr incorporar de un modo ms preciso al ciclo presupuestario. 10. Incorporacin del Concepto de Evaluacin Los avances anteriores han permitido, gradualmente, socializar e incorporar el concepto de evaluacin como una necesidad y prctica regular, tanto para mejorar y dar cuenta del desempeo de los programas como para hacer ms transparente y pblica la gestin. 11. Aspectos Pendientes y Soluciones La experiencia de estos cuatro aos tambin muestra algunos problemas de implantacin y utilizacin de la informacin no resueltos an completamente, ellos dicen relacin con:

a)

el diseo inicial de los programas y la disponibilidad de informacin. 2. la oportunidad de las evaluaciones y su integracin a la discusin legislativa del presupuesto pblico, y 3. la evaluacin de resultados.

Con el objeto de superar estas dificultades se han diseo diferentes actividades y procedimientos los que se llevarn a efecto en los prximos meses. 12. Diseo de Programas y Disponibilidad de Informacin para la Evaluacin 13

ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

Considerando que el perodo de evaluacin esta planificado para cuatro meses, en algunos casos insuficiencias en las definiciones iniciales de los objetivos de los programas y de sus componentes debido a la ausencia de un marco lgico inicial, as como tambin problemas de informacin, han dificultado su desarrollo impidiendo concluir juicios evaluativos ms precisos. En particular, puesto que un aspecto importante del trabajo de los paneles es reconstruir el marco lgico del programa, como una forma de ir superando estos problemas, en la preparacin del presupuesto 2001 se incorpor un nuevo procedimiento para los casos de programas nuevos, reformulaciones o ampliaciones sustantivas. En dicha oportunidad se exigi que las iniciativas fuesen presentadas en un formato estndar, el que incluye un conjunto de antecedentes bsicos de los programas que corresponden, en su mayora, al formato del marco lgico utilizado en el Programa de Evaluacin de Proyectos Gubernamentales. Para reforzar este trabajo se ha considerado necesario que los programas seleccionados e incorporados en el Proyecto de Ley de Presupuestos perfeccionen su presentacin, asegurndose con ello que desde su inicio la ejecucin de los programas cuente con un ordenamiento e informacin bsica que facilite conocer su desempeo futuro. Las instituciones debern presentar al Ministerio de Hacienda, antes de desembolsar recursos del ao 2001, ficha completa con la presentacin de sus programas en formato de marco lgico, revisada por el Ministerio de Planificacin. 13. Oportunidad e Integracin a la Discusin Legislativa No obstante haber avanzado en la oportunidad de la informacin, el calendario actividades del ciclo de evaluacin puede adecuarse an mejor al ciclo presupuestario, modo de disponer con ms antelacin de los resultados de las evaluaciones recomendaciones para su anlisis. En esta lnea el proceso del ao 2001 adelantar calendario. de de y su

Adems, a partir del ao 2001, con el objeto de mejorar los procedimientos para la discusin presupuestaria, se contar con una instancia de evaluacin de la ejecucin presupuestaria que anteceder a la presentacin del Proyecto de Ley de Presupuestos. Dicha instancia consistir en un anlisis, por parte de las subcomisiones de la Comisin Especial de Presupuestos del Congreso, de los antecedentes sobre el uso y rendimiento de los recursos presupuestarios en el perodo anterior. Hacia esta instancia pre-presupuestaria se canalizar, entre otros

ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

14

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

antecedentes de carcter evaluativos, los resultados de las evaluaciones efectuadas y los informes de seguimiento de los compromisos institucionales.
14. Impacto de los Programas Pblicos Considerando que, en general4, la metodologa de marco lgico es aplicada haciendo uso de la informacin disponible por el programa y en un perodo de tiempo relativamente corto, los juicios evaluativos sobre resultados finales de los programas en los beneficiarios son muchas veces no conclusivos Se ha considerado necesario introducir una nueva lnea incorporando evaluaciones de impacto, las que con la utilizacin de instrumentos y metodologas ms rigurosas de recoleccin y anlisis de informacin analicen el desempeo de programas en que sea prioritario efectuar este tipo de evaluacin. En el ao 2001 se efectuarn 2 evaluaciones de impacto. III. PRESENTACIN DE PROGRAMAS NUEVOS Y/O AMPLIACIONES O REFORMULACIONES SUSTANTIVAS

A.

Puesta en Marcha y Desarrollo Descripcin Objetivos y Requisitos

1.

Con el objeto de maximizar el impacto de los recursos asignados a nuevos programas, reformulaciones o ampliaciones sustantivas y avanzar en el diseo de programas y disponibilidad de informacin para la evaluacin, en la preparacin del presupuesto 2001 se incorpor un procedimiento que difiere en aspectos importantes del sistema aplicado en aos anteriores. En efecto, las instituciones iniciaron su proceso interno de elaboracin de propuesta de presupuesto con informacin de un marco presupuestario vinculado a sus gastos de carcter inercial y gastos comprometidos por las polticas actualmente vigentes (determinados por leyes, compromisos de mediano y largo plazo, etc). Programas nuevos, reformulaciones o ampliaciones sustantivas de programas existentes no son incorporados en este marco. Tales iniciativas debieron postular a un Fondo Central de Recursos para Prioridades Gubernamentales creado para estos fines. La postulacin de iniciativas al Fondo se efecto en un formato estndar, el que incluy un conjunto de antecedentes relevantes, bsicos, sealando la necesidad y pertinencia de la iniciativa. Entre dichos antecedentes destacan la justificacin, objetivos, resultados
4 En algunos casos, en que se ha considerado necesario y compatible con los plazos, se han efectuado estudios complementarios
principalmente orientados a recoger nueva informacin o sistematizar la existente. ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

15

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

esperados, componentes y costos de los proyectos, programas o lneas de accin. Tales antecedentes fueron la base para el anlisis y seleccin de iniciativas para financiamiento. 2. Focos y Elementos Metodolgicos Los conceptos incorporados en la presentacin corresponden en su mayora a aquellos utilizados en la metodologa de marco lgico. As, la institucin elabor su presentacin para los programas propuestos, la que junto con informacin complementaria fue presentada en un ficha de identificacin, la que incluye la matriz de marco lgico (ver anexo 1). Para la elaboracin de la presentacin el Servicio pudo recurrir a los profesionales de la institucin capacitados en dicha metodologa y/o solicitar la asistencia tcnica al Ministerio de Planificacin, encargado de apoyar a los Servicios en la formulacin y presentacin de los programas antes sealados. 3. Marco Institucional La presentacin de programas se efecta en el marco de las instrucciones para la formulacin del presupuesto cuya institucin responsable es el Ministerio de Hacienda. La seleccin definitiva de los programas a ser financiados por el fondo es efectuada en reuniones con el Presidente de la Repblica con motivo de la presentacin del presupuesto y los programas seleccionados y aprobados en el Congreso pasan a formar parte de la Ley de Presupuestos. 4. Participacin de las Instituciones Las instituciones participan directamente, puesto que la presentacin de sus programas debe ser efectuada conjuntamente con la presentacin de su propuesta presupuestaria. Dicha presentacin es analizada en el Ministerio de Hacienda considerando los elementos tcnicos sealados. 5. Balance de la Experiencia. Principales Dificultades y Soluciones En este primer ao de implementacin destaca el cumplimiento de las instituciones a las instrucciones de presentacin en formato estndar, homogeneizando estas presentaciones y mejorando la informacin de las iniciativas para su anlisis y seleccin. Esta respuesta es consistente con muchas opiniones de directivos sealando la mayor rigurosidad tcnica asociada, tanto a la formulacin como al anlisis de las alternativas. No obstante, los conceptos ordenadores de la presentacin, en especial aquellos relativos al marco lgico, requirieron de mayores explicaciones para su correcta comprensin y utilizacin en las Instituciones. Las debilidades mas frecuentes se observaron en la
ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

16

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

identificacin de aspectos especficos que justificaban una ampliacin o modificacin de la iniciativa en relacin al programa existente y sus resultados; descripcin de componentes y presentacin de antecedentes o indicadores para evaluar sus logros. El tiempo de que se dispuso, unido a problemas de informacin y coordinacin en las instituciones, hizo que en muchos casos no se recurriera a los profesionales con experiencia en la metodologa o al Ministerio de Planificacin encargado de dar asistencia tcnica en este proceso. Habindose cumplido el primer objetivo de esta innovacin al facilitar el anlisis de las iniciativas y su seleccin para financiamiento al Fondo Concursable, se hace necesario que las instituciones perfeccionen su presentacin, con el objeto de que la ejecucin de los programa cuente con el ordenamiento de objetivos e identificacin de la informacin que facilite su gestin y evaluacin de su desempeo futuro, lo que permitir adems ir superando problemas detectados en el procesos de evaluacin de programas que realiza esta. Con este objeto las instituciones con programas seleccionados e incorporados en la Ley de Presupuestos 2001 debern presentar al Ministerio de Hacienda ficha completa con la presentacin del programa. Dicho procedimiento ser requisito para dar inicio a la ejecucin presupuestaria de los programas. IV. A. INDICADORES DE DESEMPEO

Puesta en Marcha y Desarrollo de los Indicadores de Desempeo Objetivos y Requisitos

1.

La incorporacin de indicadores y metas desempeo al proceso presupuestario se inici en el ao 1994, con el objeto de disponer de informacin del desempeo de las instituciones y enriquecer el anlisis en la formulacin del presupuesto y su discusin en el Congreso Nacional. Si bien esta lnea se discontinu entre los aos presupuestarios 1999-2000 5, hasta el ao 1998 se vio incrementado el nmero de instituciones integradas a este trabajo. Los indicadores de desempeo fueron reincorporados en el proceso de formulacin del presupuesto 2001, reafirmando su objetivo original 6.

5 En el ao 1998 se inici la aplicacin de los Programas de Mejoramiento de la Gestin (ley N19.553). Dichos programas
incorporaron indicadores y metas asociando su cumplimiento a un incentivo monetario a los funcionarios. La exigencia de los indicadores propuestos fue baja y de difcil verificacin. El programa, que cubre a la mayora de las instituciones pblicas, fue reformulado en el ao 2000 6 Se exceptan aquellos servicios cuya misin no comprende la ejecucin directa o a travs de terceros de productos o servicios a usuarios, por la dificultad de asociar indicadores de desempeo. ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000 17

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

Los indicadores de desempeo son una herramienta que entrega informacin cuantitativa respecto al logro o resultado en la entrega de los productos o servicios generados por la institucin, pudiendo cubrir aspectos cuantitativos o cualitativos de este logro. Es una expresin que establece una relacin entre dos o ms variables, o por s misma se puede comparar con otra similar de perodos anteriores. El resultado de los indicadores permite inferir directa o indirectamente una medida del logro de las metas propuestas. Estas metas pueden estar directamente relacionadas con alguno de los productos o servicios que ofrece la institucin, o tener un carcter ms amplio, que englobe todo su quehacer. Los indicadores de desempeo deben cumplir algunos requisitos bsicos para una correcta definicin, entre los cuales destacan la pertinencia, la independencia de factores externos, la comparabilidad, tomar en cuenta situaciones extremas, requerir de informacin a costos razonables, confiables, pblicos, simples y comprensivos. Los indicadores deben cubrir los aspectos ms significativos de la gestin, privilegiando los principales objetivos de la organizacin, pero su nmero no puede exceder la capacidad de anlisis de quienes los van a usar. El presupuesto correspondiente al ao 2001 incorpora indicadores de desempeo para un total de 149 servicios pblicos presentando 275 indicadores. Los indicadores elaborados cubren principalmente las funciones sociales y econmicas y mayoritariamente miden el mbito de eficacia de productos o servicios institucionales ( ver anexo 2). La continuidad de esta lnea de trabajo, entendindola como un proceso, permitir en los prximos aos contar con ms y mejores indicadores, lo que crecientemente enriquecer la evaluacin de desempeo de las instituciones, fortalecer el compromiso por el logro de resultados contribuyendo a la transparencia y a una mejor calidad del gasto. 2. Focos de los Indicadores de Desempeo y Elementos Metodolgicos Los dimensiones o focos de la gestin de una institucin que son factibles y relevantes de medir a travs de un indicador son su eficacia, eficiencia, economa y calidad del servicio. A continuacin se describen cada uno de estos conceptos:

ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

18

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

a)

Eficacia. Se refiere al grado de cumplimiento de los objetivos planteados, es decir, en qu medida el rea, o la institucin como un todo, est cumpliendo con sus objetivos, sin considerar necesariamente los recursos asignados para ello. 2. Es posible obtener medidas de eficacia, en tanto exista la claridad respecto de los objetivos de la institucin. As, servicios que producen un conjunto definido de prestaciones, orientadas a una poblacin acotada, pueden generar medidas de eficacia tales como cobertura de los programas, aceptabilidad de la prestacin, grado de satisfaccin de los usuarios, tiempo de tramitacin de los beneficios, etc. 3. - Eficiencia. Describe la relacin entre dos magnitudes: la produccin fsica de un producto y los insumos o recursos que se utilizaron para alcanzar ese nivel de producto. En otros trminos, se refiere a la ejecucin de las acciones, beneficios o prestaciones del servicio utilizando el mnimo de recursos posibles.

En el mbito de los servicios pblicos existen muchas aproximaciones a este concepto. En general, se pueden obtener mediciones de productividad fsica relacionando el nivel de actividad, expresado como nmero o cantidad de acciones, beneficios o prestaciones otorgadas, con el nivel de recursos utilizados (gasto en bienes y servicios, dotacin de personal, etc.). Otro tipo de indicadores de eficiencia es el que relaciona volmenes de bienes y servicios o recursos involucrados en su produccin, con los gastos administrativos incurridos por la institucin. Economa. Este concepto se relaciona con la capacidad de una institucin para generar y movilizar adecuadamente los recursos financieros en pos de su misin institucional. En el marco de la misin institucional, la administracin de recursos exige siempre el mximo de disciplina y cuidado en el manejo de la caja, del presupuesto, de la preservacin del patrimonio y de la capacidad de generar ingresos. Algunos indicadores de economa de una institucin pueden ser su capacidad de autofinanciamiento, la eficacia en la ejecucin de su presupuesto o su nivel de recuperacin de prstamos. Calidad del Servicio. La calidad del servicio es una dimensin especfica del concepto de eficacia que se refiere a la capacidad de la institucin para responder en forma rpida y directa a las necesidades de sus clientes, usuarios o beneficiarios. Son elementos de la calidad factores tales como: oportunidad, accesibilidad, precisin y continuidad en la entrega del servicio, comodidad y cortesa en la atencin.
ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

19

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

Un modo directo de medir estos conceptos es a travs de encuestas peridicas a los usuarios. Una manera indirecta de conocer su grado de satisfaccin con el producto es el resultado de procesar la informacin recibida a travs de libros o buzones de reclamos u otros instrumentos. Algunas relaciones que reflejan este concepto son, por ejemplo, nmero de reclamos sobre el total de casos atendidos, tiempo de tramitacin de beneficios, tiempo de espera en oficinas de atencin de pblico o velocidad de respuesta ante cartas, llamadas o reclamos por parte de los usuarios. La formula de calculo del indicador es la expresin matemtica que permite cuantificar el nivel o magnitud que alcanza el indicador en un cierto perodo de tiempo (anual, semestral, etc.), considerando variables que se relacionan adecuadamente para este efecto. En la experiencia Chilena, la presentacin de los indicadores se efecta acompaada de la definicin de la misin, productos y servicios claves y objetivos estratgicos de cada una de las instituciones. Para cada uno de los indicadores la presentacin identifica el producto o servicio clave al que se vincula y el valor efectivo del indicador en ao recin pasados. La primera informacin permite analizar consistencia con definiciones estratgicas de las instituciones7, mientras que la segunda, que consiste en informacin histrica, permite analizar la consistencia de la meta comprometido con la trayectoria del indicador y los recursos que se asignen en el presupuesto, de modo que el compromiso que se asuma sea exigente (ver anexo 2). 3. Marco Institucional La elaboracin de indicadores y metas de desempeo constituye parte de los anexos con informacin que acompaa a la presentacin del Proyecto de Ley de Presupuestos al Congreso Nacional. La institucin responsable de tal presentacin es la Direccin de Presupuestos del Ministerio de Hacienda, como institucin responsable de dicha iniciativa legislativa. 4. Participacin de las Instituciones Las instituciones participan del proceso de formulacin de indicadores y metas de desempeo directamente, puesto que la presentacin de estos debe ser efectuada conjuntamente con la presentacin de su propuesta presupuestaria. Dicha presentacin es analizada en el Ministerio de Hacienda considerando dos aspectos fundamentales: las
7 Las definiciones estratgicas son presentadas por los servicios, pudiendo provenir de procesos de planificacin estratgica formulados con anterioridad por la institucin o bien de otros procesos de planificacin, anlisis o documentos elaborados por el servicio.
ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

20

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

exigencias y requisitos tcnicos de su formulacin, y consistencia de las metas comprometidas y los recursos asignados. Las observaciones efectuadas son trabajadas con las instituciones para su incorporacin. 5. Seguimiento En el perodo 1994-1997 el cumplimiento de las metas de desempeo comprometidas en los indicadores fue informado al Ministerio de Hacienda por cada uno de los servicios en el perodo de formulacin del presupuesto del ao siguiente, efectundose un anlisis conjunto de los resultados. Los informe de cumplimiento en cada ao fueron enviado al Congresos Nacional Las metas comprometidas para el ao 2001 y en los futuros procesos se informarn y revisarn en los mismos momentos definidos para el seguimiento de los compromisos establecidos con motivo de las evaluaciones de programas; en el Balance de Gestin Integral y en la formulacin del Proyecto de Ley de Presupuestos de cada ao. 6. Integracin al Ciclo Presupuestario Cabe sealar que el objetivo de los indicadores de desempeo en relacin con la asignacin de recursos, al igual que la evaluacin de programas, no necesariamente implica una relacin inmediata y directa de ms o menos recursos dependiendo de sus resultados. Los argumentos descritos con respecto de los resultados de las evaluaciones de programas y su integracin al ciclo presupuestario son tambin validos en el caso de los indicadores de desempeo (ver punto I.1.6.). Adems, estos ltimos difcilmente podrn dar cuenta en forma integral del desempeo institucional, requirindose de otros antecedentes complementarios para esto, lo que aconseja su uso con prudencia. La etapa de anlisis y formulacin de indicadores y metas se realiza considerando las asignaciones de recursos que contempla el Proyecto de Ley de Presupuestos en cada caso. Por otra parte, los resultados de los indicadores y por tanto el cumplimiento de las metas constituye informacin para el prximo perodo presupuestario. Al igual que en la experiencia de la etapa 1994-1998 esta informacin ser analizada en el Ministerio de Hacienda, en conjunto con otros antecedentes disponibles, para ser utilizada en los anlisis en la formulacin del presupuesto. Como ya se sealara las metas y grado de cumplimiento de los indicadores se envan al Congreso Nacional como parte de los anexos de informacin que acompaan la presentacin del Proyecto de Ley de Presupuestos (ver anexo 3).

ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

21

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

2. Balance de la Experiencia y Principales Avances

1.

Procesos de Formulacin de Indicadores

No obstante que los indicadores de desempeo no eran un concepto nuevo, en la experiencia ms reciente del presupuesto 2001 las presentaciones iniciales fueron insuficientes, concentrndose en indicadores de procesos mas que resultados. Estas presentaciones fueron revisadas en el Ministerio de Hacienda y mejoradas en un trabajo conjunto con las instituciones, corrigindose aspectos de formulacin y de definicin de metas de modo de cumplir con los requisitos tcnicos de estas mediciones. No obstante los esfuerzos realizados, en algunos casos no se logro disponer de un conjunto de indicadores de desempeo de los productos y servicios claves de la institucin. Las principales razones que explican lo anterior son el no contar con los necesarios y adecuados registros de informacin, y el breve tiempo de que se dispuso para su elaboracin dentro del ciclo presupuestario. Sin embargo, la experiencia permiti crear espacios de trabajo con los profesionales de las instituciones, lo que junto con los indicadores ya definidos constituyen elementos bsicos para trabajos futuros. De igual modo el proceso de revisin gener articulaciones entre las unidades de gestin y de finanzas en un nmero importante de instituciones, prctica que tambin es un requisito necesario para mejorar la gestin interna de las instituciones y fortalecer sus procesos de anlisis y elaboracin de propuestas presupuestarias. 2. Seguimiento En la experiencia del perodo 1994-1998, an cuando se bas en la autoexigencia y honestidad de los servicios pblicos quedando mrgenes para la manipulacin de la informacin o explicaciones del no cumplimiento aduciendo a elementos tcnicos de difcil verificacin, un nmero no menor de servicios informaron de metas no cumplidas. Para el proceso de seguimiento de los indicadores 2001, estando ya definidos los momentos en que se efectuar, actualmente se estn identificando los medios de verificacin con que se constatar el grado de cumplimiento de las metas comprometida, avanzando hacia un proceso de seguimiento ms riguroso. Cabe sealar que el proceso de revisin sealado no est contemplado como una auditoria a las bases de datos de los servicios. No obstante, se est considerando delegar esta lnea de verificacin, al menos de un modo aleatorio, en los procesos de auditoria interna con que cuenta cada servicio como parte del Sistema de Auditora Interna que implement el Gobierno a partir del ao 1997.
ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

22

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

3. Integracin al Ciclo Presupuestario. En el presupuesto del ao 2001, a pesar de la discontinuidad de esta lnea de trabajo, el nmero de institucin que participaron en la elaboracin de indicadores fue mayor que en todos los aos anteriores, permitiendo disponer de un conjunto no menor de metas y compromisos de desempeo compatibles con los recursos asignados. La informacin del grado de cumplimiento de los indicadores ser utilizada en la formulacin del presupuesto 2002. 3. Aspectos Pendientes y Soluciones

1.

Formulacin, Socializacin e Internalizacin en las Instituciones

A futuro, ms que un aumento significativo del nmero de indicadores por parte de las instituciones se requiere un esfuerzo por medir mejor los resultados de los productos y servicios centrales de las instituciones. Por otra parte, an es insuficiente la socializacin e internalizacin de los indicadores de desempeo como instrumento de gestin en las instituciones. En general, son elaborados por un grupo reducido de profesionales no socializndose debidamente en todos aquellos funcionarios de los cuales depende su resultado. Para avanzar en la solucin a estas insuficiencias, el proceso de trabajo instalado se debe profundizar con un trabajo ms cercano con cada institucin. Adems este trabajo se ver reforzado con el desarrollo del sistema de Planificacin y Control de Gestin que contempla el instrumento Programas de Mejoramiento de la Gestin que cubre a las instituciones pblicas8. Este sistema incluye la identificacin y elaboracin de indicadores asociados a los principales productos y servicios y los desarrollos de adecuados sistemas de recoleccin y sistematizacin de informacin. 2. Seguimiento Considerando la crucial importancia del seguimiento, adems de la identificacin de los medios de verificacin y de establecer momentos en los que se debe presentar el cumplimiento de los compromisos, se esta estudiando delegar la realizacin de auditorias a las bases de datos de los servicios, al menos de un modo aleatorio, en los procesos de auditoria interna que se efectan en cada servicio como parte del Sistema de Auditora Interna que implement el Gobierno a partir del ao 1997.
8 Los Programas de Mejoramiento de la Gestin reformulados en el ao 2000 comprenden un conjunto de sistemas de gestin
cuyas etapas de desarrollo estn tipificadas y constituyen metas de gestin. El cumplimiento por parte de los servicios de la etapa comprometida como objetivo de gestin esta asociado a un incentivo monetario, de carcter institucional, para los funcionarios. ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000 23

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

3. Integracin al Ciclo Presupuestario

A partir del ao 2001, habindose retomado la incorporacin de indicadores y metas de desempeo en el presupuesto, el cumplimiento de las metas comprometidas tambin constituir informacin a ser utilizada en las diferentes etapas del ciclo presupuestario. En efecto, como ya se sealar dicho ciclo cuenta con una etapa interna de evaluacin de cada servicio donde se analizan todos los antecedentes disponibles en relacin a la gestin financiera y de desempeo de los servicios, entre los que se incorporarn los resultados de los indicadores (ver punto I.1.6). Adems, para una mejor insercin en la discusin del presupuesto, antecedentes de resultados de los indicadores tambin sern incorporados en la recin creada instancia de evaluacin de la ejecucin presupuestaria en el Congreso Nacional (ver punto I.3.2).

ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

24

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

ANEXO 1
Matriz de Marco Lgico A continuacin se presenta la matriz de Marco Lgico que se utiliza en el Programa de Evaluacin de Proyectos Gubernamentales y en la presentacin de iniciativas al Fondo Concursable .MATRIZ DE MARCO LGICO

Programa: Servicio:
1 Enunciado del Objetivo 2 Indicadores/Informacin (*) 3 Medios de Verificacin (*) 4 Supuestos (*)

FIN: PROPSITO:

COMPONENTES:

ACTIVIDADES:

ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

25

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

26

Evaluacin de programas e indicadores de desempeo

Marcela Guzmn S.

ANEXO 3 Presentacin de Indicadores de Desempeo IDENTIFICACIN MINISTERIO SERVICIO

INDICADORES DE DESEMPEO / METAS 2001 Indicador Frmula Producto/Servi Informacin Estimacin Compromiso Medio de de Clculo cio al que se Histrica 2001 de Desempe vincula Verific o acin 1998 1999 2000 1 Ao Sem. Meta

ILPES MEP- Seminario Funciones bsicas de la Programacin, La Habana 2000

27