1

TERCER CONGRESO ARGENTINO DE ADMINISTRACIN PBLICA SOCIEDAD, ESTADO Y ADMINISTRACIN SAN MIGUEL DE TUCUMN 2, 3 Y 4 DE JUNIO DE 2005

LA EVALUACIN DE LA GESTIN PBLICA INTEGRADA A LOS PROCESOS DE PLANIFICACIN: SU POTENCIAL COMO FORTALECEDORA DE LA INSTITUCIONALIDAD DEMOCRTICA Lic. Paula Amaya

EVALUACIN DE LA GESTIN PBLICA: GOBIERNO Y GESTIN

1. Introduccin: contexto, definiciones y enfoques
En este documento proponemos analizar el tema evaluacin de la gestin pblica desde una mirada comprehensiva que contemple la complejidad de las organizaciones sobre todo en la Repblica Argentina. Esto es porque creemos que el debate no debe centrarse principalmente en la evaluacin de la gestin como garante de sistemas ms eficientes, sino que su potencial radica en su capacidad para fortalecer la relacin entre las esferas del gobierno y la gestin como componentes de la democracia representativa. La democracia representativa se basa, por un lado, en sustentar el acceso a los poderes pblicos a la representacin de todos los ciudadanos , limitando el alcance temporal y material del poder de los representantes. Podemos decir que este momento refiere a la democracia como entrada o input Existe otro aspecto o momento de la democracia, complementaria del input, que expresa la output o salida de la democracia como producto del ejercicio del poder. Dentro del poder ejecutivo, en particular los funcionarios designados y, por tanto, no electos, encarnan los principales factores de produccin del output de la democracia, en forma de los bienes y servicios que el estado ofrece a los ciudadanos. 1 Por lo tanto el diseo de sistemas de evaluacin de la gestin pblica es central para el fortalecimiento de la democracia, desafiando a los actores protagonistas a construir estrategias que les permitan dar cuenta o reponsabilizarse de los resultados de gestin. Se puede definir a la evaluacin como una prctica poltica y tcnica de construccin, anlisis y comunicacin de informacin til para mejorar aspectos de la definicin e implementacin de las polticas pblicas. La evaluacin en s misma es un proceso de aprendizaje sobre la gestin, a travs de la reflexin crtica sobre los aciertos y errores cometidos. Como prctica social la evaluacin de la gestin pblica no puede ser objetiva, se integra de teoras, estrategias y conocimientos metodolgicos; es llevada adelante por personas con valores, intereses y conocimientos en contextos complejos y cambiantes. Por tal motivo es importante que las personas y / o equipos que disean e implementan procesos de evaluacin expliciten su marco de anlisis, los objetivos que persiguen y los resultados esperados de su intervencin. La evaluacin no puede ser concebida como una actividad aislada y autosuficiente. Forma parte del proceso de planificacin. Tampoco es conveniente que la evaluacin sea entendida como la ltima etapa, cuando en realidad todo el proceso de diseo e implementacin de polticas pblicas debe estar impregnado de las dos caras: planificar y evaluar. Estos y otros temas sern desarrollados en el artculo, con la pretensin de aportar algunos elementos al debate sobre el tema.

ECHEVARRIA, Koldo Responsabilizacin y responsabilidad gerencial: instituciones antes que instrumentos enResponsabilizacin y evaluacin de la Gestin Pblica Caracas. CLAD, AECI/MAP/FIIAPP, 2005.- 296 p.

3
Quizs permita organizar el anlisis la identificacin de diferentes enfoques desde los cuales es posible desarrollar sistemas de evaluacin de la gestin pblica: A- Enfoque econmico Realiza anlisis del tipo costo beneficio. El acento esta puesto en la supervisin y control del gasto y la legitimidad en el uso de recursos pblicos. B- Enfoque administrativo - gerencial A travs de la comparacin de la gestin pblica con la gestin privada, se plantea la necesidad de exigir al Estado niveles de productividad ms altos. El ciudadano es entendido a travs del concepto de cliente; cuyas necesidades deben ser satisfechas de manera rpida y eficaz. Desde este enfoque se pretende evaluar los resultados alcanzados por la gestin pblica, la eficiencia en el uso de los recursos y el nivel de satisfaccin ciudadana. C- Enfoque poltico integral Este enfoque abarca los dos anteriores, entendiendo necesario realizar evaluaciones relacionadas con el control del gasto y con el logro de resultados concretos de la gestin pblica. La diferencia es que revisa la razn de ser del Estado como proyecto poltico y social, y resalta la importancia de su funcin en cuanto a expresin de utopas, valores, necesidades y diversidad de la sociedad. Entiende que los anlisis de costo beneficio, control de gestin o productividad no abarcan la complejidad de la organizacin estatal, y su consecuente relacin con la ciudadana. Plantea como necesario la identificacin de la relacin Gobierno y Gestin, el fortalecimiento de la democracia, la responsabilidad y tica del funcionario. El Estado como organizacin superior con la responsabilidad de mejorar de la calidad de vida de la poblacin. D- Enfoque centrado en el control y la auditoria externa La diferenciacin de este enfoque no se establece en el objeto o contenido de la evaluacin. Es decir puede centrarse en aspectos que refieren a otros enfoques: tanto en el aspecto econmico o los resultados de gestin alcanzados por la organizacin. La caracterstica principal de este enfoque es que los actores que disean, coordinan y comunican los sistemas de evaluacin de la gestin pblica son ajenos al Estado y se relacionan con el desde un rol de auditores externos o agencias de control. 2 En primer lugar entendemos que ningn enfoque es mejor o peor que otro en s mismo aunque desde nuestra perspectiva- los dos primeros y el ltimo pueden resultar insuficientes para plantear a la evaluacin como estrategia fortalecedora de la democracia representativa. En segundo lugar la eleccin del enfoque puede encontrarse determinada por los objetivos o intencionalidad de la evaluacin. En este sentido es necesario preguntarse qu queremos evaluar. Las estrategias sern diferentes si se trata de evaluar el impacto de un programa social, la legitimidad en el uso de los recursos en un programa con financiamiento internacional, el desempeo de una institucin pblica o el cumplimiento de los objetivos de un Plan de Gestin. En tercer lugar el enfoque desde el cual se disee el sistema (Econmico, de la Administracin Gerencial, Poltico Integral o centrado en el Control y la Auditoria Externa) determina:

Para conocer profundizar en las caractersticas de este enfoque y analizar un caso en particular puede consultarse el artculo El control de las agencias reguladoras en Brasil: Ulises y las sirenas o Narciso? de Regina PACHECO en el libro Responsabilizacin y evaluacin de la Gestin Pblica. Caracas: CLAD, AECI/MAP/FIIAPP, 2005.- 296 p.

4
Los actores que estarn involucrados en la evaluacin. El momento en el cual se llevar a cabo. Las estrategias y metodologas elegidas. El tipo de relacin entre los conceptos evaluacin, control del gestin y seguimiento entre otros. La construccin de los indicadores.

5 2. El enfoque Poltico Integral de la Evaluacin

Consideramos que el enfoque que de manera ms precisa da a la evaluacin el carcter de estrategia fortalecedora de los sistemas democrticos es el poltico integral. Es decir, el centro de la atencin al momento de disear sistemas de evaluacin de la gestin debe estar puesto en el aprendizaje sobre la gestin, el cumplimiento de los objetivos estratgicos de gobierno y el fortalecimiento de la democracia como sistema. Los objetivos polticos de gobierno, enunciados preferentemente como polticas de alto impacto, definen las acciones estratgicas de la gestin y su consecuente forma de evaluacin. Para ampliar esta mirada nos es muy til el desarrollo del autor Joan Subirats en su trabajo presentado en el Congreso Internacional del CLAD en Noviembre de 2004 3 . En dicho trabajo el autor plantea como primer elemento de reflexin al momento de introducir elementos de evaluacin la diferenciacin de los temas que son propios del mbito de Gobierno y aquellos que son propios del mbito de Gestin. No significa que sean mbitos separados, sino que podemos distinguir acciones ms relacionadas con el gobierno y acciones ms relacionadas con la gestin. A su vez estos dos mbitos pueden subdividirse pensando en lo estratgico y lo operacional. Esta distincin nos permite organizar los espacios en cuatro cuadrantes, que el autor esquematiza de la siguiente manera: Estratgico Gobierno Gestin 1 3 Operacional 2 4

Fuente: Joan SUBIRATS Podemos utilizar los instrumentos de evaluacin como palanca de gobierno del sector pblico? Congreso Internacional del CLAD. Madrid 2 5 de Noviembre de 2004

El autor utiliza como analoga a la navegacin, donde es necesario diferenciar las acciones de remar (4: Gestin Operativa), timonear (3: Gestin Estratgica), las labores de contramaestre: gobierno de operaciones, funciones de control, supervisin, etc. (2: Gobierno Operativo) y por ltimo labores de capitana, el campo propio de la navegacin (1: Gobierno Estratgico). Sin llenar este espacio faltan criterios de consistencia para poder comprender una labor evaluadora seria. Sin carta de navegacin, ni remar ni timonear tiene demasiado sentido. El control de los controladores pierde significacin. Los sistemas de evaluacin de las administraciones pblicas no pueden hacer referencia nicamente al cumplimiento de legalidad. El debate sobre la evaluacin de la gestin pblica no puede reducirse a un mero ejercicio tcnico sobre cuales son los indicadores oportunos, o cual debera ser el rgano tcnicamente ms adecuado para realizar esa labor. 4 Si lo que interesa es mejorar la gestin pblica, debemos poner atencin en el tipo y calidad de las interrelaciones entre esas organizaciones pblicas, los sistemas de Gobierno y el impacto en la calidad de vida de la poblacin. Si slo nos dedicamos a examinar los componentes internos del funcionamiento de tales organizaciones, lo mximo que conseguiremos ser avanzar en la evaluacin de su eficiencia y del grado de cumplimiento de las previsiones procedimentales.

SUBIRATS Joan Podemos utilizar los instrumentos de evaluacin como palanca de gobierno del sector pblico? Congreso Internacional del CLAD. Madrid 2 5 de Noviembre de 2004

SUBIRATS Joan Op. Cit.

3. Por qu evaluar la gestin pblica?

Para la autora Sonia Ospina 5 la evaluacin de resultados de la gestin pblica puede contribuir a fortalecer y profundizar la institucionalidad democrtica si logra: Establecer niveles de responsabilidad de los funcionarios pblicos. Garantizar una gestin ms transparente. Motivar a los empleados a dar prioridad a la perspectiva del ciudadano en el diseo de programas y servicios. Mejorar la calidad de los servicios prestados por el sector pblico.

A los puntos destacados podemos agregar: Mejorar la calidad de vida de los ciudadanos a travs de la implementacin de polticas pblicas pertinentes que erradiquen las desigualdades y contemplen la diversidad social. Mejorar la relacin de representacin Estado Sociedad Civil.

La evaluacin tiene adems una incidencia hacia adentro de la organizacin, promoviendo cambios como: La construccin de una visin compartida sobre el futuro de la organizacin. La definicin de objetivos estratgicos de gestin. Mayor claridad en las estrategias de gestin, roles, estndares de rendimiento, distribucin de tareas; es decir el fortalecimiento sobre el cmo se alcanzarn esos objetivos. Mejor informacin para el establecimiento de Gestin del Talento Humano en funcin de la calidad del desempeo.

La evaluacin de la gestin pblica fortalece la capacidad del Estado para gobernar, contribuye a la democratizacin en la relacin con la sociedad y consolida los procesos de desarrollo institucional. Si bien la evaluacin no es suficiente para lograr todo esto, es necesaria para que ello ocurra. El punto central a tener en cuenta es concebir y comprender a la evaluacin desde su naturaleza poltica, diseando y gestionando estos sistemas desde su integralidad histrico social y cultural, teniendo clara conciencia del contexto.

OSPINA Sonia Una aproximacin sistmica a la evaluacin de la gestin pblica CLAD, 2002

DISEO DE UN SISTEMA DE EVALUACIN: MOMENTOS Y DEFINICIONES NECESARIAS

La segunda parte de este documento tiene como finalidad desarrollar los aspectos prioritarios para disear sistemas de evaluacin de la gestin pblica, haciendo referencia a las cuestiones culturales, conceptuales, estratgicas y metodolgicas de la evaluacin. A modo de introduccin diremos que es necesario que el diseo de los sistemas de evaluacin sea 6 : Flexible: Entendiendo la evaluacin como un proceso en el que sea posible hacer revisiones peridicas para una readaptacin y adecuacin a las necesidades de informacin, objetivos e intereses de los que intervienen en el programa, que pueden ser cambiantes. Abierto: A la participacin en su diseo de los diferentes actores que estn involucrados en el proceso de definicin e implementacin de las polticas pblicas. til: Debe buscar la satisfaccin de las necesidades de informacin en dos direcciones: de los gobernantes para tomar decisiones y dar cuentas de los resultados y de la ciudadana para conocer y valorar esos resultados. Simple: De fcil lectura, claro y sinttico Econmico: El diseo y desarrollo del sistema debe ser econmico en cuanto a los recursos financieros, materiales, las personas involucradas y el tiempo de gestin. A continuacin realizaremos un recorrido por los diferentes momentos que de acuerdo a nuestra concepcin de la evaluacin conforman el complejo desafo de disear e implementar sistemas de evaluacin de la gestin pblica.

1- Definiciones preliminares al diseo del Sistema de Evaluacin

Las organizaciones pblicas son expresiones complejas, que existen en un territorio determinado, con una historia y una cultura. Son construcciones con una identidad, en un contexto cambiante que en mayor o menor medida tambin provoca en ellas el cambio. Siendo expresiones del Estado, las organizaciones se nutren implcita o explcitamente de las diferentes concepciones acerca del rol que este tiene, del modelo de Estado que las fuerzas operantes sean estas ms o menos benevolentes y / o apropiadas a las necesidades de la sociedad en ese contexto histrico - logran imponer. Las decisiones acerca de qu tecnologas de gestin a utilizar surgen siempre en el marco de posiciones tomadas acerca del modelo de Estado que se quiere. Ciertas veces los expertos polticos o tcnicos que asumen su implementacin no definen o no explicitan cual es ese marco. Las razones son diversas: desde un ingenuo desconocimiento, una insuficiente reflexin acerca de las necesidades de la sociedad y su relacin con el Estado o porque la implementacin de esas estrategias surge de presin de sectores nacionales y / o internacionales que identifican claramente el modelo de Estado que necesitan. Creemos que la aplicacin de cualquier tecnologa de gestin en el Estado debe promover en primer lugar - la intervencin crtica y reflexiva de los actores que estn involucrados en su implementacin. Por lo tanto antes de disear e implementar sistemas de evaluacin de la gestin pblica - es importante responder a preguntas tales como 7 : Qu modelo de Estado queremos?

6 7

Presentacin del Instituto de Desarrollo Regional de Sevilla. Buenos Aires. Marzo de 2005 Este listado de preguntas es orientador y de ninguna manera pretende ser exhaustivo.

8
En que medida la tecnologa de gestin en cuestin (en este caso la evaluacin de la gestin pblica) contribuye a construir el Estado que queremos? De qu manera la aplicacin de esa tecnologa de gestin promover una mejora en la calidad de vida de los diferentes sectores de la sociedad? Cules son los antecedentes de uso de tecnologas similares en la organizacin donde se implementar? Cul es el significado que la implementacin de esta tecnologa de gestin tiene o tendr para la organizacin?

2- Qu queremos evaluar?
Para disear sistemas de evaluacin ser necesario en segundo lugar definir qu se quiere evaluar. La respuesta a esta pregunta permitir ubicar el enfoque desde el cual desarrollaremos el sistema de evaluacin. El modelo que tomamos en esta gua corresponde al enfoque poltico integral de la evaluacin, sin dejar de hacer referencia a otras formas de evaluacin que pudieran ser implementadas en los organismos pblicos. Este enfoque plantea a la evaluacin de la gestin pblica en su sentido ms amplio, integrada a las decisiones de gobierno y a los procesos de planificacin. Desde el enfoque poltico integral de la evaluacin el objetivo ser construir y comunicar informacin relevante a las cuestiones de gestin, expresadas y priorizadas en una planificacin que refleja los objetivos estratgicos de gobierno en funcin de las necesidades de la poblacin a la cual la poltica pblica en cuestin atienda. Ejemplo: La regin sufre altos ndices de desempleo (necesidades de la poblacin). El gobernante ha planteado en su plataforma de gobierno la inversin en obra pblica como aspecto central para movilizar sectores productivos y disminuir el desempleo (objetivos estratgicos de gobierno). El Ministerio de Obras Pblicas debe ejecutar una serie de programas de obra pblica, administrando recursos externos con la estructura orgnica preexistente (cuestiones de gestin). El Ministerio de Trabajo debe administrar sus planes de trabajo de manera tal que la poblacin beneficiaria pueda desempearse en la construccin de obra pblica (cuestiones de gestin). El Ministerio de la Produccin deber gestionar la integracin de los diferentes sectores productivos involucrados en la construccin de obra pblica (cuestiones de gestin). El objetivo estratgico de gobierno utilizado en el ejemplo tendr ms probabilidades de ser logrado si los niveles de gestin involucrados planifican su accin. La evaluacin en este caso deber dar cuenta de los logros de gestin alcanzados, su impacto en el cumplimiento del objetivo estratgico de gobierno y en la satisfaccin de la necesidad de la poblacin. Por lo tanto el primer aspecto a definir sern los objetivos estratgicos de gobierno y su correlato en la planificacin de la gestin pblica. Ahora bien, puede ocurrir que la relacin entre los objetivos estratgicos de gobierno y las tareas que desarrolla la organizacin donde se implementar el sistema de evaluacin no sea tan clara. Esta situacin es comn en las organizaciones pblicas argentinas, y tiene varias y diferentes causas. No desarrollaremos cada una de ellas, debido a que es un tema que merece un desarrollo exclusivo, implicando un anlisis histrico, poltico, sociolgico y cultural. Pero al menos enunciamos dos de estas causas, cuya identificacin nos ayudar a disear sistemas de evaluacin en este contexto: Los objetivos estratgicos de gobierno relacionados con las tareas que realiza la organizacin en cuestin no han sido enunciados de manera explicita.

9
En este caso ser necesario identificar los objetivos estratgicos de gobierno en fuentes secundarias tales como discursos del gobernante o las misiones y funciones presentes en el decreto de creacin o modificacin de la organizacin. Las funciones de la organizacin donde se implementar el sistema de evaluacin no forman parte de las polticas de alto impacto definidas en la agenda de gobierno 8

En este caso ser necesario hacer referencia los objetivos del Plan Institucional de la organizacin o las misiones y funciones que figuran en el decreto de creacin de la organizacin. Otra fuente alternativa que no invalida las dos mencionadas, sino ms bien las fortalece es la construccin de una visin y horizonte de sentido de la organizacin por parte de sus integrantes. Existen experiencias muy interesantes de innovaciones realizadas en instituciones donde el motor de cambio ha sido precisamente la construccin participativa de respuestas a preguntas tales como: Para que existe nuestra organizacin? Cules son las necesidades de la sociedad que satisface? Qu nos pide la sociedad hoy? Cules son nuestras responsabilidades como servidores pblicos? Cules son nuestros sueos, nuestras utopas relacionadas con la organizacin? Qu objetivos queremos lograr? Cul es nuestro horizonte de sentido? Para finalizar el desarrollo de este punto, reiteramos que siempre ser ms fcil, productivo y valorado un sistema de evaluacin que se disee en funcin del Plan que quiera llevarse a cabo, identificando los objetivos estratgicos de gobierno y / o de gestin de la organizacin. Cuadro: Ejemplos de respuestas a la pregunta Qu queremos evaluar?
A- Los resultados alcanzados por el Plan Estratgico de gestin: objetivos logrados, aumento en la capacidad de gestin del rea, satisfaccin de los empleados, mejoras en la calidad del servicio prestado, satisfaccin del usuario. B- El impacto de un Plan de Salud determinado en la poblacin objetivo: disminucin de anemia en mujeres embarazadas, disminucin de nios enfermos de gripe, aumento de controles de peso en los nios menores de 3 aos. C- Los resultados de la implementacin del proyecto Mejora en la calidad de atencin a los afiliados: aumento de la capacidad y calidad de gestin de las reas que atienden a los ciudadanos, aumento en la satisfaccin de las personas atendidas, disminucin de tiempos de espera para la realizacin de trmites, mejora en la sealtica del edificio. D- Los resultados de la implementacin del Plan de optimizacin de procesos en la Direccin X: disminucin de los tiempos y recursos utilizados para la finalizacin de un trmite, percepcin de los empleados en cuanto a las mejoras producidas en las tareas diarias. E- La implementacin de un programa de desarrollo y capacitacin del personal en un rea determinada: mejora de la calidad de las prcticas laborales, cambio en la adecuacin perfil del empleado puesto de trabajo, satisfaccin del personal, aprendizajes realizados

Para ampliar el concepto de Polticas de Alto Impacto consultar el Documento 4 del Plan Trienal de la gestin Pblica. www.gestionpublica.sg.gba.gov.ar

10 3- Identificacin del tipo de evaluacin segn nivel de gobierno y / o gestin que ser evaluado
En tercer lugar es necesario identificar cual ser el nivel de gobierno y / o de gestin que ser evaluado. Para llevar adelante esta tarea puede ayudar el cuadro que figura a continuacin. NIVEL CARACTERSTICAS Y OBJETIVOS Diagnstico: Identificacin de las necesidades de la sociedad que sern satisfechas. Construccin del horizonte de sentido del proyecto poltico y de gobierno. Elaboracin del plan de Gobierno. Anlisis de la capacidad institucional de las organizaciones pblicas para lograr los objetivos de gobierno. Resultados: Logro de los objetivos propuestos. Impacto de las polticas pblicas en la mejora de la calidad de vida de la poblacin. Impacto en el fortalecimiento de la democracia, el sistema de representacin, la construccin poltica y la relacin Estado Ciudadana. Diagnstico: Construccin y / o fortalecimiento de la relacin Gobierno Gestin. Traduccin de las polticas estratgicas de alto impacto en objetivos de gestin. Proceso: Identificacin de los mecanismos de seguimiento que sern utilizados para articular la frontera entre el gobierno y la gestin. Resultados: Identificacin y comunicacin de los logros generales de gestin en funcin del Plan de Gobierno. Control del gasto.

GOBIERNO ESTRATGICO

GOBIERNO OPERATIVO

11
NIVEL CARACTERSTICAS Y OBJETIVOS Diagnstico: Elaboracin de los Planes Institucionales. Construccin de los indicadores de gestin. Fortalecimiento de la capacidad institucional para llevar adelante el Plan Institucional. SUBNIVELES Estructuras organizativas Evaluacin de su adecuacin en funcin del Plan Institucional

GESTIN ESTRATGICA

Empleo pblico y capacitacin Planificacin de Personal en funcin del Plan Institucional. Proceso: Seguimiento del desarrollo de los programas Desarrollo de carrera. en funcin de los objetivos del Plan. Estrategias de Comunicacin Diseo y adecuacin de las estrategias de Resultados: Identificacin y construccin de la comunicacin en funcin del Plan Institucional. informacin acerca de los objetivos alcanzados. Proyectos de innovacin Cambios e innovaciones promovidas y Evaluacin del desempeo institucional. realizadas para cumplir los objetivos del Plan Institucional. Diagnstico: Definicin de los objetivos operativos. Normativo Verifica la aplicacin de las normas y procedimientos. Principio de legalidad.

GESTIN OPERATIVA

Proceso: Anlisis de eficiencia y efectividad en el Patrimonial desarrollo de las actividades. Correspondencia entre gastos y la previsin Resultados: presupuestaria. Objetivos alcanzados. Evaluacin del desempeo de los equipos y las personas. Presupuestario Verifica la ejecucin presupuestaria.

La relacin entre los procesos de evaluacin en los diferentes niveles es complementaria y muy importante, existe el riesgo de estimular desarticulaciones en la gestin por la generacin de procesos de evaluacin en algunos de los niveles, sin relacin con lo que ocurre en los restantes. Un ejemplo en este sentido son los sistemas de evaluacin del desempeo individual, implementado en organizaciones donde muchas veces no existen definiciones relacionadas con el plan de la organizacin y los objetivos estratgicos de gobierno. En este caso cabe preguntarse cual es la legitimidad de ese proceso micro de evaluacin, en funcin de qu elementos se decide si una persona se ha desempeado correctamente. Quizs los fracasos de algunos sistemas de evaluacin de desempeo tenga relacin con esta cuestin.

12
Cuadro: Ejemplo de objetivos de un Sistema de Evaluacin segn sus diferentes niveles NIVEL OBJETIVOS - CARACTERSTICAS Objetivo estratgico Disminuir la desercin escolar en el nivel polimodal Evaluacin diagnstico: Definicin del problema (Ej. Identificacin de las reas con mayor desercin). Evaluacin de proceso: Seguimiento para corroborar la realizacin de las acciones necesarias para la consecucin del objetivo. Evaluacin de resultados: Disminuy la desercin escolar en las zonas X, D, F y U? Evaluacin de impacto: Identificacin de las consecuencias que la disminucin escolar tuvo en la poblacin y zona seleccionadas. Diagnstico: Identificacin de las reas de gestin relacionadas con el cumplimiento del objetivo. Definir operativamente los objetivos de gobierno (Ejemplo Disminuir en un 10 % la desercin escolar en las zonas X, D, F y U del Municipio). Identificacin y asignacin de los recursos necesarios. Proceso Seguimiento en la implementacin de los programas y la utilizacin de los recursos. Resultados: Identificacin de los resultados alcanzados por los diferentes programas relacionados con el objetivo de gobierno. Construccin de la relacin Objetivos logrados por los programas resultados de gobierno estratgico.

GOBIERNO ESTRATGICO

GOBIERNO OPERATIVO

Diagnstico: Identificacin de los programas y / o reas relacionadas con el objetivo de gobierno. Definicin de los indicadores. Acuerdo sobre la informacin necesaria para evaluar los programas: tiempo y forma de produccin. Proceso: GESTIN Construccin de la informacin. Seguimiento de las acciones del programa. ESTRATGICA Resultados: Identificacin y comunicacin de los objetivos alcanzados. Evaluacin del desempeo institucional: adecuacin de las estructuras, polticas de personal integradas al Plan, estrategias de innovacin y comunicacin implementadas. Diagnstico: Identificacin de actividades, responsables, metas y plazos. Proceso: Seguimiento en la realizacin de actividades. Resultados: Evaluacin en el uso de los recursos. Evaluacin del desempeo de las personas. Cumplimiento de la normativa vigente. Legitimidad del uso de recursos.

GESTIN OPERTATIVA

13 4- Identificacin del tipo de evaluacin segn el momento en el cual la gestin pblica ser evaluada
Por lo general es conveniente que los sistemas de evaluacin se desarrollen en los cuatro momentos que conforman el proceso de definicin e implementacin de una poltica pblica, de la mano de los procesos de planificacin. 1- Diagnstico Integracin del sistema de evaluacin a los objetivos del Plan de Gobierno o de Gestin (de acuerdo al nivel evaluado). Diseo del sistema de evaluacin. Registro de la situacin de inicio. Definicin de la informacin que deber construirse: tiempo y forma. 2- Proceso Construccin de la informacin necesaria. Registro de los avances en la consecucin de los objetivos del Plan. 3- Resultado Alcance de los objetivos estipulados en el Plan. 4- Impacto Cambios producidos, dependiendo del nivel evaluado. Gobierno: En el fortalecimiento de la democracia, las necesidades satisfechas de la ciudadana, la construccin poltica y los sistemas de representacin. Gestin: Resultados de gestin alcanzados. Fortaleza institucional conseguida. Impacto en los objetivos de gobierno. Resulta dificultoso gestionar sistemas de evaluacin que slo hacen referencia a los ltimos momentos de la gestin. Esto tiene que ver con la necesidad de integrar los procesos de planificacin y evaluacin, haciendo que los programas o proyectos se vuelvan evaluables, es decir que la informacin necesaria para conocer los objetivos alcanzados por ellos se construya en el momento oportuno. Es comn encontrar situaciones en las cuales los coordinadores de sistemas de evaluacin preguntan a sus pares en la gestin sobre diferentes aspectos una vez que los programas ya estn avanzados o han finalizado, en estos casos nos encontramos con la dificultad de reconstruccin de datos o la carencia absoluta de ellos. Ejemplo: Los coordinadores del Sistema de Evaluacin preguntan a una persona que atiende al ciudadano en una obra social donde se ha implementado un programa de mejora en la atencin al afiliado Puede decirme a cuantos afiliados se atiende en promedio por da? La persona no puede establecer fehacientemente ese dato. En cambio s hubiera podido hacerlo si hubieran acordado desde el comienzo los requerimientos de informacin del sistema de planificacin y evaluacin.

14 5- Identificacin de diferentes modelos de evaluacin de la gestin pblica

De acuerdo a la bibliografa que se consulte pueden encontrarse diversos modelos de evaluacin. Este documento es una gua, y no pretende realizar un desarrollo exhaustivo del tema, por lo tanto se destacan a continuacin algunos modelos que pueden resultar tiles en las organizaciones pblicas. 9 Evaluacin centrada en objetivos: (Tyler, 1942). Este modelo parte de la existencia de objetivos claros y medibles en la poltica o programa a evaluar; objetivos de referencia que permitirn concretar y delimitar los cambios buscados, siendo su conocimiento lo que orienta la eleccin de las variables dependientes de anlisis y de los criterios a utilizar. Evaluacin no centrada en objetivos o libre de objetivos: (Scriven, 1942). Se consideran objeto de evaluacin todos los efectos provocados por el programa y no slo aquellos que estaban previstos inicialmente . Toma como referencia para la evaluacin las necesidades fundamentales detectadas. Evaluacin formativa: Tiene por objetivo proporcionar informacin para mejorar el objeto evaluado y se realiza mientras la intervencin se est llevando a cabo. Modelos descriptivos: Sistematizan a modo de inventario la informacin relativa a las actividades y resultados del programa y en una fase posterior se valora la bondad del programa sobre la base de descriptores de otros programas y en funcin de normas de calidad establecidas por los grupos de referencia ms significativos. Modelos clnicos: Adems de registrar los resultados, tratan de explicar por qu un objetivo propuesto no ha sido alcanzado y por qu otros objetivos, no buscados en principio, s lo han sido. Se intenta descubrir las diferencias entre la meta perseguida y la alcanzada efectivamente, explicndolas a travs de las condiciones de ejecucin de la poltica. El enfoque experimentalista: (Campbell, Stanley, y Cook 1966, 1979, 1993). La accin pblica se considera una ciencia donde es posible realizar experimentaciones sobre la realidad, contrastando hiptesis previamente establecidas y determinando relaciones causales entre las variables previamente definidas. Enfoques participativos: Fomentan la cooperacin con el evaluador. Stake junto con otros autores como Barry MacDonald (1975) son los pioneros en el desarrollo del enfoque participativo basado en un enfoque de investigacinaccin-participacin (IAP), en el que los implicados en los programas participan y ayudan a dirigir su propia evaluacin. El foco est puesto en el aprendizaje sobre la accin y desarrollo del programa. Hacen hincapi en la capacitacin en materia de evaluacin y el fortalecimiento de una cultura de la evaluacin. Tienen en cuenta la pluralidad de valores e intereses que coexisten en un programa. La evaluacin pluralista: (Monnier). Centrada en el reconocimiento de una pluralidad de sistema de valores coexistentes en el seno de la sociedad. La utilidad de la evaluacin radica en la credibilidad y legitimidad poltica del proceso de evaluacin por parte de los actores crticos ms que en la metodologa y rigor tcnico (legitimidad cientficotcnica).

La descripcin de modelos es una sntesis de la presentacin realizada por el Instituto de Desarrollo Regional de Sevilla en el curso Evaluacin de Polticas Pblicas. Buenos Aires, Marzo de 2005

15 6- Quienes participarn en la definicin, coordinacin y supervisin del sistema de evaluacin

Siguiendo nuestro desarrollo de acuerdo al modelo poltico integral de la evaluacin, los actores involucrados en la definicin, coordinacin y supervisin del sistema de evaluacin deben ser quienes definen, coordinan y supervisan el Plan Institucional de gobierno. En algunos intentos de planificar y evaluar la gestin pblica es comn encontrar que las reas destinadas a tales desafos se tecnifican. Las causas que explican esta situacin requieren una autocrtica tanto de quienes son considerados expertos en procesos de planificacin y evaluacin, como de aquellos que se consideran o son considerados expertos en cuestiones polticas. Como si ambos saberes estuvieran disociados o divorciados de origen. La causa y consecuencia es el alejamiento de los espacios donde poltica y estratgicamente se define el horizonte de sentido de la organizacin, desvirtuando as su razn de ser y burocratizando sus funciones y estructuras. Lo que ocurre es que el modo de operar de uno y otro grupo muchas veces ha contribuido al desprestigio de s mismo y del otro (desvirtuar el sentido de las competencias polticas y tcnicas). Para implementar sistemas de evaluacin valiosos a las cuestiones de gobierno y gestin, es necesario abandonar esta disputa. Es necesario constituir equipos polticos con capacidades tcnicas que diseen, coordinen y supervisen de manera integrada los procesos de planificacin y evaluacin de la gestin pblica. Quines debieran entonces disear, coordinar y supervisar los sistemas de evaluacin? Consideramos que no es necesario generar estructuras Ad Hoc, sino fortalecer las figuras, personas y / o equipos existentes en los diferentes organismos que cumplan con el siguiente perfil: Actores protagonistas en la definicin de la visin y / o el Plan Institucional y /o las polticas de Alto Impacto de las polticas pblicas en cuestin. Con acceso a la informacin necesaria o capacidad de decisin y de gestin para construirla para implementar sistemas de evaluacin de la gestin pblica. Con voluntad y capacidad para construir sistemas de evaluacin y comunicar los resultados de gestin.

El ROL que estas figuras, equipos de trabajo o reas organizativas debieran cumplir es el siguiente: Construir la informacin necesaria para dar cuenta de los resultados alcanzados por la gestin en relacin a la visin y / o Plan Institucional y / o polticas de alto impacto definidas para la poltica pblica en cuestin. Sistematizar esa informacin construida en el tiempo y forma acordados previamente con las reas de gobierno que coordinen la utilizacin y comunicacin de la informacin. Informar al rea de Gobierno sobre los resultados alcanzados por las polticas pblicas prioritarias y el grado en el cumplimiento de metas.

16 7- Construccin de indicadores de gestin

Un indicador es una herramienta que permite entregar informacin cualitativa o cuantitativa del grado de cumplimiento de un objetivo de gestin previamente establecido. Los indicadores son la manera en que vemos lo que est pasando. Tpicamente representan un complejo de actividades y relaciones dentro de la institucin, que se presentan de una manera mensurable, o cuando menos de una manera recopilable. Los indicadores son un elemento central en el proceso de evaluacin, por cuanto su finalidad es constituir una herramienta capaz de cuantificar la relacin entre el escenario que se quiere obtener (objetivos) y el que efectivamente se lograr en el futuro. Desde esta perspectiva, la construccin de indicadores se convierte en un factor de relevancia dentro de las instituciones, ya que contribuyen a desarrollar una cultura organizacional orientada a los resultados, proporcionar una visin sinttica de la evolucin de la gestin institucional y orientar las decisiones institucionales al respecto Los indicadores pueden ser cualitativos o cuantitativos. Los indicadores cuantitativos son mensurables e implican nmeros. Los indicadores cualitativos son ms difciles de medir, y pueden describir procesos, comportamientos y actitudes. Es deseable de alguna manera llevar a estos a una forma cuantitativa a fin de hacerlos comparables. Cada objetivo puede tener varios indicadores claves que usualmente representan una mezcla de indicadores cuantitativos y cualitativos. Sin embargo, puede ser necesario reducir el nmero de indicadores que se est usando, o modificarlos para que sean ms adecuados para un contexto o situacin particular. Requisitos que debe cumplir un indicador Pertinencia y relevancia: Medir los elementos ms significativos del Programa Unicidad: Debera medir un solo aspecto. Exactitud y consistencia: Suministrar medidas exactas y proporcionar las mismas mediciones ante mismos procedimientos Objetividad: Reflejar hechos y no impresiones subjetivas Fciles de interpretar Accesibilidad: Basarse en datos fcilmente disponibles y a un coste aceptable Comparables: Espacial y temporalmente

17
Tipos de indicadores A- Indicadores de Proceso Miden diferentes aspectos dentro del proceso institucional. Estn referidos al desempeo de la institucin a fin de producir los resultados deseados. Ejemplos: plazo para presentar licitacin, plazo para elaborar reglamento, nmero de negociaciones realizadas; ejecucin presupuestaria enero / junio. B- Indicadores de resultados B.1 Producto: Miden los resultados concretos en la ejecucin de polticas o proyectos evaluados en cantidad y calidad. Ejemplos: nmero de rutas habilitadas; nmero de personas capacitadas. B.2 Efecto: Miden las consecuencias del uso de los productos en cierta poblacin beneficiaria. Estn relacionados con las contribuciones del proyecto a resolver directamente problemas y necesidades de la poblacin destinataria. Se diferencian de los indicadores de impacto en que pueden tener un menor grado de permanencia y su presencia por s sola no garantiza cambios importantes en la tendencia histrica. Ejemplo: nmero de personas capacitadas y colocadas en el mercado laboral. En un programa de contacto de desempleados y empresas para reducir el desempleo, cuyo producto es entrevistas gestionadas, el indicador de efecto es: nmero de desocupados que consiguieron trabajo por el programa. B.3 Impacto: Miden la consecuencia de los efectos de un proyecto o poltica sobre la comunidad. Su carcter es de mayor permanencia y su presencia evidencia cambios importantes en la tendencia histrica. Estn relacionados con las contribuciones de los proyectos y programas al cumplimiento de las polticas, misin u objetivo superior de la institucin y /o del grupo. Ejemplos: Disminucin de la evasin fiscal, Incremento de la recaudacin de impuestos, Aumento del ingreso de las personas incorporadas a un programa de reconversin, Reduccin en la tasa de desempleo del municipio. Indicadores de Eficacia Se considera como eficacia el nivel de cumplimiento de los objetivos y metas establecidos, a travs de los productos o resultados obtenidos, sin referencia alguna al costo de consecucin de los mismos. Indicadores de Eficiencia La eficiencia es el grado de optimizacin del resultado obtenido en relacin con los recursos empleados. Este tipo de indicadores permite establecer la relacin entre la produccin fsica del bien o servicio y los insumos utilizados para alcanzar el nivel de producto. Indicadores de Calidad Este tipo de indicadores mide la capacidad de cumplir adecuadamente con los requisitos de satisfaccin del producto que esperan los usuarios, en trminos de oportunidad, accesibilidad, precisin, plazos, etc. Estos indicadores estn orientados a suministrar informacin desde dos aspectos: Desde el punto de vista de los atributos y caractersticas del producto: informacin sobre la conformidad del bien o servicio con las especificaciones establecidas. Desde el punto de vista de satisfaccin del ciudadano: adaptacin del producto o servicio prestado a las expectativas del destinatario.

18 8- Estrategias utilizadas para la construccin, anlisis y procesamiento de la informacin

Para obtener y analizar la informacin requerida deben adoptarse encuadres metodolgicos rigurosos y aplicarse tcnicas apropiadas. Por cuestiones relacionadas a restricciones de espacio no desarrollaremos en este documento la diversidad de tcnicas existentes. Teniendo en cuenta adems que existen una infinidad de documentos que dan cuenta de las caractersticas principales de las tcnicas ms utilizadas en la construccin de informacin en ciencias sociales como es la evaluacin. De todas maneras incluimos a continuacin un listado no exhaustivo de las tcnicas ms utilizadas para evaluar la gestin pblica 10 : Anlisis de informacin cuantitativa Anlisis de informacin cualitativa Realizacin de informes pautados Observacin en terreno Entrevistas individuales ( en todas sus variantes) Entrevistas grupales Juicios de expertos Apreciaciones de grupos de evaluadores Talleres con los actores involucrados (para la aplicacin de encuestas, la confrontacin, el anlisis de articulaciones organizacionales, anlisis de procesos decisorios, otros) Encuestas Estudios con grupos de control

9- Comunicacin de los resultados de la evaluacin en la gestin pblica

La existencia de un sistema por s solo no garantiza el mejoramiento de la gestin pblica, ni mucho menos su contribucin al fortalecimiento de la democracia. La oportunidad del sistema para promover una mayor fortaleza institucional depende del uso de la informacin generada. En los procesos de evaluacin de la gestin el uso de la informacin es tan estratgico como la definicin de los objetivos de la misma en relacin a los objetivos y prioridades de Gobierno. En este punto cabe una reflexin acerca de las variables que hacen que los resultados de un proceso de evaluacin sean valiosos a la hora de tomar decisiones de gestin y/ o de gobierno. Resulta necesario iniciar un debate en dos direcciones: 1- Por un lado quienes gestionan sistemas de planificacin y evaluacin deben entender la lgica que esos sistemas deben tener para resultar oportunos y valiosos en funcin de la lgica, tiempos y caractersticas del gobierno y la poltica. 2- En segundo lugar resulta imprescindible promover un cambio cultural con respecto al lugar que ocupa en la agenda poltica y de gobierno la consecucin de buenos resultados en materia de gestin.

10

NIRENBERG, BRAWERMAN Y RUIZ Evaluar para la transformacin Piados. Tramas Sociales.Buenos Aires 2000.

19

10. Reflexiones pendientes

A continuacin se enuncian algunas de las cuestiones pendientes por desarrollar para fortalecer el debate y la construccin conceptual acerca de la trascendencia y viabilidad de establecer sistemas de evaluacin de la gestin pblica: Aspectos culturales: Cules son los criterios utilizados por la poblacin para valorar la gestin del Estado? Qu incidencia tiene en la carrera de los lderes polticos la realizacin de una experiencia exitosa en trminos de resultados de gestin alcanzados? Aspectos histricos: cul es la trayectoria de los sistemas polticos y organizacionales con respecto a la evaluacin? Qu referencias tenemos? Aspectos de gestin: Qu relacin guardan las estrategias de gestin pblica utilizadas en las ltimas dcadas con la posibilidad de implementar sistemas de evaluacin? Capacidades Institucionales Qu competencias ser necesario fortalecer en los gestores pblicos para que puedan coordinar la implementacin de evaluacin de resultados? Estrategias y metodologas: Cules son las existentes? Cules son ms convenientes de acuerdo a las caractersticas de nuestras organizaciones pblicas? Qu propuestas metodolgicas pueden realizarse?

BIBLIOGRAFA CUNILL GRAU Nuria y OSPINA BOZZI Sonia Una agenda de investigacin sobre la evaluacin de los resultados de la gestin pblica en Evaluacin de resultados para una gestin pblica moderna y democrtica. Experiencias latinoamericanas Caracas. CLAD/AECI/MAP/FIIAPP, 2003.- 515 p. CUNILL GRAU, Nuria y OSPINA BOZZI, Sonia La evaluacin de los resultados de la gestin pblica: una herramienta tcnica y poltica en Evaluacin de resultados para una gestin pblica moderna y democrtica. Experiencias latinoamericanas Caracas. CLAD/AECI/MAP/FIIAPP, 2003.- 515 p. ECHEVARRIA, Koldo Responsabilizacin y responsabilidad gerencial: instituciones antes qye instrumentos enResponsabilizacin y evaluacin de la Gestin Pblica Caracas. CLAD, AECI/MAP/FIIAPP, 2005.- 296 p. INSTITUTO DE DESARROLLO REGIONAL DE SEVILLA Material del curso Evaluacin de polticas pblicas Buenos Aires 2005 OSPINA, Sonia. Evaluacin de la gestin pblica: conceptos y aplicaciones en el caso latinoamericano . Revista del CLAD Reforma y Democracia. No. 19 (Feb. 2001). Caracas. NIRENBERG, BRAWERMAN Y RUIZ Evaluar para la transformacin Piados. Tramas Sociales. Buenos Aires 2000. SUBIRATS, Joan Podemos utilizar los instrumentos de evaluacin como palanca de gobierno del sector pblico? Congreso Internacional del CLAD. Madrid 2 5 de Noviembre de 2004. Subsecretara de la Gestin Pblica, Secretara General de la Gobernacin, Gobierno de la Provincia de Buenos Aires. Plan Trienal de la Gestin Pblica 2004-2007: Documento N 1 Conceptos y convicciones que guan el proceso de recuperacin y modernizacin estatal en la Provincia de Buenos Aires. Documento Sntesis. Subsecretara de la Gestin Pblica. Buenos Aires, 2004. Documento 4 Hacia una gestin estratgica:planificacin y evaluacin en el mbito provincial

o o o

20
Datos personales Ttulo del trabajo:

LA EVALUACIN DE LA GESTIN PBLICA INTEGRADA A LOS PROCESOS DE PLANIFICACIN: SU POTENCIAL COMO FORTALECEDORA DE LA INSTITUCIONALIDAD DEMOCRTICA
Paula nazarena Amaya Lic. en Ciencias de la Educacin DNI 24041648 Cargo: Responsable de la Unidad de Coordinacin Tcnica de Planificacin y Evaluacin Subsecretara de la Gestin Pblica Secretara General de la Gobernacin - Provincia de Buenos Aires paulanazarena@lpsat.com pamaya@gestionpublica.sg.gba.gov.ar