_ LOS RETOS DE LA EVALUACIN DE POLTICAS PBLICAS: ENTRE LA PARTICIPACIN Y LA RESPONSABILIDAD1 _ THE CHALLENGES IN THE PUBLIC POLICIES EVALUATION.

BETWEEN PARTICIPATION AND RESPONSIBILITY

Xavier Bertrana Direccin de Anlisis y Prospectiva (Generalitat de Catalunya) y Universidad de Barcelona Tamyko Ysa Profesora ESADE Barcelona

1 Este trabajo se ha desarrollado en el marco del Grupo de Investigacin en Liderazgo e Innovacin en la Gestin Pblica (GLIGP), con el apoyo del proyecto I+D+I del MEC SEJ2006-00961.

sumario//summary
1 2 QU ES LA EVALUACIN DE POLTICAS? / WHAT IS THE EVALUATION OF PUBLIC POLICIES? LOS TIPOS DE EVALUACIN / EVALUATION TYPES 1.1. Las evaluaciones "participativas" / "Participatory" evaluations 1.2. Intereses y lmites de las evaluaciones participativas / Interests and limits of participatory evaluations 3 QU SE EVALA? LOS DILEMAS ENTRE PROCESO Y RESULTADOS / WHAT IS EVALUATED? THE DILEMMAS BETWEEN THE PROCESS AND ITS RESULTS 3.1. La evaluacin por input / Evaluation by input 3.2. La evaluacin por resultados / Evaluation by results 3.3. Una categorizacin del objeto de la evaluacin / A categorization of the object of evaluation 4 QU FUNCIONES TIENE LA EVALUACIN? / WHICH ARE THE FUNCTIONS OF EVALUATION?

5 EVALUACIN: ENTRE LA PARTICIPACIN Y LA RESPONSABILIDAD / EVALUATION: BETWEEN PARTICIPATION AND RESPONSIBILITY

129

NUEVAS POLTICAS PBLICAS. Anuario multidisciplinar para la modernizacin de las Administraciones Pblicas EVALUACIN DE POLTICAS PBLICAS

resumen//summary

Interpretamos la historia de la evaluacin de las polticas, programas y actuaciones pblicas como un dilogo entre la certeza de las herramientas de gestin y la contingencia del entorno evaluador; un dilogo que queda patente entre la evaluacin clsica por objetivos y la evaluacin pluralista. Reflejamos la presencia de ambas posiciones en la literatura acadmica, que se ha ocupado de definir el objeto de la evaluacin, los tipos de evaluacin existentes, los propsitos de la evaluacin y sus funciones. Se examinan en el artculo, finalmente, las dos dadas de relaciones que se han consolidado. La primera entre evaluacin clsica por objetivos y la rendicin de cuentas (accountability). Y en segundo lugar, la formada entre la evaluacin pluralista y la preocupacin por la participacin en los procesos evaluadores. Conclumos sealando los lmites comunes a ambas aproximaciones. A menos que se produzca un acuerdo compartido e influyente sobre las polticas de evaluacin, su relevancia se ver mermada, porque si las polticas determinan la poltica, la poltica determina la evaluacin. We understand the history of the evaluation of policies, the programs and public procedures as a kind of dialogue between the certainty of management tools and the contingencies in the evaluative environment, a dialogue that is made clear between the classical evaluation by objectives and the pluralist evaluation. We show the presence of both trends in academic literature that has traditionally defined the object of evaluation processes, the existing evaluation types, the evaluation purpose, and its functions. In this article, finally, it is analysed the two dualities of relations that have been consolidated. The first one lies between the classical evaluation through by objectives and accountability. And secondly, the one that lies between the pluralist evaluation and the concern for the participation in the processes of evaluation. We conclude pointing out the mutual limits to both approaches. Unless a shared agreement with influence on the policies of evaluation arises, its relevance will be diminished because, if policies determines politics, politics determines evaluation.

A la hora de hacer polticas pblicas, muchos ofertantes y usuarios de investigacin social se muestran descontentos, los primeros porque no son escuchados, y los segundos porque no escuchan muchas de las cosas que quieren escuchar (Lindblom y Cohen 1979: 1).

1 QU ES LA EVALUACIN DE POLTICAS?
Se acostumbra a decir que lo que no se puede medir, no se puede evaluar, y lo que no se puede evaluar no se puede mejorar. Sin embargo, la evaluacin de polticas pblicas es un gesto diario que plantea temibles problemas (Meny y Thoenig 1992) de naturaleza terica y metodolgica (Monnier 1992: 214). Quizs por este motivo, no tiene una definicin ampliamente aceptada por la literatura. Cada definicin con vocacin de generalidad acostumbra a equipararse, en la prctica, con un tipo de evaluacin. No sorprende que una de las ms utilizadas sea la de Dye (1992), quien afirma que evaluar es juzgar el mrito de una poltica o de un programa gubernamental. Adems, la evaluacin es difcilmente disociable del marco conceptual que ofrece el anlisis de polticas pblicas (Monnier 1992). No slo se enmarca en el proceso de elaboracin e implementacin de polticas y, como dice Monnier (1995), preguntarse por lo que hay que evaluar, conduce a preguntarse qu es una poltica pblica, sino que la evaluacin de polticas ofrece un espacio de especializacin a travs de la llamada investigacin para la evaluacin, cuyo objeto es recolectar, verificar e interpretar la informacin sobre la ejecucin y eficacia de las polticas y los programas pblicos (Majone 1997: 214), mediante los mtodos propios de las ciencias sociales.

Palabras Clave: - Evaluacin de polticas. - Responsabilidad. - Participacin. - Rendicin de cuentas.

Key Words: - Evaluation of policies. - Responsibility. - Participation. - Accountability.

ESTUDIOS

130

LOS RETOS DE LA EVALUACIN DE POLTICAS PBLICAS: ENTRE LA PARTICIPACIN Y LA RESPONSABILIDAD Xavier Bertrana / Tamyko Ysa

As pues, la evaluacin es una actitud, un mtodo y una especializacin. Y, en una primera aproximacin, se puede afirmar que su objetivo es valorar los resultados de una poltica. Este objetivo incorpora tanto la voluntad de conocer los efectos de las polticas ejecutadas, como el intento de racionalizar la toma de decisiones, aprovechando las lecciones de la experiencia. Como establecen Osuna y Mrquez (2000), esta bsqueda de racionalidad tradicionalmente se ha manifestado mediante la elaboracin de planes y programas de actuacin y a travs de la adopcin de sistemas de presupuestacin acordes con la misma y fundadas en una lgica tcno-econmica. Sin embargo, estos procedimientos dan por supuesto que la decisin de intervenir se toma por un actor nico y libre y que los objetivos se definen de forma explcita y concreta (Osuna y Mrquez 2000: 3), cuando la realidad es ms compleja y multidimensional. Los objetivos de la poltica pueden ser ambivalentes y estar sujetos a revisin. Adems, los decisores pblicos no siempre buscan la racionalidad tcnica o econmica, sino soluciones socialmente responsables y polticamente viables a los problemas. La racionalidad con la que se plantea a veces la evaluacin, no debe hacernos olvidar que las decisiones se fundamentan en procesos negociadores y son el resultado de la mediacin de intereses divergentes, cuya racionalidad tambin debe ser tenida en cuenta, cuando se desarrollan las polticas pblicas y la evaluacin. No sorprende, pues, que de forma similar al propio anlisis de polticas, que nace en el marco de un conflicto entre la ideologa tecnocrtica y positivista por una parte, y la opcin constructivista e interpretativa, por otra, la evaluacin tambin se deba interpretar como un dilogo entre la certeza de la ciencia y de la tcnica, que podemos asimilar en una primera aproximacin a la evaluacin clsica por objetivos, y la subjetividad, que podemos asociar a la evaluacin pluralista.

Como afirma Brbara J. Nelson (2001: 807), en disputa se hallan las visiones acerca de la primaca de la ciencia sobre otras formas de conocimiento y el papel del juicio de valor en la solucin de los problemas pblicos. Ambas aproximaciones comparten la vocacin de convertirse en instrumentos de inteligencia poltica y administrativa, ya que obligan a quienes desempean el poder a preocuparse por los efectos de sus elecciones y, en trminos ms generales, incorporan diferentes visiones sobre la capacidad de evaluacin de producir efectos positivos sobre los procesos evaluados (Monnier 1995: 13), pero segn la evaluacin pluralista, los valores y las opiniones cuentan mucho en la evaluacin, no slo por la ambigedad de los resultados prcticos la dificultad de asignar causas especficas a efectos particulares, de medir productos y evaluar consecuencias inesperadas, de distinguir entre concepciones errneas y fallos en la ejecucin-, sino sobre todo por los inevitables desacuerdos acerca de la clase de criterios de evaluacin que son significativos, justos o polticamente aceptables en una situacin dada (Majone 1997: 214). En virtud de esta dificultad, es lgico que una parte relevante de la generacin de conocimiento en el mbito de la evaluacin, se haya ocupado ms del proceso de establecimiento de criterios, que de su aplicacin a un programa o una poltica. Y, partiendo de esta misma perspectiva, no resulta sorprendente que justamente para avanzar hacia la aplicacin prctica de la evaluacin de polticas, la Agencia Estatal de Evaluacin de Polticas, impulsada por el Ministerio de Administraciones Pblicas, se proponga convertirla en un factor clave para la gobernanza, arbitrando la participacin de la ciudadana y de los distintos actores sociales, como afirma el Director General de Inspeccin, Evaluacin y Calidad de los Servicios, Juan Antonio Garde Roca (2006: 4). Sin embargo, se desconoce si esta participacin debe ser un fin en s mismo para conseguir que la evaluacin ample la legitimidad de la implementacin de las

ESTUDIOS

131

NUEVAS POLTICAS PBLICAS. Anuario multidisciplinar para la modernizacin de las Administraciones Pblicas EVALUACIN DE POLTICAS PBLICAS

polticas pblicas, o si tambin tiene que ser contrastada a partir de los criterios, procedimientos y finalidades que subyacen al proceso de elaboracin de polticas pblicas, para fundamentar la rendicin de cuentas y la responsabilidad poltica y tcnica que se pueda derivar del mismo. Como dice Monnier, la utilidad de la evaluacin est, como puede presuponerse, en estrecha correlacin con la credibilidad de la que disfruta entre los actores a quien va dirigida (1995: 13), pero los intereses de estos actores pueden ser distintos. Y esta dualidad debe ser tenida en cuenta para definir el objeto de la evaluacin de polticas.

Generalmente, los procesos sociales sobre los que las polticas intentan influir son conocidos parcialmente y la informacin sobre la que se basa la definicin de los problemas y la eleccin de alternativas es imperfecta. Adems, los condicionantes polticos como la bsqueda de acuerdos y consenso obligan a aplicar soluciones de compromiso que minimicen los conflictos de intereses, y los conocimientos y las habilidades de las organizaciones pblicas no siempre son los ms adecuados para la implementacin. Como consecuencia de estos factores, las polticas acostumbran a producir impactos imprevistos.

Cuadro 1. Tipos de evaluacin

Generacin

Tipo de evaluacin

Quin decide el contenido de la evaluacin?

Quin dirige los trabajos de evaluacin?

Quin realiza el juicio final? El equipo de evaluacin

1 a 3 4 (a) 4 (b) 5

Gerencial Coproducida Pluralista Emancipatoria

Administracin responsable de la gestin Autoridades pblicas Autoridades pblicas

Gestores y Operadores El equipo de evaluacin Autoridades pblicas y Sociedad civil

Sociedad civil

Fuente: Baron y Monnier (2003: 2)

LOS TIPOS DE EVALUACIN

Los dilemas expresados en el apartado anterior no son ajenos a la evolucin de los tipos de evaluacin que se han ido definiendo tanto a travs de la literatura acadmica, como de la prctica poltica. Principalmente, parece oportuno distinguir el trnsito desde las tres primeras generaciones de evaluacin de carcter gerencial y tcnico, que se mantienen en las administraciones pblicas con el fin de garantizar la independencia del evaluador y la calidad de su juicio, hacia la formulacin de opciones participativas.

Para resolver esta problemtica, en los ltimos aos se han empezado a extender las llamadas evaluaciones participativas. Una generacin designada a partir de los aos 90 con el trmino evaluaciones de cuarta generacin, ha puesto el acento en los procesos de evaluacin en los que intervienen los principales implicados en la poltica evaluada para ofrecer su juicio sobre la misma: decisores, operadores externos a la administracin responsables pensemos, por ejemplo, en los procesos de externalizacin- y representantes de la sociedad civil, valoran la poltica a partir de los criterios fijados por las autoridades pblicas.

ESTUDIOS

132

LOS RETOS DE LA EVALUACIN DE POLTICAS PBLICAS: ENTRE LA PARTICIPACIN Y LA RESPONSABILIDAD Xavier Bertrana / Tamyko Ysa

En el caso de la evaluacin coproducida, el proceso de evaluacin acostumbra a estar dirigido por operadores independientes de las autoridades pblicas, mientras que en el caso de la evaluacin pluralista, el proceso lo gestionan las propias autoridades pblicas y la sociedad civil. A diferencia de la evaluacin coproducida y de la evaluacin pluralista, la evaluacin emancipatoria teorizada en los Estados Unidos de Amrica, es una prctica an poco extendida en Europa, que va ms all y propone que la sociedad civil tome el poder: dicho de otro modo, que decida el contenido de la evaluacin, dirija ella misma los trabajos y emita su juicio sobre las acciones pblicas (Baron y Monnier 2003: 2).

daciones que se trasmitirn a las autoridades competentes en el programa o la poltica. Finalmente, la evaluacin emancipatoria combina elementos de las dos anteriores, caracterizndose por su voluntad explcita de dar poder a los participantes, a travs de la informacin y el conocimiento. Como explican Baron y Monnier (2003: 6), este sistema, empleado en la evaluacin de programas sociales, educativos o de renovacin urbana en Estados Unidos y Canad, as como en proyectos de ONG en pases en vas de desarrollo, pretende, sin duda, mejorar la gestin pblica, pero tambin ayudar a los grupos sociales afectados a crear su propio saber, a comprender su propia situacin y a encontrar los medios necesarios para modificarla. De forma similar, Scriven distingui entre la evaluacin endoformativa y la recapitulativa. Si el propsito de evaluar consiste en informar a los protagonistas del programa para que puedan modificar sus conductas, mejorar la accin y transformar as su propio objeto (Monnier 1995: 144), la evaluacin es endoformativa. En cambio, cuando se trata de favorecer que personas ajenas al programa poderes pblicos, representantes polticos, ciudadana en general- se formen una opinin sobre el valor de la accin, la evaluacin es recapitulativa. Para facilitar la comprensin de ambos tipos de evaluacin, Monnier (1995) los aplica a programas cuyo objetivo es poner en marcha un prototipo de innovacin y aquellos que se proponen adaptar un programa en un contexto local distinto (los programas de transferencia de innovacin). En ste ltimo caso, acostumbra a ser eficaz preguntarse por el valor de un prototipo en un determinado contexto. ste autor, resume las principales caractersticas de las evaluaciones que son producto del cruce de una finalidad endoformativa o recapitulativa y el establecimiento de un prototipo o la transferencia de programas innovadores, a travs del cuadro siguiente:

2.1. LAS EVALUACIONES PARTICIPATIVAS En la evaluacin coproducida, la prctica evaluadora la desarrolla un pequeo nmero de actores capacitados para incidir en el programa y un equipo de investigacin. Como establecen Baron y Monnier (2003: 5), con el fin de que los actores puedan intervenir en los aspectos tcnicos de la evaluacin (construccin de los indicadores, de las herramientas y los mtodos de recogida de datos, y su posterior recogida), los evaluadores deben esforzarse a lo largo de todo el proceso en formar a los participantes en las caractersticas de una evaluacin y en las metodologas que pueden aplicarse para realizarla. Su papel se debe limitar a ofrecer el know-how tcnico necesario y garantizar la calidad de los instrumentos y los resultados obtenidos. En cambio, la evaluacin pluralista es similar a la coproducida, pero se caracteriza por la intervencin de actores por ejemplo, grupos de inters- que representan la pluralidad de sistemas de valores que coexisten en la sociedad. No sorprende, pues, que sea un mtodo especialmente eficaz para formular recomen-

ESTUDIOS

133

NUEVAS POLTICAS PBLICAS. Anuario multidisciplinar para la modernizacin de las Administraciones Pblicas EVALUACIN DE POLTICAS PBLICAS

Cuadro 2. Caractersticas de una evaluacin segn sus finalidades

Programas que persiguen Tipo de evaluacin La puesta a punto de un programa innovador Objetivos: concepcin y mejora de la situacin Endoformativa Destinatarios: los protagonistas de la innovacin La transferencia de un programa innovador Objetivos: adaptacin de una innovacin en un contexto determinado Destinatarios: el equipo local encargado de la adaptacin Objetivos: certificar o delimitar el campo de aplicacin de la innovacin Destinatarios: responsables locales interesados en la innovacin, responsables nacionales

Objetivos: validar o garantizar la innovacin Recapitulativa Destinatarios: responsables nacionales, colegas, expertos, profesionales, potenciales usuarios

Fuente: Monnier (1995: 146), citando a Guba y Lincoln (1981).

2.2. INTERESES Y LMITES DE LAS EVALUACIONES PARTICIPATIVAS Las implicaciones tericas y metodolgicas de las evaluaciones participativas cuestionan al menos, parcialmente la literatura desarrollada con anterioridad y han sido objeto de crticas relevantes para las ciencias sociales. Es lgico que as sea porque los postulados de las perspectivas positivista y constructivista son opuestos. La principal lnea crtica a las evaluaciones participativas es la crtica a la subjetividad, que es aplicable especialmente a la evaluacin pluralista2, por partir de la base que no existe una realidad objetiva, sino realidades subjetivas y el evaluador no puede

formar un juicio sobre una poltica pblica sin tomar en consideracin los diferentes puntos de vista que sobre dicha gestin tienen los grupos implicados (Monnier 2003: 7-8). A pesar de que cualquier programa pblico supone una compleja red de interacciones entre sus actuaciones, las reacciones de los actores y su contexto, que impide que no pueda estudiarse independientemente de su contexto, no se puede confundir el conocimiento del contexto y el proceso de formacin y maduracin del juicio, con el juicio mismo sobre la poltica y, finalmente, la responsabilidad que se derive del mismo.

2 El motivo principal es que la coproducida define ms claramente el papel del evaluador/a y la emancipatoria parte de una concepcin tan amplia que prcticamente propone que la evaluacin impregne la poltica pblica, limitando sus mbitos de aplicacin. Baron y Monnier (2003: 9), por ejemplo, recomiendan su adopcin en mbitos como la ayuda social para que se amplifique la accin pblica mediante la toma de conciencia por parte de los beneficiarios de las palancas que deben accionarse para mejorar ellos mismos su situacin.

ESTUDIOS

134

LOS RETOS DE LA EVALUACIN DE POLTICAS PBLICAS: ENTRE LA PARTICIPACIN Y LA RESPONSABILIDAD Xavier Bertrana / Tamyko Ysa

Adems, no se debe olvidar que el anlisis, trata de acrecentar la consideracin de hechos concretos en detrimento de los perjuicios. Si la evaluacin implica juicio, ste debe resultar de observaciones concretas basadas en normas o valores lo ms objetivos posibles (Meny y Thoenig 1992: 195). La evaluacin es un modo de razonamiento (Meny y Thoenig 1992: 195), basado en una aspiracin de rigor que debe ser asumida por el presunto analista y que debe conducir a tomar partido. Aunque en teora no haya nada que sea normativamente neutro y el consenso sea utpico, renunciar a la evaluacin por este motivo, equivaldra a dejar de lado la aplicabilidad de las ciencias sociales (Meny y Thoenig 1992). Como apunta Monnier (1995: 268), el desarrollo del anlisis de polticas debe suponer desde un punto de vista ms institucional, la legitimacin de las ciencias sociales en lo que atae al estudio de las polticas pblicas (...) el anlisis de polticas depara, sin duda, una ocasin para afirmar la viabilidad de las ciencias sociales, sin perjuicio de que la inexistencia de un mtodo universal y la aspiracin de objetividad deban venir acompaadas de la capacidad de contraste. Por este ltimo motivo, las condiciones deseables de la evaluacin son: 1) una relativa independencia de los organismos de evaluacin frente a los prescriptores, para facilitar el ejercicio de un espritu crtico responsable; 2) la pluridisciplinariedad de los evaluadores; 3) la transparencia administrativa y 4) una pluralidad de rganos de evaluacin (Monnier 1992). Como seala Wildavsky (1993: 6), la buena organizacin evala sus propias actividades, corrige errores mientras prosigue, y reconoce equivocaciones como una manera de mejorar sus realizaciones. A causa de que la autoevaluacin va en contra de la naturaleza organizativa, debe ser reforzada por estudios que sean externos, mltiples, independientes y continuos. La evaluacin debe ser independiente, y en consecuencia externa, para evitar comportamientos complacientes. La evaluacin debe ser mltiple, porque

est implicada ms de una perspectiva poltica (...). La evaluacin debe ser continua de forma que los acuerdos comunes, no las meras afirmaciones, puedan crecer, porque no hay una sola verdad de hecho, porque corregir el error ms que establecer la verdad es la norma (Wildavsky 1993: 6). Sin embargo, cuestionar la evaluacin participativa desde esta perspectiva, no implica que no debamos constatar la escasa utilizacin directa y operativa de las evaluaciones gerenciales. Como sealan Baron y Monnier (2003), es justamente este dficit de la visin gerencial, el que ha impulsado como respuesta las evaluaciones participativas. A continuacin, explicaremos los motivos principales de ello.

3 QU SE EVALA? LOS DILEMAS ENTRE PROCESO Y RESULTADOS

La evaluacin asume formas diferentes segn el abanico de posibilidades metodolgicas que comprende. Un rasgo comn a todos ellos es el modo sistemtico de obtener informacin sobre las actividades, caractersticas y resultados de las polticas, programas o acciones puestos en vigor. Profundizando en esta definicin, Majone (1997) propone distinguir tres modos generales de evaluacin, sin perjuicio de que suelan aparecer mezclados en la prctica: el modo del resultado, el de input y el de proceso. Segn este autor, en el modo del resultado, la evaluacin se concentra en los productos (outputs) o en las consecuencias e impacto (outcome) de una actividad. Se comparan las metas u objetivos con los resultados, hecho que slo se puede realizar con xito en condiciones limitadas. Una muy obvia, por ejemplo, es que la medicin debe ser posible. En cambio, en el modo del input, se hace hincapi en los recursos, habilidades y personas que participan en la actividad. Por ltimo, en el modo del proceso, se consideran los mtodos empleados para transformar los inputs en productos o resultados.

ESTUDIOS

135

NUEVAS POLTICAS PBLICAS. Anuario multidisciplinar para la modernizacin de las Administraciones Pblicas EVALUACIN DE POLTICAS PBLICAS

A continuacin, examinaremos los dos primeros y los dilemas que subyacen a su aplicacin, para presentar posteriormente, a causa de su posible relevancia prctica, una categorizacin de su uso, en funcin del conocimiento del proceso y la mensurabilidad de los resultados.

evaluacin y control. Para controlar una actividad u organizacin, existe la necesidad de evaluar. Adems, los modos y criterios de evaluacin tienen consecuencias prcticas para el desempeo de las instituciones y los individuos: si estos ltimos saben que ciertos aspectos de su trabajo son muy apreciados por los evaluadores, tendern a cambiar su comportamiento en consecuencia (Majone 1997: 222). Sin embargo, segn Meny y Thoenig (1992), la evaluacin de las polticas pblicas no tiene mucho que ver con el control administrativo porque el control se ocupa del funcionamiento interno de los servicios pblicos mientras que la evaluacin se centra en la eficacia externa de la accin pblica. De forma similar, estos autores distinguen el control de gestin y la evaluacin de las polticas, afirmando que el control de gestin pone en relacin los medios y las realizaciones, mientras que la evaluacin analiza la relacin entre realizaciones pblicas y su impacto en el entorno. En un caso, la racionalidad es econmica, mientras que en el otro, es poltica. Justamente por estos motivos, Meny y Thoenig concluyen que el policy analysis, se caracteriza por la prioridad otorgada a la deteccin de errores y el aprendizaje que permite. Evaluar consiste, pues, en sealar las sorpresas que genera la accin en relacin con una teora afirmada y respaldada por el decisor gubernamental. Sin eludir estos razonamientos, pensamos que la perspectiva de Majone es ms inclusiva porque parte de una acepcin ms amplia del control, enriqueciendo el concepto de evaluacin y el papel del anlisis de polticas pblicas en el sistema poltico y administrativo, como mecanismo de responsabilidad pblica. Es posiblemente Monnier (1992: 220) quien ofrece un punto de encuentro, al definir la evaluacin como, un dispositif qui soit la fois un instrument dobservation permettant de mieux percevoir la ralit, un outil de mesure dels phnomnes sociaux et, enfin, un miroir rflchissant qui aide les acteurs prendre conscience de leurs

3.1. LA EVALUACIN POR INPUT Uno de los tipos ms frecuentes de la evaluacin por input es el anlisis econmico. ste tipo de anlisis utiliza los mtodos analticos de la economa para determinar el coste, el valor y la utilidad de una poltica, incluyendo la estimacin del valor de los usos alternativos de los recursos. Por ejemplo, el coste de oportunidad. Se acostumbra a realizar en el principio del proceso de elaboracin de polticas (ex ante) para decidir qu tipo de intervencin es ms probable que consiga los objetivos propuestos y cual ser su coste. Sin embargo, tambin se puede realizar durante la implementacin de la poltica y a posteriori (ex post). Algunos ejemplos de anlisis econmico son: 1) el anlisis de coste, que compara los costes de las diferentes opciones sin tener en cuenta el resultado; 2) el anlisis coste-efectividad, que compara el coste que implica conseguir un objetivo predeterminado; 3) el anlisis coste-beneficio, que considera el diferencial de beneficios que se pueden conseguir con unos recursos predeterminados y, en consecuencia, el coste de oportunidad y, finalmente 4) el anlisis coste-utilidad, que evala la utilidad de diferentes resultados para diferentes usuarios y consumidores de un servicio o una poltica, utilizando mtodos cuantitativos y cualitativos. En este tipo de evaluaciones, se utilizan indicadores indirectos de la actuacin, pero para los fines de control las variables de inputs acostumbran a ser ms estratgicas que los productos. Pensemos, por ejemplo, en las detalladas reglas de la contabilidad pblica. Segn Majone (1997), existe una ntida relacin entre

ESTUDIOS

136

LOS RETOS DE LA EVALUACIN DE POLTICAS PBLICAS: ENTRE LA PARTICIPACIN Y LA RESPONSABILIDAD Xavier Bertrana / Tamyko Ysa

attentes et les ajuster la realit. Selon la situation, lune o lautre de ces trois composantes sera prpondrante, mais aucune des trois peut tre totalement oculte.

Quiz el ejemplo ms conocido de este enfoque sea el de las pruebas estandarizadas de conocimientos. Consideradas como el eptome de lo objetivo y lo cientfico en la evaluacin educativa, las pruebas educativas sirven de poco a padres y maestros, y no dicen a los funcionarios escolares lo que deben hacer para mejorar la experiencia educativa de los estudiantes. A fin de mejorar las escuelas, los funcionarios necesitan informacin acerca de lo que ocurre en las clases (...). El contenido de los cursos, los procedimientos de calificacin, los mtodos de enseanza y la interaccin entre estudiantes y maestros son ejemplos de las variables de proceso (Majone 1997: 221). Estas variables nos sirven para intentar conocer cmo y bajo qu condiciones una poltica pblica puede funcionar o por qu no funciona, puesto que determinan su desarrollo efectivo y su implementacin, pero no hay duda de que esta distincin entre la evaluacin de proceso y la de resultado no es siempre tan rgida como esta caracterizacin parece sugerir. Los proponentes de las Teoras del cambio, argumentaran que determinar si una poltica ha sido efectiva, necesariamente implica intentar conocer cmo ha funcionado, por qu y bajo qu condiciones. En efecto, Theory-Based approaches to evaluation, which include the Theories of Change approach, as well as Programme Theory Evaluation (Rogers et al, 2000) and some aspects of Realistic Evaluation (Pawson ands Tilley, 1997), focus on unpacking the theoretical or logical sequence by which a policy intervention is expected to bring about its desired effects. Theory-Based approaches attempt to identify the mechanisms by which policies and/or programmes might produce their effects (Prime Ministers Strategy Unit 2003: 5). Un ejemplo clsico son las visitas escolares a las prisiones que se llevan a caso en los Estados Unidos para prevenir la delincuencia juvenil. La teora subya-

3.2. LA EVALUACIN POR RESULTADOS A pesar del carcter aparentemente objetivo de su mirada, la utilidad real de la evaluacin por resultados puede ser limitada. Muchas veces no resuelve bien la conexin entre el conocimiento generado y la mejora de la accin, puesto que no muestra cules son las razones que explican unos u otros resultados. Cuando los resultados se evalan sin una definicin razonable y coherente del programa, y sin ningn conocimiento de la forma como se est ejecutando, los resultados casi nunca aportan una gua para la accin porque el que toma las decisiones carece de informacin acerca de lo que produjo los resultados observados (Majone 1997: 220-221). El modo del resultado es equiparable al juicio de los objetivos de Meny y Thoenig (1992: 200) y como afirman estos autores, para proceder el analista acepta cuatro afirmaciones: 1) admite que una autoridad pblica persigue objetivos inequvocos y desea su realizacin; 2) supone que la autoridad pblica administra racionalmente los medios y los adapta segn las circunstancias; 3) aclara las condiciones y las razones que rigen la elaboracin de los objetivos y 4) postula que la poltica tiene un impacto posible. Por estos motivos, Meny y Thoenig diferencian el juicio de los objetivos del estudio de los efectos. Es decir, de la observacin de los impactos concretos que han generado intervenciones gubernamentales, en particular desde el ngulo de los efectos inesperados (1992: 198-199), que pueden estar causados porque el entorno cambia y los problemas evolucionan, la estructura causal de la accin no es la buena y pequeos efectos generan consecuencias colectivas incontrolables (Schelling 1980).

ESTUDIOS

137

NUEVAS POLTICAS PBLICAS. Anuario multidisciplinar para la modernizacin de las Administraciones Pblicas EVALUACIN DE POLTICAS PBLICAS

cente a las mismas entiende que la exposicin de los jvenes a roles negativos les puede alejar del crimen, reduciendo la criminalidad infantil. Sin embargo, tambin es posible pensar lo contrario: su exposicin a prisioneros con modelos de comportamiento positivos, puede banalizar la percepcin de los jvenes sobre la criminalidad. Son justamente los errores que se pueden producir en estos razonamientos, los que conducen a adoptar polticas con efectos perversos. Ponerlos de relieve, explicando la teora que subyace a la accin pblica, puede incrementar la probabilidad de conseguir los objetivos previstos y hace factible el desarrollo de prcticas de evaluacin por resultados.

QU FUNCIONES TIENE LA EVALUACIN?

3.3. UNA CATEGORIZACIN DEL OBJETO DE LA EVALUACIN El contraste entre evaluar si una poltica ha sido efectiva y evaluar por qu lo ha sido, ha centrado numerosa literatura acadmica sobre nuestro objeto de estudio (Prime Ministers Strategy Unit 2003: 4). Esta distincin, por otro lado, es la que permite que Majone (1997) categorice los modos de evaluacin y la viabilidad de su utilizacin, en funcin de la mensurabilidad de los resultados y el conocimiento del proceso que los genera. Si para simplificar, establecemos una dicotoma, se obtiene el cuadro siguiente:

A nivel organizativo Weiss (1998) divide las funciones de la evaluacin en dos reas: el aprendizaje organizativo y el proceso de toma de decisiones. En el primer caso, la evaluacin suministra retroalimentacin a las personas que implementan el programa, suministrndoles lecciones de la experiencia: informacin sobre lo que estn haciendo, cmo estn respondiendo los beneficiarios y qu variables externas estn incidiendo en el programa3. En cambio, en el proceso de toma de decisiones, la evaluacin contribuye a la reestructuracin de problemas y a la formulacin de nuevas polticas o a la reformulacin de aquellas que no estn cumpliendo sus objetivos, ya sea con el objetivo de controlar la responsabilidad pblica y favorecer la rendicin de cuentas (accountability), o con el objetivo de fomentar un anlisis prospectivo (enlightenment). Desde esta ltima perspectiva, la evaluacin puede fortalecer o erosionar la reputacin de una poltica y, por tanto, legitimar o deslegitimar el liderazgo poltico que la sustenta y las oportunidades organizativas de apropiacin presupuestaria que se derivan de la misma. Ambas dimensiones estn interrelacionadas, e incluso, coinciden con los dos principales propsitos de la evaluacin: la evaluacin formativa y la evaluacin conclusiva. La primera responde a la preocupacin por obtener informacin sobre el desarrollo de un

Cuadro 3. Objeto de la evaluacin en funcin del conocimiento del proceso y de la mensurabilidad de los resultados

Conocimiento del proceso

Mensurabilidad de los resultados

Completo
Alta Baja

Incompleto Evaluacin por resultado Evaluacin por input

Evaluacin por el proceso o el resultado Evaluacin por el proceso

Fuente: Majone (1997: 224)

3 Sin perjuicio de que como elemento de juicio, se utilice tambin la comparacin con otros programas. Es lo que en terminologa anglosajona se denomina assessment.

ESTUDIOS

138

LOS RETOS DE LA EVALUACIN DE POLTICAS PBLICAS: ENTRE LA PARTICIPACIN Y LA RESPONSABILIDAD Xavier Bertrana / Tamyko Ysa

programa, con el objetivo de realizar las modificaciones oportunas. Coincide, por tanto, con la evaluacin de la conceptualizacin de una poltica, del diseo y de la implementacin. En cambio, la evaluacin conclusiva, busca proporcionar la informacin necesaria para poder hacer una valoracin global sobre los resultados de un programa y sobre su utilidad. El objetivo es valorar su continuidad4. Qu duda cabe, adems, de que en aquellos procesos de polticas basados en el desarrollo de redes intergubernamentales o pblico-privadas, la evaluacin puede ser clave para el mantenimiento de la confianza y la cooperacin. En un sentido similar, otra funcin importante de la evaluacin es la rendicin de cuentas a la ciudadana (Villoria 2002) ya sea directamente o a travs de sus representantes, mediante el control parlamentario. Como dice Wildavsky: "cuando los analistas promocionan el ejercicio de la ciudadana promocionan una mejor poltica pblica" (1993: 256). Las polticas pblicas deben promover la democracia, y un elemento clave de una idea de democracia mnimamente avanzada es el control final de la agenda por los ciudadanos y la comprensin ilustrada de las polticas (Villoria 2002: 20). Sin embargo, esta relacin no es tan simple. Y adems se relaciona directamente con el problema de la responsabilidad pblica. Al igual que la evaluacin por resultados, la idea de la responsabilidad por resultados ejerce una fuerte atraccin, pero su aplicacin es compleja. La renuencia congnita de las democracias liberales a otorgar una discrecionalidad excesiva a los administradores pblicos es slo una parte del problema. Otra razn ms inmediata es el hecho de que la mayora de los programas pblicos tienen metas vagas y diversas, de modo que resulta difcil llegar a un acuerdo acerca de si se ha tenido xito (Majone 1997: 226).

Actualmente podemos medir la salud y la dependencia. Tambin podemos medir las habilidades obtenidas en la escuela o en la universidad. Y podemos relacionar los cambios que se producen con los servicios que se proveen. Sin embargo, las polticas acostumbran a tener mltiples objetivos. La atencin a las personas dependientes est relacionada con la conciliacin de la vida laboral y familiar, como la provisin de ste nuevo derecho universal lo est con el sistema econmico y la ocupacin. La escuela mejora la capacidad cognitiva, pero actualmente tambin socializa a nios y padres y ensea valores democrticos. Aunque estas dimensiones fueran medibles, tendramos que resolver el problema de la ponderacin asignada a cada objetivo en funcin de los intereses en juego y de los inputs , procesos y productos que engloba. Y, puesto que generalmente no se resuelve, con frecuencia revierte en la gestin, dificultando la responsabilidad pblica y el control democrtico.

5 EVALUACIN: ENTRE LA PARTICIPACIN Y LA RESPONSABILIDAD

Nos debemos preguntar si las dificultades de expandir la evaluacin de polticas y su escaso margen de aplicacin prctica, no son tambin una seal de la falta de madurez de la elaboracin de polticas pblicas, de la debilidad de los acuerdos democrticos bsicos que a veces las sustentan y de los criterios de responsabilidad pblica que configuran nuestra cultura poltica y administrativa. Como seala Wildavsky (1993), la relativa objetividad del anlisis deriva de gentes que viven con una confianza razonable dentro de una cultura comn. Las condiciones culturales del anlisis lo guan y lo configuran. Si la confianza declina, el marco de referencia decae con ella. Sin un punto de partida, no hay fin

4 Desde esta perspectiva, tambin se acostumbra a distinguir los propsitos abiertos o encubiertos de la evaluacin. Los propsitos encubiertos pueden intentar justificar una posicin a la que se ha llegado de forma previa, obtener un medio para posponer una decisin o lograr una mayor financiacin.

ESTUDIOS

139

NUEVAS POLTICAS PBLICAS. Anuario multidisciplinar para la modernizacin de las Administraciones Pblicas EVALUACIN DE POLTICAS PBLICAS

para el debate; las teoras se endurecen como dogmas y las aserciones reemplazan las pruebas. El anlisis de la poltica se distancia del anlisis para la poltica y la doble exigencia de conocimiento y accin que concierne a la evaluacin entendida como juicio pblico (Monnier 1992), pivota desde un utpico acuerdo de principios hacia esta segunda dimensin e incluso, en algunos casos, se llega a difuminar. La dimensin poltica de la evaluacin se mantiene por su objeto y campo de ejercicio, pero, raramente se utiliza como elemento de debate y de participacin en la clarificacin de un proyecto colectivo. Se evala, pero forjar una cultura de la evaluacin ser un proceso ms lento, que est ligado a la evolucin de nuestro sistema poltico. Como dijo Lowi (1972) las polticas determinan la poltica. Sin embargo, la poltica determina la evaluacin y cualquier intento de utilizar las polticas pblicas como elementos para el conocimiento de los mecanismos reales de gobierno tiene el peligro de convertirse en marginal si no demuestra saber afrontar el tema del poder (Regonini 1995: 21). Llevando esta reflexin al caso francs y, por tanto, a la prctica de la evaluacin en un Modelo de Estado con una administracin regional prcticamente residual, Monnier explica que el modo como incide la descentralizacin en el contenido de la evaluacin parece un fenmeno ms complejo de lo que pueda parecer. La transformacin del funcionamiento administrativo que introduce sigue siendo, hasta la fecha, difcil de captarse en su conjunto. Con todo, la redistribucin de las responsabilidades y de los recursos entre las administraciones centrales y locales altera los mecanismos de toma de decisiones y modifica, por tanto, la prctica de la evaluacin. Esta puede convertirse, en el futuro, en el objeto en torno al cual compitan las administraciones central y locales, que procurarn que prevalezcan sus propios puntos de vista. No obstante, tambin puede ocurrir que se la relegue a los aspectos marginales de la actuacin de los

poderes pblicos ante el temor de que aliente posiciones polticas enfrentadas (Monnier 1995: 11). En Espaa, la doctrina acadmica, las aportaciones del mundo de la consultora y la propia reflexin interna de los gestores pblicos parecen estar de acuerdo en la necesidad-bondad de incorporar instrumentos de evaluacin en las labores de gobierno y gestin de las polticas y las administraciones pblicas, pero se avanza muy poco. Una vez ms, tenemos un notable gap entre consenso terico y prctica poltico-administrativa, como dice Joan Subirats (2004). Y es difcil pensar que un contexto de crispacin (Fundacin Alternativas 2007), a la que se suma un modelo de estado profundamente descentralizado y en proceso de transformacin, y la dificultad para comprender que las polticas pblicas son estrategias colectivas que deben inducir cambios en la percepcin de la ciudadana, pueda abrir el camino a un modelo de evaluacin propio, que trascienda el dilema entre participacin y responsabilidad. Adems, cualquier aproximacin de la evaluacin, debe surgir de una comprensin profunda de los procesos sociales y econmicos para afianzarla en la realidad fragmentada de la toma de decisiones y la actividad de los poderes pblicos. No al revs. Justamente, por este motivo, podemos concluir que la familiarizacin sobre todo en la esfera poltico administrativa, con el lenguaje de la evaluacin y, en trminos generales, con el anlisis de las polticas pblicas, no conlleva, en idntica proporcin, un dominio de sus significados y de sus prcticas (Monnier 1995: 259). No se puede olvidar que la evaluacin est ntimamente ligada al reconocimiento de la poltica como modalidad de accin colectiva. Frente a la concepcin tradicional de la evaluacin como ltima etapa del proceso de elaboracin de polticas, debemos optar por una visin integral donde la evaluacin se realice en todas las etapas del diseo de programas analizando la pertenencia y coherencia de los problemas, objetivos e instrumentos planteados, el proceso de aplicacin del programa y sus resultados

ESTUDIOS

140

LOS RETOS DE LA EVALUACIN DE POLTICAS PBLICAS: ENTRE LA PARTICIPACIN Y LA RESPONSABILIDAD Xavier Bertrana / Tamyko Ysa

(Osuna y Mrquez 2000: 3), e incorpore a los distintos actores pblicos y privados que definen nuestro sistema de gobernanza, a partir de su capacidad representativa en cada arena de polticas. En los ltimos aos, la evaluacin se ha comenzado a desarrollar en Espaa a partir de una aproximacin transversal, pero se trata de una realidad poco consolidada. La Sociedad Espaola de Evaluacin se crea en octubre de 2001, el primer curso de post-grado especfico en evaluacin comienza a impartirse en el curso 2002-2003, y en mayo de 2004 se crea la Comisin para el estudio y creacin de la Agencia Estatal de Evaluacin de la Calidad de los Servicios y de las Polticas Pblicas, que culmina con la creacin de dicha Agencia. Sin embargo, a pesar de estos signos que ponen de relieve la evaluacin como paradigma emergente y que tambin se estn desarrollando en las Comunidades Autnomas, como dice Mara Bustelo (2004) todava no existe una prctica evaluativa sistemtica que no sea aislada y aleatoria, ni tampoco existen prcticamente publicaciones especializadas sobre la materia, ni una verdadera cultura de evaluacin en nuestras instituciones pblicas. Adems, estos procesos que se desarrollan en distintas esferas territoriales e institucionales, no se plantean en trminos de interdependencia y conviven con un importante subdesarrollo del anlisis de la realidad social, cuando dispositivos institucionales, prcticas polticas y procesos sociales deben ir unidos, para que la evaluacin responda a las caractersticas de una accin pblica que se desenvuelve a travs de un sistema de gobernanza. Como dice Joan Subirats (2004: 8), el debate sobre el papel y los resultados de la accin pblica no se sita slo en el cmo hacer las cosas, sino que exige contar con instrumentos que permitan responder asimismo a las preguntas de qu deben ocuparse los poderes pblicos y de quin mejor puede ofrecer resultados eficaces y eficientes a esas demandas sociales canalizadas por esos poderes representativos.

REFERENCIAS
Baron, G. y Monnier, E. Un sistema pluralista y participativo: coproducir la evaluacin con la sociedad civil. En: Informations sociales, nmero 110 de septiembre de 2003. Bustelo, M. El potencial impacto del establecimiento de normas, estndares y cdigos en la creacin de una cultura de evaluacin. Artculo presentado en el pnel sobre La Evaluacin y el Nuevo Papel de las Administraciones Pblicas, del IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, celebrado en Madrid del da 2 al 5 de noviembre de 2004. Dye, T. R. Understanding Public Policy . Prentice Halls, Englewood Cliffs, 1992. Fundacin Alternativas. La estrategia de la crispacin. Informe sobre la democracia en Espaa, 2007. Garde Roca, J. A. "La Evaluacin de polticas pblicas y su institucionalizacin en Espaa". En: Papeles de Evaluacin, Agencia de Evaluacin y Calidad, nmero 3 de 2006. Lindblom, C. E. y Cohen, D.K. Usable Knowledge. Yale University Press, 1979. Lowi, T. Four Systems of Policy, Politics and Choice. Public Administration Review nmero 33 de 1972. Majone, G. Evidencia, argumentacin y persuasin en la formulacin de polticas. Fondo de Cultura Econmica de Mxico (Nuevas lecturas de poltica y gobierno), 1997. Meny, I. y Thoenig, J-C. Las polticas pblicas. Ariel Ciencia Poltica, 1992. Monnier, E. Evaluacin de la Accin de los Poderes Pblicos. Ministerio de Economia y Hacienda, Instituto de Estudios Fiscales, 1995.

ESTUDIOS

141

NUEVAS POLTICAS PBLICAS. Anuario multidisciplinar para la modernizacin de las Administraciones Pblicas EVALUACIN DE POLTICAS PBLICAS

Monnier, E. valuations de l'action des pouvoirs publics. CPE-conomica, 1992. Nelson, B. Polticas pblicas y administracin: una visin general. En: Goodin, R. y Klingemann, H-D. (eds.). Nuevo Manual de Ciencia Poltica (II). Ediciones Istmo, 2001. Osuna, J.L. y Mrquez, C. (coords./eds) Gua para la evaluacin de polticas pblicas . Instituto de Desarrollo Regional. Fundacin Universitaria. 2000. Prime Minister Strategy Unit. The Magenta Book. HM Treasury, Government Social Research Unit, 2003. Regonini, G. Politiche pubbliche e democrazia . Napoli, Edizioni Scientifiche Italiane, 1995. Schelling, T. La tyrannie des petites dcisions. Pars: PUF, 1980. Subirats, J. Podemos utilizar los instrumentos de evaluacin como palanca de gobierno del sector pblico?. Artculo presentado en el panel sobre La evaluacin y el nuevo papel de las administraciones pblicas, del IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, celebrado en Madrid del da 2 al 5 de noviembre de 2004. Villoria, M. Control democrtico y transparencia en la evaluacin de polticas pblicas. Artculo presentado en el pnel sobre Eficiencia, equidad y control democrtico: un marco triangular para el anlisis de polticas, del VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, celebrado en Lisboa del da 8 al 11 de octubre de 2002. Weiss, C. H. Evaluation: Methods for Studying Programs & Policies (2 edicin). Prentice Hall, 1998. Wildavsky, A. Speaking Truth to Power. The Art and Craft of Policy Analysis (4 edicin), Boston: Little Brown 1993

ESTUDIOS

142