---

Nl;): Z01tA
:Ul'
;;11
ANDRE-NoEL ROTH DEUBEL
POLITICAS PUBLICAS
FORMULACI6N, IMPLEMENTACI6N Y
EVALUACI6N
Ediciones
Aurora
BOGOTA., D.C., 2007

c,
\Jb.W +''-'

IIBU()'fECA fl.-A CSO EC

.. _ .
Cem;{J: ..
'rev::
-.------- - - __ __ o _ _
CGa
i
:, ; ..
DOI3\f0:1:
":1 :::J "\ :; ..-'
'1"'" I I
"......,,'; yo' -t-' ", ., .... ". -, ,..... .... .... .
000221562'.'
Cf}T, ..'
I .. ,
.. '::'; - F':. ..._lL
PRIMERA EDICI6N: septiembre de 2002
PRIMERA REIMPRESI6N: junio de 2003
SEGUNDA REIMPRESI6N: agosto de 2004
TERCERA REIMPRESI6N: febrero de 2006
CUARTA REIMPRESI6N: noviembre de 2006
QUINTA REIMPRESI6N: agosto de 2007
DEREcHos RESERVADOS
Andre-Noel Roth Deubel, 2002
Correo electronico: andrenoel.roth@gmail.com
Ediciones Aurora, 2002
Correo electronico: ediaurora@mixmail.com
PRODUCCI6N EDITORIAL
Ediciones Aurora
DISENO DE LA PORTADA
Elograf Ltda.
PREPARACl6N DIGITAL
Elograf Ltda.
ISBN: 958-9136-15-X
IMPRESO Y TERMINADO
Panamericana Formas e Impresos S.A.
IMPRESO EN COLOMBIA
FRIrvrED IN COLOMBIA
t
".
-.

t
,
INDICE
t
)
)
PRESENTACION 9
t
)
INTRODUCCION 11
)
La difusion del analisis de las politicas publicae 11
La constitucion del analisis de las politicas publicas )
como ciencia del Estado en acci6n 13
)
Capitulo I t
CONCEPTOS, TEoRiAs Y HERRAMIENTAS PARA EL

ANALISIS DE LAS POLtTICAS PUBUCAS 17
)
)
1. Los conceptos de Estado y de politica publica 17
1.1. EI Estado 20
1.2 La politica publica 25 )
2. Los enfoques teoricos 29
)
2.1. Las teorias centradas en la sociedad 29
)
2.2. Las teorias centradas en el Estado 30
)
2.3. Las teorias mixtas 31
2.3.1. EI enfoque neocorporativista 32 )
2.3.2. Las teorias de entramado 0 networks theory 33
,
2.3.3. EI enfoque neoinstitucional 37
3. Herramientas para el analisis de politicas publicas 41

3.1. Las tipologias 42 "j
3.2. Los instrumentos de intervenci6n del Estado 44
3.3. Programas de politicas publicas, programas
politicos y complejidad social 46
3.4. EI policy ciele 49
3.5. Consideraciones criticas al policy ciele 51
POLirICAS PUBUCAS
CAPiTULO V
LA EVALUACION DE LAS pOLiTICAS PUBLICAS
1. EL SENIlDO DE LA EVALUACI6N
~ C o m o deterrninar si una politica es 0 ha sido exitosa 0 no? E n
que medida se lograron los objetivos propuestos por una ley? Cua
les han sido sus consecuencias y sus costos? De manera espontanea
ciudadanos, politicos, medios de comunicacion suelen responder a
estas preguntas. Responden, a veces, a partir de elementos mas 0
menos objetivos pero, con mas frecuencia, en funcion de aprecia
ciones subjetivas 0 simplemente desde su opinion politica. Tales pre
guntas son fundamentales para quien se interesa en conocer la
actuacion del Estado, en evaluar su grado de eficacia y eficiencia, y
en conocer los efectos de su intervencion, sus logros y fracasos.
La evaluacion, entendida como una practica seria de argumenta
cion basada en una informacion pertinente, perrniteprecisarnente opinar
de manera mas acertada, con menos subjetividad, acerca de los efec
tos de las acciones publicas, Su irnportancia es aun mayor cuando las
instituciones y los gobiernos contemporaneos tienden a fundarnentar
su legitimidad no solo en la legalidad de sus decisiones, sino en 10 que
hacen, es decir, en resultados. Es entonces irnportante que los gobier
nos y los ciudadanos sepan 10 que se ha logrado por medio de las
acciones emprendidas. El presidente frances Francois Mitterrand esti
maba que la evaluacion representaba un progreso para la democracia
y posibilitaba una mayor eficiencia del Estado (en Duran, 1999:168), 0
sea, que la pcictica de la evaluacion deberia ser considerada por el
poder politico como un aporte en el proceso de decision y no como
un contrapoder que busca entorpecer su accion, La evaluacion debe
alimentar el debate democratico para favorecer asi las practicas
pluralistas y fomente la deliberacion mas que la sumision ante el po
der politico (Quermonne, 1991:290-291).
135
l
ANDRE-NoE.L Rom
El desarrollo de las practicas de evaluaci6n en el sector publico
coincidi6 con la perdida progresiva de legitirnidad del Estado,
inclusive en los paises industrializados avanzados (ver Habermas,
1978). Por 10generalla ambici6n del Estado intervencionista 0 de
bienestar del siglo XX se frustr6 parcialmente por el dificil cumpli
miento de sus objetivos, a pesar de los esfuerzos importantes rea
lizados, situaci6n que se evidenci6 en particular en sus politicas
sociales. Las dudas y las criticas que surgieron sobre la actuaci6n
del Estado y su costo creciente, se tradujeron en una exigencia de
mayor eficacia y eficiencia por parte de las autoridades publicas,
Por eso se abria camino la idea de introducir en el sector publico
las tecnicas de gesti6n utilizadas en las empresas privadas. A partir
de los afios sesenta, en los paises industrializados como los Esta
dos Unidos y los de Europa occidental, un enfoque de public
POLlnC4J PUBUC4S
reemplazar la primacia de los medios por la primacia de los obje
tivos, con el fin de lograr una mayor eficacia y eficiencia de la
acci6n publica (Muller,1990:116; Chevallier, Loschak, 1982:57). Este
nuevo enfoque va a abrir un campo amplio al concepto y a las
practicas de evaluaci6n.
Sin embargo, el desarrollo de la evaluaci6n de politicas publi
cas no encuentra su legitimaci6n unicamente en las deficiencias del
Estado, sino tarnbien en el hecho de que los problemas que este
busca resolver, controlar 0 rnitigar por medio de sus acciones
publicas, son siempre mas complejos e inciertos en cuanto a me
dios, resultados y efectos. Basta pensar en la complejidad de los
problemas ambientales 0 de las manipulaciones geneticas, Con fre
cuencia, aunque no se adrnita facilmente, el Estado tiene que andar
casi a tientas. La actividad evaluadora permite entonces al Estado
,

t

J

)

)
y a los gobernantes, y tambien a los ciudadanos, disponer de una management 0 de gesti6n publica empez6 a sustituir los metodos
mayor informaci6n acerca de las consecuencias de sus decisiones y tradicionales de la administraci6n publica (ver Nioche, 1982).
)
)
acciones. Un Estado responsable no puede tomar decisiones sin La introducci6n de esta nueva tecnica de gesti6n en el sector
)
)
publico signific6 un verdadero cambio de enfoque, un nuevo
modo de pensar la labor adrninistrativa. Estas dos maneras de
concebir la acci6n publica refleja la tension existente entre dos for
mas de legitimidad. De una parte, tenemos una legitimidad tradi
cional que se basa en el respeto a la ley y a los reglamentos y, por
otro lado, una legitimidad que se fundamenta en los objetivos y los
resultados de la acci6n. El enfoque tradicional de la legitimidad de
la acci6n publica, fundamentada en el respeto a las reglas y proce
dimientos juridicos, tiende a ser desplazado por una legitimidad
de la acci6n publica basada en ellogro de resultados'. Se trata de
tener un minimo de interes por las consecuencias que estas conlle
van mas alla del corto plazo. En este capitulo, luego de definir
mejor el concepto de evaluaci6n de politicas publicas, se van a
)
indicar los principales tipos de evaluaci6n, para luego terminar
con la presentaci6n de un modelo de evaluaci6n pluralista.
2. DEFINIR LA EVALUACI6N
La evaluaci6n tiende a constituirse como una nueva disciplina
en el ambito del analisis de politicas publicas "que se ocupa de
recolectar, verificar e interpretar la informaci6n sobre la ejecuci6n
y eficacia de las politicas y programas publicos" (Majone, 1997:214).
La variedad existente de concepciones, y por 10tanto de definicio
nes de la evaluaci6n, es muy amplia. Entre la evaluaci6n de tipo
gerencial utilizada como instrumento de gesti6n -0 mejor de con
trol de gesti6n- y la evaluaci6n interactiva, participativa, pluralista
y concebida como una herrarnienta para la profundizaci6n del
)
)
)
)
)
,
)

1 Este cambio de enfoque esta a la base de la corriente newpublic management
(NPM) 0 nueva gesti6n publica, popularizada con e1libro de Osborne y
Gaebler (1993; en espafiol: 1994), que se desarrolla a partir de la decada de
los afios ochenta en los paises anglosajones y, posteriormente, en buena

)
J
ideal dernocratico, existe algo mas que matices. parte del mundo. El neoliberalismo ha encontrado en esta corriente una
justificaci6n y un instrumento para su implementaci6n (ver Hufty, 1998; Sin embargo, las ideas dominantes al respecto tienden, y no sin
Urio, 1998; Roth, 199%). razones, a asociar esta actividad no s6lo con la noci6n de control
137
I
'

.

136


~ .
~
ANDRE-NoELRom
(legitime) de actividades, sino con la de intrusion y hasta de instru
mento de represion, Por 10 general es cierto que la practica de la
evaluacion tiene un aspecto mas que todo vertical, cuantitativo,
administrativo y directivo, tendiente a justificar una san cion. De alli
se deriva, parcialmente por 10 menos la actitud cormin de resisten
cia a la idea de evaluacion, por un lado, y, del otro, el comporta
miento del ritualismo -frecuente en la funcion publica-, es decir,
de apego burocratico al reglamento por temor a una eventual san
cion. Y, por cierto, la evaluacion es una actividad fundamental
mente normativa. Los evaluadores dificilmente pueden actuar por
fuera de sus valores, normas y percepciones propios de los
solicitantes? de la evaluacion, Asi que los criterios de evaluacion
seleccionados nunca seran reconocidos como pertinentes por to
dos los actores sociales. Tanto los criterios seleccionados para eva
luar la accion publica como la accion publica en si son objeto de
conttoversia. Por eso es fundamental entender que la evaluacion es
posible solo en la medida en que su sentido, asi como la escala de
valores utilizada, se encuenrren enunciados con la mayor claridad
posible. En caso contrario, la evaluacion no es mas que una expre
sion de arbitrariedad dificilmente aceptada por los actores de la
accion publica evaluada.
Pero la evaluacion es tambien un instrumento valioso e indis
pensable para conocer y mejorar las acciones publicae. lnicialmen
te la evaluacion se desarrollo como un instrumento de medicion
de la eficacia de las politicas publicas en el marco del movimiento
de racionalizacion de las elecciones presupuestales (el famoso
PPBS en Ingles 0 RCB en frances, ver mas adelante y en el capitulo
III) (Chevallier, 1991:43). Posteriormente, en el ambito de las po
liticas piiblicas, este enfoque inicial se amplio. Se puede observar
2 Solicitante entendido como la persona 0 la instituci6n que pide y paga la
realizaci6n de una evaluaci6n.
138
PoI1TICAS PUBUCAS
esta evolucion en la sucesion de las definiciones oficiales de la
evaluacion -yen consecuencia, de las practicas-, Por ejemplo, en
Francia, segun Corcuff (1993:192-194), en 1986, la evaluacion de
politicas publicas pretendia "conocer y medir los efectos propios
de una politica", a partir de un analisis de los hechos realizado por
expertos externos para garantizar la neutralidad (Informe De/eau). El
reto era ambicioso: e n que medida y como determinar si los efectos
observados son realmente consecuencia de la politica y no de cau
sas externas a esta?
En 1989, con el Informe Viveret, la evaluacion ya no consistia
solamente en emitir un juicio sobre los hechos, sino que incluyo
tambien una apreciacion en terrninos de valores. Al pluralismo
de valores presente en la sociedad corresponde tarnbien un plu
ralismo en el peritaje (expertise). Si la evaluacion no puede escapar
al juicio de valor, entonces, en una sociedad dernocratica, habra
necesariamente una variedad de evaluaciones igualmente validas
-aunque no necesariamente igualmente aceptables y aceptadas
como expresion de los distintos valores presentes en una socie
dad particular. Por 10 tanto, se va a advertir del peligro positivista
que se corre en considerar la existencia de solamente una defini
cion -y una metodologia- valida para la evaluacion, En 1991, el
Consejo Cientifico de la Evaluacion propuso definir la evalua
cion como "la actividad de recoleccion, de analisis y de interpre
tacion de la informacion relativa a la implernentacion y al impacto
de medidas que apuntan a actuar sobre una situacion social asi
como en la preparacion de medidas nuevas", Alii la evaluacion
es reconocida como una actividad que asocia tres dimensiones:
una dimension cognitiva, porque aporta conocimientos; una di
mension instrumenta4 porque hace parte de un proceso de accio
nes y, por ultimo, una dimension normativa, porque se trata de
una interpretacion a partir de valores.
Frente a estas definiciones oficializadas, existen enfoques (y
objetivos) de evaluacion todavia mas amplios, como por ejemplo
los propuestos por los defensores de la evaluacion pluralista. Por
10 general todos parten de una critica a la tentacion positivista ins
crita en la mayoria de los modelos de evaluacion, En este sentido,
a partir de los afios noventa, las concepciones verticales y exter
139


ANDRE-NOtL Rom
nas fueron sustituidas por enfoques que hacen enfasis en la necesi
dad de integrar los puntos de vista, no solamente de los diversos
expertos, sino tambien de los actores involuerados. En este con
texto, al pluralismo de los expertos, ya reconocido por el bifomle
Viveret, se suma tarnbien el pluralismo de los actores. Significa que
es necesario tener en cuenta la evaluaci6n hecha por los actores
sobre sus propias actuaciones y a partir de sus percepciones. Irn
plica que la relaci6n entre investigadores y actores investigados
debe inseribirse en un proceso que permita -mediante el debate y
la participaci6n activa- un aprendizaje colectivo (autoevaluaci6n,
evaluaci6n endoforrnativa'') 0 ajustes en el curso de la imple
mentaci6n mediante la negociaci6n y la discusion con los actores
(evaluaci6n dinarnica 0 continua).
Por 10 tanto, y segUn la definicion propuesta por Yuille al
referirse particularmente al caso de la evaluaci6n de programas
sociales, "la evaluaci6n es un proceso (temporalidad) y una rnez
ela que retoma elementos tanto del pensarniento cientifico como
de la accion, tanto de los saberes teoricos como de los saberes
empiricos. Por eso su metodologia tiene que responder a crite
rios de validez y de fiabilidad tanto frente a la ciencia como a la
accion, La auto y la heteroevaluaci6n, de manera ideal, deben ser
conducidas conjuntamente para nutrir la reflexion de los actores
involucrados en los estados pasados, presentes y futuros de su
organizaci6n. Apuntan a .cualificar la experiencia. No se trata de
evaluar las capacidades individuales de la gente, sino los recursos
y las capacidades sociales -aprendidas, organizadas y coordina
das- adquiridas por el conjunto de los actores para la realizaci6n
de un proyecto colectivo".
3 Evaluaci6n endoformativa es aquella que permite la formaci6n tanto de
los actores ydel publico interesado, como de los investigadores, con el fin de
mejorar la practica.
POIJnCAS PUBUCAS
La que se refleja en esta definicion es tambien la tension entre
dos posturas metodo16gicas que corresponden a la oposicion cla
sica entre el polo cientifico y el polo de la accion publica (ver
Weber, 1959). La evaluaci6n, como el analisis de politica publica
en general, dificilmente puede escapar a esta tension. Como 10
anota Leca (1993), el reto de la evaluaci6n consiste justamente en
articular estas dos dimensiones -cientifica y practica 0 politica-,
para intentar superar esta contradiccion de manera constructiva.
Wildavsky (1980) subraya que el prop6sito del analista de politicas
no esta en la elirninacion de todo juicio de valor, sino en elevar el
nivel de la discusion entre intereses contradictorios, con la finali
dad de que, en 10 ideal, el debate sea de mayor calidad y permita
elegir entre varias alternativas de acci6n mejor conocidas.
Esta ambici6n de conjugar el rigor analitico y la accion politica
l1eva a Duran (1999: 169-175) a definir la evaluaci6n de politicas
publicas como una actividad de investigacion ap/icada, de producci6n
de un conoamiento comprometido con las realidades sociales", Para
Monnier (1992:101), es solamente con este compromiso de la eva
luaci6n con la realidad y con los actores, que esta tendra una utili
dad social y disminuira el riesgo de quedar olvidada en algun cajon
de una oficina (0 que sirva de instrumento al servicio exelusivo de
los directivos). AI parecer, la posibilidad de que la evaluaci6n sea
socialmente util no dependeria mucho del rigor tecnico de la me
todologia empleada, sino de la credibilidad, y en consecuencia de
la legitimidad, en el enfoque empleado por los actores sociales
4 Duran (1999:169-170) describe Ia actividad de evaluaci6n como <CIa aprecia
ci6n razonada de las acciones definidas e implementadas por las autoridades
piiblicas para su contribuci6n al tratamiento de los problemas publicos que
elias han identificado y que requieren de su intervenci6n. Esta apreciaci6n
interviene con base en un conocimiento profundo, tanto de las consecuencias
que estas acciones inducen como de los procesos que lasproducen".
&-."-... - 141
t
,
t

t
t
t

)
)
)
)
)
)
)
)
)
)
)
)
)



)
)


J

'.

t
140

ANDRE-NoEL Rom
involucrados (evaluadores y evaluados). Es decir, que la evalua
cion no puede escapar del contexto politico de la acci6n publica
que pretende analizar.
En 10 fundamental, como 10 sefiala Duran (1999: 170-172), la
evaluaci6n de politicas publicas constituye una herramienta para en
carar los tres principales retos de los gobiemos democciticos con
tempocineos: comprender, comunicar y controlar. Los gobiemos
deben tratar de comprender 10 que pasa con los procesos sociales in
ducidos por la acci6n publica para fundamentar de manera 10 mas
acertada posible las acciones futuras; los regimenes politicos demo
craticos tienen tambien la obligaci6n de comunicar para explicar, con
base en una informacion argumentada, y dialogar con sus publicos
con el fin de conseguir el respaldo a sus acciones; y, por Ultimo, los
gobiemos no pueden dejar de lado la responsabilidad de ejercer un
control sobre las actividades que realizan.
3. TIPOS DE EVALUACI6N
La variedad de modelos y tipos de evaluaci6n es el reflejo de la
complejidad de la acci6n publica, de sus objetivos y de su inter
pretaci6n. Se propone aqui introducir el tema a partir de tres pre
guntas claves: se evahia? que Yque se evahia?y
evahia? La primera pregunta hace referencia al momenta del pro
ceso de la politica 0 de la acci6n publica en que se desarrolla la
actividad de evaluaci6n: de su ejecuci6n, durante su
implementaci6n 0 despues de esta? La segunda pregunta nos invi
ta a precisar las ftnalidades de la evaluaci6n para determinar el
objeto a evaluar y el tipo de evaluaci6n que se requiere. El tercer
criterio lleva a interrogarse sobre la posicion que ocupan los
evaluadores con respecto al proceso.
3.1. ELMOMENTa DE lA EVALUACI6N
Se distinguen tradicionalmente tres posibles oportunidades para
la realizaci6n de una evaluaci6n. La evaluaci6n que se realiza antes
de una acci6n es la evaluacion ex ante; la que acompana la puesta en
marcha de la acci6n publica se conoce como evaluacion concomitante
PoIJrTCAS PUBUVtf
o continua, y la que se realiza posteriormente a la ejecuci6n de la ac
ci6n es reconocida como evaluacion ex post.
3.1.1. LA EVALUACION EX ANTE
La evaluaci6n ex ante, llamada tambien apriori, de factibilidad 0
prospectiva, consiste en realizar un analisis de una propuesta de ley,
programa 0 proyecto para determinar los efectos que provocaria
su implementaci6n. Es un instrumento prospectivo y de ayuda a la
decision y consiste en pronosticar cuales secin los impactos futu
ros causados por un proyecto, al analizar las diversas opciones
disefiadas, generalmente en funci6n de tres criterios: su eftcacia, su
impacto previsible, y su impacto en otras politicas publicas. El uso
de la evaluaci6n ex ante se desarrollo particularmente en cuatro
sectores de actividades -los estudios de impacto legislativo, los
proyectos de desarrollo, los proyectos infraestructurales y los estu
dios de impacto ambiental-.
En el caso de los estudios de impacto legislativo, el objetivo es
conocer mejor las consecuencias y los efectos previsibles que pro
vocaria una nueva legislaci6n. Se pretende, por 10tanto, mejorar el
proceso de elecci6n entre altemativas legales e instrumentos juridi
cos para alcanzar la meta. Por ejemplo, tanto en Francia como en
Suiza, un estudio de impacto debe acompafiar cualquier proyecto
de ley. Este estudio debe contemplar, en Francia, por 10 menos los
siguientes temas: ventajas esperadas, impactos en el empleo, im
pactos en otros intereses generales, incidencias ftnancieras, impac
to en terminos de formalidades administrativas, consecuencias para
el ordenamiento juridico e incidencias indirectas y no voluntarias.
Una metodologia para estimar estos efectos de manera prospectiva
sugiere una reflexi6n orientada alrededor de cinco preguntas prin
cipales (Cetel, 2000):
necesaria una (nueva) reglamentaci6n?
son las posibles soluciones altemativas?
que medida las soluciones altemativas logran alcanzar la meta
anhelada?
incidencias, tanto positivas como negativas, podrian produ
cirse?
evaluar estas incidencias?
142
143

ANDRE-NoEL Rom
---"'------ ----- -,---- --- --- -. ---------'--.-- ---
En el conjunto de herramientas para evaluar el impacto legisla
tivo ex ante, se encuentra tambien el rnetodo experimental. Ante la
incertidumbre de los efectos que podria generar una politica de
terminada, esta se implementa de manera experimental sobre un
grupo restringido de la poblaci6n, una ciudad 0 un departamento.
El impacto es entonces analizado y segUn los resultados se toma la
determinaci6n de generalizar la politic a para todo el pais, abando
narla 0 realizar ajustes" .
Otro ejemplo de uso de la evaluaci6n ex ante 10 encontramos
en el area siempre mas amplia de los proyectos de desarrollo. Los
organismos financieros (BID, FMI, ministerios, etc.) solicitan la
realizaci6n de una evaluaci6n de factibilidad, como requisito para
tomar la decisi6n de financiar 0 no un proyecto espedfico presen
tado por una instituci6n ejecutora. En estos casos los organismos
analizan en especial la pertinencia y la consistencia interna de la
propuesta, la consistencia entre el contexto y los beneficiarios, la
coherencia entre las metas y objetivos esperados y los medios y
recursos previstos, la adecuaci6n del presupuesto, la filosofias que
se quiere favorecer, entre otros aspectos.
En un campo vecino al anterior se encuentra la evaluaci6n de
impacto, la cual es utilizada ya usualmente para las obras de infra
estructura y proyectos de alguna importancia como vias, aero
puertos, represas, etc., siempre con el objetivo similar de facilitar la
5 El uso del rnetodo experimental se facilita en los regirnenes politicos
federales ( los Estados Unidos, Suiza) 0 en los que confieren una cierta
autonomia a sus regiones 0 municipalidades. Se experimenta una politica
en un sitio y, si es exitosa, otros sitios la aplicaran igualrnente 0 el Estado
central la generalizara para todo el pais. En los Es tados Unidos se habla de
legislaci6n sunset: la legislaci6n se aplica s610por un tiempo determinado
con el fin de evaluar sus efectos y su pertinencia para, luego, tomar una
decisi6n sobre su implementaci6n defmitiva, su modificaci6n 0 su abando
no (Osborne, Gaebler, 1994:175; Papadopoulos, 1995:128). Ver tarnbien el
numeral 3.2. de este mismo capitulo.
PoLlnC4S PUBUC4S
--------------------_::...:::=..:::--::
elecci6n entre alternativas. En este tipo de evaluaci6n se tiende en
general a favorecer el uso de criterios que miden los efectos de
tipo economico y financiero, pero minimiza los impactos arnbien
tales, politicos 0 sociales del proyecto por ser de rnedicion mas
compleja. En estos casos, los metodos utilizados frecuentemente
se derivan del calculo econ6mico y de la teoria del public choicl',
como los conocidos analisis costos-ventajas, costos-beneficios,
costos-eficacia 0 rnetodos multicriterios. Con estos rnetodos se
pretende racionalizar el proceso de toma de decisi6n; es decir,
reducir el papel de los valores y de la politica en la decisi6n por
medio del calculo tecnico y de principios de gesti6n del sector
privado (contabilidad analitica, control de gesti6n, direcci6n por
objetivos).
Esta ambici6n racionalista y tecnocratica dio a luz, en los afios
cincuenta y sesenta en los Estados Unidos, el programa PPBS
(planning Process Budgeting System) y conocido en Francia como RCB
(Rationalisation des Choix Budgetaires) y en Colombia a programas de
tipo racionalizacion delgasto publico. Estos programas tenian como
funci6n facilitar y priorizar las decisiones piiblicas a partir del con
trol del presupuesto por programas espedficos. Sin embargo, por
su no adecuaci6n a la realidad profunda de los procesos de toma
de decisi6n publica", estos programas de gesti6n no tardaron en
mostrar sus limites y fueron abandonados (Nioche, 1982b:639;
ver Urio, 1978).
Este sesgo economicista en la evaluaci6n ex ante de los progra
mas y proyectos tuvo consecuencias particularmente en materia
ambiental. La no inclusi6n del costo ambiental en los calculos Ile
v6, entre otros factores, a minimizar el impacto de las actividades
humanas sobre el ecosistema. La toma de conciencia de los proble
mas ambientales, a partir de la decada de los afios setenta, ha provo
6 Ver capitulo III.
7 Ver capitulo III.
145

"
't
t
t
)
)
t
t
)
t

)
)
)
)
t
)
t
)
)
-)
)
)

t
j

..

..
144

,-:.'
ANvRE-NOPLRom
, ,,__ '_" __ ' __'''
cado un desarrollo irnportante de la evaluaci6n ex anteen este cam
po. Hoy, numerosos paises han establecido la obligatoriedad de efec
tuar una Evaluaci6n de Impacto Ambiental (EIA) para obtener una
autorizaci6n de ejecuci6n para los proyectos que pueden afectar el
medio ambiente. La EIA consiste en un examen de los posibles
irnpactos ambientales de una acci6n 0 proyeeto, destinado a facilitar
una decision por parte de los responsables politicos. Gomez Orea
(en Figueroa Casas y al., 199a:58) define la EIA como "un procedi
miento de analisis, mas 0 menos largo y complejo, encaminado a
formar un juicio previo, 10 mas objetivo posible sobre la irnportan
cia de los irnpactos ambientales de una acci6n humana prevista y la
posibilidad de evitarlos 0 reducirlos a niveles aceptables". Existe una
gran variedad de metodologias (ver Figueroa Casas y al., 1998) para
tratar de predecir los irnpactos ambientales de los proyectos y de
sus posibles altemativas -y asi prever medidas de mitigaci6n 0 re
nunciar al proyecro-.
Estas metodologias tienden a presentarse como una herrarnienta
cientifica, basada en las ciencias naturales, con un alto grade de
sofisticaci6n tecnica y de simplificacion de la realidad a traves de
matrices. La gran cantidad de variables y de interacciones posibles
que entran en consideracion, y la tendencia a usar mas que todo
indicadores cuantificables, no es, sin embargo, una garantia real de
objetividad. En efecto, tanto antes como durante los procesos de
evaluaci6n, los multiples momentos en los cuales los evaluadores
deben jerarquizar preferencias, realizar arbitrajes entre criterios,
resolver problemas de mensurabilidad, seleccionar indicadores y
metodos, asignar ponderaciones a los indicadores, etc., reintroduce,
sin duda, elementos de subjetividad en los resultados de la evalua
cion", Esto quiere decir que a pesar de los esfuerzos para lograr el
8 Adernas, el sector ambiental, por su complejidad, no escapa a las dificulta
des practicas sefialadas por Herbert Simon en cuanto a la informacion in
complera y a las limitaciones de tiempo y de recursos que conducen a escoger
la primera solucion satisfactoria desde el punto de vista del decisor (ver
capitulo III).
146
PoUnC4J PUBUG4S
__, __ ._. _' ' ' ,'" ... ", __
mas alto nivel de objetividad, los evaluadores no pueden escapar,
inconsciente 0 conscientemente, a introducir elementos ideologi
cos 0 normativos.
Es probable que detras de la disputa acerca de las metodologias,
tanto entre expertos en EIA como entre estos y actores politicos 0
economicos, se esconden verdaderas divergencias politicas (ver
Majone, 1997). Por otro lado, es factible que la generalizaci6n de
las EIA provoque una cierta estandarlzaci6n y rutina en la realiza
cion de esos estudios, situaci6n que puede traducirse por parte de
las agencias de evaluaci6n en una aplicaci6n esquematica de meto
dos de evaluaci6n similares a problemas distintos". Por eso, nos
parece importante no minimizar el riesgo de caer en una nueva
deriva tecnocratica por parte de los expertos en EIA, similar a la
de los economistas con el PPBS 0 el RCB. Sin embargo, cabe
anotar que las EIA han permitido el desarrollo de numerosos es
tudios que han contribuido a aumentar los conocimientos discipli
narios, a despertar el interes por la problematica ambiental, a
favorecer la biisqueda de alternativas, de soluciones innovadoras,
y a tomar medidas de mitigaci6n.
El hecho de considerar el medio ambiente como un factor
suplementario de restriccion a la libertad de eleccion del decisor,
similar a las restricciones tecnicas yecon6micas ya habituales, cons
tituye un elemento que posibilita la elevaci6n del nivel de entendi
miento de las consecuencias de las acciones humanas (Majone,
1997:109ss, 216). Eso deberia mejorar los procesos de elabora
cion, decision e implementaci6n de politicas, programas y proyec
tos. En la medida que estos distintos puntos de vista -tecnico,
economico, ambiental, entre otros- sean objeto de deliberaci6n
publica entre los actores interesados, se fortalecera un proceso de
aprendizaje colectivo importante para la construcci6n y solidifica
cion de una cultura politica mas dernocratica y participativa.
9 En este sentido, seria precise pensar en introducir las practicas de tipo
evaluacion pluralista en la evaluacion de impacto arnbienral, (ver mas ade
lante).
147

----

ANDRE-NoEL Rom
,--,_._-<-_..~ - - - _ ..-----_.- .. _ . _ , . ~ - - - _ . _ - - - , ..._ - - - - - - - _ . _ - , ~ - - - - - - . ~ - _ . , - - - ~ - -
Otra limitacion 0 restricci6n que se deberia analizar con mas
frecuencia en una evaluaci6n ex ante, es la que introduce un analisis
de factibilidad desde el punto de vista politico. Tal y como 10
seiiala Majone (1997:120), desatender los problemas de factibilidad
politica es suponer de manera err6nea que "las politicas pueden
ejecutarse por decreto", El analisis de factibilidad politica perrnite
asegurarse de que la acci6n politica escogida podra implementarse
con cierta garantia de exito, Para ello es primordial analizar cuales
son los instrumentos de politica que se pueden usar, con quien el
gobernante debe compartir su autoridad y cuales son los actores
politicos y burocraticos cuyo apoyo se necesita (Majone, 1997:120).
En su propuesta de clasificaci6n de las diferentes restricciones de
tipo politico, Majone (1997:122ss) establece tres distinciones basi
cas: una, entre las restricciones objetivas (leyes naturales y tecnicas)
y las autoimpuestas (elecciones y compromisos libres), otra, entre
metas y restricciones10 y, la Ultima, entre las limitaciones de largo
plazo y las de corto plazo. Sin embargo, el asesor de politicas no
debe limitarse a buscar las soluciones dentro de los limites dados
hie y nunc (aqui y ahora), sino que debe ayudar a expandir las fron
teras de 10 posible. Las restricciones de tipo politico e institucional,
contrariamente a las limitaciones impuestas por las leyes de la natu
raleza, son susceptibles de cambio, El papel de la argurnentaci6n y
.de la persuasion en la formulaci6n de politicas es aqui fundamen
tal. Max Weber nos recuerda que a 10 largo de la historia el ser
humano no habria alcanzado 10 posible si una y otra vez no hubie
se buscado 10 imposible (Weber, 1959)11.
10 Si el elaborador de politica esta dispuesto a cambiar un valor particular (en
el margen) por otros valores, se trata de una meta, en caso contrario es una
restricci6n -autoimpuesta-. (Majone, 1997:127).
11 Idea que tanto los socialistas ut6picos (capaces de anticipar) del siglo
XIX como los contemporaneos, lograron condensar en una reivindicacion
parad6jica: "Sean realistas: [exijan10irnposiblel".
POUrrCAS PUBUCAS
3.1.2. LA EVALUACION CONCOMITANTE
Otro momenta posible de la evaluaci6n es el que acompaiia la
puesta en marcha del proyecto 0 programa. El objetivo es, por
una parte, controlar el buen desarrollo de los procedimientos pre
vistos y, por otra, perrnitir la detecci6n de problemas para poder
realizar los ajustes necesarios a tiempo. Se trata de realizar un segui
miento 0 monitoreo a las actividades de implementacion de un
programa -insumos, cronograma, realizaciones, resultados, etc.
Este tipo de evaluaci6n puede ser de caracter continuo 0 peri6di
co (semestral 0 anual) y puede ser realizado por personal de la
misma administracion --control interno- 0 por grupos externos
como en los casos de la interventoria 0 de la veeduria (ver
Bussmann y otros, 1998:140-150).
La evaluaci6n continua tiende a ser mas amplia que el monitoreo
por ser concebida como un instrumento que suministra inforrna
ci6n permanente para ajustar continuamente tanto los objetivos como
los medios y los procesos de una politica 0 de una acci6n publica.
Es de particular interes en los casos en que exista gran incertidwnbre
sobre los efectos de una politica por su complejidad 0 su caracter
innovador. La evaluaci6n continua es segurarnente una de las mas
importantes para el exito de un prograrna, sin embargo, es la que
menos se practica debido a los costos que ella implica.
La evaluaci6n penodica consiste en un control de las actividades
realizadas de tiempo en tiempo y permite conocer en que va el
proceso con relaci6n a la planificaci6n establecida, para luego de
terminar correctivos. La inclusion en un programa de una evalua
ci6n de este tipo obliga a que se haya previsto una programaci6n
de las actividades con un cronograrna.
Otra figura conocida es la auditoria. En este caso se trata de
realizar un informe (periodico 0 final) a partir de docwnentos y
libros que dan cuenta de las actividades realizadas por las entida
des implementadoras. Por 10 general los auditores son externos a
la entidad y se limitan a la revision y control periodico de la conta
bilidad y la gesti6n de la entidad. La auditoria es un instrumento de
control de gesti6n y, en este sentido, es un elemento particular den
tro de un proceso mas arnplio de evaluaci6n.
149
~
,
t
,
t
t
t
)
)
)
)

)
)
)
)

)
)
)
)

)
)
)
)

148

:;;;
ANDRE-NOEL Rom
__ ' __v., __ .. __. __.
3.1.3. LA EVALUACI6N EX POST
La evaluaci6n ex post, retrospectiva 0 a posteriori es la que se
realiza con mas frecuencia. Se trata en este caso de analizar los
efectos de un programa 0 de una politica publica luego de efec
tuada su implementaci6n. La finalidad de una evaluaci6n expost es
generalmente la obtencion de conocimientos y ensefianzas para
decisiones futuras.
La realizacion de una evaluaci6n expost de una politica publica
requiere de un cierto rigor y descansa en el uso apropiado de he
rramienras metodol6gicas -tanto cualitativas y cuantitativas- desa
rrolladas por las ciencias sociales como la estadistica, las entrevistas,
los sondeos, los analisis de informes y de textos, etc. A continua
cion, se presenta breve mente una metodologia de evaluaci6n ex
post de politicas piiblicas por expertos externos".
El trabajo de evaluaci6n de una politica publica empieza con un
p"!yedo de eva/uaeiOn cuya duraci6n se estima en aproximadamente
dos meses. Un proyeeto de evaluaci6n incluye un esbOifJ de pr'!Yedo (0
preproyecto) y un estudio dejactibilidad. El primero tiene como obje
tivo precisar el contenido de la evaluaci6n, y el segundo tiene que
resolver los problemas metodol6gicos para su realizacion.
El preproyecto de evaluacion se estructura a partir de cinco
preguntas concebidas como etapas sucesivas y necesarias. Los
evaluadores deben realizar una investigaci6n preliminar con el fin
de darles respuesta en un texto breve de aproximadamente cinco
paginas:
- son los estudios ya realizados, en curso 0 proyectados
sobre el tema?
12 Es la rnetodologia utilizada por la Cornision Extema de Evaluacion de
las Polfticas Publicas del Canton de Ginebra (Suiza). Es adaptada y simpli
ficada libremente por eIautor a partir de su presentacion en Cetel (2000).
150
PoIlnCAS PUBUCAS
- son las modificaciones normativas ya realizadas, en cur
so 0 proyectadas?
- son los interrogantes que se deben tratar? (el problema a
analizar)
- son los otros interrogantes posibles y que se descartan?
- pueden ser las consecuencias practicas y financieras de la
evaluaci6n? (propuestas imaginativas de politicas altemativas)
Luego, el estudio de factibilidad indicara, de manera sucinta y
clara, como y con que medios se van a alcanzar los objetivos de la
evaluaci6n, para 10 cual el estudio de factibilidad debe responder a
las siguientes preguntas:
- factible la evaluaci6n y, si 10 es, cual enfoque
metodol6gico? el enfoque global 0 por caso(s)? si es de caso(s),
y por que? .
- Con base en los rnetodos y medios disponibles, son los
interrogantes (formulados en el proyecto) que se pueden seleccio
nar definitivamente, y cuales hay que descartar y por que?
- son los datos disponibles y que dicen?
- se van a recolectar las informaciones necesarias?
- son las personas a entrevistar?
- van a tratarse los datos?
- esta estructurado el proceso de evaluaci6n? (planifica
cion, etapas, encuestas, cronograma)
En su conjunto el proyecto de evaluaci6n esta concebido para
ser presentado al solicitante con el fin de que decida si adjudica el
contrato para la realizaci6n de la evaluaci6n propiamente dicha.
A continuaci6n se presentan con mayor profundidad algunos
aspectos relevantes para la elaboraci6n de un proyecto de evalua
cion y que ilustran la complejidad del asunto.
3.2. LA FINAUDAD Y EL OBJETO DE LA EVALUACI6N
Reflexionar sobre los objetivos que se buscan a traves de la
realizaci6n de una evaluaci6n es una etapa inicial indispensable a
todo proceso de evaluaci6n serio. De la finalidad de la evaluaci6n
y de las caracterfsticas del objeto a evaluar van a depender tanto 10
que se evahia concretamente como el modo de evaluar.
151

ANDRE-NOEL ROTH
3.2.1. EVALUACION RECAPITULATIVA Y EVALUACION ENDOFORMATIVA
Segun el interes que motiva a los evaluadores (0 a sus solicitan
tes) se pueden distinguir varios tipos de evaluaci6n. Una de las
distinciones mas conocidas y utiles consiste en diferenciar las eva
luaciones segun dos finalidades principales. Si el objetivo de la eva
luaci6n es informar a los propios actores de un programa para
que estes puedan modificar sus acciones para mejorar y transfor
mar dicho programa, entonces se habla de una evaluaci6n
endoformativa. Si la finalidad de la evaluaci6n es informar al publico
en general 0 a actores externos sobre un programa en particular
para que se formen una opini6n sobre su valor intrinseco, enton
ces se habla, en este caso, de una evaluaci6n recapitulativa (summative
evaluation).
La evaluaci6n endoformativa busca ayudar a los responsables
de un programa. En cambio, la evaluaci6n recapitulativa es util
para los proveedores de recursos que deben tomar la decisi6n de
seguir 0 parar el apoyo a tal 0 cual programa y, tambien, para
otros actores que proyectan eventualmente implementar un pro
grama similar en otro lugar (Monnier, 1999:112). Hist6ricamente
son las limitaciones intrinsecas de las evaluaciones recapitulativas
--centradas mas que todo en el programa mismo- las que han
conducido al desarrollo de concepciones endoformativas para la
evaluaci6n. Estas ultimas toman en cuenta no s6lo el valor del
programa como tal, sino que evaluan adernas el contexto 0 entor
no del programa. Este aspecto de la evaluaci6n es particularmente
importante cuando el objetivo es de implementar programas
novedosos en contextos locales diferentes. Un programa nuevo 0
experimental puede dar excelentes resultados en la ciudad X, pero
puede fracasar en otra ciudad debido a que el contexto es diferen
teo Es el problema clasico de las transferencias de soluciones tecni
cas, administrativas 0 politicas que se aplican sin tener en cuenta las
diferencias de contextos existentes --culturales, sociales, economi
cos, ideo16gicos, etc.- entre ellugar de creaci6n de un programa y
su implementaci6n en otro.
El cuadro 1-V indica las principales caracteristicas de las eva
luaciones cuando se trata de la creaci6n de un nuevo tipo de pro-
PoLlnCAS PUBUCAS
"-"_.__._-----.._--_._-_._------------
grama y en el caso de la implernentacion de un programa ya exis
tente en un contexto diferente. Realizar una evaluaci6n, antes de
tomar la decisi6n de implementar un nuevo programa, permitiria
seguramente ahorrar recursos y evitar posteriores problemas
(Monnier, .1998:114).
CARACl'ERiSTICAS DE UNA EVALUACI6N
SEGUN SUS FINALIDADES
Objetivos:
Ac;lll.ptat ufill'
c'. irtl'iovad6rienun
;:L;:;r _ ..contexto
:OestiItatarios: .'dereerninado
Destinatarios:
.' Eqtppo IOC:al
'-.; .'. -. ; . encargado de la
- -aqaptaci6n
.
Objetivos: .
'-Validaci6n 0
Certificaci6n 0

delimitaci6n del
innovaci6n
camp9 de
Destinatarios:
aplicaci6n de la
Reaporiaables
innovaci6n
nacionales y
,cDestinatarios:
'locales, -colegas.
Resporisables
expeitos,
riacrorialea,
profesionales,
Responsables
utilizadores
localesintecesados
. potenciales
por Ia innovaci6n
Fuente: Monnier, (1998:114). Adaptaci6n A. Roth
3.2.2. MODOS DE EVALUACION
Por su parte, Maione (1999:214ss) considera tres modos de
evaluaci6n del quese evalua: los insumos utilizados, los procesos 0
153
,
/
,
,
,

,
)
)

,
)
)
)
)
)
)
)
)
)
)
)

)
)
.J
j
.
..

,
..

152


!Ii
ANDRE-NoEL Rom
los resultados obtenidos. En el primer caso la evaluaci6n se centra
en "los recursos, habilidades y personas que participan en la activi
dad"; en el segundo, "se consideran los metodos empleados para
transformar los insumos politicos, econ6micos y de otra clase en
productos 0 resultados"; y, finalrnente, la evaluaci6n de resultados
"se concentra en los productos 0 consecuencias de una actividad
particular" (Majone, 1999:219). Cada modo de evaluaci6n tiene
sus ventajas y desventajas en cuanto a la informaci6n que brinda a
los evaluadores.
Segiin Majone (1999:224) la eleccion de uno u otro modo de
evaluaci6n va a depender de dos elementos: el grado de
mensurabilidad de los resultados y el grado de conocimiento del
proceso. Por ejemplo, una actividad como la ensefianza tiene un
bajo grado de mensurabilidad de resultados medir la edu
caci6n?) En este caso, si los resultados son de diflcil medici6n y,
ademas, el conocimiento del proceso es deficiente, se escogera pre
feriblemente una evaluaci6n de insumos. En cambio, por ejemplo, 1a
fabricaci6n de un bien estandarizado es facilmente mensurable. El
modo de evaluar, entonces, podra ser una evaluaci6n de resultados,
10 cual significa que el modo de evaluar va a depender de las condi
ciones que ofrece el tipo de programa (ver cuadro 2-V).
CONDICIONES DE VIABIUDAD DE LOS MODOS DE EVALUACI6N
.. Evaluacion por elEvaluac16n'por el
proceso .. insumo ..
Fuente: Majone(1999:224)
154
Po!irI01S PUBU0lS
La evaluaci6n de resultados es obviamente la preferida. Pero
las condiciones 6ptimas para llevarla a cabo en el sector publico
son raramente reunidas. Se necesitaria que los objetivos de los
programas publicos esten fijados precisamente, que se puedan
medir los resultados sin ambigiiedades y que se disponga de un
instrumento de medici6n confiable (Majone, 1999:220). Cuando
estas condiciones no estan presentes, es recomendable descartar
este modo de evaluaci6n. Una alternativa puede ser la evaluaci6n
de insumos porque permite conocer 10que se ha utilizado
cost6?) para realizar un proyecto 0 una actividad, pero no nos
dice nada sobre los resultados obtenidos 0 sobre la adecuaci6n
de los procesos puestos en marcha. Este modo de evaluaci6n
corresponde mas a una evaluaci6n de tipo ex ante y facilita res
ponder de que se dispone en terrninos de personal, de dinero, de
apoyo, de informaci6n, etc., para realizar la tarea, Muchos pro
gramas suelen situarse entre los dos extremos del cuadro -bajo e
incompleto 0 alto y completo-, 10 que invita a construir mode
los que mezclan elementos de los tres modos de evaluaci6n
(Maione, 1999:225).
3.2.3. NlVELES DE EVALUACI6N
Otros autores distinguen de otra manera las diferentes modalida
des de concebir 1a eva1uaci6n. Por ejemplo, Nioche (1982a) propone
cinco niveles de evaluaci6n: evaluaci6n a nivel de medios, de resulta
dos, de irnpactos, de eficiencia y de satisfacci6n (ver cuadro 3-V).
LA EVALUACI6N A NlVEL DE MEDIOS
La evaluaci6n a nivel de medios es la forma mas elemental de
realizar una evaluaci6n y consiste en verificar si los medios previs
tos para la irnplementaci6n de una decision han sido efectivamen
te puestos a disposicion en el espacio y en el tiempo indicados y si
se han utilizado (por ejemplo el nivel de ejecuci6n presupuestal).
Es 10que en general realizan entidades como las Contralorias y las
oficinas de control interno de las administraciones, en el caso de
Colombia. Las evaluaciones de este tipo, por supuesto importan
155

ANDRE-NOEL ROlli
tes, no dicen nada sobre las consecuencias de la acci6n publica ni
sobre el proceso de implementaci6n.
LA EVALUACION A NIVEL DE RESULTADOS
Esta evaluaci6n es la mas comun y consiste en responder a la
siguiente pregunta: el programa publico alcanzar los objeti
vos fijados? En otras palabras, esta evaluaci6n indica los resulta
dos de la acci6n publica y los compara con los objetivos previstos.
La evaluaci6n a nivel de resultados mide los efectos inmediatos alcan
zados por la entidad de ejecuci6n a traves de indicadores general
mente cuantitativos que dan cuenta de su actividad productiva
personas capacitadas?, intervenciones quinirgi
cas?, expedientes tratados?) La evaluaci6n a nivel de re
sultados es la base de los informes de actividades y en muchos
casos se complementa con una evaluaci6n a nivel de impactos.
LA EVALUACION A NIVEL DE IMPACTOS
En la evaluaci6n a nivel de impactos se consideran datos mas cua
litativos para determinar los efectos previstos y no previstos que
indujeron la acci6n publica en el entorno social y econ6mico. Este
tipo de evaluaci6n, que se lleva a cabo frecuentemente a traves de
tecnicas formalizadas como Delphi 0 el Analisis multicritenos, tiende
a crear un consenso artificial entre los actores alrededor de un
instrumento de medicion. Una debilidad de estas evaluaciones ra
dica en que no toman en cuenta las dificultades que ocurren duran
te la implementaci6n. Ademas, el hecho de conocer de antemano
los criterios de evaluaci6n que se aplican de manera periodica pue
de generar comportamientos que bus can satisfacer los criterios
establecidos mas que los problemas que suscitaron la formulaci6n
e implementaci6n de la acci6n publica.
LA EVALUACION A NIVEL DE EFICIENCIA
La evaluaci6n a nivel de eficiencia tiene como objetivo relacio
nar los efectos realmente obtenidos con los medios utilizados. Su
PoUnCAS PUBUCAS
..
3-V:- Los NIVELES DE EVALUACION
ACTORES OUTPUT EVALUACI6N
I I Publico
Necesidades
1
Decisores
politicos
Medios
Objetivos
Programa de acci6n
Problemas
,
-0-1
!
I
i
1
i
-...t-J
I
1
Sistema
administrativo
I I
1 IReilizacione. __=I
Otros
gmpos
Grupos
objetivos
157

,
,
t
,
,

t
)
)
)
)
)
)
)
)

)
).

156

JIi
ANDRE-NoEL RJJm
e.e ece c<cecccc"'_ec __c_..
finalidad es determinar el grado de eficiencia del dispositivo crea
do para el programa. Con este tipo de evaluaci6n se obtiene una
descripci6n muy valiosa de los hechos ocurridos durante la
implementaci6n, pero, sin embargo, no explica por que se produ
jeron estos hechos. Se utilizan a menudo los modelos costos-efica
cia y costos-beneficios, esta vez en un contexto ex post.
LA EVALUACION A NIVEL DE SATISFACCION
La evaluaci6n a nivel de satisfacci6n consiste en dejar de lado los
objetivos del programa en consideraci6n, para responder a la pre
gunta: ~ l o s efectos del programa han satisfecho las necesidades fun
damentales? Aqui se considera, no sin l6gica, que la raz6n de ser de
la acci6n publica no es necesariamente la de cumplir con unos obie
tivos fijados a traves de un proceso institucional de decisi6n, sino la
de resolver los problemas esenciales de una poblaci6n.
El interes en este tipo de evaluaci6n, poco utilizada, radica en el
hecho de que los efectos de una politica pueden, por ejemplo, no
corresponder a los objetivos iniciales (efectos no previstos) pero
satisfacer a la poblaci6n. La dificultad de estas evaluaciones se en
cuentra en la definici6n de las necesidades fundamentales, y su ven
taja es que permite al evaluador no sesgar su percepci6n de la politica
con los objetivos fijados, ya que estos ultimos pueden funcionar
como orejeras para el evaluador (efecto de vision-tunel) que no le
van a permitir considerar los efectos no previstos como negativos
(efectos perversos) (Monnier, 1992:104-105).
3.3. Los EVALUADORES
Finalmente, el Ultimo interrogante acerca de quien evalua, hace
referencia, desde luego, a los evaluadores de la acci6n publica. La
problematica de cualquier tipo de evaluaci6n se distingue por su
reflexi6n sobre la posici6n y el papel de quienes evaluan, Es preci
so aclarar que el evaluador de pollticas no puede reemplazar el
debate politico y la responsabilidad de los actores politicos. Por 10
general, el evaluador trabaja para un cliente y por 10 tanto no es un
actor publico. La que S1 hace es aportar conocimiento argumenta
158
POLJrrCAJ pr)BUCAf
do a partir de observaciones concretas basadas en normas y valo
res (Meny, Thoenig, 1992:212). En su trabajo, el experto utiliza las
herramientas cualitativas y cuantitativas que ofrecen las ciencias so
ciales. Desde hace algunos afios existe un cierto desarrollo de insti
rutos publicos y privados especializados en la realizaci6n de todo
tipo de evaluaciones. Es de anotar que el desarrollo satisfactorio
de la evaluaci6n como actividad profesional depende de que se
cumplan algunas condiciones preliminares como:
_"una relativa independencia de los organismos de evaluaci6n fren
te a los solicitantes para permitir el ejercicio critico y responsable (...);
_ Una capacidad pluridisciplinar de los evaluadores;
_Una transparencia suficiente de la informaci6n administrativa que
perrnita el acceso a las fuentes;
_ Una pluralidad de 6rganos de evaluaci6n que permita la emula
ci6n entre expertos y su utilizaci6n por los decisores (oo.)" (Monnier
en Meny, Thoenig, 1992:213),
_ Una garantia de publicidad y de acceso a los resultados e infer
mes (Monnier, 1997).
Existen tres modalidades de evaluaci6n segUn la posici6n de
los evaluadores: la evaluaci6n externa (heteroevaluaci6n), la eva
luaci6n mixta (pluralista, multiple) y la evaluaci6n interna
( autoevaluaci6n). La primera, la evaluaci6n externa, corresponde
al modelo clasico de la contratacion de expertos externos a la en
tidad y al programa que se pretende evaluar. Otra posibilidad,
cercana a la anterior pero con objetivos generalmente diferentes,
consiste en la realizaci6n de la evaluaci6n por especialistas de la
misma administraci6n cuya funci6n es el seguimiento y control de
la actividad de la administraci6n -por eiernplo, oficina de planeaci6n,
control interno, contraloria-.
Para responder a la limitaci6n inherente a este tipo de evalua
cion realizada por personas externas al proceso a evaluar (ver arri
ba), se desarroll6 la modalidad de evaluaci6n mixta que consiste
en conformar uno 0 varios equipos de evaluadores en los cuales
participan tanto expertos externos como ejecutores del programa
y beneficiarios. Para finalizar, la evaluaci6n interna 0 la autoeva
luaci6n consiste en la realizaci6n de la evaluaci6n por los ejecutores
y beneficiarios mismos del programa (ver cuadro 4-V).
159

ANDRE-NoEL Rom
4- TIPOS DE EVALUACI6N Y EVALUADORES
.' ,'. "',
objeti,vos'. .'
Auditona',\ ',.'"
"
j seguimiento' .
Mejorarla
medianteprocesos . '
de
ap
relld1za
je " '"
colectivo
,
, colectivoYi".>
autoplaneacion, r '
participaci6n
Expertos externos,
ejecutores y
beneficiaries/
Expertos extemos '
a Ia entidad y
personal
especializado
perteneciente a la
entidad (control
interne)
A. Roth
4. UN MODELO DE EVALUACI6N MIXTA:
LA EVALUACI6N PLURAUSTA
4.1. PRESENTACI6N
La evaluacion pluralista es parte de la familia de evaluaciones
que comparte la idea de que los evaluadores ya no pueden ser
solamente un grupo de expertos objetivos y generalmente ex
ternos al programa sometido a evaluaci6n (como se concebia en
el lriforme De/eau). Es evidente que los criterios de evaluaci6n de
una politica publica van a ser distintos en funci6n de la posicion
que ocupa el evaluador en un programa especifico: politico, ex
perto, funcionario encargado de la implementacion, usuario, po-
POLlrrCAS PUBUCAS
licia, juez, economista, sindicalista, empleador, indigena, etc. De
esta manera se refleja "la diversidad de necesidades, intereses y
preocupaciones de los actores e interesados" (Majone, 1999:217).
Si se reconoce la legitimidad de estas perspectivas variadas sobre
una politica especifica, entonces es necesario recurrir al concepto
de evaluaci6n pluralista (Monnier, 1992) 0 multiple (Majone,
1999:215ss). La arnbici6n (y la dificultad) central de la evaluaci6n
pluralista 0 multiple es "contribuir a un entendimiento comparti
do de las diversas perspectivas criticas" y no solamente combi
nar 0 yuxtaponer "criterios parciales en un criterio general"
(Majone, 1999:216).
En este sentido la evaluaci6n pluralista busca favorecer la intro
ducci6n de otros criterios, en general mas cualitativos, y
metodologias y dispositivos de trabajo mas participativos. Con
esto se pretende favorecer un aprendizaje colectivo de los proble
mas e introducir mayor flexibilidad en la frecuente rigidez norma
tiva de los modelos de los expertos. Estas practicas deberian facilitar
el dialogo entre las partes involucradas, con el fin de posibilitar
consensos negociados mas autenticos y legitimos. Se trata de una
verdadera pedagogia de la actividad politica, de la democracia,
que apunta a la construcci6n de lenguajes comunes entre politicos,
expertos y ciudadanos",
La evaluaci6n pluralista se distingue de la evaluaci6n externa
por la creaci6n de dispositivos de evaluaci6n mixtos -expertos,
ejecutores, beneficiarios-. Se reconoce asi la existencia y la
centralidad de los actores involucrados. Este tipo de evaluaci6n
se entiende como un proceso nunca acabado de aprendizaje co
lectivo que se interesa por la resoluci6n de los problemas socia
les emergentes -por medio de un dialogo entre expertos, actores
13Ver tarnbien la secci6n titulada "Decision y democracia" en el capitulo III.

., 161
,
t
,
t

)
)
t
)

)
)
)
)
)
)
)
)




)
)

)

160

ANDRE-NoEL Rom
"'_"N __ .. __ , ,._, __ __
y beneficiarios invo1ucrados- mas que por 1a realizaci6n de obje
tivos explicitos fijados a priori. E1 objetivo de 1a evaluaci6n ya no
consiste en encontrar 1a mejor soluci6n 0 1a 6ptima desde el punto
de vista tecnico, sino 1a mas satisfaciente segUnel contexto (en
el sentido de Simon, ver capitulo III), La evoluci6n del contexto
en el cual estan inmersos tanto el programa como los actores y las
experiencias individuales y co1ectivas de los actores y beneficiarios
implican que estos tienden a cambiar sus aspiraciones frente a las
realizaciones del programa. Por eso, 1a evaluaci6n como ayuda
para los decisores es aun mas necesaria en un contexto incierto e
imprevisib1e porque 1a estabilidad y el caracter concreto de los
objetivos son menores. De hecho una evaluaci6n p1uralista tiende
a ser endoformativa.
"
4.2. UN DISPOSmvO PARA lA EVALUACI6N PLURAUSTA
La realizaci6n de una evaluaci6n p1uralistanecesita 1a puesta en
marcha de un dispositivo practico mas complejo que en el caso de
una evaluaci6n clasica, SegUn 1a presentaci6n hecha por Monnier
(1998:114ss) el enfoque tradicional, que se debe evitar, se desarro
lla en cuatro etapas:
- Contrataci6n por pane de la entidad responsab1e (generalmente
,'[
1aque financia un programa) de un equipo de expertos indepen
dientes;
- Entrevistas con los responsab1es del programa y medici6n de los
efectos;
- Redacci6n del informe de evaluaci6n;
- Publicaci6n y divulgaci6n del informe de evaluaci6n con sus con
secuentes efectos por parte de 1a entidad contratante 0 el archivo
de dicho informe.
Para Monnier (1998:116), este tipo de evaluaci6n es altamente
contraproducente porque 1a experiencia ha demostrado que si no
se cuenta con una participacion de los evaluados, 1a reco1ecci6n de
datos e informacion es dificil, 0 resulta de pesima calidad. Segun
algunos estudios las evaluaciones extemas tienden a ser de calidad
inferior a las realizadas por personas pertenecientes a 1a rnisma
organizacion. Esta siruacion se debe a 1a falta de conocirnientos
162
POLirrCAS PUBUCAS
cualitativos de los expertos extemos sobre 1arealidad de los pro
cesos intemos de 1a organizaci6n sometida a evaluaci6n.
Si, como 10 considera Monnier (1998:111), 1a "utilidad social
de una evaluaci6n depende de las condiciones de apropiaci6n de
las conc1usiones por parte de los actores socia1es a los cua1es esta
destinada", entonces toma especial importancia 1a relaci6n de
confianza y de co1aboraci6n que se estab1ece entre eva1uadores y
eva1uados.
Esta relaci6n es necesaria para facilitar un proceso de transfor
maci6n de las ideas, como paso inicial a 1a aceptaci6n de un cam
bio y a su imp1ementaci6n. Entonces, preferib1e exc1uir 1a
participaci6n de expertos extemos? Monnier (1998:110, 116) esti
rna, sin embargo, que no es 1a mejor soluci6n, porque al elirninar
una participaci6n externa a1 programa evaluado es muy probable
que para los actores externos se disrninuya 1a credibilidad de 1a
evaluaci6n. En efecto, siempre va a existir el riesgo de que 1a eva
luacion se transforme en, 0 se perciba como, una evaluacion que
busca unicamente justificar 0 ensa1zar una actividad, una gesti6n 0
una organizaci6n (evaluaci6n pro domo).
Es precisamente para salir de esta dob1e dificultad que Monnier
defiende 1arealizaci6n de evaluaciones p1uralistas. A titulo de ejem
p10, a continuaci6n se presenta el dispositivo que propone este
autor para 1a realizaci6n de este tipo de eva1uaciones. Es posib1e, a
partir de este modelo general, imaginar dispositivos apropiados a
cada siruacion particular.
Monnier (1998:116ss) recornienda 1a constituci6n de un dispo
sitivo idoneo (cuadro 5-V) para llevar a cabo una eva1uaci6n
endoformativa que se constituye como un verdadero 1ugar de
negociaci6n entre los diversos actores invo1ucrados.
El elemento central de esta propuesta metodo16gica descan
sa en 1acreaci6n de una estructura ad hoc tempora111amada ins/an
cia de evaluation y conformada por los diversos protagonistas del
programa. La conformaci6n de esta instancia es delicada en 1a
medida en que los participantes deb en ser personas que dispongan
de tiempo y acnien de buena fe. Adernas, deben estar dispuestas a
dialogar y tener 1a vo1untad y el interes de reflexionar co1ectiva
mente -y no imponer puntOS de vista de manera intransigente).
163


ANDRE-NoELRom
5-V:- DISPOSITIVO DE EVALUACI6N PLURALISTA
Solicitantes
- - ~
Instancia de
evaluacion que incllfYe
destinatanosy adores
de fa acaon
---.
Informe
publico
I
I
I
I
I
~ ..

I
I
I
I
I
Interpretacion Financiacion Metodologia
Recoleccion
de
II'
informacion
Equipo
encargado de fa
.. I IContrato 1.---
~
evaluacion
Fuente: Monnier (1998: 116)
SegUnla propuesta iinicamente esta instancia esta habilitada para
definir los objetivos de la evaluacion, fijar la metodologia de tra
bajo, seleccionar los datos a recolectar, asi como proponer crite
rios de evaluacion a traves de un proceso de negociacion. La
instancia de evaluacion realiza el seguimiento a las actividades del
equipo evaluador conformado por los expertos externos. Es im
portante que los solicitantes de la evaluacion no tengan mayor in
fluencia sobre las orientaciones y el desarrollo de la evaluacion que
la ejercida por miembros de la instanaa. EI inforrne final se trans-
Pouttcss PUBUCAJ
forma de este modo en un documento formal que describe el
trabajo realizado, las informaciones recolectadas y da cuenta de las
negociaciones alcanzadas entre los distintos protagonistas del pro
grama en relacion con la interpretacion de los hechos y de las me
joras posibles (1998:116).
Cuando no es posible proceder a una evaluacion de este tipo,
el autor recomienda la realizacion de varias evaluaciones paralelas
de tipo recapitulativo, solicitadas por cada uno de los actores
involucrados con equipos distintos. Por ejemplo, la manera mas
simple y mas economica consiste en realizar dos evaluaciones pa
ralelas contradictorias: una a favor del programa y la otra opuesta.
En todo caso, la evaluacion debe evitar tornarse en un procedi
miento rigido destinado principal, si no unicamente, a la "verifica
cion del respeto a las reglas administrativas 0 de la buena gestion
de los medios y recursos" (Monnier, 1998:117).
EI trabajo central del equipo evaluador consiste en facilitar la
negociacion entre las distintas perspectivas para ayudar a una toma
de decision en vista de la resolucion de los problemas de la accion
publica. En esta perspectiva, Monnier (1998: 117-8) indica algunas
finalidades hacia las euales apuntan las negociaciones:
- La construccion de un sistema integral de recoleccion y trata
miento de la informacion (economica, social y operativa) gracias a
la colaboracion activa de los actores de la accion;
- La revelacion de las coacciones (0 de las dificultades encontra
das) de orden tecnico, econornico, cultural 0 politico, relacionadas
al entomo en el cual se implernenta el programa;
- La concepcion de nuevos medios (0 de ajustes) reconocidos por
los diferentes actores como susceptibles de aportar una solucion al
problema social en cuestion;
- La clarificacion de la naturaleza del problema social que motive
la reaccion inicial;
- El surgimiento de conflictos en la interpretacion de los hechos y
la definicion de los objetivos de la accion;
- EI aprendizaje de un lenguaje y de conceptos compartidos por
aculturacion reciproca de los diferentes protagonistas; es decir la
constirucion y la generalizacion de 10 que se puede llamar un refe
rente compartido;
165
,
t
,
t

)

)

)
)
)
)
)

)
)

t
)

)
)
t

'.

164


ANDRE-NoEL Rom
""
- El estirnulo al cambio social, a partir de la confrontacion cons
tructiva de los valores y de los anhelos que existen en los diversos
sectores de la sociedad, y a partir del descubrimiento y encuentro
de capacidades creativas.
Para terminar este recorrido en el tema de la evaluacion de las
politicas publicas es preciso recordar que la evaluacion sigue sien
do ante todo un proceso politico, 10 cual quiere decir que la prac
tica de la evaluacion no esta exenta de situaciones de arbitraje entre
concepciones divergentes. Participa de este proceso politico la elec
cion entre sistemas de clasificacion, de referentes, de conceptos, de
teorias, de modelos 0 de puntos de vista seleccionados 0 descarta
dos. En este sentido la evaluacion es parte de la contienda politica,
rehusar a reconocerlo seria engaiioso e intentar escapar a esta di
mension significaria renunciar a esperar de la evaluacion una cierta
utilidad social. Por eso a la hora de lograr un efecto positivo, la
legitimidad de la actividad evaluadora y de sus conclusiones entre
los protagonistas cobra mas importancia que la rigurosidad 0 la
objetividad de resultados a la cual pretenden llegar los expertos.
Para terminar, nada expresa mejor esta reflexion que la pregunta
formulada por Jobert y Warin (citados en Monnier, 1998:122):
las politicas publicas no se hicieron para los expertos ni para
los politicos, no seria mas preciso evaluarlas a partir de los criterios
de juicio de los destinatarios de estas?"
166