Xavier Ballart. Cómo Evaluar Programas y Servicios Públicos

Ministerio
para las
Administraciones
Pblicas
Coleccin
Estudios
Cmo evaluar programas y

servicios pblicos?
COMO EVALUAR PROGRAMAS Y

SERVICIOS PUBLICaS? Aproximacin
sistemtica y estudios de caso es un
escaln ms en la labor emprendida por
el INAP para facilitar al lector espaol un
conjunto de textos que posibiliten la
mejora de la gestin pblica.
La obra permitir adentrarnos en el
mundo de la evaluacin, de larga
tradicin en otros contextos, de manera
sencilla y con voluntad de convertir sus
pginas en un valioso instrumento de
consulta.
Aproximacin sistemtica y estudios de caso
o
o
Q-S
II
c
i_
re u
-2 i
-o
Xavier Ballart
Serie
Administracin
Ministerio para las Administraciones Pblicas

Instituto Nacional de Administracin Pblica
P.V.P. 2.300
(IVA INC
COMO EVALUAR PROGRAMAS y

SERVICIOS PUBLICaS?
Xavier Ballart

SERVICIOS PUBLICaS?
MINISTERIO PARA LAS ADMINISTRACIONES PUBLICAS

MADRID
1992
Coleccin: ESTUDIOS
Primera edicin: Mayo 1992
Edita:
MINISTERIO PARA LAS ADMINISTRACIONES PUBLICAS

Secretara General Tcnica
NIPO: 329-92-007-9
IS BN: 84-7088-623-1
Depsito Legal: M. 17274-1992
Fotocomposicin e Impresin: Grficas Banelly, S.A.
INDICE
. Prlogo........................................................................................................
Introduccin......................................................................... ......................
21
25
PRIMERA PARTE
CAPITULO 1
MARCO TEORICO. ADMINISTRACION PUBLICA,
ANALISIS y EVALUACION DE POLITICAS PUBLICAS................
35
1. INTRODUCCION
2. ADMINISTRACION PUBLICA E INVESTIGACION
A. EL ESTUDIO DE LA ADMINISTRACION PUBLICA:
SINTESIS DE ORIENTACIONES
a. La tradicin norteamericana..
b. La tradicin europea
B. EL ANALISIS DE POLITICAS PUBLICAS COMO
MARCO TEORICO DE REFERENCIA
a. Conceptos bsicos
b. Diferencias entre anlisis y evaluacin
c. El carcter amenazante de la evaluacin...........................
43
43
46
46
CAPITULO 11
GENESIS y ESTRUCTURA DE LA EVALUACION EN UNA
PERSPECTIVA COMPARADA..............................................................
51
1. INTRODUCCION
2. ORIGENES y SISTEMATIZACION DE LA EVALUACION
EN LOS ESTADOS UNIDOS
A. CRECIMIENTO DE LOS PROGRAMAS SOCIALES
37
37
37
37
42
53
53
53
7
COMO EVALUAR PROGRAMAS y SERVICIOS PUBLICaS?
B. REFORMA PRESUPUESTARIA............................................
C. SISTEMATIZACION DE LA EVALUACION........................
3. DESARROLLO DE LA EVALUACION EN OTROS PAISES..
A. FACTORES DETERMINANTES
B. PAUTAS DE INSTITUCIONALIZACION
a. A Nivel Parlamentario
b. A Nivel Ejecutivo
c. Centralizacin-Descentralizacin
4. CONDICIONANTES Y TENDENCIAS EN EL CASO
ESPAOL
A. CRECIMIENTO Y REFORMAS TARDIAS...........................
B. CONSTATACION DE UNA DEMANDA EFECTIVA
CAPITULO 111
CONCEPTO, CLASES, PROPOSITOS, INTERESES y
CRITERIOS DE EVALUACION
1. CONCEPTO..................................................................................
A. AMPLIACION PROGRESIVA DEL AMBITO DE LA
EVALUACION.........................................................................
B. CONCEPTO AMPLIO DE EVALUACION DE
PROGRAMAS..........................................................................
C. DIFERENCIAS ENTRE EVALUACION DE
PROGRAMAS Y CONTROL ADMINISTRATIVO...............
2. CLASES DE EVALUACION.......................................................
A. CLASIFICACION POR FASES...............................................
a. Evaluacin de la Conceptualizacin y del Diseo de
los Programas
b. Evaluacin de la Implementacin de los Programas
c. Evaluacin de la Eficacia o Impacto de los Programas
d. Evaluacin de la Eficiencia de los Programas
B. OTRAS CLASIFICACIONES
a. Evaluacin Formativa - Evaluacin Conclusiva................
b. Evaluacin Descriptiva - Evaluacin Analtica
c. Evaluacin Interna - Evaluacin Externa
d. Metaevaluacin........................................ ...........................
3. PROPOSITOS...............................................................................
A. PROPOSITOS ABIERTOS
B. PROPOSITOS ENCUBIERTOS
8
54
55
57
58
59
59
60
61
63
63
65
69
71
71
73
74
75
76
76
76
77
77
79
79
80
80
81
82
82
83
INmCE
4. INTERESES Y CRITERIOS
A. MULTIPLICIDAD DE INTERESES
B. EVALUACION, CONFORME A QUE CRITERIOS?
a. Los Valores e Intereses de los Actores
b. Los Objetivos del Programa
c. Los Objetivos Tericos de la Intervencin Pblica
C. OTROS CRITERIOS ALTERNATIVOS
84
84
85
85
86
87
88
SEGUNDA PARTE
CAPITULO IV
LA EVALUACION CLASICA POR OBJETIVOS
1. INTRODUCCION
2. IDENTIFICACION, ESPECIFICACION y MEDIDA DE
OBJETIVOS..................................................................................
A. OBJETIVOS GENERALES, ABSTRACTOS,
CONFUSOS Y RETORICOS...................................................
B. ESPECIFICACION DE OBJETIVOS......................................
a. Ordenacin de los Objetivos...............................................
b. Multiplicidad de Objetivos
c. Consecuencias y Efectos No Anticipados
C. INDICADORES DE RESULTADOS
a. Seleccin de Variables
b. Fuentes de Datos
3. DESCRIPCION DEL PROGRAMA:
EVALUACION DE LA IMPLEMENTACION..........................
A. INPUTS, ACTIVIDADES y ORGANIZACION
DEL PROGRAMA ..
B. EVALUACION DE LA IMPLEMENTACION
a. Poblacin Servida...............................................................
b. Problemas Generados por la Propia Organizacin
c. Servicios Prestados
4. MEDIDA DE RESULTADOS:
EVALUACION DE IMPACTO
A. INTRODUCCION
B. LA CUESTION DE LA VALIDEZ
93
95
95
96
97
98
101
101
101
101
103
106
107
107
108
110
111
112
112
113
9
a. Causalidad y Validez
b. Amenazas a la Validez Interna............................................
c. Amenazas a la Validez Externa...........................................
C. DISEOS DE INVESTIGACION
a. Diseos Experimentales......................................................
b. Diseos Cuasiexperimentales
c. Diseos No Experimentales
ANEXO AL CAPITULO IV
EJEMPLOS DE EVALUACIONES DE ACUERDO CON EL
PARADIGMA CIENTIFICO-CLASICO
1. EXPERIMENTOS
A. EL MAYOR EXPERIMENTO DE RENTAS MINIMAS E
IMPUESTO NEGATIVO: EL SEATTLE-DENVER
INCOME MAINTENANCE EXPERIMENT
B. EL EXPERIMENTO DE LOS BONOS DE VIVIENDA
2. CUASIEXPERIMENTOS
A. UN CASO DE SERIES TEMPORALES MULTIPLES:
LA EVALUACION DEL SUPPLEMENTAL SECURITY
INCOME.................................................................................
B. UN CASO DE PRE-TEST/pOST-TEST CON GRUPO DE
COMPARACION: LA EVALUACION DE
PROGRAMAS DE AHORRO ENERGETICO
C. UN CASO DE DISEO DE DISCONTINUIDAD EN
LA REGRESION: LA EVALUACION DE LOS
CERTIFICATES OF MERIT
3. NO EXPERIMENTALES
A. UN CASO DE EVALUACION NO EXPERIMENTAL:
LA EVALUACION DE PROGRAMAS DE AHORRO
ENERGETICO
CAPITULO V
LA EVALUACION PLURALISTA
113
114
117
118
118
119
124
127
129
129
132
135
135
137
140
142
142
143
1. INTRODUCCION
147
2. PROBLEMAS CON LA EVALUACION CLASICA POR
OBJETIVOS
,......................................... 147
10
INDICE
A. PROBLEMAS DE APLICACION
B. PROBLEMAS DE UTILIZACION..........................................
3. EVALUACION PLURALISTA
A. DIMENSION POLITICA DE LA EVALUACION
B. NUEVAS DEMANDAS SOBRE LA EVALUACION
C. DESARROLLO DE UN MODELO PLURALISTA................
a. Evaluacin Mltiple
b. Evaluacin Util.................................................. .................
c. Evaluador-Mediador
;......
D. MODELOS ESPECIFICOS QUE FUNDAMENTAN EL
ENFOQUE PLURALISTA.......................................................
a. Evaluacin Libre de Objetivos
b. Evaluacin Naturalista
c. Evaluacin Orientada a la Utilizacin...............................
4. LIMITACIONES DE LA EVALUACION PLURALISTA .......
147
149
151
151
153
153
153
154
155
155
156
157
158
160
TERCERA PARTE
PRESENTACION DE LOS ESTUDIOS DE CASO
165
CAPITULO VI
EL CASO DEL PLAN INTEGRAL DE ROQUETES
169
1. INTRODUCCION
2. DESCRIPCION DEL CASO
A. ANTECEDENTES: LOS ACTORES
a. Entidades y Asociaciones de Vecinos
b. El Consejo Municipal del Distrito de Nou Barris
c. El Area de Desarrollo Econmico-Social...........................
d. El Centro de Estudios y Documentacin Nou Barris
B. LA NEGOCIACION
a. Restriccin del Ambito del Programa: de Nou Barris
a Roquetes
b. Primeros Conflictos con los Vecinos
c. Eleccin de los Directores
C. DELIMITACION PROGRESIVA DEL PROGRAMA............
a. La Rehabilitacin de un Edificio como Carta de
Presentacin
171
172
172
172
173
173
175
176
176
177
178
179
179
11
b. Formacin de Grupos de Trabajo con los Vecinos

c. Adopcin de un Programa Amplio de Objetivos
Generales............................................................................
D. ESTRUCTURA ORGANIZACIONAL y SERVICIOS
a. Capacidad de Decisin de los Directores
b. Estructura Organizacional del PIR
c. Contratacin de Colaboradores Tcnicos por Areas
d. Resumen de los Proyectos Realizados
3. DISCUSION DE LA EVALUACION
A. CUESTIONES PLANTEADAS POR LOS DECISORES
B. EL MODELO DE PROGRAMA
a. Ambivalencia Respecto al Concepto de IntegraL
b. Posiciones de los Actores y Criterios de Evaluacin
c. Ideas Bsicas en las que se Fundamenta el Consenso
C. EL MODELO DE EVALUACION
a. Inadecuacin del Paradigma Clsico al Programa
Evaluado
b. Adopcin de un Enfoque Pluralista y Centrado en el
Proceso...............................................................................
4. IMPLICACIONES DEL ESTUDIO DE CASO PARA LA
EVALUACION
A. EVALUACION DE PROGRAMAS DE OBJETIVOS
AMPLIOS Y ABIERTOS
B. EVALUACION EN FUNCION DEL PROGRAMA
C. IMPORTANCIA DEL ANALISIS PREVIO DE
EVALUABILIDAD
CAPITULO VII
EL CASO DE LA POLICIA LOCAL
1. INTRODUCCION
2. PROBLEMAS CON LA EVALUACION POR OBJETIVOS
3. LA LITERATURA SOBRE EVALUACION DE
SERVICIOS POLICIALES
A. DISTRIBUCION DE LOS RECURSOS POLICIALES
a. Criterios
b. Mtodos
B. DISTRIBUCION EQUITATIVA DE LOS SERVICIOS
C. DISCRECIONALIDAD DE LOS AGENTES
12
179
180
181
181
182
184
186
188
188
188
188
189
191
191
191
193
196
196
197
200
203
205
205
207
207
207
209
210
213
INmCE
4. ESCALA Y ORGANIZACION DE LA POLICIA LOCAL

DE L'HOSPITALET
A. ALGUNAS MEDIDAS DE INPUT
B. ESTRUCTURA ORGANICA DEL SERVICIO
C. OPERACIONES DE PATRULLA Y SECTORES
POLICIALES
D. RESPONSABILIDAD OPERATIVA:
LA SALA DE MANDO
a. Informacin sobre Servicios Individuales
b. Memoria Anual de Actividades
5. FUENTES DE DATOS
6. ANALISIS DE LA DEMANDA DE SERVICIOS
POLICIALES
A. TRAFICO Y ACCIDENTES DE CIRCULACION
B. SERVICIOS SOCIALES
C. DELITOS y FALTAS
D. POLICIA ADMINISTRATIVA
E. DISTRIBUCION DE LAS DEMANDAS EN EL ESPACIO
Y EN EL TIEMPO...................................................................
7. EVALUACION DE LA DISTRmUCION DE LOS AGENTES ..
A. POR TURNOS
B. POR DISTRITOS
8. EVALUACION DE LA EFICACIA POLICIAL
A. PLANTEAMIENTO DEL PROBLEMA
B. TIEMPO DE RESPUESTA
a. En Funcin del Tipo de Incidente
b. En Funcin del Volumen de Demandas
c. En Funcin de la Prioridad Asignada................................
C. TIEMPO DE SERVICIO
9. EVALUACION DE LA DISTRIBUCION DE LOS
SERVICIOS EN TERMINOS DE EQUIDAD
EVALUACION
A. EVALUACION DE SERVICIOS DE POLICIA LOCAL
CON DATOS DE LA ADMINISTRACION
B. EVALUACION EN FUNCION DE LA INFORMACION
C. UTILIDAD RELATIVA DE LAS MEDIDAS OBJETIVAS '"
216
216
217
218
220
221
222
223
224
226
227
228
229
230
239
239
241
242
242
243
243
245
246
248
248
249
250
251
251
252
253
13
Pg.
14
CONCLUSIONES
257
BIBLIOGRAFIA
265
INDICE DE FIGURAS, CUADROS Y TABLAS

CUADRO 1.
COLEMAN REPORT
CUADRO 2.
PRINCIPALES CUESTIONES PARA CADA TIPO DE

EVALUACION
CUADRO 3.
IDENTIFICACION DE OBJETIVOS: DIMENSIONES A

TENER EN CUENTA
FIGURA 1.
RELACIONES ENTRE ANALISIS, EVALUACION E

INVESTIGACION BASICA
FIGURA 2.
MODELO TEORICO PARA LA EVALUACION DE

PROGRAMAS
FIGURA 3.
TIPOS DE EVALUACION DE PROGRAMAS
FIGURA 4.
DISEO DE SERIES TEMPORALES CON GRUPO DE

COMPARACION
FIGURA 5.
DISEO DE GRUPOS DE COMPARACION NO

EQUIVALENTES
FIGURA 6.
DISEO DE DISCONTINUIDAD EN LA REGRESION
FIGURA 7.
PLANES DE IMPUESTO NEGATIVO PROBADOS EN EL

SDIME
FIGURA 8.
NUMERO DE CASOS SSI, AFDC
FIGURA 9.
BENEFICIOS MENSUALES POR PARTICIPANTE SSI,

AFDC
FIGURA 10.
AHORRO ENERGETICO PARA GRUPOS

EXPERIMENTALES
15
FIGURA 11.
ESTUDIANTES QUE OBTIENEN BECAS
FIGURA 12.
ESTUDIANTES QUE PIENSAN CONTINUAR

ESTUDIANDO
FIGURA 13.
ACTITUDES RESPECTO A INTELECTUALISMO
FIGURA 14.
RESULTADOS DEL ANALISIS DE REGRESION
FIGURA 15.
ORGANIZACION DEL PROCESO EVALUADOR SEGUN

PATTON
PRIMER ESTUDIO DE CASO

FIGURA 1.
ESTRUCTURA ORGANIZACIONAL DEL PIR
FIGURA 2.
PROYECTOS REALIZADOS ENTRE 1988 Y 1990
FIGURA 3.
RELACIONES ENTRE TIPO DE PROGRAMA Y

TIPO DE EVALUACION
SEGUNDO ESTUDIO DE CASO

FIGURA 1.
VOLUMEN DE SERVICIOS POR HORA DEL DIA
FIGURA 2.
TIEMPO DE RESPUESTA POR HORA DEL DIA
FIGURA 3.
TIEMPO DE SERVICIO POR HORA DEL DIA
FIGURA 4.
RELACION ENTRE NIVEL DE CONOCIMIENTO Y

TIPO DE EVALUACION
TABLA 1.
BARCELONA Y L'HOSPITALET. RESUMEN DE

MEDIDAS DE INPUTS PARA 1989.
TABLA 2.
ORIGEN DE LAS DEMANDAS DE SERVICIOS
TABLA 3.
FRECUENCIA Y DISTRIBUCION DE LOS SERVICIOS

POR CATEGORIAS DE INCIDENTES
16
INmCE
TABLA 4.
DEMANDAS POR DISTRITOS
TABLA 5.
DISTRIBUCION DE LA DEMANDA GLOBAL POR

HORA DEL DIA Y DISTRITO
TABLA 6.
TIEMPO DE RESPUESTA POR DISTRITO Y POR TIPO

DE DEMANDA
TABLA 7.
TIEMPO DE SERVICIO POR DISTRITO Y POR TIPO DE

DEMANDA
TABLA 8.
DISTRIBUCION DE AGENTES Y SERVICIOS POR

TURNOS
TABLA 9.
DISTRIBUCION DE AGENTES Y SERVICIOS POR

DISTRITO
TABLA 10.
TIEMPO MEDIO DE RESPUESTA POR CATEGORIAS

DE INCIDENTES
TABLA 11.
TIEMPO MEDIO DE RESPUESTA POR TIPO DE

PRIORIDAD
TABLA 12.
TIEMPO MEDIO DE SERVICIO POR CATEGORIAS DE

INCIDENTES
TABLA 13.
CORRELACIONES DE VARIABLES DEMOGRAFICAS y

TIEMPOS DE RESPUESTA Y DE SERVICIO
17
PRINCIPALES ABREVIATURAS
ADES
Area de Desarrollo Econmico-Social
AFDC
Aid to Families with Dependent Children
CD9B
Centro de Estudios y Documentacin Nou Barris
EEUU
Estados Unidos
EHAP
Experimental Housing Allowance Program
FSE
Fondo Social Europeo
GAO
General Accounting Office
GUH
Guardia Urbana de 1'Hospitalet de Llobregat
Ibid.
Ibdem
INEM
Instituto Nacional de Empleo
INSS
Instituto Nacional de la Seguridad Social
NJGWIE New Jersey Graduated Work Incentive Experiment

OMB
Office of Management and Budget
PERI
Plan Especial de Reforma Interior
PIB
Producto Interior Bruto
PIR
Plan Integral Roquetes
PPBS
Programming, Planning, and Budgeting System

19
RFA
Repblica Federal de Alemania
RU
Reino Unido
SDIME
Seattle-Denver Income Maintenance Experiment
SSI
Supplemental Security Income
Vid.
Ver
20
PROLOGO
Todo el mundo habla de lo mal que funcionan los servicios y los programas de actuacin de las administraciones pblicas, pero nadie parece saber
muy bien lo que debera ser un buen servicio pblico. Tenemos Constitucin, Estatutos y leyes que nos dicen como deberan ser las cosas, pero parece
claro que en la mayora de los casos las indicaciones normativas de esos textos son excesivamente genricas para servir de gua a la accin concreta y
tampoco sirven automticamente como vara de medir de lo ya hecho.
Este es el gran acierto de este libro: tratar de mostrar que entre ese gran
desacuerdo general sobre el modo de proceder de unos servicios pblicos previstos en las leyes y la labor diaria y abnegada de muchos servidores pblicos
que tratan de conseguir hacer realidad aquello que slo era la voluntad escrita
del legislador, es posible construir evidencias y criterios que nos indiquen qu
se ha hecho, para qu sirve y hasta qu punto se acerca o no a lo que estaba
previsto.
Evaluar implica preocuparse por los resultados, saber si se han obtenido o
no los objetivos planteados. Pero la administracin pblica, en su modelo ms
extendido (racional-burocrtico), no est pensada para preocuparse por los resultados, sino por la legalidad de su actuacin. Se trata de un sistema concebido ms como expresin de dominacin legal, que como productor de servicios, o de intermediacin entre partes, y por ello los mecanismos de control se
dirigen ms a certificar la conformidad de la actuacin administrativa con lo
previsto normativamente que a encontrar indicadores de gestin y volumen de
resultados e impactos.
La nuevas exigencias sociales plantean la necesidad de saber qu se hace
con nuestro dinero gestionado por los poderes pblicos, para qu sirve la accin de gobierno, cmo recibir seales que nos indiquen si estamos acertando
o no. Desde este punto de vista, evaluar polticas implica conocer opiniones,
relacionar criterios de valor con resultados. Ello tiene evidentes implicaciones
para una administracin como la espaola que quiere cambiar y modernizarse:
dar a conocer grados de apoyo, modificar conductas, conocer puntos dbiles o
potencialidades, aprender del propio examen de lo realizado.
El libro de Xavier Ballart tiene el mrito de permitir adentramos en el
mundo de la evaluacin, de larga tradicin de otros contextos, de manera sencilla y con voluntad de convertir sus pginas en material de consulta para
21
estudiosos, estudiantes y gestores. Tiene tambin el acierto de mostrar dos posibles aplicaciones de diversos mtodos de evaluacin. Uno ms centrado en
la mejora de los procesos de implementacin de un servicio como el de la polica municipal, el otro (un fruto ms del trabajo colectivo de una parte del
Equipo de Anlisis Poltico del Departamento de Ciencia Poltica y Derecho
Pblico de la Universidad Autnoma de Barcelona), de especial inters al enfrentarse al siempre complicado mundo de las polticas sociales y hacerlo a
travs de un planteamiento evaluador de tipo pluralista que creo resulta especialmente atrayente.
Cada da que pasa esperamos ms y ms de nuestros gobernantes, pero
nuestros deseos son a menudo inconcretos y difciles de satisfacer aisladamente. Al mismo tiempo, los cambios se suceden a un ritmo infrecuente, lo que
dificulta an ms el establecimiento de criterios claros de comparacin entre
aquello previsto y lo finalmente acontecido. Por todo ello, son cada vez ms
los especialistas en polticas y gestin pblica que afrontan el anlisis de los
problemas y de los programas de actuacin con afn de aprender de lo hecho
para mejorar el diseo y puesta en prctica de las diversas polticas.
No es tarea de los analistas el decir qu est bien o qu est mal. En una
sociedad democrtica ello es competencia de las normas y de su constante
aplicacin por los polticos elegidos para ello. Pero los analistas s pueden
contribuir a que entre todos aprendamos a valorar lo ya hecho o en vas de
ejecucin a partir no slo de meras opiniones, sino a partir de datos, estudios y
sistematizacin de resultados, que permitan una mayor sofisticacin de esa
constante evaluacin que los ciudadanos consciente o inconscientemente
van realizando de la actuacin de los poderes pblicos.
El libro de Ballart se sita en esa lnea. Es un libro de universitario, hecho
desde la Universidad, con criterios de calidad universitaria, pero que expresa
esa renovada voluntad de servicio de la Universidad a una sociedad que exige
respuesta a sus problemas. Para m constituye un especial orgullo el realizar
hoy este prlogo, como ya lo fue en su da dirigir la tesis doctoral que le sirve
de base. Y lo es porque confirma que el camino emprendido en su da por Josep M. Valls al introducir en la entonces nueva Facultad de Ciencias Polticas
de la Universidad Autnoma de Barcelona, materias inditas en los planes de
estudio anteriores como Anlisis de Polticas Pblicas, o crear un entonces
tambin inslito Master de Gestin Pblica, ha empezado a dar frutos. Lo
demuestra este libro, lo demuestra el conjunto de tesis en curso, o lo demuestra el conjunto de profesionales de la administracin pblica formados en
nuestra Facultad.
Como es notorio, este no es un texto aislado. Se trata de un escaln ms
en la labor que desde el INAP se viene realizando para facilitar al lector espaol un conjunto de textos que permitan la mejora de la gestin pblica y
22
PROLOGO
faciliten el dilogo entre los diversos actores sociales. Un sntoma ms, en

definitiva, de la labor de normalizacin del pas.
lOAN SUBIRATS
Catedrtico de Ciencia Poltica y de la Administracin
Universidad Autnoma de Barcelona
Bellaterra, abril 1992
23
INTRODUCCION
A. LA TESIS
La tesis que se defiende en este libro es que la evaluacin de programas y servicios pblicos -entendida en sentido estricto, y por tanto como especialidad dentro del Anlisis de Polticas Pblicas- puede adoptar formas muy diversas y puede ser llevada a cabo de acuerdo con
metodologas muy diferentes. El mrito no est tanto en la naturaleza de
la investigacin como en la relevancia de la informacin producida en
cada caso concreto.
Nuestra intuicin es que el desarrollo de nuevas polticas y programas pblicos en la Espaa democrticamente consolidada e integrada en la Europa
de los doce requiere una comprensin ms amplia de los procesos con el objeto de aprender de cara a acciones futuras. En este sentido, el anlisis de los
procesos y la intermediacin entre los defensores de criterios de valoracin
diversos puede contribuir a producir informacin que sera ms til para la
discusin y negociacin de nuevas polticas pblicas que no el desarrollo de
indicadores objetivos de resultados.
A su vez, sin embargo, entendemos que los analistas polticos pueden contribuir en este proceso de aprendizaje y de mejora en los servicios prestados a
travs del refinamiento de las medidas, tanto de los inputs, como de la gestin
y de los resultados. En este sentido, y ms en relacin con servicios especficos consolidados (como es el caso de la Polica estudiado) que en relacin con
nuevas polticas pblicas, creemos que es importante producir informacin
que sirva a los gestores pblicos para tener alguna idea sobre la calidad de los
servicios que estn produciendo, en funcin de lo que se estime constituye valor en cada caso concreto.
La forma en que se desarrolla este argumento parte del estudio comprensivo de la literatura, predominantemente norteamericana, sobre evaluacin de
polticas, programas y servicios pblicos, pero tambien ha sido influida, en
buena parte, por las experiencias empricas de los estudios de caso que se presentan en los captulos 6 y 7. Estudios de caso que si bien presentan problemas al objeto de probar determinadas hiptesis o verificar determinadas afirmaciones, s que resultan tiles al objeto de contrastar los diversos modelos de
evaluacin con aplicaciones concretas y derivar algunas implicaciones.
25
Independientemente de la tesis defendida, este libro puede servir como

sntesis crtica de las diversas aproximaciones sobre cmo abordar la evaluacin de polticas, programas y servicios pblicos. Desde este punto de vista,
esperamos que pueda ser til a aqullos que, ya sea dentro de la Administracin, o a travs de contratos externos, reciban el encargo de evaluar polticas,
programas o servicios pblicos especficos.
B. RELEVANCIA DEL TEMA

En los diez primeros aos de gobierno democrtico el gasto pblico pas
en Espaa de un 25% de participacin en el Producto Interior Bruto (PIB) a
un 42,1%. En la actualidad, cerca de dos millones de personas trabajan para la
Administracin pblica espaola, y en general, se nos hace difcil pensar en
algn mbito de la actividad en el que no intervenga alguna burocracia pblica (1).
Hay quienes defienden que la intervencin pblica en la economa y en la
sociedad es excesiva, que las burocracias pblicas son demasiado grandes y
por lo general ineficaces y que el gobierno debera desregular la actividad
privada. Otros, por el contrario, defienden que las instituciones pblicas deberan tener una presencia ms activa en la sociedad, produciendo y distribuyendo bienes y servicios, especialmente para aquellos sectores ms necesitados y desamparados de la sociedad. Unos y otros, sin embargo, mantienen
una preocupacin creciente por el funcionamiento de las instituciones de gobierno y proclaman la necesidad de reformar, racionalizar y modernizar las
administraciones pblicas.
La toma de decisiones polticas en relacin con propuestas de reforma resulta, sin embargo, difcil ya que no existe unanimidad sobre los pasos que
hay que adoptar o sobre las estrategias que podran resultar ms eficaces. Las
resistencias a los cambios son fuertes y la complejidad de las estructuras y de
los procedimientos administrativos imponen frenos a la voluntad poltica que
quisiera tener instituciones de gobierno mejor adaptadas a las necesidades de
la sociedad.
Por otra parte, la extensin de la intervencin pblica no se ha visto acompaada de una ampliacin de las formas de control poltico. Al contrario, los
Parlamentos estn cada vez menos asistidos frente a la Administracin que
detenta el monopolio de la informacin y de la inteligencia que precisa el
anlisis de las opciones polticas fundamentales. El juego del sistema de partidos tampoco ha servido para invertir esta tendencia en una poca de mayoras
(1) Los datos sobre gasto pblico son para 1975 y 1987. (Alcaide Inchausti, 1988: 3). En cuanto al nmero de funcionarios, en 1986 eran 1.841.000, segn Junquera Gonzlez (1988: 311).
26
INTRODUCCION
parlamentarias absolutas. En este sentido, tambin es preciso encontrar mecanismos que contribuyan a hacer efectivo el control poltico y a ampliar el debate democrtico entre el gobierno y la oposicin.
Si bien existe un amplio consenso sobre la necesidad de evaluar la actuacin de ,los poderes pblicos y de determinar los resultados de su actuacin,
no est claro en cambio, primero, en funcin de qu criterios se puede determinar si una intervencin pblica ha sido un xito o unfracaso; segundo, qu
polticas, programas o servicios hay que evaluar; y tercero, cmo se debe
evaluar la actuacin de los poderes pblicos, y por tanto de acuerdo con qu
formas y metodologas.
En el campo de los estudios de Administracin Pblica, y ms concretamente en el del Anlisis de las Polticas Pblicas surge la evaluacin como
una tcnica ms que busca producir informacin que sirva a las Administraciones Pblicas para mejorar, primero, los procesos de decisin y planificacin; segundo, el funcionamiento y la gestin de las operaciones diarias; y
tercero, los resultados finales de la Administracin en relacin con los recursos invertidos y por tanto su eficacia y eficiencia.
La evaluacin es percibida igualmente como una actividad que puede servir a la Administracin para incrementar su capacidad de pasar cuentas de
su actuacin ante los ciudadanos, o desde la perspectiva de stos, para ganar
acceso a la 'actividad de una Administracin cada vez ms compleja.
Parece pues que esta nueva va de reforma de las Administraciones Pblicas podra constituir una herramienta til para dar respuesta a las demandas
de mayor eficacia y calidad democrtica de las instituciones pblicas. As lo
deba entender el Primer Ministro francs, Michel Rocard, cuando encarg
en julio de 1988 a Patrick Viveret del Observatorio de la Decisin Pblica
francs, la definicin de las mejores formas y mtodos de la evaluacin de
las polticas pblicas, inspirndose, igualmente, en las tentativas extranjeras
en este campo. (Viveret, 1989:2)
Ciertamente, en pases con una tradicin poltico-administrativa tendente
a legitimar toda actuacin pblica en trminos de inters general, sin necesidad de exponer los resultados obtenidos, la evaluacin de programas puede
servir a la Administracin para, como decamos, incrementar su capacidad de
rendir cuentas a los administrados, y para que stos puedan ganar acceso a una
burocracia que, a menudo, escapa de su control.
Se trata, por tanto, de un tema que, primero, puede tener una cierta relevancia en el futuro y en relacin con las demandas de reforma de las Administraciones Pblicas. A diferencia de otras reformas propuestas ltimamente como la reforma del proceso presupuestario, la evaluacin de
programas no requiere cambios estructurales significativos. Como afirma
Nioche (1982a:51), su carcter flexible, en la medida que se adapta a cada
27
poltica, y respetuoso con la forma de pensar de los hombres polticos, en

cuanto nicamente pretende una mejor informacin, la hacen enteramente
posible. Segundo, se trata de un tema de Ciencia de la Administracin que
admite el desarrollo de investigaciones aplicadas en base a datos reales.
Este es un tipo de investigacin que resulta sumamente atractivo para investigadores con un sesgo a favor de los trabajos empricos. Finalmente,
se trata de un tema poco desarrollado en nuestro pas y que ofrece por tanto, un amplio campo de investigacin. Ello supone algunas ventajas pero
tambin algunos inconvenientes, ya que casi no existe literatura cientfica
en castellano y muy pocas evaluaciones especficas de programas o servicios pblicos.
C. PROPOSITOS DE LA INVESTIGACION y ESTRUCTURA DEL

TRABAJO
De acuerdo con loan Subirats, bajo cuya direccin se ha realizado este estudio, consideramos que haca falta realizar una investigacin en profundidad
que sirviera los siguientes propsitos:
Primero, clarificar el concepto de evaluacin de programas, en qu consiste, su relacin con el anlisis de las polticas pblicas y las modalidades que
suele adoptar.
Segundo, contribuir, con la presentacin y crtica de modelos y ejemplos
concretos, a la reflexin sobre las opciones metodolgicas presentes ante la
evaluacin de una poltica, programa o servicio concretos.
y tercero, contrastar los modelos de evaluacin discutidos, con aplicaciones o estudios de caso concretos, con el objeto de extraer algunas implicaciones que pueden tener alguna relevancia para la evaluacin en general, y ms
especificamente, en nuestro pas.
En funcin de estos propsitos, el trabajo se divide en tres partes: una primera parte conceptual, una segunda parte metodolgica y una tercera parte de
aplicacin a dos casos concretos.
En la primera parte (Captulos I al 111), tras repasar los antecedentes y
orientaciones adoptados por los estudios de Administracin Pblica, se sita a
la evaluacin de programas en el contexto del anlisis de las polticas pblicas, y se describen algunos de sus rasgos fundamentales (Captulo 1).
El estudio de los procesos de gnesis y sistematizacin de la evaluacin de
programas en los Estados Unidos y en algunos pases de la Europa occidental,
nos permite avanzar algunas ideas sobre los factores que conducen al desarrollo de una funcin evaluativa, y sobre la forma en que se ha producido este desarrollo a nivel institucional, en aquellos pases. A su vez, el anlisis en una
28
INTRODUCCION
perspectiva comparada nos permite compreder las razones del desarrollo tardo de la evaluacin en nuestro pas (Captulo II).
El Capitulo III introduce un concepto amplio de evaluacin, en funcin
del cual se adopta una tipologa de los estudios de evaluacin por fases. Adems de presentarse otras posibles tipologas, se discuten los propsitos que
puede encerrar una demanda de evaluacin, la pluralidad de intereses que puede generar una poltica, y las dificultades que ello plantea a nivel de evaluacin y a la hora de determinar los criterios en funcin de los cuales determinar
el xito o el fracaso de los programas pblicos de actuacin.
La segunda parte (Captulos IV y V) se dedica al anlisis de los principales modelos de evaluacin, con el objeto de responder a una cuestin clave:
Cmo evaluar los programas y servicios pblicos?
El Captulo IV, dedicado al modelo clsico de la evaluacin por objetivos,
se ha dividido en tres apartados: en el primero nos referimos a la identificacin y especificacin de objetivos, como requisito previo; en el segundo, al
exmen de inputs y actividades, 10 que se corresponde con la evaluacin de
aquellos elementos que definen la forma como se ha llevado a la prctica la
politica o programa en cuestin; y en el tercero, al anlisis de resultados y
efectos, lo que se corresponde con la evaluacin de impacto.
Dada la importancia de las cuestiones relacionadas con la medida de los
efectos netos de los programas pblicos en la literatura especializada, hemos
entendido que era preciso entrar en la descripcin de la lgica de los diseos
experimentales, cuasiexperimentales y no experimentales. Ello nos obligaba a
repasar el concepto de causalidad y los problemas de validez interna y externa
que pueden afectar a los distintos diseos. Con el propsito de ilustrar la descripcin terica de los diseos, se aaden ejemplos de evaluaciones de programas concretos, sacados de la literatura nortamericami sobre el tema, en el anexo al Captulo IV.
El Captulo V se dedica a la presentacin de los modelos alternativos de
evaluacin, surgidos como consecuencia de los problemas de aplicacin y de
utilizacin de los resultados de las evaluaciones realizadas conforme al paradigma racional-cientfico clsico de la evaluacin por objetivos.
Partiendo de la importancia de la dimensin poltica de los procesos de
evaluacin, se analizan las preocupaciones a las que intentan responder estos
modelos, y se proponen una serie de caractersticas comunes a todos ellos que
entendemos, configuran un paradigma alternativo de evaluacin que hemos
denominado pluralista. Tambin, se repasan algunas aportaciones especficas de autores concretos con el objeto de dar una visin ms detallada de un
enfoque que, a primera vista, podra parecer algo ambiguo, y se discuten las
limitaciones que, a nuestro entender, sufre la aproximacin pluralista al fenmeno de la evaluacin.
29
COMO EVALUAR PROGRAMAS Y SERVICIOS PUBLICaS?
La tercera parte (Captulos VI y VII) constituye la parte aplicada del trabajo en la que se incluyen dos estudios de caso de naturaleza muy diversa.
En el Captulo VI, reconstruimos el proceso de formulacin de un programa nuevo, -el Plan Integral de Roquetes- que, entendemos, constituye
un caso paradigmtico de formulacin pluralista de una poltica en la que
coinciden una serie de actores, cada uno con su sistema de valores e intereses, y se genera un proceso poltico complejo en el que la formulacin no
siempre precede la implementacin sino que emerge durante el curso de la
accin. Todo ello da lugar a un programa de caractersticas tales que su evaluacin de acuerdo con las prescripciones de los primeros modelos de evaluacin, no solamente sera muy difcil sino que no tiene sentido. El mensaje
que se desprende de este caso concreto es, que cuando las polticas y los programas sean ms como el programa estudiado, menos aconsejable ser centrar la evaluacin en el cambio experimentado por algunas caractersticas de
la situacin observada, y ms adecuado ser, por el contrario, adoptar una
perspectiva pluralista y orientada al proceso seguido por la poltica, que sirva
a los defensores de criterios distintos para acercar sus posiciones y aprender
de su propia experiencia.
En el Captulo VII, presentamos un caso de evaluacin de un servicio tradicional, consolidado y estable -el servicio de Polica Local- a partir de los
datos objetivos recogidos de forma rutinaria y continuada por la Administracin, con el objeto de determinar las posibilidades, utilidad y relevancia de la
medida de aquellas variables que, en funcin de una determinada concepcin
sobre la funcin policial, puedan reflejar, tanto la forma como se presta el servicio, como su eficacia global.
Ambos casos nos permiten formular algunas propuestas concretas sobre
la relacin entre caractersticas del programa y naturaleza de la evaluacin;
sobre el nivel de conocimiento -posibilidades reales de medida de los efectos de un programa y tipo de evaluacin-; y en general, sobre la validez de
distintas opciones metodolgicas a la hora de evaluar programas y servicios
pblicos.
D. UNA NOTA SOBRE EL MTODO

Una vez apuntados los temas que tratan cada uno de los captulos y la lgica de las partes en que se divide la investigacin, quisiera referirme, aunque
sea de forma muy sinttica, a las fuentes utilizadas para la elaboracin de este
estudio, y a la metodologa seguida en los estudios de caso.
Para la realizacin de esta investigacin se ha partido de la literatura existente sobre el tema, predominantemente norteamericana, inglesa y francesa.
30
INTRODUCCION
Se han repasado sistemticamente cada uno de los nmeros publicados

desde 1979 a 1989 por Public Administration Review, Policy Analysis and
Management, Program Evaluation and Planning y Evaluation Studies Review Annual; y se han utilizado ms de una treintena de evaluaciones 'publicadas por distintas instituciones gubernamentales y no gubernamentales de
los EEUU, principalmente, General Accounting Office, Department of Labor, Department of Housing and Urban Development, Urban Institute y Police Foundation.
Respecto a la metodologa seguida en los estudios de caso, se han aplicado tcnicas diversas. Para el primer estudio de caso, nos basamos en una metodologa intensiva en entrevistas y observacin directa, adems de revisar todos los documentos producidos por el programa, mientras que para el segundo
estudio de caso, recurrimos principalmente a los datos de archivo de la Guardia Urbana de 1'Hospitalet de Llobregat sobre 2385 servicios correspondientes
al mes de abril de 1989, que fueron recogidos manualmente y despus tratados y analizados con el programa estadstico SPSS/PC+. Tambin se realizaron algunas entrevistas con el Inspector-Jefe de Polica y los responsables de
la sala de mando de diversos tumos.
La bibliografa final, donde se destacan los autores y las fechas de publicacin de acuerdo con el sistema de referencia autor-fecha utilizado, recoge
las obras consultadas y citadas en el texto. A excepcin de aquellos casos en
que se cita a una autor como representativo de una aproximacin o para hacer
referencia a su obra en general, se incluye el nmero de pgina de la obra citada. En algunos casos, en que no fue posible acceder a los textos originales, se
indica el autor, ao de publicacin, y a continuacin, el autor, ao de publicacin y pgina de la obra de donde se ha tomado la referencia.
En la primera y segunda parte del trabajo se incluyen tres cuadros ilustrativos de las cuestiones tratadas en el texto. En cuanto a las figuras y tablas,
salvo en los casos en que se indica la fuente, son de elaboracin propia.
***
El estudio que ahora se publica fue presentado como tesis doctoral, bajo la
direccin del Catedrtico de Ciencia Poltica y de la Administracin Dr. Joan
Subirats, en junio de 1991 en la Facultat de Ciencies Poltiques i Sociologia de
la Universitat Autonoma de Barcelona. El tribunal que lo evalu estuvo presidido por el Catedrtico de Ciencia Poltica y Rector de la Universitat Autonoma de Barcelona, Dr. Josep M. Valles, actuando como Secretaria del Tribunal,
la Catedrtica de Ciencia Poltica, Dra. Rosa Virs, y como vocales, los Catedrticos de Ciencia de la Administracin, Dr. Mariano Baena, de Derecho Administrativo, Dr. Manuel Ballb, y de Ciencia Poltica, Dr. Jordi Capo.
31
Hechas las anteriores precisiones, quisiera escribir unas palabras de agradecimiento sincero a estos profesores, por su tiempo, inters y comentarios,
no tan slo en el momento de evaluar esta investigacin, sino a lo largo de su
gestacin.
Quiero igualmente sealar mi deuda con los profesores Robert Agranoff,
Michael Maxfield y Roger Parks de Indiana University, quienes en las postrimeras del Master of Public Affairs me animaron a continuar estudiando y
me indicaron el camino, adems de enviarme en varias ocasiones materiales
bibliogrficos, y cartas de ms de cuatro folios llenas de tiles consejos y
orientaciones.
Mencin aparte en este captulo de agradecimientos merece loan Subirats
quien, adems de ser un buen director de tesis por sus sugerencias, aclaraciones y crticas, me ha prestado una buena porcin de sus energas y ganas de
trabajar en los momentos que ms los necesitaba.
El primer estudio de caso fue posible gracias a la colaboracin de polticos, tcnicos y vecinos implicados en el proyecto del Plan Integral de Roquetes. Mientras que para el segundo caso, cont con la ayuda inestimable del Dr.
Manuel Martn, Inspector-Jefe de la Guardia Urbana de I'Hospitalet y de los
agentes de la sala de mando.
Tampoco puedo olvidar los comentarios y ayudas de los profesores del
Area de Ciencia Poltica de la Universidad Autnoma de Barcelona, entre los
que destacara a Ricard Gom, con quien trabaj estrechamente en la evaluacin del Plan Integral de Roquetes.
Finalmente, gracias al Instituto Nacional de Administracin Pblica y a su
director los Constantino Nalda por el inters mostrado en esta investigacin
desde mucho antes de acabarla y por haberme facilitado ahora su publicacin.
y aun, gracias a Florence, por su apoyo moral, paciencia y ayuda durante
todo el proceso.
32
PRIMERA PARTE
CAPITULO I
MARCO TEORICO.
ADMINISTRACION PUBLICA,
ANALISIS y EVALUACION DE
POLITICAS PUBLICAS
1. INTRODUCCION
Este trabajo se integra en el marco terico de la policy science o ciencia
que estudia las diferentes polticas o programas de accin pblicos o de gobierno (2).
El campo terico del public policy (3) tuvo un crecimiento muy rpido en
los aos setenta, sobre todo en los EEUU, como consecuencia de que un buen
nmero de problemas de carcter pblico no fueran tratados de forma satisfactoria desde las perspectivas de disciplinas particulares como la economa o la administracin pblica, y de que por otra parte, surgieran una serie de tcnicas de
anlisis susceptibles de ser utilizadas para el estudio de estos problemas.
Tiene como antecedentes inmediatos, una larga tradicin de estudios en administracin pblica que se desarrollan en los EEUU a partir de las formulaciones de W. Wilson. A riesgo de redundar en la explicacin de una tradicin cientfica de sobras conocida, repasamos brevemente estos estudios para despus
contrastarlos con otras orientaciones de la Ciencia de la Administracin en Europa y en Espaa, con el propsito de determinar el marco terico en el que se
surge la teora de la evaluacin y en el que se inscribe esta investigacin.
2. ADMINISTRACION PUBLICA E INVESTIGACION

A. EL ESTUDIO DE LA ADMINISTRACION PUBLICA:
SINTESIS DE ORIENTACIONES
a. La tradicin norteamericana
Tradicionalmente, los estudios de administracin pblica en los EEUU
han sido claramente dominados por consideraciones de tipo pragmtico, lo
(2) Por poltica entendemos un programa de accin, lo que supone la eleccin especfica de medios
para obtener ciertos objetivos. Este concepto se encuentra en casi toda la literatura. Vid., por ejemplo, Wildavsky (1980: 395-397) o Nioche (1982a: 33).
Un programa consiste en una intervencin o en un conjunto de actividades desarrolladas para alcanzar objetivos externos, es decir, satisfacer alguna necesidad social reconocida o solucionar un problema
identificado segn Rutlillan (1984: 11).
(3) Policy science, public policy o policy analysis son expresiones que podemos considerar sinnimas, a los efectos de identificar este campo terico.
37
que no excluye, claro est, que la administracin tenga sus races en fundamentos de tipo filosfico (4).
Ya en el ensayo de W. Wilson The Study of Administration (5), generalmente considerado como el punto de partida de la Ciencia de la Administracin Pblica en los EEUU, se defenda que el objeto de los estudios administrativos es determinar lo que puede hacer el gobierno y cmo puede hacerlo
para conseguir la mxima eficacia (6). En este trabajo seminal, Wilson hace
una llamada al reconocimiento de una nueva Ciencia de la Administracin basada en la distincin radical entre poltica y administracin, y propone un paradigma de buena administracin inspirado en las burocracias francesa y
prusiana que marca el curso de los estudios en administracin pblica durante
ms de cincuenta aos (7).
La misma preocupacin por la eficacia y la productividad que descubrimos en el trabajo de W.Wilson, se encuentra en la obra de F.W.Taylor The
PrincipIes of Scientific Management. Taylor crea que para cada tipo de trabajo existe una mejor forma -one best way- de hacerlo y que la funcin
del management consista en incrementar la produccin, descubriendo el
mtodo ms rpido y ms eficaz de producir en cada caso. La prosperidad se
dara cuando cada trabajador alcanzase su nivel ms alto de eficacia, esto es,
cuando est produciendo su mayor output diario. (Taylor, 1947: 11).
Junto al movimiento del Scientific Management capitaneado por
F.W.Taylor, el trabajo paralelo de Fayol en Francia (8), y los principios
del Administrative Management de Gulick (9), constituyen los preludios de la incorporacin de las ciencias sociales en el estudio de la administracin' aunque de hecho, esta incorporacin ya se haba producido en
los trabajos de Weber. Su modelo burocrtico legal-racional, inspirado en
la burocracia prusiana, rpidamente tuvo una gran influencia en Europa y
en los EEUU (la).
(4) Pinsese, por ejemplo, en las implicaciones del pensamiento de Locke en lo que se refiere a las caractersticas de la estructura del gobierno.
(5) Publicado en 1887, tras la aprobacin de la Pendleton Act de 1883 con la que nace el sistema moderno de la funcin pblica norteamericana.
(6) Textualmente: descubrir, primero, lo que el gobierno puede hacer de forma adecuada y con xito,
y segundo, cmo puede hacer estas cosas con la mxima eficacia posible y el menor coste posible, tanto de
dinero como de energa. (l887: 197).
(7) Existe ...una nica regla de la buena administracin que es la misma para todos los gobiernos
[...] En lo que concierne a las funciones administrativas, todos los gobiernos tienen un marcado parecido
estructural; ms que esto, si tienen que ser igualmente tiles y eficaces, deben parecerse en su estructura
(J887: 218).
(8) Fayol y Taylor defendieron simultneamente, en Europa y en los EEUU, la necesidad de estudiar
la administracin de forma cientfica. Urwick compara a Favol y a Taylor en The Function of the Administration, captulo 5 del libro que edit junto con Gulick en 1937. (Gulick y Urwick, 1937).
(9) Estos principios son: division of labor, span of control, unity of command, homogeneity, line versus staff, specialization by purpose, process, c1ient and place (Gulick, 1937).
(lO) En los EEUU, a partir de la traduccin de Weber por TaIcott Parsons en 1947.
38
PRIMERA PARTE
Por contra, C.I.Barnard, en The Functions of The Executive, publicado en

1968, propuso una teora general del comportamiento cooperativo en las organizaciones formales que abrira una nueva lnea de investigacin distinta a
ambos, el Scientific Management y el modelo de burocracia weberiano. Como afirma C. Perrow (1975:72), el trabajo de Barnard se encuentra en el origen de tres distintas tendencias dentro de lo que se conoce como teora de la
organizacin: la escuela institucional de P.Selznick, la escuela de la teora de
la decisin de H.Simon, y la escuela de las relaciones humanas y del organizational behavior desarrollada por psiclogos sociales como Roethlisberger y
Dickson a partir de los experimentos de Hawthorne (11).
Es en Administrative Behavior de H. Simon, publicado por primera vez en
1945, donde se encuentra la crtica ms devastadora de la teora implcita en
los estudios tradicionales de administracin pblica. Simon explica e interpreta el sentido de los llamados principios de administracin y demuestra la
falta de lgica entre ellos. Esto le lleva a calificarlos de proverbios. Como
tales, permiten al analista justificar su posicin en funcin de un principio u
otro, incompatibles entre s, segn los casos (12).
A partir de esta crtica, Simon se propone reconstruir la teora administrativa, empezando por la elaboracin de una terminologa adecuada y de un esquema analtico. Conocida es su distincin entre hechos (<<facts) y valores
(<<values) (13): la decisin en tomo a posibilidades alternativas implica la
consideracin de hechos y valores, con las limitaciones que impone la racionalidad propia de la organizacin a la que los individuos que toman la decisin pertenecen (14).
(11) Los experimentos de Hawthorne tuvieron lugar en la planta de la Western Electric Company, de
Hawthorne, en los aos 30. Con ellos, Roethlisberger y Dickson intentaron determinar la relacin entre ambiente de trabajo y productividad. Para ello, seleccionaron a dos grupos de trabajadores haciendo el mismo
tipo de trabajo y los pusieron en dos habitaciones separadas. Entonces, un grupo tuvo la intensidad de su
iluminacin incrementada, mientras el otro no era sometido a ninguna variacin en su entorno. Los resultados, sin embargo, eran los mismos: la productividad de ambos grupos aumentaba. Cuando el grado de iluminacin en el grupo de test fue gradualmente disminuido, encontraron que el output continuaba creciendo.
La razn del cambio en la productividad, como se explic ms tarde, es que la direccin de la empresa
haba tenido un inters en los dos grupos de trabajadores. Les fue dada una atencin especial y esto aument su moral. Ello supuso una nueva forma de mirar a los trabajadores en las empresas. (Roethlisberger y
Dickson, 1947).
(12) Por casi cada principio, se puede encontrar otro contradictorio, aceptable y plausible en la misma medida. Aunque los dos principios del par conduzcan a recomendaciones diametralmente opuestas, no
hay nada en la teora que indique cual es el principio que se debera aplicar (Simn, 1973: 20).
(13) Las proposiciones de hecho se pueden someter a un test para determinar sin son verdaderas o falsas, correctas o incorrectas, segn Simn. Las decisiones, sin embargo, no se pueden someter a este tipo de
prueba ya que implican una valoracin. Ello supone que nicamente puedan ser evaluadas en funcin de los
objetivos, y por tanto, lo que se evale no sea tanto la decisin como la relacin de hecho que se afirma entre la decisin y sus objetivos (Simn, 1973: 49).
(14) Simn cree que es imposible que el comportamiento de un individuo solo y aislado alcance un alto grado de racionalidad. El nmero de alternativas que tiene que explotar es tan grande y la informacin
que precisara para evaluarlas tan vasta, que incluso una aproximacin a la racionalidad objetiva resulta difcil de concebir.
39
El siguiente paso en la elaboracin de una tcnica administrativa supone

el establecimiento de un puente entre teora y anlisis emprico. De aqu que
una de las principales preocupaciones de este autor sea la consolidacin del
criterio de eficacia como norma para la evaluacin de programas alternativos
de accin. Esto implica el desarrollo de definiciones claras de output y la medicin de resultados.
Finalmente, puesto que no existe razn alguna por la que asumir que la organizacin jerrquica es siempre la ms eficaz, Simon propone llevar a cabo
la evaluacin emprica de distintas formas organizativas con el fin de determinar su eficacia relativa.
Los autores y las obras citados contribuyen a formar el fundamento terico sobre el que emerge la teora de la administracin pblica contempornea.
Tambin anticipan las principales tendencias que existen en este campo en la
actualidad. De una forma un tanto arbitraria se pueden considerar como tendencias dominantes las siguientes: teora de la organizacin, teora de la decisin, el anlisis de las polticas pblicas y la teora de la eleccin racional.
Desde un punto de vista estructural, la teora de la organizacin se pregunta qu son las organizaciones. De hecho, ste es el enfoque iniciado por
Weber con su ensayo sobre la burocracia (Weber, 1946). Esta perspectiva, sin
embargo, se puede extender para incluir la idea de organizacin en su contexto, y en consecuencia, la idea de sistema. El contexto de una organizacin est
formado por aquel conjunto de factores que se hallan en el medio de la organizacin, con los cuales es interdependiente y respecto a los cuales no tiene el
control.
Estas ideas han dado lugar a un enfoque ms funcional con el que la teora
de la organizacin se pregunta cmo funcionan las organizaciones y cmo interaccionan con los elementos de su entorno. Este es el marco terico donde
se ha desarollado la extensa literatura sobre el management de las organizaciones privadas y de las organizaciones pblicas (15).
Estrechamente relacionada con la teora de la organizacin, la teora de la
decisin se pregunta cmo se pueden alcanzar decisiones racionales, o en
cualquier caso, cmo se forman y toman las decisiones colectivas.
La teora de la decisin rechaza los presupuestos del mtodo racional: que
cada individuo tiene un sistema de preferencias que le permite tomar decisiones sobre alternativas diferentes; que conoce la totalidad de las alternativas; y
que no tiene problema alguno para solucionar la complejidad del anlisis que
le ha de llevar a determinar qu alternativa es la mejor.
Por otro lado, las organizaciones sitan a sus miembros en un contexto psicolgico que les obliga a
adaptar sus decisiones a los objetivos de la organizacin, y les proporcionan la informacin que necesitan
para tomar esas decisiones de forma correcta, desde la perspectiva de la organizacin (Simn, 1973 :79).
(15) Para una perspectiva estructural-funcional, Vid. Thompson (1967) o Stout (1980).
40
PRIMERA PARTE
En contra, defiende que las organizaciones no maximizan debido al elevado coste de la informacin y a la dificultad de anticipar los problemas, y que
los administradores pblicos nicamente buscan soluciones a sus problemas
que les mantengan alejados de mayores dificultades (16). El estudio de los
procesos de toma de decisiones ha contribuido a desarrollar teoras de la informacin y de los sistemas para su gestin efectiva.
El anlisis de las polticas pblicas se ocupa del estudio de los procesos
de formacin de las polticas o programas pblicos de actuacin y de su racionalidad. Esto se puede hacer, de forma global, mirando al policy making process como a un proceso complejo, de lmites inciertos y sin un principio ni
un final claros (Lindblom, 1980) o bien, como propuso Lasswell (1962), uno
de los principales impulsores de esta nueva perspectiva, separando distintas
fases o etapas de este proceso, con el fin de poderlas estudiar de forma independiente. As, primero se estudiar cmo surgen los problemas y cmo pasan
a formar parte de la agenda del gobierno; quin y cmo empieza a hacer propuestas de accin especficas en relacin con dichos problemas; cmo, a estas
propuestas, les sigue la accin legislativa o de otro tipo; cmo la administracin pblica lleva a la prctica estas propuestas; y finalmente, cmo se evala
la poltica aplicada.
Este segundo enfoque supone asumir que la formacin de las polticas o
programas pblicos de actuacin procede de acuerdo con un proceso relativamente ordenado y racional hasta llegar a la etapa final de evaluacin, y que
sta se integra, como un input ms, dentro del proceso de formacin de nuevos programas en el campo de la poltica evaluada.
La teora de la eleccin racional surgi del trabajo de economistas polticos interesados en temas de inversin y gasto pblico, y ha tenido una importante repercusin en la teora de la administracin pblica (17). Los tericos
de la eleccin racional parten de dos fundamentos tericos bsicos: primero,
el individuo como unidad de anlisis, y segundo, la relacin del concepto de
bienes pblicos y cuasi-pblicos con el de output de las administraciones pblicas, lo que supone una cierta continuidad con el inters de Simon por definir y medir los resultados de la accin administrativa. A partir de aqu, se preguntan por el efecto de distintas reglas de decisin en la produccin y
distribucin de bienes y servicios pblicos.
(16) Nocin de satisficing, introducida por H. Simon. En el mismo sentido, Lindblom introdujo la
idea de muddling thorough para definir lo que hacen los administradores pblicos; esto es, tomar sucesivas decisiones de tipo incremental en funcin de los condicionamientos de tipo incremental en funcin de
los condicionamientos de tipo poltico (Lindblom, 1959: 81).
(17) J. Buchanan y G. Tullock organizaron una conferencia sobre nonmarket decision-making que
fue recogida en las pginas de Public Administration Review (vol. 24, marzo de 1964: 62-63) como Developements in the no-name Fields of Public Administration, puesto que la expresin Public choice an
no haba sido adoptada. Para una introduccin a la aplicacin de esta corriente en el campo de la Ciencia
Administrativa, Vid. el artculo de V. Ostrom y E. Ostron (1971: 203-215).
41
b. La tradicin europea
En los pases con una fuerte tradicin administrativa, como la Repblica
Federal de Alemania (RFA), Francia, Italia o Espaa, las dos principales corrientes de estudio de la administracin siguen orientaciones heterogneas y
que slo coinciden parcialmente con el tipo de anlisis al que nos referamos
en el apartado anterior. Siguiendo a la literatura francesa sobre el tema, distinguimos entre una corriente institucional y una corriente organizacional (Loschak, 1975; Nioche, 1982b).
La corriente institucional, desarrollada a partir de los estudios jurdicos
sobre la administracin pblica, se basa en la especificidad de sta y en la
dificultad de separarla de los esquemas tradicionales del Derecho Administrativo.
El objeto de la Ciencia de la Administracin se limita a la administracin
pblica, segn esta perspectiva (18). Se excluye por tanto, cualquier otro tipo
de organizacin en virtud de la especificidad de la administracin respecto a
las dems formaciones sociales. Esta especificidad y originalidad de la administracin tiene su origen en la teora del Estado liberal, segn la cual el Estado representa al inters general, mientras que el resto de organizaciones sociales representan intereses particulares. La administracin, como conjunto de
medios humanos y materiales encargados de asegurar la ejecucin de la leyes
y el funcionamiento de los servicios pblicos, difiere tanto del poder poltico,
del que es su instrumento, como de la esfera privada. Se explica as, el rgimen particular al que se la somete y las prerrogativas de las que dispone, lo
que justifica, a su vez, que sea el objeto de una ciencia especfica.
De esta conceptualizacin jurdico-poltica de la administracin deriva la
importancia dada al Derecho Administrativo y al mtodo jurdico como instrumento de comprensin de la administracin pblica. Esto implica una aproximacin generalmente deductiva, a partir de la legislacin, para determinar
las condiciones de su aplicacin.
Una segunda orientacin que, de acuerdo con la doctrina francesa hemos
denominado organizacional, incluye dentro de su campo de investigacin tanto a la administracin pblica como a las empresas privadas, puesto que estudia a las organizaciones, no tanto desde el punto de vista de lo que les es especfico, sino al contrario, desde el punto de vista de lo que les es comn.
Entre los fundamentos tericos de esta corriente se encuentran algunos de
los ya citados anteriormente como, por ejemplo, Taylor y Fayol, en su intento
por descubrir un modelo ptimo de organizacin del trabajo, o Roethlisberger
(18) En Espaa, Baena (1985: 31), por ejemplo, entiende que la titularidad formal del ejercicio del poder dota a la administracin pblica de una especificidad respecto a las dems organizaciones sociales que
justifica su tratamiento separado.
42
PRIMERA PARTE
y Dickson, y Mayo (19), es decir, los psiclogos sociales que se interesan por
los comportamientos y actitudes de los empleados de las grandes empresas industriales, poniendo el acento, por reaccin contra los excesos del taylorismo,
sobre la importancia de los factores psicolgicos.
Pero es Weber quien pone las bases de la corriente organizacional y de la
sociologa de las organizaciones con su modelo ideal de burocracia como forma ms racional de administracin. De la explicacin de las caractersticas
principales de este modelo se desprende el inters de Weber por poner de relieve los elementos comunes, ms que las diferencias, entre las organizaciones
privadas y pblicas (20). Con Weber, la organizacin administrativa como tal
adquiere una cierta autonoma: las relaciones humanas y las relaciones de poder que tienen lugar en su seno, y las relaciones de la organizacin con su entorno constituyen los elementos fundamentales de esta nueva visin que rompe con la imagen de una administracin instrumental, totalmente sumisa al
poder poltico (21).
Metodolgicamente, la corriente organizacional se asocia con una aproximacin inductiva, donde la observacin y la encuesta sobre el terreno juegan
un papel esencial (22).
B. EL ANALISIS DE POLITICAS PUBLICAS COMO MARCO TEORICO

DE REFERENCIA
a. Conceptos bsicos
La Ciencia de la Administracin en Espaa tiene un amplio campo de desarrollo en el anlisis de las polticas presentes, y en el de sus posibles alternativas,
(19) La filosofa social de E. Mayo (1975, primero publicado en 1949) rompe con la visin predominante en la teora de la organizacin industrial de los aos 20 y 30. Sus propuestas son primitivas en su conceptualizacin y pueden parecer, en la actualidad, naive o romnticas. Pero, indudablemente, en ellas se
encuentran los orgenes de las teoras sociolgicas de la organizacin actuales. Mayo pone de relieve aspectos como la necesidad que tiene cada individuo de estar en buenos trminos con sus compaeros de trabajo,
el papel de las emociones, o la tendencia de los hombres a asociarse. El inters econmico individual pasaba pues a ser la excepcin, ms que la regla.
(20) As, al hablar del principio de la autoridad jerrquica, Weber (1946: 197) afirma que se encuentra
en todo tipo de estructuras burocrticas y que no importa la autoridad de la que derive, sea tipo de privado o
pblico.
(21) El modelo ideal weberiano ha sido objeto de numerosos exmenes, comentarios y crticas. Una
excelente revisin de los escritos y de las crticas de Weber, desde el punto de vista de su tipologa de la autoridad, se encuentra en Diamant (1962). Merton (1957) y sus discpulos, Blau (1955) y Crozier (1964)
examinan las disfunciones del modelo burocrtico, a partir del estudio de las limitaciones del tipo de organizacin propuesto por Weber. Entre estas disfunciones, se encuentran los procesos de modificacin de
objetivos y desarrollo de conflictos entre la burocracia y su clientela. Para una revisin de esta orientacin
en castellano, vid. Mayntz, (1985: 121-146).
(22) Dentro de esta corriente podemos incluir algunas investigaciones de Baena (1977), Beltran
(1977) YBaon (1978) en Espaa.
43
COMO EVALUAR PROGRAMAS y SERVICIOS PUBLICOS?
en relacin con los numerosos problemas que se hallan en la causa de la intervencin creciente del Estado en todos los frentes de la vida econmica y sociaL
El anlisis de las polticas pblicas se propone, como disciplina cientfica, producir infonnacin que sea til para el proceso de toma de decisiones sobre las respuestas institucionales que merecen situaciones juzgadas problemticas. (Niache, 1982b: 19) Constituye, por tanto, un marco terico idneo donde poder
integrar los trabajos de Ciencia de la Administracin con una clara orientacin
hacia la resolucin de problemas especficos. Concretamente, Dunn, uno de los
autores ms citados a la hora de definir el anlisis de las polticas pblicas entiende que ste persigue:
Producir informacin que tenga una relevancia a nivel de toma de decisiones en tomo a las polticas a aplicar y que pueda ser utilizada para resolver problemas en circunstancias polticas concretas (23)
Esta perspectiva intelectual es ya definida en parecidos trminos por Dror
(1967:200-201) al indicar que uno de los principales nfasis en el anlisis de
las polticas pblicas se halla en la creatividad y en la bsqueda de alternativas a las polticas del momento. Wildavsky, a su vez, relaciona el anlisis de
las polticas pblicas con encontrar un problema sobre el cual algo pudiera o
debera hacerse (1980:3) y describe el buen anlisis como la comparacin
de programas alternativos, ni objetivos solos ni recursos solos, sino el conjunte de objetivos y recursos que constituyen sus costes de oportunidad
(i 980:397).
El anlisis de las polticas pblicas, al tomar como unidad de anlisis a las
polticas y por tanto la accin de las instancias poltico-administrativas, hace
saltar, como afirma Nioche (1982b: 19), las barreras entre el sistema poltico,
el sistema administrativo y la sociedad. Adems, aporta una nueva dimensin
organizativa y de gestin a los estudios sobre la administracin, puesto que
contempla los tres aspectos: cmo se elabora una respuesta a una situacin
problemtica, cmo se lleva a la prctica el proyecto, y por fin, cmo se analizan los efectos previstos y no previstos de la poltica especfica sobre la situacin en cuestin.
Pero siguiendo la definicin de Dunn, aquello que caracteriza el anlisis
de las polticas pblicas es, por una parte, su carcter aplicado y por la otra, el
recurso a mltiples mtodos de investigacin. Como ciencia aplicada, el anlisis de las polticas pblicas estudia problemas concretos y bien definidos a
(23) La definicin completa de policy analysis segn Dunn (1986: 248) es la siguiente:
El anlisis de polticas es una disciplina aplicada de las ciencias sociales, que recurre a variados mtodos de investigacin para producir o transformar informacin, con el fin de que sta pueda ser utilizada,
en el contexto poltico correspondiente, para resolver problemas propios de las polticas analizadas.
44
PRIMERA PARTE
partir de los cuales procura contribuir al progreso del conocimiento en el campo de las ciencias sociales. En cuanto a los mtodos de investigacin, el anlisis de las polticas pblicas recurre a una pluralidad de procedimientos que difieren segn el tipo de cuestiones que se plantean. Dunn, por ejemplo,
distingue entre:
1) forecasting o valoracin de las consecuencias futuras de las polti-
cas presentes.
2) monitoring, esto es, la supervisin, control y descripcin de las polticas existentes y de sus procesos de formacin.
3) evaluation o valoracin del mrito de las polticas pasadas o futuras.
4) prescription o recomendacin acerca de cual debera ser la poltica
del gobierno en una determinada situacin, y hasta qu punto es factible. (Dunn, 1986:250)
A stos an aade problem structuring y practical inference. El primero se refiere a la fase previa a todo anlisis en que es necesario llegar a definir, ordenar y estructurar de alguna forma el problema que se plantea y sus
posibles soluciones. El segundo, en cambio, utiliza valores y normas sociales
para juzgar si un determinado problema ha quedado resuelto.
La definicin de Dunn nos sirve para delimitar el campo del anlisis de las
polticas pblicas en el que se incluye la evaluacin de programas. En sentido
amplio, la palabra evaluacin se refiere a todas las formas de valoracin de la
accin colectiva pblica que puedan darse en un sistema poltico. Las elecciones, el proceso presupuestario tradicional, los debates e investigaciones parlamentarias, tienen todos aspectos de tipo evaluativo. Los votantes, polticos,
funcionarios y periodistas, estn contnuamente juzgando el valor de los programas y de las polticas pblicas. Evaluacin, por tanto, en este sentido ms
amplio, se refiere a una actividad que puede tomar muchas formas y que puede ser llevada a cabo desde muy diversas perspectivas.
En este trabajo, sin embargo, la palabra evaluacin tiene un sentido ms
restrictivo al referirse, como decamos ms arriba, a una especialidad dentro
del anlisis de las polticas o programas pblicos. Evaluacin se caracteriza
entonces, por el uso de los mtodos de investigacin de las ciencias sociales
(o de aproximaciones) con el propsito de determinar los efectos reales de una
poltica una vez que sta ha sido aplicada.
En este sentido, contribuye a la clarificacin y resolucin de los problemas pblicos. Adems, la evaluacin de las polticas y de los programas pblicos es particularmente importante desde la perspectiva de otras tcnicas de
anlisis, como por ejemplo, el anlisis coste-beneficio, dado que ste requiere determinar previamente los efectos-beneficios realmente causados por la
45
poltica o el programa analizado, es decir, aqullos que no se hubieran producido en ausencia de aqul.
b. Diferencias entre anlisis y evaluacin

En trminos de su relacin temporal con la formulacin y la implementacin o puesta en prctica de una poltica, la evaluacin normalmente tiene lugar despus de aqullas lo que explica su carcter ex post.
Algunos autores parten de esta caracterstica para distinguirla del anlisis
de las polticas pblicas. En este sentido, Chelimsky (1985:6-7) cita a Beckman (1977:222), quien define el anlisis de las polticas pblicas como anticipatorio y dirigido a decisiones que an hay que tomar, y a Poland
(1974:333) para quien la evaluacin de programas invoca un examen retrospectivo de las operaciones de un programa, mira al pasado en busca de una
gua para el futuro; para luego afirmar que el anlisis de las polticas pblicas es prospectivo mientras que la evaluacin de programas es retrospectiva.
El nfasis en el anlisis de las polticas pblicas se pone en los efectos probables (o estimados, o proyectados); una pregunta tpica del anlisis de las
polticas pblicas podra ser la siguiente, Cules sern los efectos probables de una restriccin en la oferta de camas, en el ndice de ocupacin de
los hospitales? El inters de la evaluacin reside en cambio, en los efectos
reales (esto es, en lo que ha sido observado, lo que ya ha ocurrido o est
ocurriendo); una pregunta tpica de la evaluacin podra ser la siguiente,
Qu ocurri al ndice de ocupacin de los hospitales, despus que el crecimiento de la oferta de camas fuera restringido? (Chelimsky, 1985:7)
Tanto el anlisis de los efectos probables de una poltica en el futuro, como el de sus efectos reales y por tanto pasados, buscan producir informacin
que tenga una cierta relevancia en la discusin sobre la poltica a seguir con
respecto a un determinado problema. En este sentido, todo es anlisis de polticas pblicas. La cita de Chelimsky resulta, sin embargo, esclarecedora, al
mismo tiempo que nos recuerda el carcter cclico del modelo terico, segn
el cual los resultados de la evaluacin proporcionan la base emprica necesaria
para el estudio de alternativas a las polticas presentes.
c. El carcter amenazante de la evaluacin

Todas las definiciones se refieren a los mtodos propios de las ciencias sociales como elemento caracterstico de la evaluacin de polticas o programas
46
PRIMERA PARTE
pblicos. Con independencia del desarrollo que se hace ms adelante de las

diferentes aproximaciones metodolgicas, conviene distinguir aqu entre investigacin social bsica o aplicacin de mtodos cientficos con el propsito
de avanzar en el conocimiento y comprensin de un determinado aspecto de la
realidad social, y evaluacin de programas que, si bien utiliza los mismos mtodos (o aproximaciones), se diferencia de aqulla tanto en sus propsitos como en su contexto.
La evaluacin se realiza para que sus resultados sean utilizados. Idealmente, existe un cliente que tiene que tomar decisiones y busca en la evaluacin
algunas respuestas en las que basar su decisin. Por esta razn, el evaluador/es
tiene que tratar las cuestiones que derivan del programa, al contrario de la investigacin cientfica bsica que pone el nfasis en la produccin de nuevos
conocimientos y donde el investigador tiene libertad para formular sus propias
hiptesis.
Adems, la evaluacin tiene lugar en un entorno difcil, con las complicaciones que implic el tratar con grupos de personas con sistemas de valores e
intereses dispares, lo que les lleva a mantener posiciones divergentes en relacin con un programa o con su evaluacin.
Los responsables de un programa, cuya preocupacin fundamental es
que su programa funcione sin interrupciones ni dilaciones, no slo pueden
no ver la necesidad de ser evaluados, sino incluso temer un proceso de este
tipo. En este sentido, ya en 1972, Wildavsky se planteaba la incompatibilidad entre el organization-man y el evaluation-man y la necesidad de
cambiar profundamente las organizaciones pblicas para conseguir que los
resultados de las evaluaciones sean de alguna utilidad: Cmo convencer a
los administradores para que recojan informacin que puede ayudar a otros
pero que slo les puede perjudicar? se preguntaba el Profesor de Berkeley
(Wildavsky, 1972:509).
La cita es relevante en la medida que pone de relieve el carcter de amenaza que toda evaluacin puede suponer para los sujetos evaluados, lo que indudablemente tiene una influencia directa en la investigacin. Difcilmente se
pueden evaluar los programas de una Administracin que no quiere cooperar
en la aportacin de datos o en la apertura de expedientes. Cabe, sin embargo,
contrariamente a lo afirmado por Wildavsky, encontrar motivos por los que un
administrador pblico tenga inters en cooperar en la evaluacin de su propia
actividad, como veremos ms adelante.
Las diferencias de propsito y de contexto entre la evaluacin y la investigacin cientfica bsica justifican, segn Cronbach, que aqulla se realice
de forma lo bastante correcta para responder a las cuestiones suscitadas,
aunque desde el punto de vista cientfico no se corresponda con el mejor diseo posible:
47
El mrito radica no tanto en el mtodo de investigacin sino en la relevancia de la informacin... La validez externa --esto es la validez de las
inferencias ms all de los datos- es lo determinante. Incrementar la validez interna por medio de un elegante diseo a menudo reduce la relevancia de la investigacin. (Cronbach et al., 1980:7)
Ciertamente, la exigencia misma de producir informacin til a todos
aqullos que son parte en un mismo programa, o las limitaciones de tiempo,
personal y recursos pueden influir en la calidad cientfica de los estudios. Ern
cualquier caso es posible aunar ambas exigencias, como demuestran Bornco,
McSweeney y Soderstrom (1978), entre otros que se han dedicado a recopilar
un gran nmero de evaluaciones que se aproximan a un diseo perfecto desde
el punto de vista cientfico.
La figura 1 resume de forma esquemtica las relaciones tericas entre anlisis, evaluacin e investigacion social bsica.
Figura 1: Relaciones entre anlisis, evaluacin e investigacin

Relevancia para un programa especfico
NO
SI
NO
Investigacin
Social Bsica
Evaluacin
de Programas
SI
Anlisis de
Polticas
Evaluacin
de Polticas
Relevancia a
nivel poltico
A su vez, la figura 1 distingue entre evaluacin de polticas y de programas, en funcin de su impacto potencial. De acuerdo con este criterio, la expresin evaluacin de programas se podra reservar para aquellas evaluaciones de un conjunto de recursos y actividades organizados para obtener
ciertos objetivos, cuyos resultados tienen relevancia a nivel de gestin del programa. Esta evaluacin intentara responder a cuestiones relacionadas con la
direccin, el funcionamiento y el impacto de un programa especfico en la poblacin a la que sirve. Mientras que la evaluacin de polticas tendra relevancia a nivel de instancias de decisin poltica e intentara responder a cuestiones relacionadas con la generalizacin de una determinada poltica en
cuanto que aproximacin a un determinado problema, y que por tanto, podra
48
PRIMERA PARTE
afectar a un nmero importante de personas, resultar en cambios organizativos

de consideracin o en la redistribucin de recursos presupuestarios entre distintos departamentos administrativos (24).
(24) De ahora en adelante, por razones prcticas, normalmente utilizaremos la expresin evaluacin
de programas, sin que ello signifique que el objeto del trabajo se limite a la evaluacin de programas para
la gestin, sin una relevancia a nivel de decisiones polticas ms amplias.
49
CAPITULO II
GENESIS y ESTRUCTURA DE LA
EVALUACION EN UNA PERSPECTIVA
COMPARADA
1. INTRODUCCION
La emergencia de la evaluacin de programas se asocia con el crecimiento
de los programas sociales durante los aos sesenta en los EEUU, Canad y en
algunos pases europeos, y con la introduccin, desarrollo y generalizacin
paralelos de reformas racionalizadoras de los procesos de decisin y presupuestacin pblicos. (Rossi y Freeman, 1985:28; Chelimsky, 1985:2)
2. ORIGENES y SISTEMATIZACION DE LA EVALUACION

EN LOS ESTADOS UNIDOS
A. CRECIMIENTO DE LOS PROGRAMAS SOCIALES
Concretamente, en los EEUU, indudablemente el pas con un sistema de
evaluacin ms avanzado tanto por su nivel de institucionalizacin, como por
su elevado grado de sofisticacin metodolgica (Derlien, 1990: 148), la evaluacin se desarrolla como respuesta a la preocupacin por determinar los
efectos de los progamas de la Great Society y de la guerra contra la pobreza del Presidente Johnson.
La progresiva intervencin del gobierno federal en reas como la educacin, la salud o el bienestar social poda, en ocasiones, ser interpretada como
una incursin abusiva por parte del gobierno federal en el mbito de actuacin
de los estados o de las organizaciones privadas. En este contexto, tanto los defensores de las nuevas polticas sociales como sus detractores, aparecen interesados en la evaluacin en la medida que se esperaba que sta respondiera a
cuestiones sobre lo que estaban costando realmente las nuevas polticas, sobre
su impacto real en los grupos de poblacin a los que iban dirigidas, sobre qu
programas se podan mantener o haba que suspender, o sobre las reformas
que precisaban para obtener mejores resultados.
Desde la perspectiva de los que favorecan las nuevas polticas sociales,
las evaluaciones podan facilitar su justificacin y legitimacin, incrementar la credibilidad de los programas frente a la opinin crtica de los polticos ms conservadores y crear soporte externo al despertar la sensibilidad
de la opinin pblica y proporcionar informacin sobre la actividad de la
Administracin.
53
Desde la perspectiva de los que se oponan a la creciente intervencin y

gastos pblicos, las evaluaciones podan proporcionar argumentos en los que
fundamentar la crtica de las nuevas polticas, con el propsito de posponer su
generalizacin o incluso reclamar su terminacin.
Para ambos, la evaluacin poda ser una herramienta til, vlida y fiable
con la que construir la evidencia emprica necesaria sobre cuya base fundamentar el debate y las decisiones polticas. (Hellstern, 1986:287)
B. REFORMA PRESUPUESTARIA
Incluso con anterioridad al lanzamiento de los programas sociales de la
Great Society, durante los aos cincuenta, el Departamento de Defensa de
los Estados Unidos, en un intento por racionalizar la presupuestacin y la gestin de sus programas, desarroll el Programming, Planning and Budgeting
System (PPBS), uno de cuyos componentes consista en la evaluacin ex
ante de la eficacia y de la eficiencia de programas alternativos para alcanzar
cada uno de los objetivos del departamento.
El PPBS propona organizar el gasto propuesto en funcin del producto
final, o de su contribucin a cada uno de los objetivos de la organizacin.
Se elaboraban, por tanto, los programas, sobre la base de su contribucin a
estos objetivos, lo que permita agrupar aqullos que tuvieran una forma similar de tratar un determinado problema pblico y as establecer una verdadera competicin por los recursos entre programas alternativos. (Mikesell,
1982:146)
El xito del PPBS en el Departamento de Defensa llev al Presidente
Johnson a extender su aplicacin a todas las agencias del gobierno federal,
aunque, como afirma Chelimsky (1985:3), en menos de cinco aos, a principios de la dcada de los setenta, buena parte de las expectativas puestas en la
reforma empezaron a desvanecerse a medida que los analistas del gobierno
empezaban a reconocer el excesivo optimismo que se haba puesto en el nuevo sistema. Esta autora entiende que la falta de desarrollo de medidas que representaran el output de los programas fue un obstculo a su implementacin
y evaluacin, que el PPBS no pudo superar.
De hecho, ya en 1969, en un artculo publicado en Public Administratian
Review, bajo el ttulo Rescuing Policy Analysis from PPBS Wildavsky afirmaba categricamente:
Nadie sabe cmo hacer el presupuesto por programas. Muchos saben cmo debera ser el presupuesto por programas en general, pero nadie sabe
lo que debera ser en cada caso particular. El presupuesto por programas
54
PRIMERA PARTE
no puede ser expuesto en trminos operacionales. No hay ningn consenso sobre lo que significan las palabras, ni tampoco la capacidad para ensear a otra persona lo que debera hacerse. (1969:193)
El PPBS contribuy, sin embargo, a desarrollar una cultura de anlisis y
evaluacin en relacin con el proceso de toma de decisiones polticas que se
mantendra hasta nuestros das.
C. SISTEMATIZACION DE LA EVALUACION
La institucionalizacin de la evaluacin se produce con la creacin de unidades de evaluacin en distintas oficinas federales, como la Office of Economic Opportunity y a travs de leyes como la Economic Opportunity Act
de 1967 que requiri a la General Accounting Office (GAO) que desarrollara
anlisis de la eficacia de los nuevos programas (25).
Posteriormente, la funcin evaluativa se vi fortalecida, en el poder ejecutivo, como consecuencia de la labor de estmulo y divulgacin de metodologas por parte de la oficina del presupuesto (26); y a nivel de poder legislativo, a partir de la creacin de un instituto para la evaluacin dentro de la
GAO en 1980, despus reorganizado y denominado Divisin de Evaluacin
de Programas y Metodologa.
A nivel del ejecutivo, los dos departamentos que concentran la mayor parte de los programas sociales son el Departamento de Salud, Educacin y Bienestar y el Departamento de Trabajo. El primero contaba, a principios de los
setenta, con seis divisiones, cada una de las cuales tena una oficina de planificacin y evaluacin que era la encargada de establecer los planes de evaluacion para todo el departamento y de administrar los recursos disponibles. Por
su parte, el Departamento de Trabajo contaba igualmente con cinco oficinas
de evaluacin correspondientes a los programas ms importantes del departamento, y una oficina de evaluacin e investigacin encargada de planificar las
evaluaciones de carcter ms general.
(25) Otras evaluaciones importantes son las desarrolladas en materia de educacin a raz de la Elementary and Secondary School Education Act de 1964, en materia de vivienda y desarrollo urbano, a partir de los programas experimentales lanzados en 1970 por el Housing and Urban Development Department, y en materia de asistencia social, formacin e insercin profesional, como consecuencia de los
programas que desde mediados de los sesenta aplicaron Health, Education and Welfare y el Department
of Labor (Rossi y Wright, 1984: 49) Presentamos en el cuadro nmero l una de las primeras evaluaciones
realizadas por encargo de la Office of Economic Oportunity y nos remitimos al apartado dedicado a las
evaluaciones experimentales para la descripcin ms detallada de las evaluaciones de sendos programas de
vivienda y rentas mnimas de insercin y formacin profesional.
(26) El Bureau of the Budget que a partir de 1970 cambia de nombre y pasa a denominarse Office
of Management and Budget (OMB).
55
A nivel del legislativo, la evaluacin es desarrollada principalmente, aunque no de forma exclusiva, por la GAG (27). Esta agencia, que a principios de
la dcada de los ochenta contaba con ms de 3000 empleados dedicados a su
divisin de evaluacin de programas (Walker, 1985:272), puede actuar por
iniciativa propia o a requerimiento de un departamento ejecutivo, aunque generalmente su intervencin viene determinada por ley o a peticin de algn
miembro del Congreso (28).
As, pues, desde los programas de la Great Society y de reforma presupuestaria hasta nuestros das, cabe distinguir como hace Levy (1984: 27-28),
tres etapas en lo que se refiere a niveles de intervencin pblica y evaluacin
en los EEUU:
La primera etapa, desde 1963 hasta 1970 se caracteriza por la intervencin creciente del gobierno en una serie de sectores nuevos
y por el desarrollo del anlisis de las polticas pblicas de tipo
prospectivo.
La segunda etapa, desde 1970 hasta 1980, se caracteriza por la progresiva institucionalizacin de la evaluacin. La creciente intervencin
pblica caracterstica del perodo anterior fue, sin embargo, considerablemente limitada, aunque el gasto pblico continuara creciendo como
consecuencia del efecto de la inflacin.
La tercera etapa, de 1980 en adelante, marcada por las presidencias de
Reagan y Bush, se caracteriza por la reduccin de los gastos nominales y la continuacin de anlisis y evaluacin, pero con objetivos polticos distintos.
As, pues, durante los aos setenta y ochenta, cada vez se cuestiona ms
la expansin continuada de los programas sociales (en este contexto se desarrollan iniciativas como Proposition 13 tendente a limitar los ingresos
por impuestos de las Corporaciones Locales en California, y Sunset Legislation que supone la terminacin automtica de programas que no alcanzan determinados objetivos) y se produce un cambio de nfasis en materia de evaluacin, donde cada vez es mayor el inters por comparar los
beneficios derivados de las inversiones en programas sociales con sus costes, con el propsito de legitimizar las reducciones presupuestarias o incluso la supresin de algunos programas.
(27) En los EEUU, existen cuatro agencias que tienen por misin asistir al Congreso en sus actividades legislativas y de control del ejecutivo: la General Accounting Office, la Office of Technology Assesment, Congressional Research Service y Congressional Budget Office.
(28) Sobre la estructura organizacional de la evaluacin de programas en EEUU, Vid. Levitan y Wurburg (1979). Sobre la GAO, Brown (1973), Rouban (1983) o Walker (1985).
56
PRIMERA PARTE
Cuadro 1:
COLEMAN REPORT
Uno de los primeros estudios que aplic mtodos propios de las ciencias sociales al anlisis y evaluacin de programas pblicos es el llamado
Coleman Report que por encargo del Congreso de los EEUU y bajo el
patrocinio de la Oficina de Educacin realizaron y presentaron Coleman y
sus colaboradores en 1966 (29).
Como afirma Langbein (1980:2), el Coleman Report fue nico tanto en
el uso de los mtodos de investigacin, lo que le di una credibilidad que no
tenan otras evaluaciones anteriores, como en su forma de aproximar el problema de la igualdad de oportunidades en educacin. En general, los estudios
anteriores se haban centrado nicamente en el proceso de la educacin pblica, examinando por tanto, nmero de alumnos por clase, asignaturas, mtodos pedaggicos, bibliotecas y laboratorios; puesto que partan de la base
que mejorando la cantidad y la calidad de los inputs educacionales, los estudiantes aprenderan ms. Coleman y sus colaboradores, ms preocupados
por cuestiones de impacto que de proceso, se preguntaron si efectivamente,
ms inputs producen mejor educacin. Su conclusinfue la siguiente:
.. .Est claro que las escuelas no estn actuando como un estmulo fuerte
(en cuanto a resultados objetivos en tests estandarizados) independientemente de los antecedentes del estudiante o del nivel de su clase.. Esto no significa, por supuesto, que las escuelas no tengan ningn efecto, sino que los efectos que tengan estn muy correlacionados con los antecedentes individuales
del estudiante, y con los del conjunto de compaeros de su clase y de su escuela: es decir, los efectos parecen derivar no tanto de factores que el sistema educativo controla, sino de factores externos al medio escolar. .. (30)
1ndependientemente de la relevancia de estos resultados para la poltica educativa del pas, el anlisis de las relaciones entre diversas variables
y los resultados de los estudiantes en tests objetivos apareca como una
aproximacin vlida al concepto de evaluacin de los efectos de las polticas pblicas.
3. DESARROLLO DE LA EVALUACION EN OTROS PAISES

Fuera de los EEUU, la evaluacin de programas tiene lugar principalmente en aquellos pases donde existe un desarrollo importante de la polticas de
(29) De ah que se conozca como Coleman Report. Su ttulo original es Equality of Educational
Opportunity.
(30) Coleman et al., (1966: 311-312), citado por Langbein (1980: 1).
57
bienestar social o en conexin con los programas de ayuda internacional de

las 23 organizaciones de la ONU.
Canad, Alemania, Suecia y Gran Bretaa cuentan con iniciativas de este tipo desde finales de los aos sesenta, mientras que Noruega, Dinamarca,
Holanda y Francia han intensificado la demanda de evaluaciones en los aos
ochenta (Derlien, 1990: 148-149). Adems, la evaluacin se encuentra formalmente institucionalizada en las organizaciones de la ONU y singularmente en el Banco Mundial, la OMS, la FAO, UNESCO y UNIDO (HeHstern, 1986: 282).
El proceso de desarrollo de la evaluacin en Canad y en los pases de
la Europa occidental es muy similar al descrito para los EEUU. Por esta razn, nos limitamos a hacer un breve repaso de los factores que influyen en
el desarrollo de una funcin evaluativa en estos pases para destacar ms
especficamente las diferencias que se producen entre ellos en cuanto a su
institucionalizacin.
A. FACTORES DETERMINANTES
De forma general, se puede afirmar que nicamente en el Canad y en algunas organizaciones internacionales, adems de los EEUU, existe una evaluacin sistemtica de las polticas y programas pblicos, mientras que en los
dems pases sta se produce ad-hoc, esto es, en relacin con demandas especficas (Hellstern, 1986:282).
En los pases de la Europa occidental citados y en el Canad, el desarrollo
de la evaluacin es debido, al igual que en los EEUU, a los dos procesos paralelos anteriormente descritos.
Primero, la introduccin y desarrollo progresivamente ms importante de
las polticas de intervencin econmica y social de los gobiernos generalmente de tendencia socialdemcrata de finales de los aos sesenta y principios de
los setenta. Este es particularmente el caso de los pases escandinavos, con
Suecia a la cabeza -lo que ha llevado a este pas a tener tasas de imposicin
y niveles de gasto pblico por encima de cualquier otro (Ysander, 1984:53)de la RFA y de Gran Bretaa (Derlien, 1990:149-152). Al igual que en Ros
EEUU, esta fuerte expansin de los programas sociales se encuentra en la base de la preocupacin a nivel poltico, por determinar los efectos de las nuevas
polticas sociales en relacin con sus objetivos y su coste.
Segundo, la introduccin y desarrollo de reformas presupuestarias siguiendo el modelo del PPBS en las que se incluye la evaluacin como parte
integrante del esquema de planificacin previa a la aprobacin presupuestaria de los futuros programas. Este fue el caso del Canad, donde se adopta
58
PRIMERA PARTE
el PPBS, a partir de 1969 (Der1ien, 1990:151), de Suecia donde las auditoras de eficacia y los anlisis coste-eficacia son introducidos por la Oficina
Nacional de Auditora siguiendo las prescripciones de la reforma presupuestaria desde mediados de los aos sesenta (Arvidsson, 1986:629), y de
la RFA, a partir de 1973 (Derlien, 1990: 150). Ms tardamente, la evaluacin de programas se incluye formalmente en el proceso anual de aprobacin del presupuesto en Holanda, a iniciativa del gobierno centrista-liberal
en 1981 (Derlien, 1990-152), en Francia bajo la presidencia socialista en
1982 (Quermonne y Rouban, 1986:403), y en Noruega a partir de 1985, casi veinte aos ms tarde que Suecia cuando generalmente las reformas administrativas ocurridas en estos pases son inmediatamente adoptadas por
Noruega (Derlien, 1990-152).
B. PAUTAS DE INSTITUCIONALIZACION
El desarrollo de una nueva mentalidad y cultura poltico-administrativa favorable a la evaluacin no se traduce en unos mismos niveles de frecuencia,
regularidad e institucionalizacin de esta funcin en los pases citados. Tomando nuevamente como referencia el caso de los EEUU en la medida que
constituye el principal antecedente, existen variaciones importantes entre los
pases considerados en funcin, de una parte, de si se desarrolla la funcin
evaluativa a nivel parlamentario o ejecutivo nicamente y, de otra parte, de los
distintos niveles de centralizacin o descentralizacin con los que se acomete
la tarea de poner en prctica la evaluacin.
a. A Nivel Parlamentario
A nivel parlamentario, se puede afirmar que en aquellos pases donde

los tribunales o agencias encargados del control de la contabilidad pblica
son ms independientes del ejecutivo, existe una tendencia por parte de los
Parlamentos a utilizar estas instituciones como soporte tcnico para evaluar
los programas de la Administracin. Este es el caso ya comentado de los
EEUU y del Canad cuyo Parlamento cre en 1977 la llamada Office of
Comptroller General y una divisin especializada en la evaluacin dentro
de sta siguiendo el modelo de la GAO (Derlien, 1990: 151). En cambio, en
aquellos pases donde el tribunal de cuentas ha sido histricamente considerado como un rgano del ejecutivo, como en la RFA (Derlien, 1990: 156), o
donde sus miembros proceden de la Judicatura y de la Administracin como
en Francia (Quermonne y Rouban, 1986:402), los tribunales de cuentas no
59
desarrollan una actividad susceptible de ser includa dentro del mbito de la

evaluacin. Como excepcin a esta tendencia, cabe destacar los casos de
Suecia y de Gran Bretaa donde, a pesar de que las instituciones de control
contable son respectivamente un instrumento del gobierno central o se hallan bajo el control de ste por razn del sistema mayoritario de gobierno, s
extienden su mbito de actuacin a los estudios caractersticos de la evaluacin. En Suecia, desde mediados de los aos sesenta y en Gran Bretaa desde que se cre en 1983 la National Audit Office (Derlien, 1990: 156 y Viveret, 1989:72).
b. A Nivel Ejecutivo
A nivel del ejecutivo, la evaluacin es impulsada de forma generalizada

por los Ministerios de Hacienda de acuerdo con la evolucin explicada an~e
riormente y de forma paralela a la introduccin de las reformas presupueS'1arias que tienen su origen comn en el PPBS.
As, en Canad, se crea en 1969 una Divisin de Planificacin dentro
del Tesoro encargada de proporcionar soporte institucional al desarrollo de
la evaluacin en los departamentos ministeriales del ejecutivo. Esta iniciativa recibi un nuevo impulso en 1979 con la creacin del Policy and Expenditure System que, entre otros elementos, introdujo la posibilidad por
parte del Tesoro, de requerir evaluaciones de programas especficos, cuyos
resultados se integraran en el proceso de elaboracin del presupuesto (Derlen, 1990: 151).
El mismo proceso se produce en la RFA donde la reforma presupuestaria
otorg al Ministro de Hacienda la autoridad necesaria para requerir en cualquier momento estudios especficos de los dems ministerios. Algunos ministerios sectoriales crearon unidades de evaluacin internas, mientras otros contrataron la evaluacin de sus programas a expertos externos a la
Administracin (31).
En Holanda, tambin ha sido el Ministerio de Hacienda el que ha impulsado varias iniciativas para desarrollar estudios de evaluacin en estrecha relacin con el proceso presupuestario.
Concretamente, en 1982 se cre, en el seno de la Direccin de Presupuestos, una oficina de coordinacin metodolgica y de difusin de trabajos en
materia de anlisis de polticas pblicas. Esta oficina ha tenido una funcin de
soporte y de estmulo hacia el desarrollo de evaluaciones de los efectos de las
(31) El Informe Viveret (1989: 67-75) indica, sin embargo, que una cultura de la evaluacin todava
no se ha desarrollado en la Administracin alemana en la medida que aqulla se asocia con la idea de una
investigacin con el objetivo de encontrar nicamente los fallos y deficiencias de la Administracin.
60
PRIMERA PARTE
polticas y de la estructura organizacional y de los procedimientos administrativos de los servicios pblicos (Derlien, 1990: 152) (32).
En Suecia, en cambio, la introduccin del PPBS se utiliza como mecanismo de descentralizacin y de mejora de la eficacia de los organismos administrativos autnomos, ms que como instrumento de racionalizacin central de
los procesos de presupuestacin y decisin pblica (Ysander, 1984:57) por lo
que no hay una estructura central dedicada a la evaluacin en los departamentos econmicos del Gobierno.
c. Centralizacin-Descentralizacin
La implantacin de la evaluacin difiere asimismo en funcin del grado
en que aqulla es impulsada desde las instituciones centrales del gobierno con
el propsito de evaluar polticas generales en distintos mbitos de gobierno, o
por el contrario es desarrollada de forma descentralizada por distintos niveles
de gobierno, lo que se traduce en una organizacin ms fragmentada y en estudios de programas ms concretos.
En el primer sentido los casos paradigmticos son los de Gran Bretaa y
Francia. En cuanto a organizacin plural y descentralizada de la evaluacin el
caso ms claro es el de Suecia.
En Gran Bretaa hasta 1979 funcion un sistema denominado Program
Analysis and Review por el que cada ao, los ministerios centrales deban
definir junto con el Tesoro, qu polticas era preciso revisar, y a tal efecto,
nombrar una comisin presidida por un representante del ministerio afectado e
integrada por representantes de otros ministerios interesados y del Tesoro.
El mismo tipo de trabajo de revisin de las polticas y de reflexin sobre
las posibilidades de mejorarlas fue realizado, hasta 1983, por el Central Policy Review Staff, una especie de comit de expertos compuesto por funcionarios y por colaboradores externos de procedencia diversa.
El mismo gobierno conservador que acab de forma oficial con estos mecanismos, impuls la llamada Rayner's Efficiency Unit, con el objeto de hacer de las auditoras de gestin una prctica habitual en la Administracin britnica. Este iniciativa es, sin embargo, relativamente diferente de las
anteriores puesto que se pasa de la evaluacin de las polticas pblicas en sentido muy amplio, a la revisin de los procedimientos de gestin administrativa
muy concretos (Derlien, 1990: 169).
(32) Al igual que ocurre en los EEUU en la dcada de los ochenta, en Holanda, han sido precisamente
los gobiernos de centro y liberales, los que han recurrido a la evaluacin con el objetivo de justificar sus
programas de reduccin del papel del Estado, o como mnimo de freno a una larga tradicin de intervencionismo poltico (Derlien, 1990: 152).
61
En Francia, el Ministerio de Economa y Finanzas reuni a una serie

de expertos de diversos pases en 1983, con el propsito de hacer balance
de la prctica de la evaluacin en Francia y de promover la reflexin metodolgica y estratgica en torno las necesidades de evaluacin en este pas. Tres aos ms tarde, se publicaba el Informe Deleau Evaluer les Politiques Publiques al que siguieron estudios evaluativos sobre las polticas
sociales en el seno del Comisariado General del Plan francs. Por otra parte, tambin se ha desarrollado la evaluacin a travs de comisiones especficas como la Comisin Nacional de Evaluacin de las Universidades, el
Comit de Evaluacin de la Investigacin o la Comisin Nacional de Evaluacin del Ingreso Mnimo de Insercin lo que supone acercar el modelo
francs al sueco (33) (Viveret, 1989: 1).
En Suecia existe una organizacin muy fragmentada de la evaluacin
en la medida que sta se produce en distintos niveles de gobierno y a su
vez en mltiples comisiones en funcin del objeto de los programas evaluados. A nivel central, la evaluacin de las polticas y el anlisis de sus
posibles alternativas tiene lugar, o bien en el seno de las comisiones nacionales que designa el gobierno para elaborar las leyes ms importantes, o bien en el seno de las comisiones de investigacin que crean los
ministerios y las mltiples agencias administrativas de las que stos se
sirven para actuar. A nivel local, las federaciones nacionales de municipios disponen de servicios de investigacin propios que, a su vez, promueven estudios de eficacia de la Administracin municipal (Viveret,
1988:74).
En resumen, se puede afirmar que la evaluacin no es una especialidad
exclusivamente norteamericana. La evaluacin existe en Europa y en el
conjunto de las organizaciones internacionales de la ONU. Si bien los procesos de gnesis y evolucin de la evaluacin son bastante similares para
todos los pases considerados, su grado de utilizacin e institucionalizacin difiere en funcin de la posicin que ocupan los tribunales de cuentas
en relacin con el legislativo y el ejecutivo, y del impulso otorgado a la
evaluacin por los Ministerios de Hacienda. Tambin cabe distinguir
aquellos pases en que la evaluacin se plantea en relacin con las polticas generales de las instituciones centrales de gobierno, de aquellos otros
en que presenta una estructura ms descentralizada y por tanto est ms
relacionada con programas concretos.
(33) A nivel parlamentario e inspirada en la Office of Technology Assessment norteamericana, se cre la Office Parlementaire d'Evaluation des Choix Technologiques et Scintifiques con la
misin de prestar el soporte tcnico y cientfico que precisan ambas cmaras legislativas en temas
complejos como, por ejemplo, la lluvia cida, los semiconductores, el SIDA o la televisin de alta
definicin.
62
PRIMERA PARTE
4. CONDICIONANTES Y TENDENCIAS EN EL CASO ESPAOL

A. CRECIMIENTO Y REFORMAS TARDIAS
El anlisis de los factores que explican los distintos niveles de desarrollo
alcanzado por la evaluacin en una pluralidad de pases, permite asimismo
avanzar algunas de las causas que probablemente contribuyen a un desarrollo
tardo de la evaluacin en nuestro pas.
De una parte, como se ha puesto de relieve, la emergencia de la evaluacin
se asocia con las crecientes sumas de dinero invertidas en programas sociales y
de ayuda internacional en la dcada de los sesenta y principios de los setenta.
Espaa no participa de este proceso hasta mucho ms tarde y, aunque desde el ao 1975 en que se inicia la transicin hacia el Estado democrtico lo
haga de una forma particularmente intensiva, el anlisis de la distribucin del
gasto pblico por funciones revela la debilidad de los programas pblicos de
bienestar, si se compara con los pases de nuestro entorno en los que hemos
visto se desarrolla la evaluacin (34).
En el mismo sentido, el volumen del PIB espaol per cpita es inferior al
de estos pases lo que probablemente contribuye, como afirma Beltrn
(1991: 136), a que aqullos estn en condiciones de destinar una mayor proporcin de recursos a programas de intervencin social.
De otra parte, no fue hasta 1982, cuando la mayor parte de los pases de
nuestro entorno haban enterrado de forma casi definitiva el PPBS, que el gobierno espaol present ante el Parlamento su versin de aqul, adaptada a
partir de la experiencia francesa de la Rationalisation des Choix Budgtaires y que aqu se llam Presupuesto por Programas.
La experiencia espaola del Presupuesto por Programas parece reproducir,
con sorprendente exactitud, los problemas encontrados por sus precedentes.
Zapico ha puesto de relieve el carcter simblico del PPBS espaol en la medida que la reforma slo afect al formato del presupuesto:
Probablemente por razones de oportunidad poltica se ha dado preferencia al aspecto simblico de la reforma en detrimento del contenido de la
misma. Se ha preferido cumplir rpidamente con la menos complicada ta(34) Segn Alcaide (1988: 3), El crecimiento del gasto pblico en la Espaa democrtica se concreta
en una ganancia en su participacin en el PIB de 17.3 puntos, que se dividen en la ganancia de 12.76 puntos
de participacin en el PIB correspondientes a la fase 1975-1982 y 4.37 puntos registrados en la fase: 19821987.
Beltrn (1991: 135) analiza la composicin por funciones de los gastos pblicos en la RFA, Francia,
Italia, Reino Unido y Espaa y llega a la conclusin siguiente: La comparacin con pases que gastan en
nmeros redondos entre el 45 y el 51 por 100 (del PIB) pone de manifiesto que el perfil de los gastos pblicos espaoles slo se separa de ellos de manera sensible en lo que se refiere a la menor proporcin de gastos en enseanza, sanidad y seguridad social. Estas son las funciones que ms interesan a la evaluacin.
63
rea de transformar el formato presupuestario a avanzar estratgicamente o

gradualmente en el desarrollo de los sistemas de informacin y evaluacin
o en el proceso administrativo-financiero para mejorar su capacidad de
presupuestar. (1989:201)
Segn este mismo autor, el Presupuesto por Programas encontr dificultades insalvables en la elaboracin de los programas -que acabaran siendo
agregaciones de gastos de los servicios orgnicos de naturaleza similar- en
la definicin de objetivos, y en su operacionalizacin en indicadores que sirvieran para evaluar la eficacia de los servicios (Zapico, 1989: 194-195).
No parece, por tanto, que el Presupuesto por Programas haya impulsado la
evaluacin en Espaa, como s sucede en aquellos pases donde a raz de la reforma presupuestaria, los Ministerios de Hacienda (o sus equivalentes), o bien
adoptan un rol activo en la divulgacin y diseminacin de metodologas de
evaluacin (caso de la OMB norteamericana), o bien adquieren la autoridad
necesaria para requerir evaluaciones de programas especficos de los ministerios gastadores (caso de la RFA), o bien crean unidades centrales de anlisis y
evaluacin de las polticas pblicas (caso de Holanda).
Otros factores que pueden explicar las dificultades con las que se encuentra nuestro pas para introducir la evaluacin tienen que ver con una pobre tradicin de investigacin aplicada por el lado de la oferta, y con las caractersticas del sistema poltico-administrativo por el lado de la demanda.
En el primer sentido, el inters por la aplicacin de las ciencias sociales, y
ms concretamente del anlisis y evaluacin de las polticas pblicas a los
problemas de la Administracin es reciente, lo que se traduce en un dficit importante de personal capacitado para llevar a cabo este tipo de investigaciones.
En el segundo sentido, los obstculos susceptibles de dificultar el desarrollo de la evaluacin son mltiples:
En primer lugar, la ideologa del inters general justifica toda poltica o
programa decidido legtimamente, sin que sea necesario someterlo a una evaluacin formal para asegurarse que sus efectos son conformes con sus intenciones (Nioche, 1982a:43).
En segundo lugar, las lites polticas y sobre todo burocrticas han sido
formadas en una tradicin de carcter institucionalista y dominada por el
Derecho Administrativo en la que la preocupacin principal es el control de
legalidad de los actos de la Administracin. De acuerdo con Subirats
(1989:24):
El balance de todo ello es la preocupacin por el procedimiento ms que
la preocupacin por el resultado de la accin administrativa. La tensin no
64
PRIMERA PARTE
se produce en la detenninacin o el control sobre los resultados de la actividad administrativa sino sobre la legalidad de la actuacin, el proceder a
travs de las reglas establecidas.
En este contexto, las cuestiones relacionadas con la eficacia o la eficiencia
tienen una importancia secundaria y pensar en tnninos de poltica o programa aparece como algo hasta cierto punto distorsionante. La gestin por programas no se ha consolidado en Espaa y como ha puesto de relieve la experiencia del Presupuesto por Programas, la estructura administrativa existente y
los mecanismos de decisin no favorecen la evaluacin.
A ello hay que aadir la debilidad de las instituciones legislativas en sus
funciones de control gubernamental. En este sentido, el cuasi monopolio de la
experiencia tcnica y de la infonnacin estadstica, econmica y financiera
por parte de la Administracin impiden desarrollar una funcin evaluativa dependiente del Parlamento.
B. CONSTATACION DE UNA DEMANDA EFECTIVA
Todo lo dicho no obsta que constatemos que existe una demanda efectiva
de infonnacin evaluativa en distintos niveles de gobierno que, aunque est
lejos de obtener una completa satisfaccin, s ha dado lugar a estudios que
pueden inscribirse perfectamente en el mbito de la evaluacin.
El Ministerio para las Administraciones Pblicas en sus Reflexiones para
la Modernizacin de la Administracin del Estado, presentadas por el Ministro J. Almunia en 1990, se propone adoptar mecanismos de seguimiento y
control de la actuacin de los aparatos administrativos que entiende han de ir
dirigidos a la evaluacin del grado de realizacin de los objetivos programados y la eficiencia de la gestin en sus distintas vertientes (financiera, organizacin, procedimientos, etc.)>>.
Uno de estos mecanismos consiste en:
La evaluacin posterior de los resultados para comprobar la eficacia de
la gestin a la vista de las previsiones de los correspondientes programas,
as como el coste-rendimiento en la ejecucin de los mismos, con objeto
de poder fundamentar la elaboracin de los programas del ejercicio siguiente (1990:88)
El programa estrella de este departamento, sin embargo, han sido las ms
de 40 Inspecciones Operativas de Servicio realizadas por la Inspeccin General de Servicios desde 1987 hasta 1990 con el objeto de adecuar las plantillas
65
a las necesidades de cada servicio, disear nuevas estructuras organizacionales y racionalizar y agilizar los procedimientos administrativos.
Se trata por tanto de auditoras de gestin en la lnea de las desarrolladas
en Inglaterra por la Rayner's Efficiency Unit, ms que de evaluaciones de
programas o de servicios.
En otros Ministerios, especialmente en los de naturaleza inversora, se desarrollan estudios, generalmente de carcter prospectivo, y en ocasiones de
anlisis coste-beneficio. (Zapico, 1989: 195). Esta es una de las tcnicas que
ha alcanzado mayor importancia en el rea de los estudios de racionalizacin
de las decisiones pblicas en materia de gasto, como demuestra la ya bastante
extensa literatura de estudios aplicados en Agricultura, Sanidad, Educacin e
Infraestructuras (35).
A otros niveles de la Administracin, organismos autnomos como el
INEM de Barcelona han promovido la evaluacin sistemtica de la eficacia de sus programas de formacin y ocupacin en relacin con sus objetivos, en base a la opinin subjetiva de sus beneficiarios (Blanch, 1987 y
Albareda, 1988).
Finalmente, el mismo caso sobre el Plan Integral de Roquetes que presentamos en la tercera parte de este trabajo es el producto de una demanda de la
Administracin local.
La revisin detallada y completa de los estudios de evaluacin realizados
en Espaa supera el alcance de esta investigacin. Los ejemplos puestos han
de sevirnos nicamente para constatar una demanda creciente y algunas de las
respuestas que est obteniendo. Durante el proceso de publicacin de este libro, ha aparecido en la coleccin Cuadernos Metodolgicos del Centro de
Investigaciones Sociolgicas, Metodologa de la Evaluacin de Programas,
trabajo en el que el profesor Alvira Martn (1991) presenta de forma sinttica
diferentes tipos y diseos de evaluacin de programas desde una perspectiva
similar a la adoptada en esta obra.
***
Antes de entrar en la discusin de las metodologas y en el anlisis de los
casos especficos, interesa precisar qu entendemos por evaluacin de programas. Hasta ahora hemos introducido algunas ideas (valoracin del mrito, medida de efectos reales, determinacin del coste de las polticas...) que conviene
sistematizar.
Desde mediados de los aos setenta, la creciente demanda de evaluaciones
ha contribuido a consolidar la evaluacin como disciplina cientfica y hasta
(35) Para un repaso de la situacin actual del anlisis coste-beneficio en Espaa, Vid. Albi Y Rodrguez (1988: 482-487).
66
PRIMERA PARTE
como una profesin independiente. De forma paralela a este crecimiento, se

produce una importante evolucin conceptual, que se ha traducido en una ampliacin progresiva de su mbito, y en la aparicin de nuevas ideas en tomo a
sus propsitos y mtodos (36).
(36) La evaluacin de programas se ha convertido en una profesin como demuestran, primero, el nmero de publicaciones que han aparecido Evaluation Review, Evaluation and Program Planning, Evaluation
Studies Review Annual; segundo, la creacin de asociaciones nacionales dedicadas a la evaluacin (<<Evaluation Research Society de EEUU y de Canad), y de comits especficos en el seno de stas, encargados de
controlar la calidad de las evaluaciones (<<Evaluation Standards Committee, 1981); y tercero, el crecimiento
experimentado en algunos pases por las empresas e institutos de investigacin que se crearon originariamente para optar a los contratos ofrecidos por sus respectivas Administraciones (Policy Studies Institute en Gran
Bretaa, Infratest y Prognos en Alemania, y Abt, Ass., Systems Development Corporation, Mitre, Rand y
Stanford Intemational, en los EEUU). (Hellstem, 1986: 281, Rossi y Wright, 1984: 50).
67
CAPITULO 111
CONCEPTO, CLASES, PROPOSITOS,
INTERESES y CRITERIOS DE
EVALUACION
1. CONCEPTO
La evaluacin de programas no tiene una definicin pacfica y ampliamente aceptada por la literatura. Los trminos program evaluation, ..
policy evaluation y evaluation research han sido objeto de una variedad de interpretaciones en funcin de lo que distintos investigadores incluyen en este campo de investigacin y/o entienden que son sus mtodos
propios.
A. AMPLIACION PROGRESIVA DEL AMBITO DE LA EVALUACION

Inicialmente, la evaluacin de programas es percibida como la evaluacin
de los efectos netos de los programas -es decir, de aquellos efectos que no se
hubieran producido en ausencia del programa- en relacin con los objetivos
inicialmente propuestos. (Rossi y Wright, 1984:51).
En este contexto, la evaluacin es, pues, un anlisis de resultados (<<outcomes en ingls), entendiendo a stos como el efecto o impacto real de un programa en sus destinatarios.
Interesa aqu precisar la diferencia que existe entre outcomes y outputs, puesto que a menudo ambos se confunden. Los outputs se refieren a
lo que el programa produce. As, por ejemplo, un programa de rehabilitacin de viviendas produce viviendas aptas para ser ocupadas por ciudadanos. Los outcomes, por su parte, se refieren al impacto de estos outputs
en la sociedad. En el ejemplo propuesto, el outcome del programa sera
el efecto que produce dicha poltica de rehabilitacin en la condicin de
personas de bajo nivel de renta y, en concreto, en su capacidad de acceder a
una vivienda de calidad.
Esta concepcin de la evaluacin de programas como evaluacin de los
efectos de un programa en relacin con sus objetivos es recogida en el influyente libro de Weiss (1972:4):
El propsito de la Investigacin Evaluativa es medir los efectos de un
programa en relacin con los objetivos que se propone alcanzar, como
medio de contribuir al proceso subsiguiente de toma de decisiones sobre
71
el programa, y por tanto como medio de mejorar la programacin futura. (37)

La evaluacin de los efectos netos de los programas trataba a stos como a
una unidad indiferenciada, lo que se ha convenido en llamar una caja negra,
sobre la que no se conoce nada sobre sus componentes.
As, por ejemplo, un programa de fonnacin e insercin profesional puede
estar compuesto de clases tericas sobre donde encontrar ofertas de trabajo,
cmo hacer un currculum o presentarse en una entrevista de seleccin, puede
incluir mdulos de calificacin profesional, de prcticas en una empresa u
otros. La evaluacin de sus efectos tratara al programa como a una unidad iltldiferenciada comparando, por ejemplo, los niveles de xito de aqullos que
haban participado en el programa con los de aqullos que no lo haban hecho
y fonnaban parte de un grupo de control. Esta evaluacin aportara una estimacin objetiva de los efectos netos del programa, pero dado que no entrara
en el anlisis de sus componentes, no aportara infonnacin sobre el porqu
haba o no haba funcionado.
De aqu que varios autores incluyan en sus definiciones de evaluacin de
programas, la evaluacin de los componentes del programa y de la fonna en
que el programa opera regularmente. Esta concepcin ha dado lugar a las
management-centered evaluations defendidas por Wholey:
Evaluacin 1. valora la eficacia de un programa en funcionamento, en alcanzar sus objetivos, 2. se basa en los principios del diseo investigativo
para distinguir los efectos de un programa de aqullos de otras fuerzas
operando en una situacin detenninada, y 3. se dirige a mejorar el programa a travs de la modificacin de las operaciones corrientes. (Wholey et
al., 1975:23) (38).
Se relaciona, por tanto, con la preocupacin por hacer de la evaluacin
un instrumento que resulte til a los responsables directos de los programas. En este sentido, Subirats (1989: 140) se refiere a una perspectiva
(37) En el mismo sentido, Walker que estudi la funcin evaluativa en la GAO piensa que: el objetivo de la evaluacin es determinar si los programas federales estn obteniendo los beneficios y resultados
perseguidos por el Congreso y la Administracin (1985-173).
Tambin, Nioche en Europa, define la evaluacin en parecidos trminos: utilizar los mtodos de investigacin de las ciencias sociales para apreciar los efectos reales de una poltica, una vez que sta ha sido
aplicada 1982b: 21).
(38) Para Marvin y Hedrick, analistas de la GAO, la evaluacin de programas consiste en la valoracin sistemtica de cmo un programa est alcanzando los objetivos establecidos en la legislacin autorizante (1974: 328).
En el mismo sentido, Herman, Morris y Fitz-Gibbon entienden que evaluar un programa consiste en:
recoger informacin, de forma sistemtica, sobre cmo opera un programa y sobre los efectos que pueda
tener. (1987: 8).
72
PRIMERA PARTE
gerencial que distingue de la perspectiva legal-tradicional y de otras de carcter poltico (39).

La evaluacin an ampliara su mbito a raz de los anlisis de evaluaciones realizadas en los que se sugera que los pobres resultados de muchos programas podan ser debidos a una inadecuada planificacin previa, a un diagnstico errneo de las necesidades de sus destinatarios o a problemas de
interpretacin o puesta en prctica de conceptos manejados en las fases de discusin, negociacin y aprobacin del programa (Rossi y Wright, 1984:65).
De otra parte, como se ha afirmado anteriormente, la crisis industrial de
los aos setenta y las polticas conservadoras de reduccin del gasto pblico
suscitaron un mayor inters por la evaluacin econmica de los programas, lo
que ha llevado a algunos autores a incluir dentro del mbito de la evaluacin
de programas los anlisis coste-eficacia y coste-beneficio desarrollados por
economistas. (Lewis y Zarb, 1974:308; Thompson, 1980:entero).
B. CONCEPTO AMPLIO DE EVALUACION DE PROGRAMAS

Todo ello conduce a que algunos eminentes cientficos sociales como Rossi y Freeman empezaran a hablar de evaluaciones globales (<<comprehensive
evaluations) como prototipo de las actividades de investigacin evaluativa.
Para estos autores la evaluacin de programas consiste en:
La aplicacin sistemtica de procedimientos de investigacin social para
valorar la conceptualizacin y diseo, implementacin y utilidad, de los
programas de intervencin social (1985:19-20).
Esta definicin resume los puntos indicados anteriormente y establece las
bases de una tipologa de estudios de evaluacin.
En primer lugar, la evaluacin es aplicacin sistemtica de procedimientos
de investigacin social. Existe, por tanto, un compromiso por seguir las prescripciones y los mtodos de las ciencias sociales con el fin de producir evidencia emprica vlida y fiable.
En segundo lugar, la evaluacin se aplica con el fin de valorar y eventualmente perfeccionar, primero, la conceptualizacin y diseo, segundo, la implementacin, y tercero, la utilidad de los programas de intervencin social.
La evaluacin completa de un programa incluira, por tanto, estas tres cuestiones. Rossi y Freeman utilizan el trmino genrico de evaluacin de utilidad
(39) Ciertamente, los criterios en funcin de los cuales valorar el xito de una poltica o programa
pueden ser plurales y hasta contradictorios. A ello nos referimos al tratar de valores, propsitos e intereses.
73
para referirse a la evaluacin de impacto o efectos netos y a la evaluacin econmica o de eficiencia.

En tercer lugar, el mbito de la investigacin evaluativa se limita a los
programas de intervencin social, esto es, a cualquier combinacin de objetivos y recursos que se organiza para que tenga un efecto en el bienestar de individuos o grupos sociales concretos. Programas, por tanto, muy diversos que
pueden tratar de educacin, bienestar social, salud, vivienda, seguridad, rehabilitacin social, desarrollo econmico.
En resumen, tal y como indica la figura nmero 2, la evaluacin de programas tiene que ver tanto con los efectos de un programa sobre sus beneficiarios, como con su implementacin, como con el proceso de formulacin de
propsitos generales y objetivos ms especficos, lo que tendra que permitir
relacionar, de acuerdo con el modelo terico, resultados finales, con la forma
en que es administrado el programa y planificada la intervencin.
Figura 2: Modelo terico para la evaluacin de programas

FINES Y
GESTION DEL PROGRAMA
OBJETIVOS ~ DISTRIBUCION DE SERVICIOS ---..
CLIENTES
Principio
Cambio
CLIENTES
/
Final
DECISIONES .......1 - - - - EVALUACION

POLITICAS
C. DIFERENCIAS ENTRE EVALUACION DE PROGRAMAS Y

CONTROL ADMINISTRATIVO
Si bien, en algunos pases, las instituciones tradicionales de control externo de la Administracin han aadido a sus funciones de auditora jurdico74
PRIMERA PARTE
contable las funciones de evaluacin en los trminos que acabamos de explicar, hay que distinguir la evaluacin del control y de la inspeccin administrativa.
De una parte, porque las cuestiones a las que se dirigen son distintas: el
control administrativo no cuestiona la oportunidad de una poltica o programa,
en cuanto conjunto de recursos aplicados a la consecucin de objetivos externos, sino que nicamente verifica que los recursos previstos hayan sido bien
aplicados y que las normas existentes hayan sido respetadas. En el mismo sentido, Vulpian y Devez (1984:278).
De otra parte, porque los controles se ejercen desde una perspectiva
organizacional y por tanto, estrechamente relacionada con cada una de las
estructuras administrativas existentes. La evaluacin, en cambio, privilegia la perspectiva longitudinal basada en la idea de poltica o programa.
Rompe, por tanto, como afirma Nioche (1982a:5l), con la problemtica de
tipo jerrquico e implica una aproximacin a la vez ms distanciada y ms
global, sobre polticas o programas en los que pueden intervenir varias administraciones.
Finalmente, porque como indica Eveno (1984:219), la inspeccin y el
control administrativos se basan en los desplazamientos sobre el terreno,
en las constataciones de hechos observables y en el juicio personal del inspector. El resultado de su trabajo se refleja generalmente en un informe escrito que tiene por destinatario el superior jerrquico. La evaluacin es
ms amplia, es ms exigente en cuanto al mtodo e implica por tanto ms
tiempo.
2. CLASES DE EVALUACION
Dado que cada evaluacin suele tener un mbito distinto en funcin de las
cuestiones que intenta responder, resulta til distinguir entre cuatro clases de
evaluacin que coinciden con las grandes cuestiones incluidas en la definicin
de Rossi y Freeman.
Lgicamente, la tipologa de la evaluacin se puede construir en funcin
de otros criterios, lo que da lugar a otras tantas clases de evaluacin. As, en
funcin del propsito especfico que motiva la evaluacin se distingue entre
evaluacin formativa o de proceso y evaluacin conclusiva o de resultados; en
funcin de la naturaleza del estudio, entre evaluacin descriptiva y evaluacin
analtica; y en funcin de la relacin de los evaluadores con la organizacin
que encarga la evaluacin, entre evaluacin interna y externa. Finalmente, incluimos una breve referencia a la meta-evaluacin.
75
A. CLASIFICACION POR FASES

a. Evaluacin de la Conceptualizacin y del Diseo de los Programas
La evaluacin de la conceptualizacin y del diseo de los programas intenta proporcionar informacin, primero, sobre el problema del que se ocupa
o se debera ocupar el programa, segundo, sobre el proceso de formulacin y
diseo del programa y tercero, sobre la racionalidad intrnseca del mismo programa, es decir, hasta qu punto el diseo del programa sirve sus objetivos
(Rossi y Freeman, 1985:38-39).
Incluimos aqu, por tanto, la revisin de los estudios de necesidades donde
se recogen datos sobre la incidencia, prevalencia, y distribucin en el espacio
fsico y social del problema en cuestin, as como la investigacin bsica sobre los procesos polticos y sociales que tienen que ver con la formulacin,
negociacin y aprobacin de nuevas intervenciones (Ros si y Wright,
1984:65).
El estudio de caso sobre el Plan Integral de Roquetes es en buena medida
una evaluacin de esta naturaleza (40).
b. Evaluacin de la Implementacin de los Programas

Este segundo tipo de evaluacin consiste en la valoracin sistemtica y
peridica de dos cuestiones fundamentales: la cobertura del programa, es decir, hasta qu punto el programa est alcanzando la poblacin o el rea a los
que se dirige; y la forma en que el programa se administra, tanto desde el punto de vista de la utilizacin de los recursos de que dispone, como de los servicios finalmente distribuidos (Rossi y Freeman, 1985:40).
Se trata, por tanto, de una supervisin o control del funcionamiento del
programa que indudablemente puede interesar a los gestores del programa que
pueden tomar acciones de tipo correctivo en relacin con problemas de gestin (problemas de distribucin, de utilizacin de recursos humanos, de flujo
de la informacin) pero que tambin puede interesar a aqullos que deciden
sobre su continuidad y su financiacin y que por tanto tienen un inters
(40) Tambin existe una literatura sobre el concepto de problema. Generalmente se habla de problema
cuando concurren dos elementos; por una parte la constatacin de una situacin no deseada en la condicin
humana y social, y por otra, la resolucin decidida de tomar una accin organizada con el propsito de remediar aquella situacin. La definicin de problema implica por tanto la idea de accin dirigida a tratar el
mismo problema.
En el mismo sentido, Subirats destaca el carcter artificial de los problemas, en la medida que no
tienen vida propia al margen de los individuos o grupos que los definen. Por otra parte, vincula problema
y solucin. Por ello, el planteamiento de un problema se ha de hacer desde una perspectiva que posibilite
la intervencin y que permita una va de mejora (1989: 50).
76
PRIMERA PARTE
evidente en conocer los problemas que existen con su puesta en prctica, independientemente de su preocupacin por los resultados finales.
El estudio de caso sobre la Polica local de 1'Hospitalet de LLobregat responde en buena medida a este tipo de evaluacin.
c. Evaluacin de la Eficacia o Impacto de los Programas

Una evaluacin de eficacia o impacto examina la medida en que ste
produce un cambio en la direccin deseada. Lgicamente, si no existe este
cambio o impacto, o no es demostrable, resulta ms difcil defender su
continuacin.
El anlisis de impacto presupone que existe un conjunto de objetivos operacionales y que stos son indicativos del xito o del fracaso del programa. Se
afirma que ste ha funcionado correctamente si consigue algn cambio hacia
estos objetivos. La funcin del evaluador consiste precisamente en demostrar
que los cambios son debidos a la intervencin y no se pueden explicar como
consecuencia de un proceso alternativo que no incluya al programa mismo
(Rossi y Freeman, 1985:43).
La cuestin esencial en la evaluacin de impacto es, pues, separar los
efectos del programa de otros efectos externos para determinar hasta qu punto el programa es responsable de los cambios observados durante y despus de
su puesta en prctica. Esto se consigue con la identificacin de medidas de resultados que representen los objetivos del programa, y con el control, mediante mtodos experimentales, cuasiexperimentales o estadsticos, de aquellos
efectos que no sean efectos reales del programa.
Tanto el estudio de caso sobre el Plan Integral de Roquetes como el de la
Polica Local incluyen elementos que se aproximan al concepto de evaluacin
de eficacia.
d. Evaluacin de la Eficiencia de los Programas

El conocimiento de la eficacia o impacto de un programa puede ser insuficiente. A menudo, el impacto de un programa deber ser juzgado en funcin
de su coste ya que puede ocurrir perfectamente que un determinado programa
est~ produciendo unos resultados escasos por los costes en que ha incurrido.
Ello supone incluir el anlisis coste-eficacia y el anlisis coste-beneficio dentro del mbito de la evaluacin. Como se dijo anteriormente, sin embargo, stos requieren una evaluacin de impacto previa puesto que nicamente han de
tenerse en cuenta los beneficios realmente causados por el programa. Por otra
77
parte, la identificacin, cuantificacin y transformacin a una unidad comn

de medida de los costes y beneficios puede resultar problemtica cuando se
trata de programas sociales, ya que no todos los outputs e inputs pueden ser
valorados en trminos monetarios.
Cuadro 2: Principales cuestiones para cada tipo de evaluacin

l. Evaluacin de la conceptualizacin y del diseo de los programas
Cules son el grado y la distribucin de los problemas a los que se

dirige el programa?
Se ha diseado el programa de acuerdo con los objetivos inicial- .
mente perseguidos? Es lgico y racional?
2. Evaluacin de la implementacin de los programas

-
Hasta qu punto el programa est alcanzando la poblacin especfica o el rea a los que se dirige?
En qu medida el esfuerzo de intervencin se est llevando a cabo
como se especific en el diseo del programa?
3.
Evaluacin de la eficacia o impacto de los programas

Ha sido el programa efectivo en alcanzar sus objetivos iniciales?
Se pueden explicar los resultados del programa como consecuencia
de un proceso alternativo que no incluya al programa mismo?
4. Evaluacin de la eficiencia de los programas

Cules son los costes y los beneficios de distribuir los servicios a
los participantes en el programa?
Supone, el programa en concreto, un uso eficiente de los recursos
en comparacin con otros alternativos?
Fuente: Adaptado a partir de Rossi y Freeman, 1985:39-46.
78
PRIMERA PARTE
B. OTRAS CLASIFICACIONES
a. Evaluacin Formativa - Evaluacin Conclusiva

Los trminos formativa y conclusiva (o sumativa, de summative en ingls) fueron adoptados por Scriven en su discusin sobre la
evaluacin de programas educativos (Scriven, 1967), y desde entonces
ha sido utilizados con asiduidad por la literatura para referirse a evaluaciones con propsitos distintos. (Herman, Morris y Fitz-Gibbon,
1987:17).
La evaluacin formativa responde a una preocupacin que se encuentra en la base de muchas demandas de evaluacin: obtener informacin
sobre la marcha de un programa, de forma progresiva durante su desarrollo, con el objeto de darla a conocer a sus directores y personal, y poder
as stos introducir las modificaciones programticas que se estimen
oportunas.
Ello requiere un conocimiento detallado de las operaciones del programa y de sus mltiples componentes para poder anticipar problemas y
examinar en qu medida el programa se est desarrollando conforme a
sus objetivos.
La evaluacin formativa o de proceso coincide, en cuanto a las cuestiones
objeto de investigacin, con la evaluacin de la conceptualizacin, del diseo
y de la implementacin de los programas.
El propsito de la evaluacin conclusiva o de resultados es proporcionar la informacin necesaria para poder hacer una valoracin global sobre
los resultados de un programa y sobre su utilidad.
Esta clase de evaluacin requiere que haya pasado un intervalo suficiente de tiempo desde la adopcin del programa de forma que su organizacin y actividades hayan alcanzado una cierta estabilidad. En la medida que
el programa tenga unos objetivos claros y medibles ser ms factible juzgar
sus resultados, comparndolos, por ejemplo, con los de programas similares o con los alcanzados por un grupo de control que no haya recibido ningn programa.
La evaluacin conclusiva o de resultados se corresponde, en cuanto a
las cuestiones objeto de investigacin con las evaluaciones de impacto y
de eficiencia.
La matriz de la figura 3 relaciona los propsitos que generalmente motivan la demanda de una evaluacin con los aspectos del programa objeto de investigacin.
79
Figura 3: Tipos de evaluacin de programas
Propsito
Formativa
Cuestiones de mayor inters

Concept.Diseo
Implementacin
Impacto/Coste
(X)
Conclusiva
b. Evaluacin Descriptiva - Evaluacin Analtica

El objeto de las evaluaciones descriptivas es obtener parmetros cuantitativos que puedan ser aplicados a grupos de individuos que se benefician de
una poltica o participan en un programa y/o a las organizaciones que los administran.
En cambio, las evaluaciones analticas intentan responder a cuestiones de
tipo causa-efecto. Requieren por tanto la utilizacin de modelos tericos y diseos de investigacin adecuados para demostrar que las interpretaciones causales son ciertas. (Cohen y Franco, 1988:116).
En la medida que las evaluaciones de la implementacin de los programas
persiguen presentar informacin sobre la poblacin objeto del programa y sobre
las actividades en que se concreta aqul, suelen ser de naturaleza descriptiva.
Mientras que las evaluaciones de impacto, en cuanto intentan separar los efectos
del programa de otros efectos externos, suelen ser de naturaleza analtica.
c. Evaluacin Interna - Evaluacin Externa

La distincin entre evaluacin interna y externa se refiere a las personas
encargadas de realizar la evaluacin y plantea un problema clsico de organizacin de la evaluacin, esto es, quin debe ser el evaluador: personal del
programa, especialistas contratados por la Administracin responsable del
programa o especialistas externos completamente ajenos a aqulla?
Se puede definir una serie de criterios generales conforme a los cuales determinar las ventajas e inconvenientes que presentan la evaluacin interna y
externa.
En primer lugar, si la evaluacin es realizada por el personal del programa, su comprensin del mismo y de los problemas que pueda plantear ser
mxima. Tambin es cierto, sin embargo, que la evaluacin podra fcilmente
80
PRIMERA PARTE
convertirse en una evaluacin-justificacin. En este sentido, parece importante

confiar cualquier evaluacin a personas cuya libertad de enjuiciar el programa
evaluado est garantizada.
La contratacin de especialistas por la misma Administracin responsable
del programa puede servir para conseguir una visin ms alejada y global de
ste, as como una mayor competencia y por tanto una evaluacin de mejor
calidad. Los riesgos de falta de objetividad e independencia persisten, sin embargo, en la medida que satisfacer al cliente con unos buenos resultados puede
ser la nica va de obtener un nuevo contrato.
El recurso a expertos externos ajenos al programa y a la Administracin
que lo gestiona presenta evidentes ventajas en relacin con la objetividad, independencia y competencia de los evaluadores, pero tambin el riesgo de no
poder llegar a conocer la realidad del programa, o incluso de producir unos resultados marginalmente tiles a la Administracin evaluada por un problema
de falta de confianza en sus propsitos. Para el personal del programa, la presencia de un evaluador externo podra nicamente responder a la necesidad de
encontrar los datos que apoyen un juicio negativo, hecho a priori. (Bocialetti y Kaplan, 1986:2)
En resumen, pues, el dilema est entre una evaluacin interna que dispone
de la informacin, pero carece del espritu crtico y quizs de la competencia
necesarios, y una evaluacin externa, que puede tener la libertad de enjuiciamiento y competencia necesarias, pero encontrarse con dificultades para reunir la informacin pertinente.
Ciertamente, la evaluacin se ve reforzada por los estudios externos y
mltiples (Wildavsky, 1980:7), aunque es preciso conseguir la aceptacin y la
participacin del personal del programa, tanto para desarrollar la evaluacin
misma, como para que sus resultados sean despus utilizados. En este sentido,
las frmulas mixtas, bajo la direccin de expertos externos y dependencia directa de un organismo distinto del que administra el programa, siempre que
sea posible, aparecen como las ms apropiadas (41).
d. Metaevaluacin
La metaevaluacin consiste en el anlisis de los resultados de varias evaluaciones. Proporciona, por tanto, informacin sinttica sobre el conocimiento
existente en relacin con una determinada poltica o programa pblico. Lgicamente, este tipo de anlisis slo es posible cuando un nmero considerable
de evaluaciones han sido realizadas y publicadas en relacin con una
(41) Para una discusin ms completa de las ventajas e inconvenientes de la evaluacin interna y estema, Vid. Cohen y Franco, (1988: 111- 114); Monnier (1987: 116); o Weiss (1972: 20-21).
81
detenninada poltica. Entonces, el examen sistemtico del conjunto de las evaluaciones, desde una perspectiva ms general, puede proporcionar ms y mejor infonnacin que un nuevo estudio de caractersticas parecidas a los realizados anterionnente (42).
A veces, la metaevaluacin consiste en repetir un estudio acabado, reanalizando los datos en que se basa o incorporando ms datos sobre el mismo
programa. (Hudson y McRoberts, 1984:222). Otra fonna de hacer metaevaluaciones consiste en la revisin de tipo ms amplio de la investigacin evaluativa desarrollada en un detenninado perodo. El trabajo de Wholey et al
(1975) cubri 15 programas de cuatro agencias norteamericanas durante
1968-1969 y examin tanto la organizacin de programas, como la calidad de
las evaluaciones y de sus infonnes finales, y los problemas de comunicacin y
posterior uso de los resultados. Nioche y Poinsard realizaron una investigacin de naturaleza similar para Francia (1984:5-22).
La evaluacin de las evaluaciones, como podra describirse la metaevaluacin, no est exenta de las complicaciones que derivan de las diferencias
existentes entre proyectos individuales en cuanto a las metodologas empleadas, el tipo de datos empleados, o la perspectiva poltica desde la que se llevaron a cabo. Parece, sin embargo, razonable recurrir a la infonnacin agregada
y sinttica de las metaevaluaciones para justificar decisiones polticas, cuando
esto sea posible, y en la medida que la evidencia emprica acumulada indique
claramente un curso de accin.
3. PROPOSITOS
A. PROPOSITOS ABIERTOS
Como qued reflejado en la figura 3, la evaluacin de una poltica o programa puede abarcar un conjunto de cuestiones diversas en funcin de los
propsitos o razones por los que se decida llevar a cabo. Igualmente hemos indicado dos prpositos o razones principales por las que en general se decide
evaluar una poltica o un programa: de una parte, obtener infonnacin sobre
un programa, de fonna progresiva durante su desarrollo, con el objeto de determinar las modificaciones programticas que precisa; y de otra parte, proporcionar la infonnacin necesaria para poder hacer una valoracin global sobre los resultados de una poltica o programa y sobre su utilidad. As, cabra
(42) Por ejemplo, en el campo de la salud y medio ambiente, Urkowitz y Laessing (1982: 427-438) recogen un conjunto de investigaciones y examinan su rigor metodolgico. Su principal objetivo es descubrir los
efectos de los problemas de tipo medio ambiental en la salud humana. Pero para ello intentan determinar la
credibilidad de los resultados de las investigaciones realizadas, al mismo tiempo que sealan aquellos aspectos
que requieren ms investigacin y que por tanto deberan incluirse en las agendas de los investigadores.
82
PRIMERA PARTE
esperar que una evaluacin formativa fuera seguida de cambios en el personal,

en las actividades, la organizacin o incluso en el diseo de un programa.
Mientras que la informacin proporcionada por una evaluacin de resultados
finales tendra que servir de ayuda a los rganos poltico-administrativos de
los que depende un programa para decidir sobre su continuidad o suspensin,
sobre su generalizacin o su reduccin (43).
El principal propsito de la evaluacin es por tanto producir informacin
que tenga alguna relevancia para aquellas personas que encargan la evaluacin y que se entiende han de tomar algunas decisiones en relacin con la poltica o programa evaluado.
B. PROPOSITOS ENCUBIERTOS
Algunos autores se han referido, sin embargo, a los posibles propsitos
encubiertos de la evaluacin lo que nos lleva a introducir algunas consideraciones ms polticas.
Ciertamente, una evaluacin se puede hacer con el propsito de justificar
una posicin a la que se ha llegado de forma previa: ya sea sta la de ofrecer
una imagen positiva del programa, o al revs, poner de manifiesto sus resultados negativos con el objeto de utilizarlos como arma poltica en contra de sus
responsables polticos y/o administrativos (44).
Por ello parece importante, desde la perspectiva del evaluador, determinar
los intereses y motivaciones que se encuentran detrs de la demanda de evaluacin y, concretamente el rol que es llamado a representar, de forma consciente o supuestamente inadvertida.
La evaluacin tambin se puede utilizar como un medio para posponer
una decisin. La demanda de ms investigacin como requisito previo a emprender algn tipo de accin es estrategia comn en el mbito de las Administraciones Pblicas. Ya nos hemos referido a como, desde mediados de los
aos setenta, la evaluacin ha contribuido a frenar el desarrollo creciente de
las polticas sociales en algunos pases.
(43) En el mismo sentido, Chelimsky relaciona los propsitos de la evaluacin de programas con la
formulacin de nuevas polticas o programas, con la gestin y administracin de los ya existentes y con la
exigencia social de dar cuentas de los resultados de los programas en funcionamiento y ya consolidados
(1978: 8). Por otra parte, Weiss indica la necesidad de delimitar claramente el prposito de una evaluacin,
en la medida que esta autora entiende que la evaluacin que sirve todos los propsitos (<<the all-purpose
evaluation) es un mito (1972: 15).
(44) En el primer sentido, Weiss se refiere a la evaluacin como instrumento de auto-glorificacin:
El administrador cree que su programa funciona muy bien y busca la manera de hacerlo visible ...
Copias del informe, favorable por supuesto, pueden ser enviadas a los rganos directores, a los miembros de las comisiones legislativas ... (1972: 12).
83
En otro sentido, probablemente muchos programas son evaluados, simplemente porque as lo requiere la legislacin que establece su financiacin (Levitan y Wurzburg, 1979:3). Lgicamente ello conduce a una evaluacin de carcter ritual que se realiza nicamente para cumplir con las disposiciones
legislativas pero que no tine ninguna utilidad para los administradores de los
programas.
Al mismo tiempo, no creemos que se pueda considerar ilcito buscar la
legitimacin que pueda aportar la evaluacin para defender una posicin,
cuando en el seno de una Administracin existe un debate sobre una nueva
poltica o programa. Al contrario, este tipo de prcticas, salvo que la evaluacin sea cuestionada metodolgicamente, pueden contribuir a enriquecer el
dilogo poltico.
4. INTERESES Y CRITERIOS
A. MULTIPLICIDAD DE INTERESES
Hasta ahora nos hemos referido a las personas o grupos de personas con
capacidad para tomar decisiones sobre una poltica o programa. Las polticas
y programas pblicos, sin embargo, afectan a una pluralidad de grupos que
van ms all de los decisores polticos-administrativos y del personal encargado de llevarlos a la prctica.
AS, si tomamos como ejemplo la reforma de la enseanza secundaria en
Espaa, veremos que adems de interesar a los Parlamentos centrales y au~o
nmicos, al Ministerio de Educacin y Ciencia y a los departamentos de enseanza autonmicos, interesa a municipios, a asociaciones profesionales de enseantes, sindicatos, investigadores universitarios, y por supuesto a
profesores, alumnos, padres de alumnos y a sus asociaciones.
El carcter de afectado por una poltica o por un programa no tiene porque
suscitar, sin embargo, un mismo inters en la evaluacin del mismo. El tipo de
informacin que querran obtener cada uno de estos grupos vara en funcin
de su posicin en el sistema.
As, en primer lugar, cabe esperar que a,qullos que tienen una mayor capacidad para decidir sobre el futuro de la reforma (parlamentarios, miembros
del gobierno central y autonmico, y altos funcionarios) tengan un mayor inters en obtener informacin sobre resultados finales de los estudiantes en
tests estandarizados, sobre las caractersitcas de los estudiantes que se inscriban en cada una de las nuevas opciones o sobre sus dedicaciones futuras. Informacin que les ayude a responder cuestiones de carcter general sobre la
conveniencia o no de continuar con la aplicacin de la reforma, institucionalizar
84
PRIMERA PARTE
nuevos programas o mantenerlos como experiencias piloto, aumentar el esfuerzo presupuestario en la lnea marcada por la reforma o limitarlo.
En segundo lugar, los directores y responsables de poner en marcha la reforma, tanto a nivel central, como autonmico y local, estarn ms interesados
en saber, no slo si la reforma se desarrolla conforme a las previsiones, sino
tambin qu aspectos generan mayores problemas, cules aparecen como ms
positivos o qu estrategias administrativas alcanzan mejores resultados de forma ms eficiente.
En tercer lugar, los profesionales afectados y que trabajan en contacto con
los beneficiarios tericos de la nueva poltica educativa generalmente se preocuparn ms de cuestiones relacionadas con sus nuevas condiciones laborales y
con la forma de realizarse su trabajo diario. En este sentido son ms pragmticos y esperan obtener informacin que les facilite la adaptacin al nuevo sistema y, en su caso, aprender aquello que deberan hacer y no estn haciendo.
En cuarto lugar, corresponde a los alumnos, padres de alumnos y a sus
asociaciones, adoptar la posicin de cliente, y desde esta perspectiva, requerir
la informacin necesaria para valorar la calidad de los servicios recibidos. Por
otra parte, los ciudadanos en general, como contribuyentes, estarn preocupados por saber, aunque sea en trminos muy generales, cuanto cuesta la reforma y ms especficamente, en qu se gasta su dinero.
Es, pues, importante reconocer la diversidad de intereses en juego y las
mltiples perspectivas que estos intereses implican a la hora de enjuiciar una
poltica. Tambin es cierto, sin embargo, que una misma evaluacin difcilmente podra proporcionar informacin de inmediata utilidad para todos los
grupos, dada la diversidad de sus preocupaciones.
B. EVALUACION, CONFORME A QUE CRITERIOS?

a. Los Valores e Intereses de los Actores
El reconocimiento de la existencia de una pluralidad de intereses en relacin con una determinada poltica o programa nos lleva a plantear la cuestin
de los criterios. A pesar de que la literatura de la evaluacin ha prestado poca
atencin a este tema, dado que inicialmente se crey que la actividad de la
evaluacin deba estar exenta de valores, es obvio que el mismo trmino evaluacin lleva implcita la idea de juzgar el mrito, esto es, el valor o la bondad de las polticas y de los programas. Cabe preguntarse por tanto, conforme a qu criterios?
El conocimiento de los intereses de todas las partes afectadas por el programa evaluado puede ser utilizado para seleccionar los criterios de evaluacin,
85
de forma que ningn criterio de especial importancia para un determinado

grupo no sea omitido. La comprensin de todos los intereses presentes de
acuerdo con una orientacin pluralista, puede ser importante para obtener la
cooperacin de todos los grupos o para que los resultados de una evaluacin
no sean descartados en base a acusaciones de partidismo por parte de los
evaluadores.
La descripcin de los intereses de cada grupo, sin embargo, si bien sirve al
efecto de conocer las distintas perspectivas de valoracin, tampoco genera los
principios especficos en funcin de los cuales justificar la seleccin de algunos criterios por encima de los dems.
b. Los Objetivos del Programa
Tradicionalmente, se ha utilizado los objetivos de los programas como

criterio de evaluacin. Ello tiene sentido en la medida que aqullos suelen
ser el producto de la negociacin poltica y, en este sentido, reflejan en buena parte los intereses que participan en el proceso de formulacin y aprobacin de las polticas. No obstante, la evaluacin por objetivos no est exenta
de problemas:
En primer lugar porque los objetivos no siempre estn claros. Generalmente son abstractos, mltiples y hasta contradictorios.
En segundo lugar, porque los programas pueden tener efectos no esperados que pueden ser tan importantes como los buscados expresamente.
En tercer lugar, porque el personal de un programa tiende a fijar objetivos
ms bien modestos, en la medida que es mejor pasar un listn bajo que no estrellarse en uno excesivamente alto. En cambio, los responsables polticos de
los programas tienden a hacer lo contrario, especialmente en las etapas iniciales de declaracin poltica de intenciones o cuando es preciso conseguir financiacin externa.
En cuarto lugar, porque los objetivos de los programas cambian en funcin del entorno local donde se desarrollan, de forma que una misma poltica
aplicada en distintos lugares puede dar lugar a programas completamente diferentes (45).
En la medida que la evaluacin no recurra a los objetivos del propio programa, el valor o mrito de ste depender de la totalidad de los efectos o
cambios producidos, sean stos intencionados o no intencionados, positivos o
negativos. (Cook y Shadish, 1986:49).
(45) Como se ver con el estudio de caso, stas son las dificultades con las que nos encontrbamos a
la hora de evaluar el Plan Integral de Roquetes.
86
PRIMERA PARTE
c. Los Objetivos Tericos de la Intervencin Pblica

Algunos autores han intentado sistematizar los objetivos ms importantes de los programas pblicos, con el propsito de ofrecer una lista de criterios que sirvan para la evaluacin de cualquier programa como inventario de
referencia.
As, para Langbein (1980), los principales objetivos de los programas pblicos son el crecimiento econmico y la distribucin de la riqueza.
De una parte, el crecimiento econmico se puede promover incrementando la productividad de los recursos existentes o aumentando la eficiencia de
los mecanismos de mercado y eliminando sus fallos (1980: 14). Productividad y eficiencia aparecen pues como dos criterios generales de crecimiento
econmico. El avance con respecto a uno de ellos no supone necesariamente
progresos con respecto al otro en la medida que puede tratarse de objetivos
contradictorios.
As, como afirma la misma autora, un programa que incentiva la utilizacin de recursos improductivos (tierras marginales, trabajadores parados...) no
necesariamente promueve el uso ms productivo de estos recursos y puede de
hecho redundar en una menor eficiencia econmica del sistema en su conjunto, al restar medios a otras actividades ms productivas. Sin embargo, es cierto que el incremento de la productividad de recursos no utilizados es uno de
los objetivos fundamentales de una buena parte de los programas pblicos, y
como tal, se puede medir el grado en que se alcanza este objetivo (1980: 15).
Por otra parte, el perfeccionamiento de los mecanismos de mercado se
puede conseguir, segn Langbein a travs de:
1) la produccin de bienes no privados;
2) ofreciendo mejor informacin a los agentes del mercado o reduciendo
los costes de una informacin imperfecta;
3) distribuyendo el riesgo de inversiones arriesgadas;
4) promoviendo la participacin en el mercado de todos los agentes y eliminando cualquier tipo de restriccin o discriminacin (1980: 15)
As, para evaluar los efectos de la legislacin que protege el medio ambiente, habra que determinar si realmente produce un bien pblico; para evaluar la reglamentacin administrativa de las etiquetas de los productos nutritivos, habra que determinar la medida en que se ofrece mejor informacin al
consumidor; etc.
De otra parte, el segundo gran objetivo de los programas pblicos es, segn Langbein, la redistribucin de la riqueza. La evaluacin de las polticas
que persiguen este objetivo se puede realizar de acuerdo con los tres criterios
87
siguientes: 1. Nivel de beneficios que ofrecen los programas, 2. Equidad horizontal, y 3. Equidad vertical. El primero se refiere a la medida en que los
beneficios ofrecidos por el programa son suficientes o adecuados. El segundo se refiere a la medida en que el programa llega y trata de igual forma, a
todas las personas potencialmente eligibles. Y el tercero se refiere al grado
en que personas no incluidas en el grupo al que va dirigido el programa se
benefician de ste.
As, un programa de formacin profesional, puede ser muy efectivo en
conseguir un empleo para los jvenes que lo terminan (lo que en s constituye
un primer criterio de evaluacin), pero al mismo tiempo, puede ser muy injusto desde la perspectiva de equidad horizontal, en la medida que nicamente
'una pequea proporcin de jvenes parados tuvieron acceso a l, o desde la
perspectiva de la equidad vertical, en la medida que los que se beneficiaron
realmente de l no se corresponden con su poblacin-objetivo.
Un ltimo criterio propuesto por Langbein es el de la satisfaccin de los
ciudadanos, en la medida que en una sociedad democrtica debera haber
una cierta correspondencia entre los deseos de sus miembros y los programas
de sus instituciones de gobierno. (1980:22)
Seguramente, el inventario de objetivos y criterios que acabamos de repasar no es completo. Objetivos ms polticos como los que encontramos en en
el caso del Plan Integral de Roquetes, -el incremento de la participacin de
los ciudadanos en las actividades de la Administracin, la consecucin de niveles ms altos de coordinacin entre los agentes pblicos y privados que operan en un territorio o el perfeccionamiento de los mecanismos de respuesta a
las necesidades locales por parte de la Administracin-, encuentran difcil
acomodo en el esquema de Langbein. Su aplicacin obligara, en muchos casos, a forzar la traduccin de programas no econmicos, en trminos de crecimiento econmico. La clarificacin del mapa de objetivos y criterios, no obstante, habra de permitir al evaluador no dejarse ningn aspecto relevante por
evaluar, aunque insistimos, su utilidad es ms bien a nivel indicativo.
C. OTROS CRITERIOS ALTERNATIVOS

Otros autores, en cambio, han propuesto criterios alternativos, que nada
tienen que ver con los objetivos de los programas, a partir de los cuales juzgar
el valor de una poltica o programa y que consisten en:
1. examinar el grado en que se han satisfecho las necesidades materiales
de la poblacin o rea objeto del programa, independientemente de los
objetivos de ste (Scriven, 1973);
88
PRIMERA PARTE
2. examinar aquello que los clientes, personal y administradores del programa entienden se ha conseguido con ste, as como aquellos factores
que creen llevaron a su xito o fracaso (Guba y Lincoln, 1981);
3. examinar los factores que tengan una mayor importancia para aqullos
que tengan que tomar decisiones sobre el programa en un futuro prximo (Patton, 1986);
4. examinar la medida en que se han satisfecho las necesidades de informacin de cada una de los grupos afectados por el programa
(Bryk, 1983);
Cada una de estas propuestas representa, en mayor o menor medida, una
aproximacin alternativa al paradigma racional-cientfico que domina la evaluac~n. Interesa ahora entrar en la discusin de los principales modelos de
evaluacin, con el objeto de responder a una cuestin difcil: Cmo evaluar
las polticas y los programas pblicos?
Ciertamente, no se trata de importar mecnicamente prcticas de evaluacin desarrolladas mayoritariamente en los EEUU. Se trata, ms bien, de sacar
partido de los conocimientos y de la experiencia all acumulados, para a partir
de estudios de caso como los propuestos, extraer algunas implicaciones que
puedan tener alguna relevancia para la evaluacin, en general, y ms especficamente, en nuestro entorno.
89
SEGUNDA PARTE
CAPITULO IV
LA EVALUACION CLASICA
POR OBJETIVOS
1. INTRODUCCION
En este captulo, la evaluacin es contemplada desde la perspectiva clsica
de la evaluacin por objetivos. Desde esta perspectiva, la cuestin fundamental
es determinar los efectos atribuibles a una poltica o programa y examinar hasta
qu punto sirve para la realizacin de ciertos fines y objetivos. Este es pues el
criterio de xito en base al cual se valora la poltica o el programa.
Tal y como deca Weiss, de acuerdo con este modelo, la evaluacin parece
simple. Existen unos objetivos, una actividad dirigida a alcanzarlos y una medida del grado en que sto se consigue. Todo lo que hay que hacer es, pues:
1) enumerar los [mes generales del programa y sus objetivos ms especficos;
2) descubrir indicadores de estos objetivos, susceptibles de medicin;
3) recoger datos sobre los indicadores para aqullos que participan en el programa y para un grupo de control equivalente que no haya participado;
4) y analizar los datos sobre los participantes y sobre los controles, en funcin de los fines y objetivos iniciales del programa (Weiss, 1972:24).
En la prctica, sin embargo, lo que parece simple puede complicarse enormemente, tanto por los problemas que presentan la identificacin y operacionalizacin de objetivos, como por la complejidad intrnseca de los programas,
como por la dificultad tcnica de aislar los efectos de la intervencin y determinar el impacto neto de las polticas.
De acuerdo con el concepto adoptado de evaluacin por fases, dividimos
este captulo en tres apartados: en el primero, nos referimos a la identificacin
y especificacin de objetivos como requisito previo (se correspondera tericamente con la etapa de planificacin), en el segundo, al examen de los inputs
y actividades que componen un programa (se corresponde con la evaluacin
de la implementacin), y en el tercero, al impacto o efectos (se corresponde
con la etapa de evaluacin de resultados).
2. IDENTIFICACION, ESPECIFICACION y MEDIDA DE OBJETIVOS

Desde la perspectiva del modelo de evaluacin por objetivos, lo ms importante es especificar los objetivos del programa en trminos claros y precisos,
95
puesto que stos servirn de criterio a partir del cual juzgar si el programa ha sido un xito o por el contrario ha fracasado en sus propsitos.
La funcin del evaluador consiste pues, primero, en ayudar a los actores
del programa a alcanzar un nivel razonable de consenso en tomo a los objetivos del programa, y, segundo, en asegurar un nivel mnimo de especificidad
que permita desarrollar indicadores operacionales a partir de los cuales medir
y evaluar. (Shortell y Richardson, 1978:16-17)
A. OBJETIVOS GENERALES, ABSTRACTOS, CONFUSOS Y

RETORICaS
Los objetivos de las polticas y de los programas acostumbran a ser, sin
embargo, generales, abstractos y confusos. Ello es as porque el proceso de decisiones polticas se apoya en acuerdos sobre aspectos muy generales. Se podra afirmar que la negociacin poltica se hace sobre programas y no sobre
objetivos. Una vez existe un consenso bsico sobre la necesidad de hacer algo en relacin con los problemas que se hacen un hueco en la agenda poltica,
lo que haya que hacer escapa al acuerdo, de lo que resulta la aprobacin de
programas generales sin objetivos especficos. Desde esta perspectiva, la ambigedad del proceso resulta polticamente til, en la medida que permite llegar a
compromisos sobre la base de intereses divergentes que no llegan a explicitarse
(46). Los objetivos retricos necesarios para sacar adelante el programa, sin
embargo, no sirven como base a partir de la cual enjuiciar su xito.
Por otra parte, cuando se pregunta a los administradores de los programas
sobre sus objetivos, tampoco se obtienen respuestas muy especficas: mejorar la calidad de vida, conseguir que se enganchen a la vida, fortalecer la
participacin ciudadana, actuar ms coordinadamente, integrar esfuerzos. Igualmente, existen varias razones por las que los administradores de los
programas no especifican sus objetivos en trminos ms precisos: la ms obvia es que hay casos en que no tiene sentido especificar los objetivos en
trminos operacionales. En otras ocasiones, en cambio, la especificacin de
(46) Tomemos como ejemplo la Ley 22/1988 de 28 de julio de Costas, BOE, nm. 181 de 29 de julio
de 1988. Esta ley describe en su exposicin de motivos como objetivos:
La defensa de su equilibrio y su progreso fsico, la proteccin y conservacin de sus virtualidades naturales y culturales, el aprovechamiento racional de sus recursos, la garanta de su uso y disfrute abierto a todos, con excepciones plenamente justificadas por el inters colectivo y estrictamente limitadas
en el tiempo y en el espacio y con la adopcin de las adecuadas medidas de restauracin.
En estos trminos, esta ley sirve tanto a los intereses de grupos poltico-sociales comprometidos en la
defensa de la naturaleza como a los de la industria hotelera que ve en la sobreexplotacin de la costa un peligro para su negocio.
96
SEGUNDA PARTE
objetivos limitara la flexibilidad del administrador, en la medida que comunica sus intereses y le compromete a un cierto grado de visibilidad.
Dadas estas dificultades, Weiss (1972:28) ha sugerido cuatro estrategias
que los evaluadores pueden utilizar para llegar a obtener objetivos que sirvan
para la evaluacin:
a. La primera consiste en describir las cuestiones ms relevantes y dejar
que los principales actores del programa lleguen a un acuerdo.
b. La segunda consiste en recoger tanta informacin escrita como sea posible, entrevistar en profundidad a los responsables del programa, observar directamente como se desarrolla, y dejar que sea el evaluador
mismo el que formule los objetivos.
c. La tercera consiste en promover la colaboracin entre evaluador y actores ms relevantes del programa con el objeto de formular objetivos
que stos hagan suyos, para posteriormente limitarlos a aqullos que
segn el evaluador aparezcan como ms realistas.
d. La cuarta consiste en evitar la identificacin de objetivos y por tanto
abandonar la idea de una evaluacin en el sentido ms clsico.
La primera de estas estrategias puede conducir a afirmaciones que no
constituyan una base operativa para la evaluacin. La tercera estrategia aparece como la ideal por cuanto si los objetivos son formulados nicamente por el
evaluador (segunda estrategia), cabe el peligro que despus sean rechazados
por los responsables del programa, por entender que aquello no era lo que pretendan. Por ltimo, la cuarta es especialmente interesante dado que, cuando
se trata de programas nuevos sobre los que resulta difcil alcanzar un acuerdo
sobre lo que sera un xito, puede ser mejor dejar la evaluacin abierta, que no
formular objetivos artificiales y que no tengan un claro sentido para los participantes en el programa (47).
B. ESPECIFICACION DE OBJETIVOS
Las evaluaciones por objetivos requieren, sin embargo, la descripcin
de los resultados especificos que, de conseguirse, permitiran afirmar que
el programa ha sido un xito. Ello es posible si los objetivos afirman la
condicin a la que se dirigen o el comportamiento que quieren cambiar y
en qu medida.
(47) Hogwood y Gunn, (1984: 219), han insistido en la necesidad de integrar la evaluacin en los procesos de planificacin y programacin, para de esta forma, poder especificar desde el principio el tipo de
informacin que requiere la investigacin.
97
As, por ejemplo, si en la reforma de la asistencia primaria de la sanidad

pblica, el objetivo es mejorar el acceso de los pacientes al servicio, ello se
habr conseguido si:
el tiempo de espera se reduce en un determinado tanto por ciento;
el tiempo que pasa entre que se concierta una cita y se produce la visita se reduce en un determinado tanto por ciento;
o una mayora de la poblacin asistida afirma estar ms satisfecha en
temas de acceso desde que se produjo la reforma.
La literatura en relacin con la identificacin y especificacin de objetivos
es amplia. En el cuadro 3 resumimos aquellos aspectos que Shortell y Richardson (1978: 18-19) consideran ms relevantes a la hora de identificar objetivos. Entre todos ellos, sin embargo, cabe destacar tres: la ordenacin de los
objetivos, la multiplicidad y posible incompatibilidad entre objetivos, y la necesidad de anticipar efectos no esperados.
a. Ordenacin de los Objetivos

Los objetivos de los programas pueden ser ordenados conforme a su relacin con el diseo-implementacin o con la evaluacin de sus resultados
(Suchman, 1970:60). En funcin de este criterio, cabe distinguir entre objetivos inmediatos y objetivos finales. Weiss identifica a los primeros con las variables-input y con las variables operacionales.
Las variables-input son aqullas que tienen que ver con los recursos materiales y humanos de que dispone el programa. Las variables operacionales se
relacionan con las previsiones organizativas sobre quin tiene que realizar
qu, dnde, cundo y cmo (Weiss, 1972:46). El anlisis de estas variables se
correspondera con la evaluacin formativa o de proceso.
Por su parte, los objetivos finales se identifican con los resultados o impactos del programa, es decir, con aquellas variables que representan los efectos que produce el programa. El anlisis de estas variables se correspondera
con la evaluacin conclusiva o de resultados.
Entre ambos tipos de objetivos puede haber objetivos intermedios que se
identifican con lo que Weiss llama variables puente, es decir, aquellos elementos del programa que permiten asociar inputs y actividades con resultados finales (Weiss, 1972:47).
As, por ejemplo, en un programa de rehabilitacin de presos, se asume
que la formacin profesional mientras se encuentran detenidos, reducir las
probabilidades de que vuelvan a delinquir una vez hayan cumplido condena.
98
SEGUNDA PARTE
En este caso, la variable puente sera el grado en que los detenidos llegan a
aprender un nuevo oficio que despus se podra relacionar con la disminucin
de la reincidencia (objetivo ltimo).
La relacin entre objetivos intermedios y objetivos finales no siempre ser
fcil de demostrar, pero en ocasiones se considerar suficiente la medida de
variables puente como criterio a partir del cual juzgar el xito del programa.
As, por ejemplo, en un programa de disminucin del cncer de pulmn, la demostracin de que el tratamiento al que se someten los fumadores les lleva a
dejar de fumar, podra considerarse como una aproximacin vlida al objetivo
final de reduccin de las tasas de mortalidad como consecuencia de aquella
enfermedad.
Los objetivos intermedios estn estrechamente relacionados con la teora
del programa. En este sentido, se recomienda que todo evaluador investigue,
en primer lugar, por qu los responsables polticos o administrativos de un
programa entienden que ste producir determinados efectos, con el propsito
de reconstruir el modelo terico en el que se fundamenta (Cronbach,
1980: 170). A partir de aqu, los problemas que experimenta un programa pueden derivar tanto de un fallo en la teora, como de un fallo en la forma en que
ha sido aplicada en el caso concreto.
Sobre la forma de construir el modelo terico en el que se fundamenta
el programa, Rossi y Freeman (1985:72-73) proponen examinar las llamadas: hiptesis causal, hiptesis de intervencin e hiptesis de accin.
La hiptesis causal expresa la influencia de uno o varios procesos en el
comportamiento o la condicin que el programa pretende modificar. As,
siguiendo con el ejemplo de la reincidencia, se podra afirmar que la reincidencia se produce con mayor frecuencia entre aquellos ex-reclusos que, o
no tienen una mnima formacin profesional, o bien se encuentran con niveles considerables de desempleo.
La hiptesis de intervencin especifica la relacin entre el programa
y el proceso que en la hiptesis causal se considera asociado con el comportamiento o condicin que se quiere modificar. La formacin profesional para detenidos, se podra afirmar, conduce a la reduccin de la reincidencia.
Finalmente, la hiptesis de accin examina si la intervencin est necesariamente relacionada con los resultados, esto es con el comportamiento o
condicin que se quiere modificar. Podra ocurrir que lo que funciona normalmente, no funcionara en determinadas condiciones. Los ex-reclusos que
han completado un programa de formacin profesional podran no tener o se podra percibir que no tienen- las habilidades y conocimientos necesarios para encontrar un trabajo.
99
Cuadro 3: Identificacin de objetivos: dimensiones a tener en cuenta

l. Naturaleza y contenido de los objetivos
Qu es lo que quiere cambiar el programa: opiniones, actitudes, comportamientos, el nivel de informacin?

2. Ordenacin de los objetivos
A qu nivel de abstraccin se afirman los objetivos? A nivel de inputs,
de operaciones, de resultados finales?
3. Poblacin-objetivo
Para qu grupo especifico se hace el programa? Cules son los lmites
o fronteras (geogrficas, de edad, de nivel de renta...) del grupo-objetivo?
4. Plazo en que se prevn los efectos
Cuanto tiempo tardarn en producirse los efectos del programa? Se
trata de efectos inmediatos o efectos a medio-largo plazo?
5. Magnitud de los efectos
Qu efecto se espera? De qu magnitud? Es posible cuantificar los
efectos esperados?
6. Estabilidad de los efectos
Cuanto tiempo durarn los efectos del programa? Ser necesario
mantener la intervencin para que se mantengan los efectos?
7. Multiplicidad de objetivos
Tiene el programa ms de un propsito? Son stos incompatibles?
Estn relacionados o son completamente diferentes? Qu objetivos
son prioritarios?
8. Consecuencias o efectos no esperados
Qu consecuencias o efectos no esperados puede producir el programa?
Fuente: Shortell y Richardson, (1978:18-19)
100
SEGUNDA PARTE
b. Multiplicidad de Objetivos
La ordenacin de los objetivos presupone que stos son mltiples. Pero es

que adems, generalmente existen una pluralidad de objetivos para cada nivel
del proceso por lo que se hace necesario llegar a un cierto consenso sobre cuales son ms importantes. Lgicamente, ante la dificultad de evaluar ciertos objetivos por razn de limitaciones materiales (recursos insuficientes, falta de
tiempo, datos incompletos) se tender a seleccionar aquellos objetivos sobre
los que se dispone de datos. Esto queda claro en el caso de las Policas Locales donde se tiende a medir la eficacia de todo el servicio en funcin de unos
pocos indicadores sobre tasas de criminalidad, de accidentes o de denuncias
impuestas, por citar algunos ejemplos.
Por otra parte, puede existir incompatibilidad entre los objetivos de una
misma intervencin. Siguiendo con el ejemplo de las Policas Locales, la distribucin de los agentes en el espacio (por sectores) y en el tiempo (por turnos), no se puede realizar conforme a un mismo criterio de igualdad para ciudadanos y problemas sociales, puesto que ambos no se encuentran
distribuidos de forma uniforme entre toda la poblacin (48).
c. Consecuencias y Efectos No Anticipados
La construccin de un modelo sirve al objeto de determinar los efectos

que, de acuerdo con la teora que fundamenta el programa deberan producirse. Los programas pblicos producen, sin embargo, consecuencias y efectos no anticipados que pueden ser tan o ms importantes que los esperados.
As, como ocurri en el caso del Plan Integral de Roquetes, un programa de
formacin profesional para amas de casa tuvo efectos positivos en sus relaciones familiares y sociales, independientemente de sus resultados en relacin con el trabajo. La dificultad radica en anticipar los posibles efectos perversos. Algunas de las estrategias que se han sugerido para anticipar estos
efectos consisten en:
a. Examinar los llamados system-goals, es decir, los objetivos de las
organizaciones que constituyen el entorno inmediato del programa, ya
sea recogiendo informacin escrita (documentos donde se explica el
programa, actas de reuniones, informes) o estableciendo contactos informales con sus miembros.
(48) Este argumento se explica en el caso de las policas locales. En el mismo sentido, Langbein
(1980: 13).
101
b. Establecer contacto con los participantes en el programa y con aquellos grupos directa o indirectamente afectados por ste, incluyendo lgicamente a los ms crticos, en la medida que pueden aportar datos
sobre posibles resultados negativos.
c. Solicitar el juicio de personas con experiencia en programas similares
o de expertos a travs de la utilizacin de tcnicas de grupo como
Delphi, Brainstorming o Grupo Nominal (Shortell y Richardson,
1978:24).
C. INDICADORES DE RESULTADOS
a. Seleccin de Variables
Una vez los objetivos han sido identificados y especificados en trminos
operacionales, el siguiente paso consiste, de acuerdo con el modelo clsico de
evaluacin, en medir el grado en que se alcanzaron.
Lgicamente, las variables utilizadas dependern de cada programa. En
nuestro estudio de caso sobre medida de los servicios de Polica Local en
1'Hospitalet, recurrimos al tiempo que tarda la Guardia Urbana en responder a
una demanda individual y al tiempo consumido en cada servicio, como indicadores de eficacia policial.
Desde una perspectiva ms general, Weiss (1972:39-42) distingue entre
medidas de resultados en las personas, en las organizaciones, y en la poblacin en general. As, si se trata de un programa que pretende producir cambios
en las personas que lo reciben, como por ejemplo, un programa educativo o
formativo, se utilizarn medidas de conocimientos, habilidades, valores y actitudes (49). Si se trata de un programa que persigue producir cambios institucionales, como por ejemplo, un programa que intente cambiar el tipo de relacin que se establece entre funcionarios de primera lnea y clientes, se
utilizarn indicadores de servicio que reflejen las caractersticas institucionales que se persiguen. Por ltimo, si se trata de un programa que quiere cambiar las actitudes o los valores, no ya de la poblacin objeto de la intervencin, sino de toda la poblacin en general, en estos casos, lo ms apropiado
ser utilizar estudios de opinin (50).
(49) En cuanto a la seleccin de las variables, es aconsejable utilizar medidas que hayan probado ser
tiles en el pasado. El Survey Research Center de la Universidad de Michigan publica medidas de actitudes
polticas, psico-sociales y en relacin con el trabajo. Vid. en la bibliografa las entradas correspondientes a
Robinson. Por su parte, Morris, Fitz-Gibbon y Lindheim 91987), y Henerson, Morris y Fitz-Gibbon (1987)
incluyen sus libros numerosas referencias en relacin con tests y medidas para la evaluacin de programas
de educacin.
(50) Para los temas relacionados con muestreo y sondeos en ingls, Vid. Singleton et al. (1988)
102
SEGUNDA PARTE
Los criterios utilizados para la seleccin de las variables-indicadores y

de los procedimientos de recogida de datos deben incluir, entre otros, a los
siguientes:
Validez aparente: en qu medida la variable seleccionada tiene relacin con el objetivo de la poltica.
Fiabilidad: en qu medida los datos obtenidos no dependen del instrumento utilizado para su recoleccin.
Globalidad: en qu medida el conjunto de las variables seleccionadas
abarca la totalidad de los objetivos relevantes.
Control: en qu medida la variable seleccionada depende realmente de
la intervencin de la administracin o depende en cambio de factores
que sta no controla o que slo controla parcialmente.
Coste: en qu medida los costes necesarios para recoger la informacin son razonables.
Esta ltima cuestin nos lleva a plantear las ventajas e inconvenientes de
distintas fuentes de datos.
b. Fuentes de Datos
Ciertamente, las variables utilizadas dependen, asimismo, de la informacin disponible y de la capacidad del evaluador para crear los datos necesarios
cuando stos no existan. Las fuentes de datos y las tcnicas de investigacin
para su recogida son las tradicionales de las Ciencias Sociales: entrevistas,
cuestionarios, tests (de conocimientos, habilidades, actitudes, valores, preferencias), archivos, documentos producidos a raz del programa, estadsticas
oficiales, observaciones, evaluaciones de expertos.
De esta lista, creeemos importante destacar: las entrevistas personales
y cuestionarios, el anlisis de archivos y ficheros administrativos, y la observacin.
1. Entrevistas y Cuestionarios
Las entrevistas personales suelen ser el medio ms utilizado para obtener
informacin de los principales actores del programa: stos son, sin duda, los
directores y el personal del programa, pero tambin aquellas personas que
constituyen el entorno poltico del programa (responsables polticos,
miembros de organizaciones ciudadanas con un inters en el programa,
103
representantes de otras Administraciones) e incluso los mismos participantesbeneficiarios.

El objeto de las entrevistas es, a travs de una conversacin cara a cara,
ms o menos estructurada, obtener informacin que nicamente la persona entrevistada, por su posicin en el programa, podra proporcionar.
Los cuestionarios preestablecidos permiten recoger informacin sobre
los participantes en el programa: sus caractersticas personales, lo que hacen en el programa, sus actitudes y comportamientos, su nivel de satisfaccin. Los tests, por su parte, sirven al objeto de proporcionar datos sobre lo
que los participantes en programas de educacin y/o formacin aprendieron
en stos.
Los estudios de opinin permiten averiguar el grado de conocimiento, por
parte de la poblacin en general, de los programas pblicos y su actitud en relacin con stos. Asimismo constituyen una herramienta de marketing social
con la que se puede determinar el grado en que se alcanzaron objetivos polticos a travs de la oferta de programas especficos.
2. Archivos y Ficheros Administrativos

Los datos recogidos por la misma Administracin que presta el programa son una importante fuente de informacin para su evaluacin. Para tener
acceso a una vivienda de promocin pblica, optar a un programa de desintoxicacin etlica, o participar en un programa de empleo pblico, es preciso
llenar extensos formularios en los que se piden toda clase de datos personales. Con la generalizacin de los ordenadores, bases de datos y sistemas de
gestin informatizados, cada da existen mayores posibilidades de utilizar
esta informacin.
El recurso a los datos de la misma Administracin presenta algunas ventajas con respecto a otras fuentes de informacin.
En primer lugar, el investigador no es el que recoge los datos, con lo que,
adems de ahorrarse tiempo y dinero, evita que se produzcan cambios de
comportamiento en las personas observadas. (Weiss, 1972:54). En este sentido, se afirma que este mtodo no es reactivo, puesto que, cuando una poblacin objeto de estudio sabe que est siendo observada o adivina el objeto de la
investigacin, puede alterar su comportamiento. Adems, las personas encargadas de recoger los datos no saben para qu se van a utilizar (Buttolph Johnson y Joslyn, 1986:214).
En segundo lugar, los archivos administrativos acostumbran a ser contnuos
con lo que proporcionan series temporales de datos, a veces, para perodos de
104
SEGUNDA PARTE
tiempo extensos, permitiendo, por tanto, anlisis del tipo antes-despus de la intervencin (51).
En tercer lugar, los archivos administrativos permiten al investigador ampliar la muestra de las observaciones, por encima de lo que sera posible a travs de entrevistas, cuestionarios o la observacin directa. El nmero de observaciones cubiertas por el mtodo de recogida de datos es una consideracin
importante. Adems, las implicaciones econmicas pueden ser considerables.
Tanto las entrevistas a gran escala, como la observacin directa, son mtodos
caros en tiempo y en dinero y los tipos de cuestiones que se pueden preguntar
y los comportamientos que es posible observar son limitados.
Los archivos y ficheros administrativos presentan asimismo, algunos inconvenientes.
En primer lugar, puede que sean incompletos: porque se haya perdido parte de la informacin a lo largo del tiempo, los archivos no se mantengan al da
por falta de personal, o los criterios aplicados hayan conducido a no recoger
los datos que requiere la evaluacin. (Weiss, 1972:54).
En segundo lugar, podra ocurrir, como sugieren Buttolph Johnson y
Joslyn, que los funcionarios encargados de la recogida de datos, consciente o
inconscientemente, falseen la informacin al conservar, nicamente, aquellos
datos o documentos que sean menos problemticos o conflictivos para sus superiores (1986:216).
Finalmente, como es obvio, es posible que determinadas Administraciones
simplemente impidan el acceso a sus archivos, dado el carcter amenazante
que tiene toda investigacin para personas concretas con intereses especficos.
En cualquier caso, se puede afirmar que las ventajas superan los inconvenientes, especialmente cuando existen series estadsticas completas, creadas y
puestas al da por las oficinas de la Administracin (52).
3. Observacin
Como el anlisis de archivos y ficheros administrativos, la observacin no
implica preguntar nada a nadie, con lo que se evitan los efectos que pueden
producir las entrevistas personales, los cuestionarios o los tests en la poblacin objeto de estudio. El carcter reactivo o no reactivo de este mtodo depende, sin embargo, de la forma en que se lleve a cabo. Buttolph Johnson y
(51) La evaluacin de una intervencin con el objeto de reducir el nmero de accidentes por carretera
recurrira a este tipo de datos, que recoge de forma contina la Direccin General de Trfico.
(52) Pinsese, por ejemplo, en el INSS espaol. Este organismo posee datos, no slo sobre pagos por
concepto de seguridad social para cada trabajador inscrito, sino sobre las caractersticas personales de stos,
de la industria que les ha ofrecido el empleo, sobre el tiempo que cada trabajador ha permanecido en una
misma empresa, sobre el nivel de salarios, categoras profesionales...
105
Joslyn (1986:223) distinguen tres criterios a partir de los cuales se pueden clasificar diferentes formas de observacin:
En primer lugar, la observacin puede ser directa o indirecta. En este ltimo
caso no se observa el comportamiento sino sus trazas, a menudo fsicas.
En segundo lugar, la observacin se puede producir abiertamente, de
forma que los que estn siendo observados conozcan la presencia del
investigador, o de forma encubierta.
En tercer lugar, el investigador puede hacer una observacin selectiva,
buscando por tanto las incidencias de comportamientos especficos, o
por el contrario, una observacin no estructurada en la que todos los
comportamientos son considerados importantes. Lgicamente, la observacin directa y abierta puede alterar el comportamiento de los observados, an en el caso de que el investigador intente ser aceptado como parte integrante del grupo a travs de su participacin activa (53).
La observacin encubierta, por su parte, puede suscitar cuestiones de
tipo tico, especialmente cuando no hayan dado su consentimiento las
personas observadas. Mientras que con la observacin no estructurada,
puede suceder que el investigador perciba los comportamientos de forma selectiva, ignorando por tanto, una parte importante de la realidad.
La principal ventaja de la observacin radica en su carcter no obstructivo
y natural. Por contra sus principales limitaciones tienen que ver: primero, con
que slo permite examinar un nmero reducido de casos, y segundo, con la dificultad de controlar la fiabilidad de las observaciones en la medida que distintos observadores podran tener percepciones distintas.
3. DESCRIPCION DEL PROGRAMA:

EVALUACION DE LA IMPLEMENTACION
Una de las principales crticas que recibieron las primeras evaluaciones clsicas por objetivos consista en afirmar que stas se limitaban a examinar los
efectos de los programas sin especificar de forma clara en qu consista la in(53) Un experimento interesante, en este sentido, fue el llamado Kansas City Preventive Patrol Experiment.
Una parte del experimento consista en asignar a cada coche patrulla de la Polica Local un observador
con la misin de observar, de forma general, la actividad de la Polica al patrullar por la ciudad, y de forma
ms especifica, el tiempo de respuesta policial y lo que hace la polica cuando entra en contacto con un ciudadano que ha sufrido una agresin.
En principio se tema que los policas cambiaran radicalmente su comportamiento, cuando no rechazaran de forma absoluta la presencia de un observador-inspector. En realidad, sin embargo, lo que ocurri es
que se produca la cooptacin por la polica de una buena parte de los observadores. Estos tendan a convertirse y a adoptar las perspectivas de los policas, con lo que su observacin perda fiabilidad (Kelling et
al., 1974).
106
SEGUNDA PARTE
tervencin, y por tanto, a qu eran atribuibles los resultados obtenidos, de forma que se perda el proceso de aprendizaje que poda generar la evaluacin.
A ello hay que aadir la frustracin que motivaron los pobres resultados
mostrados por los programas sociales de la Great Society norteamericana que,
de alguna manera, indicaban la dificultad de organizar programas que tengan una
incidencia clara y detectable en el campo social (Rossi y Wright, 1984:58) (54).
De ah que la evaluacin ample su mbito a cuestiones relacionadas con la
implementacin de los programas, y que se sugiera por tanto, la necesidad de especificar claramente todos los componentes de los programas, con el objeto de entender cmo operan y por qu producen o no producen los resultados esperados.
A. INPUTS, ACTIVIDADES y ORGANIZACION DEL PROGRAMA

De acuerdo con la nocin adoptada de variables input y variables operacionales, cabe distinguir entre inputs y actividades.
Los inputs incluyen los objetivos del programa, la duracin prevista, el
rea geogrfica que comprende, los recursos personales y financieros con que
cuenta, los mtodos utilizados, y por supuesto, las personas servidas.
Respecto a las personas que participan en el programa es importante obtener informacin sobre sus caractersticas socio-demogrficas (edad, sexo, estatus socioeconmico, nivel de estudios, lugar de residencia) y sobre aquellas variables que el
programa pretende cambiar. Por ejemplo, en el caso de un programa de formacin
profesional (actitud en relacin con el trabajo, aspiraciones, auto-confianza, etc.).
La descripcin de las actividades del programa se refiere a las operaciones que
son necesarias para llevar a la prctica el programa, y en general, al proceso que requiere la transformacin de los inputs del programa en los resultados buscados.
Finalmente, tambin puede ser importante recoger informacin sobre la organizacin que desarrolla el programa (sobre su estructura, direccin poltica, filosofa, recursos) y sobre aquellos hechos que ocurren en el entorno inmediato del
programa y que pueden afectar a ste, como por ejemplo, un cambio en la correlacin de fuerzas con motivo de unas elecciones, la negativa a una subvencin
econmica, o la dimisin de algn cargo importante.
B. EVALUACION DE LA IMPLEMENTACION
Los trminos implementacin y puesta en prctica evocan necesariamente las personas y los procesos necesarios para hacer que una propuesta
(54) La conclusin de Rossi y Wright es, en este sentido, muy explicativa: En retrospectiva, un resumen razonable de los resultados (se refiere a las evaluaciones de programas sociales hasta mediados de los
aos setenta) es que el valor esperado del efecto de cualquier programa est cercano a cero,
107
programtica se convierta en realidad. Como afirma Subirats, (1988:93) durante muchos aos, los cientficos polticos se han ocupado de los procesos de
formulacin de las polticas, dejando a los administradores los detalles prcticos. A menudo, sin embargo, an ms difcil que planificar y programar actividades, es producir los servicios y hacer que lleguen, de forma efectiva, a
las personas adecuadas.
Por evaluacin de la implementacin, nos referimos, de acuerdo con la tipologa adoptada, al estudio de dos cuestiones:
1. Hasta qu punto el programa est alcanzando la poblacin o el rea a
los que se dirige;
2. En qu medida la organizacin del programa y su contenido responden a su diseo inicial.
a. Poblacin Servida
La supervisin y el control de las caractersticas de los participantes en el
programa permite detectar problemas de cobertura, de sesgo en la poblacin
servida o de abandonos entre los participantes.
1. Grado de Cobertura
El grado de cobertura se refiere a la medida en que se est produciendo la
participacin real de aquellas personas que se pretenda beneficiar con la poltica emprendida. En este sentido, puede existir un problema de sobreinclusin,
es decir, existe un nmero excesivo de participantes en el programa que no tenan necesidad de l, o al contrario, un problema de subinclusin, y por tanto,
no hay bastantes individuos que teniendo necesidad del programa, participan
en l. (Rossi y Freeman, 1985: 149)
Generalmente, la normativa que autoriza cada programa define la poblacin a la que ste va dirigido y establece una serie de reglas conforme a las
cuales el personal de la Administracin decide sobre la inclusin o exclusin
de personas concretas. Si esta definicin es demasiado amplia, se produce de
hecho una sobreestimacin de la necesidad que se traduce en un uso ineficaz
de los recursos al incluir a personas que en realidad no necesitan el programa.
Por el contrario, si aquella definicin es demasiado restrictiva, personas que
de hecho necesitan el programa, no llegan a reunir los requisitos exigidos ni a
poder participar en l.
108
SEGUNDA PARTE
El problema tiene una vertiente tcnica importante. De una parte, la definicin de la poblacin objeto del programa tiene que basarse en caractersticas
fciles de observar y que sea posible medir. Las definiciones muy complejas o
que requieren una informacin muy detallada son difciles de aplicar y tienden
a limitar el nmero de personas eventualmente aceptadas. De otra parte, existe
una dificultad objetiva a la hora de especificar, con mayor o menor precisin,
el nmero de personas que tienen derecho a beneficiarse de un programa.
2. Sesgo en la Poblacin Servida

Los problemas de sesgo en la poblacin servida se refieren al grado en
que distintos subgrupos de la poblacin-objetivo participan diferentemente en
las actividades del programa. (Rossi y Freeman, 1985: 147).
Las causas de la sesgadez a favor de un determinado grupo pueden ser variadas. Cuando la participacin es voluntaria, puede ocurrir que personas con
determinadas caractersticas (por ejemplo, estudiantes, en el caso de programas de introduccin a las nuevas tecnologas) tengan una participacin ms
activa. El personal del programa, dado su inters por hacerlo funcionar y obtener unos resultados positivos, puede asimismo favorecer la participacin de
aquellas personas con ms probabilidades de xito. El sesgo en la poblacin
servida tambin puede ser debido a problemas de acceso o transporte por parte
de la poblacin que habita lejos del lugar donde se desarrolla el programa
(Prottas, 1981 :529).
La medida en que los participantes en un programa estn sobre/sub-representados por grupos de edad, sexo, condicin econmico-social, nivel de estudios, lugar de residencia u otras caractersticas, se puede llevar a cabo a partir
del anlisis de los datos que los programas mantienen en sus archivos administrativos y, en su caso, comparando las caractersticas de los participantes
con las de aqullos que reuniendo los requisitos para participar en el programa
no lo hicieron.
3. Abandonos
La tasa de abandonos es un indicador importante ya que puede dar una
idea tanto de la insatisfaccin con el programa como de los problemas con los
que se puede encontrar una parte de la poblacin a la hora de participar en
aqul. Los mismos archivos de la Administracin tendran que permitir determinar si existen algunas caractersticas comunes entre las personas que dejan
el programa. (Rossi y Freeman, 1985: 156).
109
b. Problemas Generados por la Propia Organizacin

La descripcin de las actividades que integran un programa permite detectar impedimentos de tipo organizacional que pueden limitar el acceso de grupos de poblacin a un programa, as como precisar los elementos que debe incluir para que alcance la totalidad de sus objetivos.
La forma en que se organiza administrativamente un programa, y ms
concretamente, el proceso por el que ha de pasar todo individuo desde que
solicita el servicio hasta que existe una decisin sobre su demanda y en su
caso recibe la prestacin, pueden incidir directamente en los niveles de participacin.
Como afirma Prottas, a menudo, cuando se pregunta a personas que
podran obtener servicios pblicos por qu no iniciaron la tramitacin administrativa que les llevara a obtenerlos, la respuesta es no vale la pena. Es evidente que cuando un individuo solicita participar en un programa de la Administracin tiene que soportar una serie de costes importantes
(tiempo de espera, viajes, esfuerzo), adems de la carga psicolgica y social que puede representar recibir algunos beneficios sociales (Prottas,
1981 :528).
l. Problemas de Informacin
El conocimiento y la comprensin, tanto de la oferta pblica (qu programas existen, cules son sus propsitos y caractersticas), como del procedimiento que hay que seguir para tener acceso a aqulla (qu pasos hay
que hacer, qu requisitos hay que reunir) puede constituir un primer problema para la poblacin que tericamente ha de beneficiarse del programa. El
control y la supervisin del programa, en este caso, se refiere al tipo de informacin que, sobre los programas, se ofrece a la poblacin a la que van
dirigidos. Esta puede ser insuficiente, en la medida que no alcanza sus objetivos; y puede ser incorrecta, porque excede la capacidad de las personas
que la reciben o porque, como sugiere Prottas, puede ser manipulada por el
personal del programa con el objeto de limitar las demandas sobre los recursos disponibles a unos niveles aceptables. As, el personal del programa
puede hacer ver a aqullos que lo solicitan que la resolucin de su caso
puede tardar mucho tiempo (sin especificar cuanto) o que tendr muchos
problemas. Puede tambin influir en su comportamiento aumentando los
costes psicolgicos o adoptando un trato paternal y condescendiente (Prottas, 1981 :531).
110
SEGUNDA PARTE
2. Problemas de Tiempo
Existen dos factores que influyen claramente en el problema del tiempo:
la falta de capacidad de respuesta y la complejidad excesiva del procedimiento. Ambos estan relacionados en la medida que la complejidad del procedimiento se traduce en un menor nmero de casos que se pueden atender en un
mismo perodo de tiempo (Prottas, 1981 :528). AS, por ejemplo, en el caso de
las Policas Locales, dada una capacidad limitada de respuesta a las demandas
de servicio, la forma en que aqullas se procesan puede ser la causa de que
exista menor disponibilidad y de que por tanto aumenten los tiempos de respuesta. Mientras que una gestin eficiente de los recursos permite el ajuste del
servicio a los perodos de exceso de demandas.
3. Problemas de Desplazamientos
Un tercer factor que tambin afecta a la participacin en un determinado
servicio pblico son los viajes y desplazamientos hasta el lugar donde aqul se
administra. La necesidad de desplazarse implica, adems, otro tipo de dificultades para grupos de poblacin con problemas especficos, como puedan ser
los deficientes fsicos o las personas de edad avanzada. Desde este punto de
vista, la evaluacin de la implementacin implica valorar la oportunidad de la
forma en que se organiza el programa, y la medida en que su sistema de distribucin facilita el acceso de aquellas personas que lo necesitan.
c. Servicios Prestados
El contenido del programa puede ser algo tan sencillo de expresar como,
por ejemplo, la prohibicin de circular por el casco urbano de una ciudad sin
el cinturn de seguridad. O algo tan complejo, como por ejemplo, el contenido de los programas de renta mnima de insercin donde se garantiza un determinado nivel de renta a las familias que se encuentran en unas determinadas condiciones socio-econmicas y, adems, esto se combina con programas
de reinsercin profesional que pueden adoptar mltiples formas y ofrecer distintos niveles de beneficios.
La especificacin de los servicios prestados en cada caso concreto es importante para despus poder explicar los efectos del programa en funcin de
aqullos. Siguiendo con el mismo ejemplo, si un programa persigue la reinsercin profesional de personas que han estado paradas durante un perodo extenso de tiempo, pero no incluye entre sus componentes el aprendizaje de una
111
nueva profesin, ello puede ser la causa de que los participantes, aun encontrando trabajo, no consigan iniciar una nueva carrera profesional y por tanto
acceder a un trabajo mejor que el que tenan antes de perder su empleo.
Otros factores que pueden tener una incidencia directa sobre los resultados
de un programa son las calificaciones y experiencia del personal, la forma en
que se establece la interaccin entre profesionales y participantes, y la calidad
de los recursos materiales utilizados. Por ejemplo, una de las conclusiones del
trabajo de Katzman (1971) sobre la economa poltica de las escuelas de Boston fue que los aos de educacin formal recibida por los maestros no tenan
tanta importancia como los aos de experiencia profesional. Los estudios de la
interaccin entre prestador y receptor del servicio (profesor y estudiante, mdico y paciente o polica y ciudadano) son numerosos. Wasson et al. (1984),
por ejemplo, demuestran como la continuidad en el tratamiento por un mismo
mdico de un paciente influye en la calidad de la atencin recibida y en el grado de utilizacin por parte del paciente de los servicios mdicos (55).
En resumen pues, la evaluacin del proceso de implementacin de los
programas produce informacin que la evaluacin de impacto no precisa pero que, sin embargo, aparece como especialmente importante para que del
proceso de evaluacin deriven cambios en el programa tanto a nivel operacional, como a nivel de los componentes y actividades que constituyen la intervencin.
4. MEDIDA DE RESULTADOS: EVALUACION DE IMPACTO

A. INTRODUCCION
Las bases conceptuales de la evaluacin de impacto fueron establecidas
por Campbell y Stanley en su trabajo publicado originalmente en 1966 sobre
diseos de investigacin para la evaluacion de programas educativos (Campbell y Stanley, 1973). Para estos autores, la evaluacin de programas era esencialmente la evaluacin de los efectos netos de la intervencin pblica y la
principal cuestin era cmo especificar las condiciones que permitiesen calcular estimaciones vlidas de estos efectos netos.
Basndose en el paradigma experimental-cientfico desarrollado por la
biologa y la psicologa, Campbell y Stanley propusieron un nuevo vocabulario para la discusin de las cuestiones de validez, y para la clasificacin de
los diseos de investigacin aplicables en la evaluacin de los programas
pblicos.
(55) A este tema nos referimos tambin en el estudio de caso sobre las Policas Locales:
112
SEGUNDA PARTE
B. LA CUESTION DE LA VALIDEZ
Las dos cuestiones esenciales en la evaluacin del impacto de un programa consisten en determinar:
1. Hasta qu punto los efectos del programa son realmente debidos al
programa y no a otros factores.
2. Hasta qu punto los resultados de un programa concreto pueden ser
generalizados a otras situaciones.
La primera es una cuestin de validez interna, mientras que la segunda es
una cuestin de validez externa. En general se afirma que las cuestiones de
validez interna son ms importantes que las de validez externa, dado que hasta
que no se puede afirmar que los efectos observados se pueden atribuir al programa, no tiene sentido generalizarlo a otras situaciones. Algunos autores, sin
embargo, han defendido lo contrario en base a que lo realmente importante
son las inferencias que se pueden sacar de cada caso (Cronbach, 1980:7).
a. Causalidad y Validez
La primera de estas cuestiones implica plantear la evaluacin del impacto

de los programas como un problema de investigacin causal (Langbein,
1980:32). Se trata, por tanto, de examinar si existe una relacin de causalidad
entre la introduccin de un programa (variable independiente), y los cambios
experimentados por la variable que, en funcin de los objetivos del programa,
se adopta como indicador de sus resultados (variable dependiente).
Para poder afirmar que existe una relacin de causalidad es preciso controlar la influencia de factores externos al programa que pudieran explicar por
s solos las variaciones observadas.
En el caso de un programa de formacin ocupacional parece lgico pensar
que las personas que deciden participar en l de forma voluntaria tienen un nivel de motivacin ms elevado que aqullos que no toman esta decisin. Al
mismo tiempo, un elevado grado de motivacin puede influir, por s solo, en
que una persona consiga trabajo. Dado que el nivel de motivacin podra actuar como una variable esprea, sera preciso comparar, en este caso, la situacin laboral de personas que se beneficiaron del programa con la de personas
que, no pudiendo participar en l (por falta de recursos de la Administracin
prestadora del servicio, por ejemplo) tenan el mismo nivel de motivacin. De
esta forma, se conseguira examinar la relacin entre participacin en el programa y situacin laboral cuando la motivacin no vara.
113
Otros factores externos podran conducir a una subestimacin o sobreestimacin del impacto del programa evaluado. As, en la evaluacin del programa de formacin al que nos hemos venido refiriendo, la situacin relativamente ms grave y de fuerte desempleo que pudiera sufrir el rea geogrfica
donde estos programas suelen desarrollarse podra efectivamente resultar en
una subestimacin del impacto de la intervencin. En sentido contrario, la incorporacin en el programa de personas desempleadas con un perfil relativamente bueno para encontrar trabajo, podra producir el efecto contrario de sobreestimar el impacto del programa. (Langbein, 1980:38)
En resumen pues, la validez interna de la evaluacin depende de la identificacin y control de todas las variables externas que pueden influir en la relacin
causal. Esta es la cuestin que ha ocupado, de forma central, a la literatura que
adopta el paradigma racional cientfico-clsico de la evaluacin por objetivos.
b. Amenazas a la Validez Interna

En relacin con problemas de validez interna, Campbell y Stanley
(1973: 17) describieron una serie de factores externos, llamados amenazas a la
validez interna, cuyos efectos se pueden confundir con los de los programas
evaluados.
Con el objeto de ilustrar algunas de las principales amenazas a la validez
interna de las evaluaciones, utilizaremos como ejemplo un programa de normalizacin del cataln para amas de casa que, deseen aprender a hablar y escribir correctamente la lengua propia de la nacionalidad donde residen. Supongamos que una vez finalizado el programa, las participantes aceptan
responder a un test sobre las materias impartidas durante el curso. El diseo
utilizado en esta evaluacin podra ser descrito con el siguiente diagrama:
XO
donde X representa el programa
y O representa la observacin (56).
1. Historia
Los resultados obtenidos en esta primera evaluacin podran ser debidos al programa, pero tambin a hechos o experiencias vividos por las
(56) Esta notacin es la utilizada por toda la literatura desde que fuera adoptada por Campbell y Stanley en 1966. Vid. por ejemplo, ShorteJl y Richardson, (1978: 39).
114
SEGUNDA PARTE
participantes durante el intervalo que va desde el comienzo del programa

hasta su terminacin, como por ejemplo, un programa especial de televisin o las lecciones gratuitas que algunas de ellas obtuvieron de sus hijos
en edad escolar.
Historia es pues una amenaza a la validez interna y se refiere a los hechos
externos que suceden en el entorno del programa y que puedan tener una influencia en aquellas variables que indican los resultados del programa.
2. Maduracin
Los resultados en esta primera evaluacin tambin podran ser debidos
a cambios subjetivos experimentados por las mismas participantes durante
el desarrollo del programa.
Maduracin, a diferencia de Historia que tiene que ver con hechos
externos al individuo, se refiere a procesos que ocurren en la misma persona (57).
3. Test
Supongamos que se hubiera suministrado un test con anterioridad al inicio
del programa para determinar el nivel de conocimientos de las participantes.
El diseo utilizado en esta evaluacin podra ser representado grficamente de
la siguiente manera:
Los resultados del segundo test podran ser debidos, no tanto al efecto del
programa, como al hecho de haber hecho un primer test. En este sentido, el
pretest podra haber transferido algunos conocimientos de forma que las participantes habran obtenido mejores resultados en el segundo test, independientemente del programa. El efecto del test no opera siempre en el sentido de
afirmar los efectos del programa: podra ocurrir que la realizacin de un segundo test produjera una ansiedad tal en las participantes que las llevara a obtener peores resultados que en el primer test (58).
(57) Weiss se refiere al cambio experimentado a cierta edad por algunos jvenes delincuentes y que
les lleva a optar por una vida ms estable, lo que indudablemente podra mejorar los resultados de un programa de rehabilitacin y prevencin de delitos (Weiss, 1972: 62).
(58) Campbell y Stanley (1973: 24) ponen un ejemplo que ilustra muy bien el efecto reactivo del primer test. En un experimento sobre terapia para el control del peso, dicen, el peso inicial puede ser un estmulo suficiente para el adelgazamiento, an sin tratamiento curativo alguno.
115
4. Instrumentacin
Los resultados de una evaluacin que utiliza un diseo como el descrito de
pretest-postest pueden, en ocasiones, ser cuestionados en base a cambios en
los instrumentos de medicin de resultados: esto es, si los cuestionarios suministrados antes y despus del programa no son idnticos, si los entrevistadores
u observadores no son los mismos, o si las preguntas se hicieron de forma distinta. En este sentido, se afirma que los instrumentos de medicin deben ser
fiables y vlidos.
5. Regresin Estadstica
Lgicamente, las personas seleccionadas para diferentes niveles de cataln lo seran en funcin de sus resultados en el pretest. Para aquellos casos de resultados extremos (niveles muy bajos o muy altos de conocimientos), al hacer una nueva prueba, sus resultados tenderan a acercarse a la
media, independientemente de los efectos del programa. De alguna forma,
el error negativo o positivo que experimentaron unos y otros en el primer
test no se mantendra en el segundo, por lo que cabra esperar que los primeros obtuvieran mejores resultados, y que los segundos obtuvieran peores
resultados en promedio.
6. Seleccin
Con el objeto de evitar los problemas asociados con el test, y al mismo
tiempo las amenazas que representan la historia y la maduracin, se podra
eliminar el test y aadir un grupo de comparacin, de forma que el diseo de
la investigacin quedara de la siguiente forma:
Al aadir un grupo de comparacin, sin embargo, la seleccin diferenciada de las personas que integraran este grupo podra ser una importante fuente
de invalidez. En la medida que los grupos no fueran equivalentes, los resultados podran ser debidos a diferencias en la edad, en el nivel de estudios, el1 la
extraccin social. .. , que nada tendran que ver con el hecho de recibir o no recibir los cursos.
116
SEGUNDA PARTE
7. Mortalidad
Las diferencias entre los dos grupos tambin podran ser debidas a una diferente proporcin de casos perdidos para los dos grupos. En este sentido, podra ocurrir que las personas que peores resultados hubiesen obtenido en el
test final abandonaran los cursos antes de su finalizacin, o que algunas de las
personas del grupo de comparacin decidiesen no cooperar en el momento de
realizar el test.
c. Amenazas a la Validez Externa
La segunda de las cuestiones planteadas en relacin con la evaluacin del

impacto de un programa consiste en determinar hasta qu punto los resultados de
un programa concreto pueden ser generalizados a otras situaciones. Al igual que
hicieron con las amenazas a la evaluacin interna, Campbell y Stanley (1973: 17)
describieron una serie de factores externos que amenazan la posibilidad de generalizar los resultados de un programa a otros casos distintos del analizado.
l. Interaccin entre seleccin y programa

Esta amenaza se refiere a la posibilidad de que los resultados solamente
sean aplicables a la poblacin de la que fueron seleccionados el grupo que recibi el programa y, en su caso, el grupo de comparacin. Esto es, podra ocurrir que lo que funciona en el caso estudiado no funcione con otros grupos debido a caractersticas poblacionales distintas.
2. Interaccin entre test y programa

Este tipo de interaccin se refiere a la posibilidad que los resultados de un
programa solamente puedan ser generalizados a otros grupos cuando tambin se
da un primer test. Ello ocurre, como en el caso de la terapia para el control de
peso, cuando el pretest tiene una influencia muy importante en los participantes.
3. Situacin
Esta amenaza se refiere a mltiples factores que pueden darse en el caso
concreto estudiado y que pueden influir directamente en los resultados del
117
programa. Podra ser, por ejemplo, que los resultados se den por razn de un
profesor excepcionalmente bueno, porque las participantes saban que estaban
siendo objeto de una especial atencin y contribuyendo por tanto a probar la
eficacia de un nuevo mtodo, o por razn del lugar o momento histrico en el
que se realiza el programa.
C. DISEOS DE INVESTIGACION
a. Diseos Experimentales
Tericamente, el diseo de investigacin ms potente que se puede utilizar
al evaluar el impacto de un programa es el diseo experimental (Bingham y
Felbinger, 1989: 15).
Este diseo utiliza grupos experimentales y grupos de control. De la poblacin objeto del programa, se seleccionan individuos (clases, barrios, ciudades) y se asignan de forma aleatoria al grupo que obtiene el programa -grupo
experimental- y a un grupo de control que no recibe el mismo tratamiento.
Esto no significa que no reciba tratamiento alguno ya que siempre se intenta
que el grupo de control reciba algn servicio alternativo para evitar el efecto
Hawthorne, esto es, que se produzca un resultado positivo en el grupo experimental debido, meramente, a la mayor atencin que recibe.
Una vez establecidos los grupos experimentales y de control, se toman
medidas de las variables ms relevantes, antes de empezar el programa y una
vez se considera terminado; y se entiende que el programa fue un xito si el
grupo experimental obtiene mejores resultados que el grupo de control.
El poder de este modelo radica en la asignacin aleatoria de los individuos a
cada uno de los dos grupos. Esto garantiza que el tratamiento o el programa al que
es asignado cada individuo no tenga relacin alguna con sus caractersticas personales de forma que, si el nmero de sujetos estudiados es bastante grande, aumentan las probabilidades que las caractersticas de todos ellos sean aproximadamente
las mismas. Al conseguir una comparabilidad cuasiperfecta, el diseo experimental permite eliminar la mayor parte de las amenazas a la validez interna (historia,
maduracin, seleccin...) y, por tanto, la posibilidad de que efectos externos al
programa se confundan con los de ste. (Rossi y Freeman, 1985:236) (59).
Mientras que la forma en que se distribuyen las unidades de anlisis a cada grupo --experimental y de control- afecta a la validez interna, la forma
(59) Un buen instrumento para medir si una persona conduce bajo los efectos del alcohol es el anlisis
de sangre puesto que la probabilidad de error es mnima y de lo que se trata es de determinar el nivel de alcohol en su sangre. En cambio, no parece una medida ni fiable ni vlida, la opinin subjetiva de los agentes
de polica (Rossi y Freeman, 1985: 201).
118
SEGUNDA PARTE
en que se seleccionan para su estudio afecta la validez externa. Unicamente,

una muestra aleatoria asegura que todos los individuos de una misma poblacin tengan la misma oportunidad de ser seleccionados y por tanto que los resultados puedan ser generalizados a toda la poblacin. (Langbein 1980:65).
La representacin simblica del diseo experimental descrito sera la siguiente:
Diseo de pretest-postest con grupos de control
donde A representa asignacin aleatoria

Este diseo permitira controlar todas las amenazas a la validez interna,
excepto la posibilidad que los dos grupos experimentaran distintos niveles de
abandonos. Desde la perspectiva de la validez externa, existira la posibilidad
de interaccin entre el primer test y el programa, que podra solucionarse suprimiendo el pretest o aadiendo dos grupos ms, uno que recibira el programa y el otro no.
Diseo de postest
con grupo de control
A
Diseo de cuatro grupos

de Solomon (60)
A
A
A
A
b. Diseos Cuasiexperimentales
En la prctica, la implementacin de un verdadero experimento resulta difcil, tanto por la forma en que se administran los programas y que raramente
tiene en cuenta su evaluacin, como porque la asignacin aleatoria de personas a grupos experimentales y de control puede par~cer injusta o hasta contraproducente, o simplemente, porque el evaluador entra en contacto con el programa con posterioridad a su puesta en marcha.
(60) Para una descripcin ms detallada de estos diseos, Vid. por ejemplo, Bingham y Felbinger
(1989: 17-57).
119
Existen diseos, sin embargo, que no requieren la distribucin aleatoria de

personas a distintos grupos, y que mantienen algunas de las ventajas de los experimentos. A diferencia de stos, que penniten controlar la totalidad de las
amenazas a la validez interna, los cuasiexperimentos dejan una o varias de stas incontroladas. A pesar de ello, desde que Campbell y Stanley publicaran
su libro en 1966, los cuasiexperimentos han sido propuestos como diseos de
investigacin satisfactorios, siempre que se tenga en cuenta los posibles errores de interpretacin a los que pudieran dar lugar.
1. Series Temporales con Grupos de Comparacin

Este diseo compara los cambios que se producen a lo largo del tiempo en
la variable que refleja los resultados del programa, para dos grupos: uno que
recibe el programa y otro que no. (Langbein, 1980:89).
Esto supone tomar medidas de aquella variable peridicamente, antes de que
el programa empiece y despus que ste tennine, con el objeto de obervar la tendencia que siguen los valores que expresan los resultados de programa, y detrerminar si el programa ha producido un cambio significativo en esta tendencia.
La representacin simblica de este diseo sera la siguiente:
0 1 O2 0 3 0 4 X 05 0 6 0 7 0 8
0 1 O2 0 3 0 4 05 0 6 0 7 0 8
La figura 4 ilustra de fonna grfica la idea del diseo de series temporales
con grupos de comparacin, para un caso en el que existe un claro impacto del
programa.
Figura 4: Diseo de series temporales con grupo de comparacin

Fuente: Langbein, (1980:89)
y
Tratados
No tratados
-Programa
120
Tiempo
SEGUNDA PARTE
Al no existir distribucin aleatoria previa de los casos a los grupos que reciben el programa y que hacen de controles, la validez de este diseo depende
en gran medida de si el grupo de control adoptado se parece, en todos los aspectos relevantes, al grupo que recibe el programa. Si los dos grupos son efectivamente comparables, la evaluacin ser internamente vlida.
2. Series Temporales
Al igual que el diseo de las series temporales con grupos de comparacin, este diseo se basa en el anlisis de las tendencias en las medidas de impacto, antes y despus de una intervencin. En realidad, se trata del mismo diseo sin un grupo de comparacin. El control en este caso es el mismo grupo
que recibe el programa, antes que ste se produzca. (Langbein, 1980: 102)
Este es un diseo adecuado cuando el evaluador dispone de series temporales de datos sobre los valores del indicador de resultados del programa, pero
no puede construir un grupo de control equivalente, o no dispone de datos
concurrentes, anteriores y posteriores al programa para el grupo de control.
Al no existir un grupo de control, sin embargo, resulta ms difcil determinar si los cambios observados en las series temporales son debidos al programa o a factores externos no controlados. En este sentido, el cambio de tendencia observado podra ser debido a un hecho que ocurriera al mismo tiempo
que se introduca el programa (61).
3. Diseo de Grupos de Comparacin No Equivalentes

Este diseo es el nico posible cuando no existen series temporales de datos sobre el grupo que recibe el programa y sobre un grupo de comparacin.
Consiste en comparar las diferencias entre los dos grupos con respecto a la variable que mide los efectos sobre los que el programa pretende tener un impacto, antes y despus del programa. (Langbein, 1980:98)
(61) Una variacin de este mismo diseo utiliza parte de las medidas de impacto que constituyen la
serie de datos como controles.
Por ejemplo, en la evaluacin de los efectos de la legislacin que prohiba las happy hours (esto es,
la oferta de bebidas alcohlicas a precios reducidos, generalmente a ltima hora de la tarde, despus de la
jornada laboral) en los estados norteamericanos de Indiana y Massachusetts, Maxfield y Pierce (1986) examinaron de forma separada el nmero de accidentes ocurridos despus de la intervencin, durante las horas
y das de la semana en que las happy hours eran ms comunes (de las 4 horas de la tarde a las 9 horas de
la noche y de lunes a viernes) y durante las dems horas de estos das y fines de semana. Si la prohibicin
era efectiva, tena que haber una disminucin en el nmero de accidentes que ocurran en las horas y das tpicos de las happy hours, mientras que no tena porque haber variacin alguna en el nmero de accidentes en las dems horas y das, que de esta forma, servan de controles. Los resultados de la investigacin
fueron negativos para los dos estados.
121
Su representacin simblica y grfica sera la siguiente:
Figura 5: Diseo de grupos de comparacin no equivalentes

Fuente: Langbein, (1980:98).
y
/Tratados
~
L...-
No tratados
X - - - - - _ Tiempo
La figura 5 representa un caso en el que la diferencia entre los dos grupos

en el momento del postest excede la del pretest, por lo que cabra afirmar que
el programa tuvo impacto, siempre que el grupo de comparacin fuera similar
al grupo tratado en todas las variables que se consideraran relevantes.
Lo mismo que con otros diseos cuasiexperimentales, el problema, en la
prctica, consiste en identificar y medir estas variables, as como localizar los
grupos que sean similares con respecto a cada una de ellas. Ya nos hemos referido anteriormente al ejemplo de la evaluacin de un programa de formacin profesional para personas en paro. Ciertamente, se podra construir un
grupo de control buscando a personas de las mismas caractersticas socio-demograficas (edad, sexo, lugar de residencia, nivel de estudios, experiencia
profesionaL.) que las de aquellas personas tratadas. Habra que tener en cuenta, sin embargo, las diferencias motivacionales, asociadas al hecho que el grupo de tratados seran voluntarios y el grupo de comparacin no. Para superar
estas limitaciones, algunos autores han sugerido la utilizacin como controles
de personas en lista de espera y que no les correspode entrar en el programa
hasta una prxima edicin del mismo (Borus y Tash, 1970:18) (62).
(62) La literatura especializada se refiere al matching, como procedimiento por el que, de forma individualizada, se busca una pareja a cada sujeto expuesto al programa entre personas, que no lo han recibido y que tienen caractersticas parecidas; o de forma agregada, se intenta localizar un grupo de caractersticas tales que la distribucin global de cada una de las variables ms relevantes en este grupo se
correspondan con las del grupo que recibe el programa.
122
SEGUNDA PARTE
Otra limitacin de este diseo deriva de la falta de informacin longitudinal sobre las medidas de resultados, lo que impide determinar si los resultados
del pretest son normales. En este sentido, la presencia de puntuaciones extremas, ms que los efectos mismos del programa, podran explicar las diferencias observadas. (Langbein, 1980: 100)
4. El anlisis de discontinuidad en la regresin

Este diseo compara las regresiones de la variable que mide los efectos
del programa sobre la variable en base a la que se determina la admisibilidad en el programa, para grupos de tratados y no tratados. (Langbein,
1980:94)
Por ejemplo, si tenemos un programa cuyo propsito es mejorar la calidad de la vivienda de personas con un nivel de renta bajo, a travs de subvenciones al crdito privado para obras de rehabilitacin, y el criterio de admisibilidad en el programa es que sus beneficiarios no sobrepasen un
determinado nivel de renta, se podra comparar la regresin de la variable
valor de la vivienda en el mercado (como indicador de su calidad) sobre la
variable renta familiar, para dos grupos de renta por encima y por debajo el
nivel juzgado como lmite para recibir las subvenciones que establece el
programa (63).
El grfico del diseo de discontinuidad en la regresin para este caso podra ser el representado en la Figura 6.
Figura 6: Diseo de discontinuidad en la regresin

Fuente: Langbein, (1980:95).
y
Tratados
' - - - - - - - - - - - - " - - - - X - - - Renta
(63) Este ejemplo es una adaptacin del utilizado por Langbein (1980: 95) y que se basa en la evaluacin del impacto de un programa de la Farmer's Home Administration, la agencia federal norteamericana
que se ocupa de los programas de vivienda en el mbito rural.
123
Segn este grfico, el valor de las viviendas para aqullos cuya renta se sita justamente por debajo del nivel mximo aceptado por el programa, es mayor que el valor de las viviendas de aqullos cuya renta se sita justo por encima de este valor frontera y que determina el que no puedan beneficiarse del
programa. Cabra afirmar, por tanto, que el programa tiene impacto en base a
que se puede esperar que, primero, en la medida que aumenta el nivel de renta, aumente el valor de las viviendas, y segundo, que los sujetos justo por encima y por debajo del punto de corte son equivalentes y nicamente se diferencian en que unos no podan participar en el programa y los otros s.
Este diseo es de muy limitada aplicacin, segn Campbell y Stanley
(1973: 118), ya que requiere un criterio muy claro (generalmente un nmero)
en base al cual distinguir los dos grupos de comparacin.
5. Diseo de Post-Test con Grupos de Comparacin

Cuando una evaluacin se realiza de forma retrospectiva y no existe informacin alguna sobre los valores que ha tomado la variable que mide los efectos del programa antes de que ste tuviera lugar, el nico diseo posible es el
que mide esta variable con posterioridad al programa y analiza las diferencias
entre las personas que recibieron el programa y un grupo de control.
6. Diseo de Pre-Test sin Grupos de Comparacin

El diseo de pretest-postest sin grupos de comparacin se aplica cuando
no es posible construir un grupo de comparacin, pero en cambio s se pueden
tomar medidas de la variable que mide los efectos del programa para el grupo
que recibe la intervencion, antes y despus que sto ocurra.
Las amenazas a la validez interna de estos dos ltimos diseos son mltiples y ya han sido examinadas con detalle a raz de la descripcin de aqullas.
c. Diseos No Experimentales
Los diseos no experimentales se caracterizan por la utilizacin de procedimientos estadsticos para controlar la influencia de factores externos al programa evaluado que podran llevar a confusin sobre sus verdaderos efectos.
Es pues, en la forma de controlar estos factores externos al programa que los
no experimentos se diferencian tanto de los diseos experimentales como de
los diseos cuasiexperimentales (Langbein, 1980:113).
124
SEGUNDA PARTE
En los diseos experimentales, la asignacin aleatoria de los sujetos estudiados a grupos experimentales y de control distribuye los posibles efectos externos al programa de forma aleatoria entre los dos grupos. En los diseos
cuasiexperimentales, generalmente de carcter retrospectivo, el evaluador procura identificar las caractersticas del grupo que recibe el programa, para despus formar un grupo de comparacin idntico, o en su defecto, similar en todas las caractersticas relevantes, al grupo tratado. Ya sea a travs de
procedimientos aleatorios o agrupando sujetos de forma que, individualmente
o en trminos agregados, sus caractersticas se correspondan con las del grupo
experimental, uno y otro diseo procuran eliminar todas las posibles fuentes
de variacin entre grupos de tratados y de no tratados, que no sean debidas al
propio programa.
El no experimento, en cambio, analiza los resultados para un nico grupo
de sujetos que pueden presentar variaciones respecto tanto a su participacin
en el programa como a otros factores, para, a travs de mtodos estadsticos,
eliminar las posibles diferencias entre estos sujetos que no sean debidas a la
propia intervencin.
Lgicamente, en los no experimentos, como en los cuasiexperimentos, el
evaluador controla todos aquellos factores externos al programa que conoce.
Siempre existe, sin embargo, la posibilidad de una variable explicativa del proceso causal no controlada. El problema de la variable que el evaluador no llega
a incluir en su modelo es pues un problema importante para este tipo de diseo.
La regresin mltiple es la tcnica estadstica en la que se fundamenta la
mayor parte de los no experimentos en el contexto de la evaluacin de programas. (Bingham y Felbinger, 1989: 156) El anlisis de regresin permite determinar el impacto del programa, de cada una de las posibles variables externas
consideradas y de cualquier otro factor no medido, en la variable que mide los
resultados del programa. Su frmula general es la siguiente:
donde el primer coeficiente de regresin (b)) indica la influencia del programa (X) en la variable dependiente (Y) cuando todos los dems factores externos al programa (Z) son constantes, mientras que los coeficientes de regrebn miden la influencia de todos estos otros factores (Z) en Y
sin b2 , b3
cuando X es constante. El factor error (e) representa todas las dems variables
externas, independientes del programa que nicamente afectan a Y. Finalmente a es el punto en el que la lnea de regresin cruza el eje de las Y, de
importancia secundaria para la evaluacin.
Con este tipo de anlisis, siempre que exista un nmero suficiente de
observaciones y el modelo sea correcto, es posible determinar el impacto
oo.
125
de cada una de las variables independientes (en nuestro modelo, X o Z) separadamente, lo que permite cuantificar de forma directa el impacto del
programa (64).
En resumen, ante las dificultades que presenta la realizacin de verdaderos experimentos en la prctica, muchas evaluaciones recurren a la utilizacin
de diseos cuasiexperimentales y no experimentales que se caracterizan por
no requerir la distribucin aleatoria previa de las unidades de anlisis, y en
cambio, permiten el control de si no todas, algunas de las amenazas a la validez interna y externa de las evaluaciones. En el anexo a este captulo, recogemos algunos ejemplos de evaluaciones reales que utilizan diseos experimentales, cuasiexperimentales -de series mltiples, de grupos de comparacin no
equivalentes, y de discontinuidad en la regresin- y un caso de una evaluacin por mtodos estadsticos.
(64) Para una explicacin ms detallada de la evaluacin por mtodos de control estadsticos, Vid.
Langbein (1980: 113-156).
126
ANEXO AL CAPITULO IV
EJEMPLOS DE EVALUACIONES DE
ACUERDO CON EL PARADIGMA
CIENTIFICO-CLASICO
1. EXPERIMENTOS
A. EL MAYOR EXPERIMENTO DE RENTAS MINIMAS E IMPUESTO
NEGATIVO: EL SEATTLE-DENVER INCOME MAINTENANCE
EXPERIMENT (65)
El llamado Seattle-Denver Income Maintenance Experiment (SDIME)
fue el ltimo de una serie de cuatro grandes experimentos desarrollados a finales de los aos sesenta, principios de los setenta, para medir el posible
efecto desincentivador de las transferencias y subvenciones a personas concretas, en su esfuerzo por integrarse en el mercado de trabajo y obtener un
empleo estable (66).
Este era un tema importante para instituciones como la Office of Economic Opportunity que desarroll el NJGWIE, porque las polticas de ayuda a
las personas o familias que no alcanzaban un nivel mnimo de ingresos eran, a
menudo, criticadas en base a teoras econmicas que demostraban de forma
numrica como, cuanto ms elevado era el nivel de renta garantizado por las
instituciones pblicas, menor era el esfuerzo por trabajar de los grupos de poblacin ayudados.
El diseo bsico de todos estos experimentos era bastante simple aunque
su implementacin fuera mucho ms compleja. Por una parte, los sujetos eran
asignados de forma aleatoria a uno de los varios tratamientos considerados, es
decir, distintas combinaciones de nivel de renta garantizado y tasa impositiva,
o a un grupo de control. Por otra parte, su esfuerzo por encontrar trabajo era
medido a travs de variables como lo que ganaban por semana o el nmero de
horas trabajadas, tambin, por semana.
En el caso del SDIME, el experimento fue en realidad diseado para probar el efecto de dos clases de programas en el esfuerzo laboral de sus participantes: los programas del impuesto negativo, y distintas combinaciones de
programas de asesoramiento laboral y formacin ocupacional.
(65) Para la preparacin de este ejemplo se ha utilizado el trabajo de Skidmore (1989).
(66) El primer experimento a gran escala en esta rea del bienestar social fue el New Jersey Graduated Work Incentive Experiment (NJGWIE) que dur siete aos y cost ms de ocho millones de dlares.
El diseo de este experimento fue seguido por todos los experimentos posteriores, el Rural Experiment,
el Gary Experiment y el mismo SDIME, que adems se beneficiaron de los fallos cometidos en esta primera experiencia puestos de relieve en el amplsimo debate que sigui la publicacin de sus resultados en
1973. Vid. Rossi y Lyall (1976).
129
El programa del impuesto negativo parta de un nivel mximo de beneficio o nivel de garanta, que era lo que se asignaba a la familia que no tena otra fuente de ingresos, y estableca diferentes tasas de reduccin del
beneficio o tasas impositivas, en funcin de las cuales el beneficio mximo era reducido a medida que la familia consegua beneficios extra experimentales.
La combinacin de la garanta, que tena en cuenta el tamao de la familia, y de la tasa impositiva, defina un nivel de renta en el cual el beneficio era igual a cero. Los familias cuya renta se situaba por encima de este
nivel no reciban ms beneficios, aunque podan volver a recibirlos si su
nivel de renta caa por debajo de este nivel antes de que terminase el experimento.
La cantidad a la que tena derecho cada familia era calculada cada mes, de
acuerdo con un informe mensual sobre la renta que deban presentar todos los
participantes en el programa mensualmente. Segn Skidmore (1989:85) la incidencia de fraude deliberado fue baja y se establecieron mecanismos sancionadores para corregir este tipo de prcticas que ponan en peligro la validez
del experimento.
Como en todos los experimentos de esta clase, se probaron diferentes
planes de impuesto negativo para as poder determinar cmo variaba el
comportamiento en respuesta a distintas versiones del mismo programa.
La figura 7 muestra los once planes que resultaron de combinar tres niveles de garanta y cuatro tasas impositivas, dos de ellas constantes y dos variables que disminuan en un 5% por cada 1.000 $ de renta de trabajo extra
experimentales.
Figura 7: Planes de impuesto negativo probados en el SDIME

Fuente: Skidmore, (1989:64)
Tasa impositiva
Garanta inicial
($ 1971)
50%
70%
70%
(variable)
80%
(variable)
3.800 $
4.800 $
5.600 $
130
SEGUNDA PARTE
El programa de asesoramiento laboral tena pdr objeto que los participantes en el programa descubrieran, con la ayuda de profesionales especializados, ocupaciones de su inters, en qu consistan, el tipo de formacin que
requeran y los canales usuales a travs de los cuales se poda conseguir
aquel tipo de trabajo. Tambin se les instrua en la redaccin de currculums
y en la prctica de las entrevistas con posibles empresarios.
El programa de formacin para la ocupacin tena un carcter muy flexible y abierto puesto que bsicamente consista en una subvencin econmica
que poda cubrir bien el 50%, bien el 100%, de cualquier programa educativo
o de formacin profesional que el participante escogiera entre los aprobados
por el programa.
La razn por la que se incluy este segundo componente en el SDIME fue
para determinar si una mejor informacin sobre el mercado de trabajo y/o una
mejor educacin y/o formacin ocupacional poda compensar el efecto desincentivador en el esfuerzo para buscar trabajo que poda producir el programa
del impuesto negativo. Esto se pudo realizar experimentando con cuatro combinaciones bsicas de los dos programas:
1.
2.
3.
4.
programa del impuesto negativo;

programa de asesoramiento y formacin;
los dos programas a la vez;
ninguno de los dos programas.
A su vez, se probaron tres variantes del programa de asesoramiento y

formacin:
1. programa de asesoramiento;
2. programa de asesoramiento y subvencin del 50% de un curso de formacin aprobado;
3. programa de asesoramiento y subvencin del 100% de un curso de
formacin aprobado.
En cualquier experimento social, cuanto ms amplia es la muestra, ms
posibilidades hay de que se detecte el efecto de los distintos tratamientos y
mayor confianza estadstica se puede poner en los resultados. Segn Skidmore
(1989:69), el programa SDIME afect a 4.800 familias, incluyendo grupos de
control y fue el ms generoso en los niveles de beneficio para sus participantes y en el tiempo que duraron las prestaciones. Las familias en los grupos experimentales fueron asignadas a tratamientos de duracin entre tres y cinco
aos. Se aseguraba as, una mxima variacin en los tratamientos y en relacin con los grupos de control, por lo que caba esperar mayores efectos en el
comportamiento de los sujetos estudiados que en experimentos anteriores.
131
Los resultados fueron negativos en la casi totalidad de pruebas realizadas para los dos programas. Es decir, las distintas combinaciones de planes
de impuestos negativos tenan un impacto claramente negativo en las horas
trabajadas por ao y lo mismo ocurra con los programas de asesoramiento y
formacin.
En ambos casos, los resultados fueron presentados de forma diferenciada
para hombres, mujeres y mujeres cabezas de familia donde no haba un hombre presente. Tomando las medidas del segundo ao, una vez todas las personas includas en los grupos experimentales haban tenido suficiente tiempo para adaptarse a su nueva situacin y antes de que empezaran a cambiar su
comportamiento con vistas al final del experimento, el porcentaje de reduccin de horas de trabajo fue del 9% para los hombres, del 20% para las mujeres y del 14% para las mujeres cabezas de familia sin marido.
Adems, los cambios para los grupos de cinco aos eran mayores que los
que experimentaban los grupos de tres aos, y ambos grupos, hombres y mujeres tendan a buscar trabajo de forma ms intensiva que las familias que formaban los controles, cuando se aproximaba el final del experimento.
El programa de asesoramiento laboral y formacin ocupacional tampoco
tuvo los efectos deseados ya que incida negativamente, tanto en las rentas de
trabajo como en las horas trabajadas a corto y medio plazo. Unicamente el
programa de sesiones de asesoramiento laboral para las mujeres cabezas de
familia pareca tener un impacto positivo.
***
B. EL EXPERIMENTO DE LOS BONOS DE VIVIENDA (67)
Un tema central en la literatura de la economa del sector pblico es si el
gobierno debe producir y distribuir los bienes y servicios o si, por el contrario,
las personas que tendran que beneficiarse de estos bienes y servicios deberan
simplemente recibir una transferencia dineraria del gobierno que les permitiera acudir al mercado y cubrir sus necesidades de la forma que estimaran ms
oportuna.
En el contexto de las polticas de la vivienda tambin se reproduce esta
discusin. La principal estrategia seguida por todos los gobiernos en este campo ha sido la de aumentar la oferta de viviendas de calidad mnima para personas con niveles de renta bajos, a travs de la construccin de viviendas pblicas
(67) La descripcin del llamado Experimental Housing Allowance Program se basa en el libro de
Struyk y Bendick (1981) sobre este mismo experimento.
132
SEGUNDA PARTE
o de la promocin de viviendas privadas mediante mecanismos de financiacin de hipotecas a tasas de inters por debajo de los precios de mercado.
La alternativa a estas polticas se plantea en los EEUU desde los aos
treinta y consiste en orientar los programas pblicos hacia la demanda, recurriendo para ello a la idea de los housing vouchers, es decir, las subvenciones directas a las personas para que incrementen su poder adquisitivo y, unas
veces de forma obligatoria y otras no, apliquen una parte importante de este
poder adquisitivo aumentado, en una vivienda de mejor calidad.
Existan, sin embargo, algunas reservas en tomo a las posibles respuestas
a estos subsidios del lado de los ofertantes de vivienda (aumentaran simplemente los precios de las mismas viviendas?) y sobre cmo utilizaran los beneficiarios de estos programas, el dinero que era puesto a su disposicin.
Para resolver estas y otras cuestiones de forma emprica, el Congreso de
los EEUU y el US Department of Housing and Urban Development pusieron en marcha, en 1970, el Experimental Housing Allowance Program que
consista, bsicamente, en dar dinero en efectivo a las familias con un nivel de
renta bajo para que se aseguraran, por s mismas, una vivienda juzgada por el
programa como adecuada. El montante de la subvencin era determinado en
cada caso concreto, teniendo en cuenta el coste de una vivienda que reuniese
una serie de condiciones mnimas en el mercado local, y la capacidad de cada
solicitante para pagarla.
El EHAP afect a ms de 30.000 unidades familiares en doce ciudades
distintas. El coste total del experimento fue de unos 160 millones de dlares y
dur ms de diez aos. En realidad fueron tres experimentos en uno, debido a
las muchas cuestiones que deba responder. As, sus diseadores distinguan
entre el experimento de la demanda, el experimento de la oferta y el experimento de las administraciones encargadas de su gestin.
El experimento de la demanda afect a 1.800 familias en Phoenix, Arizona, y a otras 1.800 en Pittsburg, Pennsilvania. Su propsito era examinar la reaccin de las personas afectadas en cuanto a participacin, movilidad y gasto
en vivienda, y su variacin con distintos tratamientos, frmulas de pago, cantidades o con el estableciemento de distintos niveles de exigencia en relacin
con los requisitos mnimos que deba cumplir cada vivienda.
El experimento de la oferta afect a ms de 16.000 familias en Green Bay,
Wisconsin, y South Bend, Indiana. Su propsito era aumentar el nivel de demanda de servicios de vivienda en un mercado local y observar las respuestas
de los agentes del mercado en cuanto a cantidad, calidad y precio de la oferta.
El experimento de las administraciones afect entre 300 y 900 familias en
ocho ciudades distintas de los EEUU. El propsito de este tercer experimento
era observar el comportamiento de las administraciones territoriales a la hora
de gestionar un programa federal de estas caractersticas.
133
Segn Struyk y Bendick (1981: 12), la participacin en el EHAP fue baja,

tanto en el experimento de la demanda (27%) como en el experimento de la
oferta (37,5%), pero esto no les impide afirmar que el programa sirvi su propsito en la medida que dio respuesta a un buen nmero de cuestiones sobre
los posibles efectos de un programa de estas caractersticas en el supuesto de
que fuera desarrollado a nivel nacional. As, entre los resultados ms relevantes de este experimento cabe sealar los siguientes:
1. Los que ms participaron en el experimento fueron aqullos cuyas viviendas cumplan con todos los requisitos mnimos que estableca el
programa, antes de que ste empezara y a los que, en consecuencia, la
participacin en el experimento no les representaba ningn coste, siJl10
al contrario, una fuente de ingresos adicional que les supona reducir
significativamente la carga que representaba el alquiler dentro de su
economa familiar.
En cambio, aqullos que deban reformar sus viviendas para ponerlas
al nivel exigido por el programa o que simplemente deban cambiar de
casa, no participaban en la misma medida, puesto que los costes que
representaba mejorar sus casas, mudarse o incluso el temor de no encontrar nada mejor o sufrir mayor discriminacin racial en una nueva
vecindad, superaban los beneficios que poda ofrecer el programa.
Lo que ocurri fue, por tanto, que los grupos de poblacin que vivan en las viviendas de peor condicin y que tenan una mayor necesidad de ayuda, fueron, en realidad, los que menos participaron en
el programa.
2. Los participantes en el programa dividan el dinero que obtenan entre
gastos de vivienda y otros bienes y servicios. La parte dedicada a la
vivienda variaba en funcin del estado de la misma al iniciarse el programa, y de las condiciones del mercado local.
De forma general, aqullos que deban cambiar de casa o mejorar la suya, lo hacan justo en la medida que era necesario para alcanzar los estndares mnimos del programa. Esto sugera que era posible forzar el
incremento del gasto estableciendo unos estndares ms exigentes, aunque por otra parte, esto poda redundar en una tasa de participacin an
ms baja, al excluir a los posibles beneficiarios en peores condiciones.
Lgicamente, en aquellas ciudades donde haba ms viviendas desocupadas, exista una mayor movilidad y, en consecuencia un mayor
consumo de vivienda. En este sentido, el impacto del programa fue
significativo ya que se redujo la carga que representaban los alquileres
sobre la renta familiar de forma considerable, al pasar de una media
del 40%, antes de empezar el experimento, a una media del 25%.
134
SEGUNDA PARTE
3. El posible efecto inflacionista en el precio de los alquileres no tuvo lugar debido probablemente, tanto a los bajos niveles de participacin
como al hecho mismo que el dinero slo fue utilizado, en una mnima
parte, para mejorar las viviendas. Desde este punto de vista, el programa no fue lo bastante generoso y, a la vez, exigente con sus participantes, como para tener un impacto en los mercados locales donde se desarroll el experimento. En este sentido, hasta la inicial oposicin al
programa de algunas comunidades locales por temer la inmigracin
masiva de grupos tnicos minoritarios, remiti al comprobarse que el
programa no tena el impacto esperado.
4. Finalmente, el programa sirvi para poner de relieve algunos problemas relacionados con la seleccin de sus participantes, especialmente
en cuanto a la documentacin que deban aportar para probar su condicin econmica. Tambin sirvi para demostrar que el nico servicio realmente valorado por los participantes era aqul que les proporcionaba informacin sobre dnde podan encontrar viviendas
disponibles, sobre todo en las ciudades con problemas de vivienda.
2. CUASIEXPERIMENTOS
A. UN CASO DE SERIES TEMPORALES MULTIPLES: LA
EVALUACION DEL SUPPLEMENTAL SECURITY INCOME (68)
En los EEUU, como en otros pases capitalistas desarrollados, existen varios
programas sectoriales en el rea del bienestar social que afectan a distintos grupos
de poblacin. Uno de estos programas, el Supplemental Security Income(SSI)
fue instituido en 1974 con el propsito de garantizar un nivel de renta bsico a grupos de poblacin especficos: personas de edad avanzada, ciegos e incapacitados.
En 1979, Albritton (1979) public los resultados de una primera evaluacin de este programa donde pona de manifiesto el aumento en el nmero de
personas cubiertas entre los grupos objetivo, y el avance significativo en los
beneficios mensuales que reciban estas mismas personas, gracias a la intervencin (69). Albritton debera tener, sin embargo, algunas dudas sobre el impacto del programa a largo plazo, por lo que decidi repetir su anlisis en
1986 (Albritton y Witayapanyanon, 1989), aadiendo, en esta ocasin, nuevas
observaciones del perodo post-programa.
(68) Para redactar este ejemplo hemos utilizado el texto de Albritton y Witayapanyanon (1989).
(69) En realidad, el anlisis se reduca a personas de edad y a incapacitados ya que los ciegos, o bien
tenan otras ayudas o bien conseguan y mantenan sus empleos, por lo que de hecho, no exista un nmero
significativo de ciegos que se beneficiaran de este programa.
135
La extensin de la serie temporal aportaba informacin sobre los efectos

del programa a largo plazo, lo que permita determinar las tendencias ms all
de fluctuaciones temporales en los datos.
Como muestran las figuras 8 y 9, se producan cambios importantes en ~o
das las series temporales en el momento de la intervencin, pero la prolongacin de estas series revelaba otras cuestiones de inters: tanto el nmero de
personas de edad, como el nivel de beneficios para stos e incapacitados volvan a sus tendencias normales despus de la subida inicial. Unicamente, el
nmero de incapacitados beneficiados mantena la lnea ascendente, lo que no
pareca ser debido al programa, puesto que esta tendencia se produca desde
incluso antes de la intervencin.
Figura 8: Nmero de casos SSI, AFDC

Fuente: Albritton y Witayapanyanon, (1989,:116-117)
Tercera edad Incapacitados AFDe
E,!! I.QO,9s
E!L!.QQOs
E!!.lQQO.os
Nmero de casos
Intervencin
3000
ro
Ao
Figura 9: Beneficios mensuales por participante SSI, AFDC

Fuente: Albritton y Witayapanyanon, (1989: 116-117)
Beneficios por participante
125,....--------------,
Intervencin
100
75
50
25
~u.......
OL...o..L.........,
@
Ao
136
ro
..........
~
SEGUNDA PARTE
Para cerciorarse que los resultados obtenidos no eran debidos a factores

externos al programa, tomaron como grupo de comparacin los beneficios de
otro programa de bienestar social, el Aid to Families with Dependent Children (AFDC) y examinaron si se producan aumentos paralelos en los indicadores de este programa. Dado que stos no tenan lugar en el mismo perodo,
descartaron la hiptesis alternativa que factores externos tuvieran una influencia en todos los programas de bienestar social.
La evaluacin de impacto del SS1, tal y como la realizaron Albritton y Witayapanyanon (1989) pone de relieve el inters de volver a evaluar una poltica, despus de un cierto perodo de tiempo, ya que los impactos a largo y a
corto plazo pueden no coincidir.
B. UN CASO DE DISEO DE PRE-TEST/POST-TEST CON GRUPO

DE COMPARAC10N: LA EVALUAC10N DE PROGRAMAS DE
AHORRO ENERGET1CO (70)
El sector energtico en los EEUU ha desarrollado distintos programas de
ahorro energtico a nivel familiar desde la crisis de 1979. Con el fm de hacer una
estimacin del nmero de Kwh. ahorrados con uno de estos programas, Newcomb (1984) implement un diseo cuasiexperimental de pretest-postest con
grupo de comparacin que nos puede servir para ilustrar este tipo de anlisis.
En concreto, el programa fue desarrollado por una compaa de electricidad del estado de Washington que prevea aislar del fro unas 20.000 viviendas en un perodo de 8 aos y, de esta manera, producir un ahorro de 60 a 70
millones de Kwh. de electricidad anuales, al final del programa.
El programa inclua un examen de la vivienda gratuito y el aislamiento,
igualmente gratuito para todas aquellas unidades familiares cuya renta anual
no superara el 90% de la renta anual media del rea metropolitana de Seattle.
Todos aqullos que deseaban beneficiarse del programa deban, sin embargo, aceptar que se aislara una serie de partes bsicas de sus edificios, adems de hacer todas la reparaciones que la compaa estimara necesarias.
Esta evaluacin presentaba, sin embargo, dos problemas. De una parte,
no exista informacin longitudinal de suficiente calidad como para estimar
los efectos de los cambios de tiempo atmosfrico o de un incremento brusco de las tarifas (como sucedi a mitad del programa) en el consumo medio
de electricidad.
De otra parte, era necesario formar un grupo de control tan similar como
fuera posible al grupo de participantes en el programa. La formacin de un
(70) Para la preparacin de este ejemplo se ha utilizado el trabajo de Newcomb (1989).
137
grupo de control era especialmente difcil en este caso por el carcter voluntario
del programa y porque, como haban demostrado otros investigadores, los participantes en programas voluntarios de ahorro energtico acostumbran a consumir
ms energa que el cliente medio. Newcomb solucion este problema, importante desde el punto de vista de la validez interna de la evaluacin, seleccionando
como grupo de control a un conjunto de personas que, de acuerdo con el plan de
la empresa, no veran sus casas aisladas hasta el ao siguiente.
Para asegurarse de que ambos grupos eran similares antes de que tuviera
lugar el programa, Newcomb utiliz datos de tres fuentes distintas:
Primero, de las inspecciones previas realizadas gratuitamente por la compaa a todos aquellos clientes que las solicitaban. Estas inspecciones recogan datos sobre superficie de las viviendas; nmero de ocupantes y sistema de calefaccin utilizado.
Segundo, de un sondeo por correo a una muestra representativa de cada
grupo en el que se preguntaba a los participantes en el programa sobre las
razones por las que decidieron participar en el programa, y sobre las acciones que haban tomado por si mismos para aislar sus casas con anterioridad al programa.
Tercero, de los contadores de electricidad de cada vivienda que indicaban
el consumo de electricidad de cada cliente, por perodos de dos meses.
Segn Newcomb, los datos recogidos revelaban pocas diferencias entre el
grupo experimental y el de control. Unicamente haba un nmero superior de
controles que expresaban como razn para participar en el programa, el ahorro
en su factura de electricidad. Ambos grupos se podan pues considerar similares y lo nico que les diferenciaba era el hecho que unos, el grupo experimental, recibieron el programa de aislamiento en 1981, mientras que los otros, el
grupo de control, tuvieron que esperar hasta 1982.
La evaluacin en s consisti en calcular los valores medios de consumo
de energa, para uno y otro grupo, antes y despus que el grupo experimental
recibiera el programa. Es decir, se tomaron medidas correspondientes a dos
inviernos, para los dos grupos: para el grupo experimental antes del programa
(de septiembre de 1980 a mayo de 1981) y despus del programa (de septiembre de 1981 a mayo de 1982); y para el grupo de control, antes de que el grupo experimental recibiera el programa (de septiembre de 1980 a mayo de
1981) y despus de que el grupo experimental recibiera el programa (de septimebre de 1981 a mayo de 1982).
El clculo de la energa ahorrada por grupos se presenta en la figura 10.
La primera columna expresa las diferencias en el consumo de energa, por perodos de dos meses anteriores y posteriores al programa, para el grupo expe138
SEGUNDA PARTE
rimental. La segunda columna expresa lo mismo para el grupo de control. Finalmente, la tercera columna expresa el ahorro neto de energa debido al programa. De acuerdo con los datos de este cuadro, el ahorro total para los diez
meses estudiados fue importante para todos los perodos estudiados.
Figura 10: Ahorro energtico para grupos experimentales y de control

Fuente: Newcomb, (1989: 106)
Perodos
Comparacin
Cambios Grupo
Experimental
Cambio Grupo
Control
Cambio Neto
Septiembre
1981
menos
Septiembre
1980
- 113 Kwh/2 mes
- 31 Kwh/2 mes
- 82 Kwh/2 mes
Noviembre
1981
menos
Noviembre
1980
- 454
131
- 585
Enero 1982
menos
Enero 1981
- 164
735
-- 899
Marzo 1982
menos
Marzo 1981
- 273
460
- 733
Mayo 1982
menos
Mayo 1981
- 379
405
-784
139
C. UN CASO DE DISEO DE DISCONTINUIDAD EN LA REGRESION:

LA EVALUACION DE LOS CERTIFICATES OF MERIT (71)
Thistlethwaite y Campbell utilizaron, ya en 1960, el anlisis de discontinuidad en la regresin para evaluar el impacto de los programas de la National Merit Scholarship Corporation, institucin norteamericana dedicada a
premiar con becas, certificados de mritos y cartas de recomendacin, el esfuerzo de los mejores estudiantes de bachillerato en los EEUU.
En concreto, se trataba de examinar si los estudiantes que reciban un certificado de mritos, y por tanto vean sus nombres publicados en un libro que era
enviado a los medios de comunicacin, a las universidades y a otras organizaciones donadoras de becas, tenan, primero, una actitud ms favorable hacia el intelectualismo; segundo, un mayor inters por seguir estudios de master y doctorado y por ser profesores de universidad o investigadores; y tercero, mayor xito
a la hora de buscar becas de otras instituciones, que un grupo de control formado
por estudiantes igualmente capacitados para seguir estudiando.
La hiptesis de los investigadores era que el reconocimiento pblico de
los mritos de estos estudiantes poda efectivamente provocar cambios en su
actitud y comportamiento, con respecto a las tres cuestiones planteadas.
En su evaluacin de impacto, Thistlethwaite y Campbell utilizaban dos
grupos: uno formado por estudiantes que haban recibido certificados de mrito y otro formado por estudiantes que no haban alcanzado a recibir certificados de mrito, pero que, en cambio, haban sido premiados con una carta de
recomendacin que la institucin les envaba a sus domicilios particulares.
El criterio en base al cual se distinguan los dos grupos era muy claro: el resultado de un examen al que se deban someter todos los candidatos y en el que,
nicamente un resultado superior a 11 daba derecho al certificado de mrito.
La representacin grfica de las regresiones para cada uno de los comportamientos esperados sobre los resultados en el examen de aptitud, les permita
determinar el impacto del programa. Este era fijado a partir del examen de las
diferencias entre la regresin lineal que caba esperar sin tratamiento (la indicada para el grupo con notas inferiores a 11) Yla estimada para el grupo tratado, esto es, aqullos con notas superiores a 11.
As, la figura 11 mostraba una clara discontinuidad en la regresion en el
punto de corte, conforme a lo que caba afirmar que el programa tuvo los
efectos esperados. La pendiente de las lneas del lado derecho, sin embargo,
era indicativa de que los efectos fueron especficos de los estudiantes prximos al punto de corte.
La discontinuidad no era tan aparente en la figura 12. Thistlethwaite y
Campbell (1989: 134) concluan que el grfico era suficientemente ambiguo
(71) La fuente correspondiente a este ejemplo es Thistlethwaite y Campbell (1989).
140
SEGUNDA PARTE
Figura 11: Estudiantes que obtienen becas

Fuente: Thistlethwaite y Campbell, (1989:134-135)
70
G-G' Porcentaje que obtiene beca

H-H' Porcentaje que obtiene beca de 150 $ o ms
66
_ ~---
~
::
62
58
G __ -
54
42
G'
1-~~~t\L
~ ~-V \j y-H
Estud'an es reco en ados
ado s e
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Notas examen aptitud
Figura 12: Estudiantes que piensan continuar estudiando

Fuente: Thistlehwaite y Campbell, (1989: 134-135)
q",
46
)-)' Porcentaje que planea estudiar master o doctorado
JJ'
~"'* PI'""~';;;f:'"ig'dm
: ::t:::; ~J
18
Es ud'an es rcco en ados
G' n' dores de CM
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 1920
Notas examen aptitud
Figura 13: Actitudes respecto a intelectualismo

Fuente: Thistlethwaite y Campbell, (1989: 134-135)
4,11
1234 567 8 91011121314151617181920

Notas examen aplilUd
141
como para dudar de los efectos del programa en los planes de estudio de los
estudiantes. La confirmacin de la hiptesis a favor de que hubo efectos se
podra basar en el hecho de que todos los puntos de la lnea entre el 11 y el 20
se situaran por encima de la lnea extrapolada para el intervalo del 1 al 10.
Por fin, no haba ambigedad alguna con respecto a la figura 13, lo que
pona difcil afirmar que el programa tuvo efecto alguno en la actitud de los
premiados hacia el intelectualismo.
3. NO EXPERIMENTALES
A. UN CASO DE EVALUACION NO EXPERIMENTAL:
LA EVALUACION DE PROGRAMAS DE AHORRO ENERGETICO (72)
El anlisis de regresin tambin ha sido utilizado para estimar los efectos a largo plazo de los programas de conservacin de energa desarrollados por las compaas del sector. Hirst y Goeltz (1989) utilizaron este diseo en su evaluacin de los
programas de una empresa distribuidora de gas natural que opera en el estado norteamericano de Minnesota y que serva a unas 750.000 viviendas en 1985.
Para esta evaluacin, Hirst y Goeltz recogieron varios tipos de informacin a partir de las facturas de gas y de dos sondeos, uno por telfono y otro
por correo. Concretamente, recogieron datos, tanto para participantes en el
programa como para no participantes, sobre los siguientes puntos:
1. Consumo de gas natural mensual, desde octubre de 1980 a mayo de
1984 para 581 viviendas. La muestra de participantes fue elaborada
entre los que reibieron los servicios del programa entre abril de 1981
y junio de 1982, con lo que obtenan medidas de consumo, antes y
despus de la intervencin.
2. Temperaturas diarias en el exterior, ya que, de forma previa al anlisis
propiamente dicho, normalizaban el consumo de gas en funcin de las
diferencias de tiempo atmosfrico en tres puntos distintos del estado.
3. Caractersticas estructurales, demogrficas y socio-econmicas de las
viviendas (superficie, nmero de personas, renta, etc.)
4. Acciones tomadas en el pasado e independientemente del programa
destinadas a ahorrar energa.
Los resultados del anlisis de regresin son parcialmente reproducidos en
la figura nmero 14. Como era de esperar, el consumo de gas aumentaba con
la edad de la vivienda, el tamao, el nmero de personas que habitaban en ella
y con la renta. Si el gas era utilizado como fuente de energa para calentar el
(72) Este ejemplo ha sido desarrollado a partir del trabajo de Hirst y Goeltz (1989).
142
SEGUNDA PARTE
agua su consumo tambin aumentaba considerablemente. Por el contrario,

disminua al aumentar el precio del gas.
Por otra parte, el consumo de gas por parte de los participantes en tres
programas diferentes (programas 1, 2 Y 3) era distinto con anterioridad a la
implementacin de los programas, mientras que las reducciones en el consumo como consecuencia de la intervencin eran especialmente importantes para el segundo programa.
t
Figura 14: Resultados del anlisis de regresin

Fuente: Hirst y Goeltz, (1989:165).
Variable Explicativa
Edad de vivienda
N mero de pisos
Coeficiente del Modelo

0,471
12,2
Superficie
0,0144
N mero de personas
8,62
Renta
0,770
Precio del gas
-7,21
Variables binarias
Agua calentada por gas
19,6
Antes del programa

PROGRAMA 1
PROGRAMA 2
PROGRAMA 3
14,0
11,5
12,4
Despus del programa

PROGRAMA 1
ao 2
ao 3
ao 4
PROGRAMA 2
ao 2
ao 3
ao 4
PROGRAMA 3
ao 2
ao 3
ao 4
-7,2
-3,7
-4,0
-17,6
-22,9
-24,2
-1,1
-4,2
-4,1
143
CAPITULO V
LA EVALUACION PLURALISTA
1. INTRODUCCION
La evaluacin por objetivos ha constituido el paradigma predominante en

la evaluacin de programas desde mediados de los sesenta hasta nuestros das.
La idea de una sociedad experimental se hizo realidad a principios de los
setenta con la realizacin de algunos de los grandes experimentos como los
descritos en el anexo al captulo anterior sobre mantenimiento de unos niveles
de renta y de vivienda mnimos. Desde entonces, muchas evaluaciones han
utilizado diseos cuasiexperimentales y mtodos de estadstica inferencial para determinar la eficacia de las polticas pblicas.
Este tipo de evaluacin que llamamos clsica, racional o cientfica, presenta,
sin embargo, algunas limitaciones importantes tanto en relacin con su aplicacin, como en relacin con la utilizacin de sus resultados y su conexin con el
proceso de toma de decisiones polticas, lo que ha dado lugar al rechazo de sus
presupuestos, a menudo calificados de positivistas, en favor de enfoques ms polticos, centrados en la utilizacin de los resultados del mismo proceso evaluador,
y generalmente cualitativos, por lo que respecta al mtodo de investigacin.
2. PROBLEMAS CON LA EVALUACION CLASICA POR OBJETIVOS
A. PROBLEMAS DE APLICACION
La evaluacin por objetivos en la forma que ha sido descrita requiere unas
condiciones bastante exigentes: primero, que los objetivos estn bien definidos, segundo, que sea posible identificar indicadores generales de eficacia o
de resultados, y tercero, que sea aplicable un diseo de investigacin que permita medir de forma vlida y fiable estos resultados.
Primero, en algunos casos puede resultar verdaderamente difcil la especificacin en trminos operacionales de los objetivos de los programas. Cuando
stos se desarrollan porque se percibe la necesidad de intervenir en relacin
con un determinado problema pero no est muy claro qu es lo que se puede
hacer ni cmo se puede hacer, generalmente se procede sobre la base de un
acuerdo muy general de actuar en una determinada direccin y se va corrigiendo el curso de accin en funcin de las cuestiones y de los problemas que
van surgiendo.
147
En otros casos, la especificacin de los objetivos puede incluso ser contraproducente. Cuando se trata de programas muy politizados, en los que convergen diversos intereses, la negociacin sobre objetivos muy concretos puede
desembocar en una situacin de conflicto. Para llegar a un cierto nivel de consenso, cuando las posturas son muy rgidas y enfrentadas, lo mejor que puede
hacerse es, precisamente, dejar la cuestin de los objetivos abierta.
Segundo, el modelo clsico de la evaluacin por objetivos puede tener
xito con programas bien definidos, susceptibles de ser analizados por partes
y que permiten la descripcin de un modelo de impacto con unas relaciones
causales claras. En este sentido, nos hemos referido a una serie de variables
que expresan la ralacin entre inputs y resultados finales, y a una serie de hiptesis (causal, de intervencin y de accin) que nos ayudan a reconstruir las
relaciones que tienen lugar en el mundo real. Muchos programas, sin embargo, son extremadamente complejos, disponen de mltiples y diferentes medios para conseguir objetivos mltiples y a veces hasta contradictorios, y presentan variaciones en funcin del lugar y del momento en que son analizados.
Ello hace difcil definir sus componentes, reconstruir la cadena de efectos buscados y, en consecuencia reducir el programa a un modelo simplificado que
permita una evaluacin clsica convencional.
Tercero, los principales problemas que presenta la aplicacin de los diseos de investigacin revisados tienen que ver con la formacin de grupos de
control y con la obtencion de mltiples medidas de una misma variable en intervalos perodicos de tiempo anteriores y posteriores a la intervencin.
De una parte, muchas veces, simplemente no ser posible crear un grupo
de control porque el programa sirve a todas las personas elegibles e interesadas. (Rossi y Freeman, 1985:208). Otras veces, las personas que podran servir de controles sern difciles de localizar o no querrn colaborar con un programa que, o bien ha rechazado su participacin, o bien simplemente
desconocen y no les ofrece nada a cambio.
La distribucin aleatoria de sujetos a grupos experimentales y de control
puede generar cuestiones de tipo tico por entenderse que, de una forma arbitraria, se est privando a un grupo de personas de unos servicios que, en principio son percibidos como beneficiosos. (Monnier, 1987:56). En pases donde
la experimentacin social se ha realizado con una cierta frecuencia, existen incluso disposiciones legislativas que impiden privar de un programa a individuos concretos que tienen derecho a l (73).
Aun cuando se consiguen formar grupos de control, siempre existe la posibilidad de amenazas a la validez del experimento:
(73) El Congreso de los EEUU prohibi la utilizacin de mtodos aleatorios en relacin con la experimentacin de algunos programas de educacin, segn Poland (1974: 334).
148
SEGUNDA PARTE
Ya hemos. visto como es imposible controlar diferentes niveles de

mortalidad experimental para el grupo que recibe el programa y para
el grupo de control, de forma que los individuos que restan en ambos
grupos pueden no ser representativos de las poblaciones originales.
En el mismo sentido, los grupos de control pueden resultar contaminados por el grupo experimental si se producen contactos entre ambos grupos, y los primeros llegan a obtener la informacin que han recibido estos ltimos.
Puede igualmente ocurrir, como ocurri con el primer experimento del
impuesto negativo en New Jersey, que una Administracin distinta de
La que administra el programa ofrezca a los grupos de poblacin que
sirven de controles, los servicios que solamente tenan que recibir los
. participantes en el programa. (Weiss, 1972:63).
~
~I
De otra parte, algunos de los diseos de investigacin requieren series
temporales de datos que incluyan observaciones anteriores a la introduccin
del programa y que continen durante bastante tiempo despus del programa.
En much~s casos, sin embargo, los datos recogidos por la Administracin, o
bien no son completos, o bien no son fiables, o bien no se corresponden con la
informacin necesaria para construir indicadores que tengan relacin con los
resultados que se quieren medir.
Cabe concluir, por tanto, que los diseos de investigacin clsicos slo
se pueden llevar a cabo bajo condiciones y en circunstancias muy limitadas.
La demanda de evaluacin de programas que no puedan ser evaluados de
esta forma tendr por tanto que cubrirse recurriendo a formas alternativas
de evaluacin.
I
B. PROBLEMAS DE UTILIZACION
El recurso a los diseos experimentales y estadsticos ms sofisticados
tampoco se ha mostrado como una garanta para el uso efectivo de los resultados de las evaluaciones en el proceso de toma de decisiones poltico-administrativas. Entre las razones de la pobre utilizacin de los resultados de las evaluaciones cabe sealar, primero, que aqullos no se presenten a tiempo debido
a las exigencias metodolgicas de la misma evaluacin, y segundo, que los resultados finales no respondan a las necesidades de las personas que han de tomar decisiones sobre los programas o polticas evaluados.
Primero, las limitaciones de la evaluacin experimental para conectar con
el proceso poltico se pusieron de manifiesto con los primeros grandes experimentos sociales. En el caso de los programas del impuesto negativo, se puede
149
afirmar que las polticas cambiaron antes de que aparecieran los resultados de
sus evaluaciones, lo que pone de relieve la incompatibilidad entre la temporalidad de las decisiones poltico-administrativas que generalmente tienen que
producirse con rapidez, y la larga duracin de los experimentos. (Monnier,
1987:56). Concretamente, el primer programa del impuesto negativo (el NJGWIE) dur casi 7 aos desde su planificacin en 1967 hasta que se public el
ltimo informe en 1973. Los anlisis y crticas de este primer gran experimento llevaron a multiplicar las exigencias metodolgicas de forma que experiencias posteriores como el SDIME (comentado en el anexo al captulo anterior)
requirieron 5 aos nicamente para el tratamiento de algunos grupos, sin contar por tanto, el tiempo necesario para su seleccin y para el anlisis e interpretacin de sus resultados.
Obviamente, la realizacin de estos y otros experimentos fue sumamente
importante para la teora de los programas de intervencin social, en la medida que se pudo obtener estimaciones empricas de sus efectos, se pusieron
de relieve consecuencias no anticipadas de las intervenciones, y de forma
general se provoc una discusin que ha durado hasta nuestros das. El coste
de estos experimentos fue, sin embargo, muy elevado para las Administraciones que los financiaron, en la medida que sus resultados nunca fueron
utilizados directamente. Tomando nuevamente como referencia el programa
del impuesto negativo de New Jersey, el NJGWIE, su coste total se elev a
8 millones de dlares, un tercio de los cuales se gastaron en subvenciones a
las 1357 familias participantes (Langbein, 1980:71). El EHAP iniciado en
1970, el gran experimento en materia de vivienda (comentado igualmente en
el anexo al captulo anterior), dur mas de diez aos, afect a 30.000 familias en 12 ciudades diferentes y elev su coste total a 160 millones de dlares (Struyk y Bendick, 1981 :7-8).
Lgicamente, los grandes experimentos sociales de la llamada edad
dorada de la evaluacin fueron sustituidos por dispositivos experimentales
y cuasiexperimentales menos complejos y, por tanto, de un coste econmico inferior, pero que igualmente presentan complicaciones metodolgicas
importantes. En el caso de los anlisis de series temporales de datos ya hemos hecho referencia a la necesidad de medidas peridicas con posterioridad a la implementacin del programa, por lo que reaparece el problema de
la temporalidad.
Segundo, los principales problemas de utilizacin de los resultados de las
evaluaciones tienen que ver, sin embargo, con la estrechez del modelo de evaluacin por objetivos, dado que todo el proceso de evaluacin se concentra en
medir el grado en que se alcanzan un/unos pocos objetivos cuidadosamente
identificados y seleccionados, mientras que no ofrece informacin sobre otros
aspectos tan o ms importantes para el proceso de planificacin y decisin
150
SEGUNDA PARTE
poltica. En este sentido, las conclusiones de las evaluaciones se reducen a aspectos excesivamente tcnicos y carecen de la sensibilidad necesaria para formular conclusiones en trminos de implicaciones polticas ms amplias (Monnier, 1987:57).
A ello hay que aadir que, a menudo, los resultados son ambiguos, dado
que los efectos detectados son pequeos: las variables controladas explican
slo una parte de la variacin en los resultados y resulta difcil, por otra parte,
generalizar stos a otras situaciones o programas (Rossi y Wright, 1984:59).
Todo ello se traduce en una cierta incapacidad de prescripcin y de indicar por
tanto de forma clara qu curso de accin han de tomar los decisores polticos.
3. EVALUACION PLURALISTA
A. DIMENSION POLITICA DE LA EVALUACION
El propsito de la evaluacin es producir informacin sobre los efectos,
la implementacin y hasta los procesos de planificacin de las intervenciones pblicas, que sirva a los decisores polticos, administradores pblicos y,
en general, a aqullos que tienen capacidad para influir en las decisiones sobre acciones futuras. La evaluacin, sin embargo, tiene lugar en un contexto
poltico. Independientemente de los modelos de evaluacin especficos, se
puede afirmar que el conocimiento del contexto poltico de un programa es
una condicin necesaria, aunque no suficiente, para que su evaluacin tenga
alguna utilidad.
Ya nos hemos referido a una posible utilizacin partidista de la evaluacin
cuando se realiza con el propsito expreso de justificar una posicin o de ofrecer una deterininada imagen de una poltica o programa. Existe, sin embargo,
otra dimensin poltica de la evaluacin que tiene que ver con la estructura
institucional y las interacciones que se establecen entre el conjunto de actores
(no nicamente responsables polticos y administradores) que se relacionan
con un programa. Algunos autores (Palumbo, 1987:12; Weiss, 1987:97-48)
coinciden en destacar tres formas en que la evaluacin es poltica.
Primero, las polticas y los programas son propuestos, definidos, debatidos, financiados y aprobados a travs del proceso poltico. Su implementacin
y evaluacin estn sujetos a la dinmica poltica que se genera desde su discusin y negociacin. En este sentido, tienen defensores y detractores. A ellos se
asocian los nombres de personas concretas, polticos, funcionarios, profesionales especializados para los cuales respresentan adems un trabajo. Los programas generan igualmente expectativas entre los colectivos y las personas a
los que se dirigen, y hasta llegan incluso a crear una clientela.
151
Segundo, la evaluacin se realiza con el propsito de influir en el proceso

de toma de decisiones polticas. Esto no significa que sean un input decisivo
en la medida que los actores con autoridad formal para decidir tienen sus propios valores y opiniones sobre los programas. En este sentido, Weiss explica
como las decisiones polticas estn enraizadas en toda la complejidad del proceso democrtico:
Que un programa funcione mejor o peor puede ser menos importante que la
posicin del presidente de una comisin parlamentaria, la influencia poltica
de sus partidarios, u otras demandas en el presupuesto. Niveles considerables
de ineficacia pueden ser tolerados si un programa se adeca a los valores dominantes, satisface a los votantes o paga deudas polticas. (1987:53)
Ciertamente, la evaluacin es tan solo un input ms en el proceso decisional y puede que no sea el ms importante. Cabe, sin embargo, esperar que los
resultados de un buen estudio sean tenidos en cuenta en las deliberaciones sobre un programa. En este sentido, Cronbach (1980:65) se refiere a un uso conceptual de los estudios en el sentido de hacer pensar de forma diferente sobre
un programa, de contribuir a un cambio gradual de las percepciones o de clarificar las cuestiones. Otros autores se han referido a la influencia acumulada de
la evaluacin a medio y largo plazo, ms que a un efecto inmediato en decisiones especficas (Clark, 1985:201).
Tercero, la evaluacin misma tiene un peso poltico y adopta implcitamente una posicin poltica. Evaluar los programas en funcin de sus objetivos supone aceptar las premisas en las que se fundamentan. Desde esta perspectiva la evaluacin tiene una orientacin reformista: se desarrolla a partir de
los valores y de las premisas de la Administracin, con el objeto de juzgar si
se han alcanzado eficazmente. La preocupacin por determinar eficacia, tiende a ignorar otras cuestiones. As, por ejemplo, la evaluacin de la poltica de
penalizacin del consumo de drogas, si bien pudiera comportar una mayor eficacia policial en trminos de seguridad, tambin supone la opcin por una poltica de represin frente a otras posibilidades de rehabilitacin.
La cuestin es pues, si la evaluacin lo ha de ser tambin de los valores, si
debe limitarse a determinar el grado en que se alcanzan objetivos o tambin
debe cuestionar stos.
Normalmente, el cliente de la evaluacin es la Administracin. Esta no
nicamente plantea las cuestiones que deben ser examinadas, sino que tambin controla despus el uso y difusin que se pueda hacer de los resultados.
Algunos intentos de reforma de la evaluacin pasan precisamente por enjuiciar a los programas desde otras perspectivas que no sean nicamente las de
los responsables polticos y administrativos.
152
SEGUNDA PARTE
B. NUEVAS DEMANDAS SOBRE LA EVALUACION

Una de las principales dificultades que se plantean en relacin con la utilizacin de los resultados de las evaluaciones consiste en determinar qu tipo de
informacin puede influir en el futuro de los programas. Lgicamente, como
indicbamos en el apartado relativo a intereses y criterios, las cuestiones que
se perciban como ms importantes variarn en funcin de la posicin que tiene cada persona o grupo en relacin con el programa.
Desde esta perspectiva, la preocupacin por la utilizacin de las evaluaciones se ha traducido, primero, en un reconocimiento de la importancia de
los factores polticos, y segundo, en la idea de planificar las evaluaciones teniendo en cuenta sus posibles usuarios e incluso su participacin activa en el
proceso evaluador.
La demanda de evaluaciones que puedan ser realizadas en perodos de
tiempo relativamente cortos, sin comprometer grandes cantidades de recursos
y que respondan a las necesidades de sus usuarios ha dado lugar a la formulacin de una serie de modelos que pueden caracterizarse de forma general por
su recurso a aproximaciones cualitativas. El inters de estos modelos radica en
que promueven un estrecho contacto con la realidad y una mejor comprensin
del entorno poltico social en el que se desarrollan. Ello les hace ms aptos para tratar con aquellos programas de objetivos amplios que especialmente en
sus primeros aos de desarrollo experimentan cambios constantes, no nicamente en sus prpositos, sino tambin en los servicios que ofrecen, con el objetivo de determinar qu funciona y qu no funciona en relacin con los problemas sobre los que pretenden tener una incidencia.
C. DESARROLLO DE UN MODELO PLURALISTA

a. Evaluacin Mltiple
La evaluacin pluralista representa el reconocimiento de la naturaleza poltica de la evaluacin. A diferencia de la concepcin racionalista-cientfica
descrita anteriormente, este modelo rechaza la idea de evaluacin imparcial y
objetiva de los resultados de un programa, para centrarse en la importancia de
los valores y de las opiniones de la pluralidad de actores que tienen que ver
con un programa.
Para una buena parte de la literatura reciente sobre la evaluacin de programas, lo que realmente cuenta son los valores, las opiniones y los intereses de los
actores. Como afirma Majone (1989:168), stos son importantes, no slo por la
dificultad de medir outcomes, de determinar las relaciones de causalidad entre
153
intervenciones pblicas y sus efectos, de anticipar consecuencias no esperadas,

o de distinguir entre problemas con la teora de un programa o con su implementacin; sino sobre todo por la diversidad de percepciones sobre los criterios evaluativos que deben aplicarse en situaciones especficas. (74)
En el mismo sentido, Palumbo (1987: 13) entiende que los valores, yespecialmente los valores polticos, son un componente esencial de la evaluacin.
Para solucionar los posibles problemas de conflictos de valores, este autor sugiere utilizar aproximaciones naturalistas (que describimos ms adelante) a
partir de la colaboracin plena de todos aqullos que tienen un inters en el
programa.
En la medida que la evaluacin pluralista legitima la diversidad de intereses presentes, reconoce la multiplicidad de perspectivas que estos intereses implican, y de hecho promueve la participacin activa de los diversos
grupos que tienen relacin con un programa, democratiza la evaluacin,
aunque ello se haga a menudo desde arriba, por decisin de los evaluadores.
(Weiss, 1983:8).
b. Evaluacin Util
El propsito de este modelo no es tanto la produccin de la evidencia emprica que ha de permitir a los decisores polticos y administrativos adoptar las
decisiones correctas, como responder a las necesidades de informacin del
conjunto de los actores. En este sentido, se asume que al ofrecer a stos la posibilidad de decidir qu tipo de informacin se recoja, se incrementan las probabilidades que los resultados de la evaluacin sean efectivamente utilizados.
(Pauon, 1986:330).
A su vez, el carcter flexible y adaptativo de la evaluacin pluralista representa un reconocimiento de la naturaleza dinmica y cambiante de los programas pblicos, especialmente en su etapa de planificacin y desarrollo, y de
la necesidad de responder con rapidez a las cuestiones que emergen durante el
proceso evaluador en relacin con la reformulacin del diseo y estrategia del
programa.
De forma general, la estrategia de este tipo de evaluaciones consiste en utilizar una variedad de fuentes de datos (entrevistas, discusiones en grupo, anlisis de documentos y de archivos, observaciones) con el objeto de conseguir un
elevado grado de familiaridad con el programa y con sus principales actores.
En la medida que son stos los que mejor conocen los detalles del programa, la
(74) Este autor, que construye su ltima aportacin en base a los conceptos de evidencia, argumentacin y persuasin en el proceso poltico, cree que la determinacin emprica slo tiene sentido despus de
alcanzar un consenso sobre los criterios de evaluacin.
154
SEGUNDA PARTE
evaluacin examina su experiencia concreta, su posicin en relacin con la organizacin, y sus opiniones y argumentaciones sobre el programa.
e. Evaluador-Mediador
En ltimo trmino, la lgica pluralista supone enjuiciar el programa en

funcin de los criterios que derivan de sistemas de valores particulares. Dado
que la valoracin que se haga de un programa desde diferentes perspectivas
afecta de forma diversa a diferentes grupos, se producirn conflictos. La funcin del evaluador, alcanzado este punto, no es tanto la de decidir cmo se debe evaluar el programa, sino la de actuar como mediador de forma que se respeten las posiciones de todas las partes presentes. (Guba y Lincoln, 1987:219;
Monnier, 1987:123).
La evaluacin pluralista cambia por tanto el rol del evaluador. Este deja de
ser el juez objetivo e imparcial que le otorgaba su competencia tcnica, para
pasar a adoptar la posicin de negociador que valora las necesidades de informacin, clarifica las cuestiones, explica sus posibles consecuencias e intenta
alcanzar un acuerdo sobre criterios y prioridades.
Ello implica, sin embargo, como argumentamos ms adelante, que con la
evaluacin pluralista pierda importancia la evaluacin cuantitativa y conc1usiva o sumativa en favor de la evaluacin de los procesos de planificacin e implementacin.
D. MODELOS ESPECIFICaS QUE FUNDAMENTAN EL ENFOQUE

PLURALISTA
Los principios en los que se fundamenta el enfoque pluralista se hallan en
una serie de modelos que, a pesar de recibir distintas denominaciones (<<goalfree evaluation, Scriven 1973; responsive evaluation, Stake, 1975; naturalistic evaluation, Guba y Lincoln, 1981; stakeholder evaluation, Bryk,
1983; utilization-focused evaluation, Patton, 1986), coinciden en las caractersticas generales que acabamos de describir y que resumimos en los cuatro
puntos siguientes:
1. La importancia de considerar una pluralidad de valores en la evaluacin de cualquier programa (de aqu que se haya optado por la denominacin pluralista).
2. Una preocupacin por la utilizacin efectiva de los resultados de las
evaluaciones por los responsables directos de los programas.
155
3. La utilizacin de metodologas cualitativas con el objeto de alcanzar

un conocimiento profundo del programa y de su contexto.
4. La sustitucin de mtodos cientficos que precisan un entorno estable
y sin cambios, por otros que se adapten a la naturaleza dinmica y
evolutiva de los programas.
Entre los modelos alternativos de evaluacin nos parece importante destacar las aportaciones de Scriven, Guba y Lincoln y Patton. La primera por su
carcter seminal, la segunda por constituir la alternativa ms radical al paradigma cientfico clsico, y la tercera por su carcter estructurador de un eIllfoque que a primera vista puede parecer algo ambiguo.
a. La Evaluacin Libre de Objetivos

El modelo de la evaluacin libre de objetivos de Scriven fue el primero en
rechazar de forma radical la consideracin de los objetivos de los programas,
por entender que adems de ser innecesario, podra contaminar los resultados de la evaluacin. Un evaluador, segn Scriven, debe buscar efectos reales
y no supuestos, y para ello, lo mejor que puede hacer es olvidarse de la retrica que suele acompaar a los programas para no verse condicionado y describir exactamente aquello que se le pide. (Scriven, 1973; Browne y Wildavsky, 1987:158).
Evaluacin, para Scriven, consiste en generar dos tipos de informacin:
primero, un examen concreto de todos los efectos realmente producidos, y segundo, un anlisis de necesidades que sirva de referencia para valorar la importancia de los efectos. (Guba y Lincoln, 1981: 17).
La influencia de Scriven ha sido muy importante a nivel conceptual. Scriven fue el primero que propuso la realizacin de evaluaciones sin informacin
alguna sobre los objetivos, lo que supuso un cambio radical en la forma de
pensar sobre la evaluacin. Adems, Scriven propuso la consideracin de todos los efectos, intencionados o no, lo que se tradujo en una mayor atencin a
los efectos secundarios de las polticas.
A nivel operacional, sin embargo, Scriven no describi cmo identificar
efectos, ni especific los criterios que tenan que permitir decidir qu efectos
estudiar. Tampoco quedaba resuelta la cuestin sobre qu necesidades haba
que valorar, y en qu medida los efectos tenan que responder a aqullas.
Por otra parte, Browne y Wildavsky (1987: 158) han sealado que llna
aproximacin de este tipo necesariamente implica la imposicin encubierta de
las perspectivas y preferencias del evaluador, dado que no existe un lmite terico en la forma en que debe definir el problema. En este sentido, se afirma, el
156
SEGUNDA PARTE
evaluador debe tener algn medio de seleccionar entre la infinita variedad de

percepciones y efectos posibles.
b. Evaluacin Naturalista
Basndose en las ideas expuestas por Stake sobre la necesidad de una evaluacin que responda a las demandas, preocupaciones y cuestiones planteadas
por las personas que participan en el proceso evaluador, Guba y Lincoln formularon la alternativa ms radical al paradigma clsico de la evaluacin cientfica, a partir de la crtica de las propuestas positivistas de modelos anteriores,
y de la proposicin de 17 principios sobre los que se fundamenta la denominada evaluacin naturalista. (Guba y Lincoln, 1987:210-215).
Para Guba y Lincoln, la objetividad no es posible, porque los valores son
inherentes a cualquier anlisis, y el observador interacta con los observados.
Para estos autores, los conceptos de causalidad, validez interna y validez externa, prestados de la investigacin bsica, no son trasladables a la evaluacin.
(Mac Kelly, 1987:290-291).
Guba y Lincoln (1981 :42) distinguen entre el mrito -una propiedad no
determinada por el contexto-- y el valor -una propiedad que depende del
contexto-- y por tanto de valores, factores motivaciona1es y hasta caractersticas demogrficas. Para estos autores, si bien el mrito puede ser determinado a
travs de la investigacin cientfica, dado que no depende del contexto y es susceptible de generalizacin, el valor de un programa no puede ser determinado
de esta forma. Para determinar los valores y factores motivacionales, el evaluador tiene que tratar con las personas en su contexto. La evaluacin requiere por
tanto, estudios de campo que no pueden ser realizados d~ forma experimental,
sino que deben ser realizados de forma natural. Qu significa esto?
Mac Kelly (1987:290) ha definido la estrategia naturalista por oposicin a
la cientfica clsica, en los siguientes trminos:
Utilizar personas como instrumentos de recogida de datos ms que instrumentos de sondeo; utilizar el conocimiento intuitivo, sentido, tcito,
con el objeto de reflejar de forma ms adecuada el sistema de valores del
investigador; utilizar metodologas cualitativas ms que cuantitativas,
muestreos selectivos ms que muestras aleatorios y representativos, llevar
a cabo anlisis de datos de carcter inductivo, utilizando teoras bien establecidas y no hiptesis supuestamente sustantivas...
En cuanto al producto de la evaluacin, Guba y Lincoln (1987:219)
entienden que el evaluador ha de negociar los resultados del anlisis con
157
los participantes en la evaluacin para que sus percepciones y construcciones de la realidad sean incorporadas en el informe final, cuya aplicacion, por otra parte, debe limitarse al caso y asuntos especificados por el
estudio.
Indudablemente, este modelo se construye por oposicin al modelo
cientfico clsico. En este sentido, la insistencia en todas las opciones metodolgicas alternativas parece responder a una estrategia deliberada de sus
autores para recabar la atencin de la comunidad cientfica. Su aportacin
es, sin embargo importante, tanto por el tratamiento de la ambigedad mplicita en el tema de los valores y de las motivaciones, como por la consideracin de la evaluacin como un proceso dialctico entre las partes, cuyo
objetivo no es ni tan siquiera alcanzar un acuerdo, ya que a menudo no ser
posible, sino generar sinergias y enseanzas positivas para el futuro del
programa.
c. Evaluacin Orientada a la Utilizacin

La preocupacin por la utilidad de las evaluaciones ha dado lugar a algunas propuestas concretas que adoptan esta cuestin como fuerza central de todo el proceso evaluador. Concretamente, Patton (1986:330-332) ha propuesto
una forma de organizar el proceso evaluador (figura 15) en la que cada decisin sobre la evaluacin (decisiones relativas al objeto de estudio, diseo, mtodos, medida, anlisis, informe final y comunicacin de resultados) va precedida de la pregunta del evaluador sobre las consecuencias de la opcin
escogida en trminos de utilidad.
Los elementos bsicos de este proceso son bastante simples. Primero, se
identifican los usuarios potenciales de la evaluacin. Estos o sus representantes, cuando se trata de grupos numerosos, se organizan en una comisin de
trabajo que comparte con el evaluador la mxima capacidad de decisin sobre
todo el proceso.
En segundo lugar, corresponde a la comisin de trabajo, con la ayuda
del evaluador, determinar el objeto de la evaluacin. Esto supone examinar
los problemas planteados y decidir si la evaluacin ha de responder a cuestiones de eficacia general, de implementacin o de diseo y conceptualizacin de la intervencin.
En esta etapa del proceso, corresponde al evaluador ayudar a los actores del proceso a decidir qu cuestiones sera ms til investigar, y en funcin de la utilidad anticipada de la evaluacin, plantear si realmente vale
la pena dedicar los recursos presupuestados a la evaluacin de las cuestiones planteadas.
158
SEGUNDA PARTE
Figura 15: Organizacin del proceso evaluador segn Patton.

Fuente: Patton, (1986:332)
PRINCIPIO
FIN
159
La tercera parte del proceso se refiere a las decisiones en tomo al diseo

de la investigacin, mtodos e instrumentos de medida. Patton incluye aqu
todas las opciones posibles: mtodos cualitativos y cuantitativos, naturalistas,
experimentales, cuasiexperimentales y estadsticos. Para este autor, la principal cuestin es si los mtodos son los adecuados, si los datos obtenidos sern
crebles, comprensibles, precisos y apropiados, y ante todo, si los resultados
obtenidos sern realmente utilizados.
En cuarto lugar, una vez recogidos y analizados los datos por el evaluador,
corresponde a la comisin de trabajo participar activamente en la interpretacin de los resultados y enjuiciar el programa a la luz de la evidencia emprica. Son asimismo los integrantes de esta comisin, ayudados por el evaluador,
los encargados de generar recomendaciones y de controlar su implementacin.
Obviamente, Patton no ofrece un nuevo modelo de evaluacin, es decir,
no describe una nueva forma de llevar a cabo las evaluaciones. Su propuesta,
sin embargo, nos parece importante por dos razones: en primer lugar, porque
incorpora la preocupacin por la utilizacin al proceso evaluador, de forma
que ste se estructura alrededor de esta cuestin; y, en segundo lugar, porque
contempla la evaluacin como un proceso dinmico, interactivo -en el que el
evaluador ha de trabajar en estrecho contacto con los principales actores del
programa-, e iterativo -en la medida que la identificacin de nuevos grupos
o la emergencia de nuevas cuestiones implica la reconsideracin de las decisiones tomadas-o
4. LIMITACIONES DE LA EVALUACION PLURALISTA
Como se acaba de ver, el propsito de la evaluacin pluralista es llegar a

comprender qu aspectos son ms relevantes desde perspectivas mltiples y
qu influencia tienen en el proceso evaluador.
A diferencia de la evaluacin clsica que parte de una conceptualizacin
previa sobre qu indicadores reflejan la eficacia del programa, la evaluacin
pluralista intenta descubrir posibles efectos y, en su caso, los procesos que influyen en aqullos.
La cuestin de la estimacin de los efectos queda, sin embargo, por resolver.
Majone dira que lo que se necesita hoy, es no tanto el desarrollo de medidas
'objetivas' de resultados -el objetivo tradicional de la investigacin evaluativa- como facilitar un amplio dilogo entre los defensores de criterios diversos
(1989: 183). En sentido contrario, Rossi y Wright, dos de los mximos representantes de la tradicin cientfica dura entienden que lo que ellos llaman aproximaciones cualitativas raramente aportan estimaciones de los efectos que sean
muy precisas o libres de posibles factores confusionantes. (1984:61)
160
SEGUNDA PARTE
Ciertamente, lo que en el modelo clsico de evaluacin por objetivos es

preocupacin por la calidad tcnica de la investigacin y por la validez de los
resultados, en la evaluacin pluralista se sustituye por la preocupacin por responder a las mltiples demandas de informacin que, en la mayora de las
ocasiones versarn sobre cuestiones de carcter prctico.
Lo que hay que dilucidar para cada caso concreto es si la mejor comprensin mutua entre actores y sus consecuencias positivas en trminos de utilizacin, compensan la supuesta prdida de rigor metodolgico y de capacidad
para determinar la eficacia de los programas evaluados. Especialmente esto
ltimo, puesto que tanto decisores con autoridad formal como grupos afectados tambin querrn conocer los efectos de la intervencin para decidir si la
apoyan o, por el contrario, adoptan una actitud crtica y de rechazo.
La evaluacin pluralista, hemos visto, convierte al evaluador en mediador,
en el agente que promueve la discusin participativa sobre el programa. El
mantenimiento de un proceso evaluador con participacin activa de representantes de intereses diversos requiere, adems de una capacidad de gestin poltica importante por parte del evaluador, tiempo y recursos suficientes.
De una parte, cabe la posibilidad que el evaluador sea confundido con
aqullos que le contrataron, generalmente la Administracin que financia el
programa, y que sea percibido, por tanto, como un elemento externo de legitimacin de posiciones tomadas previamente. Tampoco est claro quin define
los grupos que pueden y no pueden participar en la evaluacin. Si bien en programas pblicos altamente politizados, seguramente se producirn demandas
desde abajo, la decisin ltima parece corresponder a los evaluadores, lo que
podra cuestionar el carcter representativo de la evaluacin.
De otra parte, la negociacin poltica requiere tiempo. En este sentido podran reproducirse los problemas de diferente temporalidad entre decisin y
evaluacin indicados en relacin con otros modelos. Raramente, la evaluacin
tendr tiempo y recursos suficientes para combinar la organizacin de un proceso participativo con el anlisis riguroso de resultados.
Lgicamente, la combinacin de aproximaciones permitira seleccionar
los mtodos ms adecuados para cada cuestin planteada, y a la vez, mantener
un estrecho contacto con la experiencia real y con las preocupaciones de los
principales actores. La experiencia adquirida con los estudios de caso nos indica, sin embargo, que en las etapas iniciales de la evaluacin ser preciso optar entre proceso o resultados, y nuestra tesis es que esta opcin vendr determinada por la naturaleza del programa y por la informacin disponible.
161
TERCERA PARTE
PRESENTACION DE LOS
ESTUDIOS DE CASO
Los estudios de caso del Plan Integral Roquetes (PIR) y de la Guardia Urbana de 1'Hospitalet de Llobregat (GUH) son presentados a continuacin con
el propsito de contrastar la teora de la evaluacin discutida hasta aqu, con
dos aplicaciones concretas.
Ambos casos nos han parecido relevantes por cuanto de ellos se pueden
derivar algunas implicaciones sobre:
1. la relacin entre caractersticas del programa y naturaleza de la
evaluacin;
2. la relacin entre el nivel de conocimiento e informacin sobre el programa y el tipo de evaluacin;
3. la validez, en general, de distintas opciones metodolgicas a la hora de
evaluar un programa.
En el primer caso, la evaluacin del PIR fue encargada por el Ayuntamiento de Barcelona al Grup d' Analisi Poltica de la Universitat Autonoma de
Barcelona en enero de 1990. Haba por tanto un cliente y una demanda de
evaluacin especfica. El informe final en cuya redaccin participamos, bajo
la direccin de J. Subirats, junto con R. Goma y J. Font, incluy 1) un examen
de la actitud y opiniones de los vecinos del barrio de Roquetes sobre el programa desarollado en su barrio; 2) el estudio detallado de cinco programas de
Insercin y Formacin profesional: y 3) el anlisis de la gestin poltica y administrativa del programa, y de los servicios prestados a la poblacin en cada
una de sus reas de intervencin (econmica, social, urbanstica y cultural) incluyendo una estimacin singularizada del coste de cada proyecto. (Grup
d'Analisi Poltica, 1991).
Reconstruimos aqu el proceso de formulacin del programa, dado que constituye un caso paradigmtico de formacin pluralista de una poltica en la que:
1. coinciden una serie de actores, cada uno con su sistema de valores e
intereses;
2. se genera un proceso poltico complejo en el que la formulacin no
siempre precede a la implementacin sino que emerge durante el curso
de la accin;
3. todo ello da lugar a un programa de caractersticas tales que su evaluacin de acuerdo con las prescripciones de los primeros modelos
167
de evaluacin, no solamente sera muy difcil, sino que deja de tener sentido.
De forma muy sinttica, el mensaje que se desprende de este estudio podra ser que cuando los programas sean ms como el PIR, menos aconsejable
ser centrar la evaluacin en el cambio experimentado por algunas caractersticas de la situacin observada, y ms adecuado ser, por el contrario,
adoptar una perspectiva de proceso y pluralista.
***
En el segundo caso, el de la evaluacin de los servicios de Polica Local,
fuimos nosotros quienes pedimos el acceso a las dependencias y archivos de
la GUH, con el objeto de estudiar un servicio que apareca justamente como
todo lo contrario del PIR, es decir, un servicio consolidado y estable en el que
era relativamente sencillo determinar los inputs, actividades y outputs que intervinen en su proceso de produccin.
Al mismo tiempo, eramos conscientes que las demandas de evaluacin se
producirn en relacin con servicios que raramente se administran por programas u objetivos. Como hemos visto en el Captulo 11, uno de los principales
problemas que presenta la evaluacin de programas en nuestro pas es la ausencia de una verdadera gestin por programas. Si bien es cierto que la Administracin utiliza con frecuencia los trminos plan y programa para referirse a un conjunto de acciones programadas para alcanzar uno o varios
objetivos, la falta de precisin de estos objetivos y, en general, la dificultad de
aislar los recursos afectados a un programa especfico en el seno de un aparato
administrativo complejo, hace difcil la operacionalizacin de los modelos de
evaluacin clsicos. Esta es, sin embargo, una caracterstica inherente del funcionamiento de las administraciones pblicas, lo que nos obligaba a plantear
si tena para nosotros algn sentido la evaluacin de programas en los tnninos discutidos y, en su caso, cmo se podran evaluar aquellos servicios que
no se estructuran conforme a unos objetivos y programas especficos.
El mensaje que se desprende de este estudio tiene que ver con las posibilidades de anlisis que ofrece la informacin que recogen de forma rutinaria y
continuada las policas locales y con la importancia de determinar y medir
aquellas variables que reflejan tanto la forma en que se presta un servicio como su eficacia global, cuando las caracterticas del programa lo permiten, e
independientemente de sus objetivos.
168
CAPITULO VI
EL CASO DEL PLAN INTEGRAL
DE ROQUETES
1. INTRODUCCION
La poltica de planes integrales de desarrollo como nueva forma de intervencin social en los barrios perifricos y degradados de la ciudad de Barcelona se inici con el PIR.
El PIR aparece como la versin barcelonesa de las polticas de desarrollo
de las inner cities norteamericanas y de sus variaciones europeas de mediados de los sesenta y setenta (75). Presenta, sin embargo, importantes singularidades fruto de su propio proceso de desarrollo, y de hecho, fue anunciado
dentro del contexto local, como una nueva forma de intervencin.
Sintticamente, podramos decir que con el PIR se intentaba: coordinar un
conjunto de intervenciones sociales a realizar sobre un territorio (el barrio de
Roquetes), con un objetivo global de desarrollo que pretenda dar respuesta a
las necesidades sociales ms sentidas en el barrio, con la participacin activa
y efectiva de los vecinos y de todos aquellos grupos que tuvieran un inters en
el programa.
Esta es una definicin del PIR en la que probablemente estaran de acuerdo sus principales protagonistas, dado su caracter global y agregador de visiones parciales distintas. Seguramente, sin embargo, el grado de consenso en
tomo a la definicin del programa se reducira en la medida que se intentara
precisar las consecuencias que cabra esperar de la coordinacin de intervenciones, del desarrollo generado por la intervencin pblica o de la participacin de personas que no pertenecieran a la Administracin impulsora.
y ello porque el PIR es el caso paradigmtico de un programa nuevo, donde convergen una diversidad de actores sociales que interpretan de formas diferentes la oportunidad que representa la intervencin y que por tanto, slo alcanzan a llegar a acuerdos sobre la base de no especficar objetivos y sus
consecuencias en trminos operacionales.
Para que se produzca un consenso a partir del cual impulsar un programa
pblico, como dira Monnier (1987:82), hay bastante con que exista una interdependencia entre las expectativas de unos y otros y que sus intereses sean
parcialmente satisfechos. Despus, cada actor perseguir sus propios intereses en el seno del programa e intentar maximizar los beneficios que le aporta
a travs de la negociacin.
(75) Sobre el programa federal norteamericano Model Cities, Vid. los comentarios de Caro (1971,
297-317), Y Weiss y Rein (1971, 287-296).
171
Ciertamente, en el caso del PIR, desde el principio y dado su carcter participativo y abierto, grupos representando una amplia variedad de intereses
han querido influir en su concepcin y diseo, lo que ha convertido el programa en el centro de una negociacin poltica intensa (76).
Con el objeto de ilustrar este proceso y sus consecuencias en la forma que
se define el programa, describimos a continuacin: los puntos de partida de
los actores presentes y las negociaciones que progresivamente delimitan las
bases de la intervencin y el modelo de programa. Ello nos permitir entrar en
el anlisis de las aproximacione,s evaluativas posibles y en la discusin de las
implicaciones del caso para la teora general.
2. DESCRIPCION DEL CASO

A. ANTECEDENTES: LOS ACTORES
a. Entidades y asociaciones de vecinos
Desde principios de los aos 80 y con ms intensidad a partir de la descentralizacion de mbitos de gobierno de la ciudad de Barcelona a los Consejos de
Distrito, un grupo de vecinos organizados del barrio de Roquetes haban mantenido una presin importante sobre la administracin municipal para que llevara a cabo una intervencin social en el barrio donde haba problemas evidentes de drogadiccin, delincuencia, degradacin de las viviendas de la llamada
zona alta y, en general, dficit de servicios de asistencia social, atencin a las
personas de la tercera edad y de la infancia.
Este grupo de vecinos, integrado por miembros de la Asociacin de Vecinos, de la Asociacin de Padres de Alumnos de las Escuelas y del grupo
de jvenes cristianos, haba mostrado una notable capacidad para movilizar
un nmero importante de vecinos en torno a temas de inters general como
la construccin del 11 cinturn en Roquetes o el Plan Especial de Reforma
Interior (PERI). Entre sus xitos, contaban el haber conseguido, antes que
se hiciera el plan integral, que Roquetes tuviera, primero, un consultorio
mdico, y despus un centro jerarquizado de salud, esto es, con un equipo
mdico fijo.
La presin de este grupo de vecinos y de una forma especial la de su lder
reclamando actuaciones urgentes en el barrio tendra un peso decisiv.o a la hora de decidir el territorio sobre el que se llevara a la prctica el plan integral.
(76) Al final del programa el PIR ha supuesto un gasto no superior a las 10.388 ptas por persona. El
barrio de Roquetes tiene 17.222 personas segn el censo de 1986.
172
TERCERA PARTE
b. El Consejo Municipal del Distrito de Nou Barris
El Consejo Municipal del Distrito de Nou Barris, presidido por un concejal socialista, se hallaba a principios de 1988, en un proceso de consolidacin,
a la vez que intentaba reorganizar los recursos transferidos desde las reas
centrales del Ayuntamiento de Barcelona en funcin de nuevos criterios. Este
proceso intentaba aglutinar (<<compactar fue el trmino escogido) todos los
servicios personales que prestase el Distrito de Nou Barris, bajo una direccin
nica, de forma que en el futuro, los profesionales de las antiguas reas centrales (juventud, deportes, servicios sociales, salud pblica, educacin, cultura) que trabajaran en el distrito obedecieran a una nica estrategia.
La nueva estructuracin organizacional de los servicios personales en el
distrito deba facilitar el desarrollo de programas-marco que sirviesen de referencia a cada proyecto especfico en el que intervendran personal y recursos
de reas sectoriales diversas.
A su vez, la integracin de estos profesionales en equipos multidisciplinarios territorializados permitira conseguir una mayor coordinacin en el tratamiento de problemticas especficas que presentaran cada una de las zonas en
las que se divida el distrito.
Como paso previo a la formacin de los nuevos equipos territoriales, el Distrito haba organizado algunas reuniones de coordinacin de los trabajadores sociales que actuaban en un mismo territorio. Por lo que respecta al barrio de Roquetes, los trabajadores sociales del Distrito aceptaban la idea de invitar a
algunas de estas reuniones a representantes de los vecinos que, por su parte, haban hecho una oferta similar al Distrito con la voluntad de participar activamente
en la bsqueda de soluciones a los problemas sociales ms graves del barrio.
c. El Area de Desarrollo Econmico-Social
El Area de Desarrollo Econmico-Social (ADES) del Ayuntamiento de

Barcelona, presidida por uno de los dos concejales del grupo Iniciativa per
Catalunya en el equipo de gobierno del Ayuntamiento de Barcelona, solicit
a finales de 1987 una ayuda de 65 millones de pesetas al Fondo Social Europeo (FSE) para un Programa Integral de Desarrollo en Nou Barris, de tres
aos de duracin (desde enero de 1988 a diciembre de 1990).
El Ayuntamiento de Barcelona, a travs del ADES, se comprometa ante
la Comisin de la Comunidad Econmica Europea a cofinanciar este programa con un mnimo de 65 millones de pesetas y a alcanzar el objetivo de 100
beneficiarios directos. La solicitud defina el programa en los siguientes trminos no literales:
173
Accin de carcter integral, que pretende el desarrollo de un territorio (el

Distrito de Nou Barris) caracterizado por un medio urbano degradado e
importantes bolsas de marginacin y pobreza, englobando actuaciones tradicionalmente parcializadas y descoordinadas en los campos de la lucha
contra la marginacin, la insercin laboral de los jvenes, la reinsercin de
personas en situacin de desempleo de larga duracin, la incorporacin de
las mujeres al mundo del trabajo, la actividad cultural y la proteccin del
medio ambiente.
A pesar de que, tratndose del FSE, se pona un mayor nfasis en los programas de formacin socio-laboral, calificacin profesional y promocin del
espritu cooperativo, la solicitud dejaba bien claro el propsito de mejora global del territorio objeto de la intervencin, incidiendo simultneamente en los
problemas sociales, de entorno fsico y nivel cultural, adems de los de ocupacin en los que el ADES se haba especializado hasta aquel momento.
La voluntad de los responsables de programas del ADES era de experimentar un nuevo producto: los planes integrales de desarrollo para distritos o
barrios de la ciudad, con los que se intentara coordinar las acciones de las administraciones pblicas (no necesariamente de mbito local) y de otras entio1ades ciudadanas que operasen en un determinado distrito o barrio, con el objeto
de conseguir una mejora global de ste.
Estos planes deberan ser diseados en funcin de las caractersticas y necesidades del territorio objeto de la intervencin -en este sentido, la solicitud
del ADES haca referencia al anlisis de las causas de los problemas y a la deteccin de los grupos de poblacin afectados en cada barrio- con la participacin de los vecinos y otros grupos de inters que, como consecuencia de su
participacin en los planes integrales, se esperaba salieran reforzados en sus
estructuras organizacionales.
Independientemente de la resolucin de la solicitud de ayuda por la Comisin de las Comunidades, el ADES y su mximo responsable poltico tenan
clara la intencin de impulsar un programa piloto de desarrollo integral en el
distrito de Nou Barris como forma de intervencin diferente -de las formas
tradicionales en que operaban los distritos o las reas centrales del Ayuntamiento y ms democrtica- en la medida que un componente esencial sera
la participacin de los vecinos.
Para impulsar su proyecto, el ADES contaba, adems de la subvencin
del FSE en el caso de que la resolucin fuera positiva, con recursos propios,
del VI Plan de Ocupacin Juvenil de la Generalitat de Catalunya, del INEM
-que financiaba una buena parte de las actuaciones del ADES en Barcelona- y del Area de Bienestar Social del Ayuntamiento de Barcelona, presidida por la otra concejala de Iniciativa per Catalunya en el Ayuntamiento y
174
TERCERA PARTE
que estaba dispuesta a invertir 38 millones en poner a prueba los programas

de desarrollo integral.
La opcin por el Distrito de Nou Barris responda a la voluntad poltica de
intervencin en uno de los distritos ms necesitados de Barcelona. El ADES
consideraba reas de intervencin prioritaria los distritos de Ciutat Vella y
Nou Barris que, como han indicado Oliver, Busom y Trulln (1989), presentan los niveles de renta ms bajos cuando son analizados comparativamente
con los dems distritos de la ciudad.
Ciutat Vella reciba una atencin prioritaria por parte del Ayuntamiento de
Barcelona que, adems, no haba tenido excesivos problemas para atraer la inversin privada en el centro histrico-cultural de la ciudad. Nou Barris, en
cambio, situado en la periferia de la ciudad, no contaba con algunas de las
ventajas que podan derivar de la centralidad de Ciutat Vella, y a la vez soportaba graves problemas sociales y un dficit importante de servicios y equipamientos pblicos.
Uno de los colectivos ms dinmicos del distrito de Nou Barris y que se
haba constituido en plataforma de discusin de los problemas que afectaban a su distrito era el Centro de Estudios y Documentacin Nou Barris
(CD9B), una organizacin vecinal con la que el ADES contaba para el desarrollo de su plan integral. A principios de 1988, el ADES encarg un estudio a este Centro en el que se documentaran los problemas y necesidades
del distrito, as como sus propuestas sobre la forma que poda adoptar el futuro plan integral.
d. El Centro de Estudios y Documentacin Nou Barris
El Centro de Estudios y Documentacin Nou Barris (CD9B) vea en el

plan integral que promocionaba el ADES una oportunidad inmejorable de resolver los dficits que histricamente haban sufrido los barrios del distrito. La
estrategia del CD9B, compartida por los dirigentes de las asociaciones vecinales de Roquetes, era la de convertir el plan integral en la plataforma a partir de
la cual discutir con el Ayuntamiento de Barcelona y hasta con el Departamento de Bienestar Social de la Generalitat de Catalunya, y la Diputacin de Barcelona, un programa especial de reforma social y urbanstica para el distrito
de Nou Barris.
El estudio del CD9B haca una descripcin detallada de lo que sus redactores entendan tena que ser un plan de desarrollo integral para su distrito. En
este sentido, se trataba de un documento programtico con unas ciertas pretensiones tericas en la medida que intentaba definir el modelo de desarrollo integral y su filosofa de fondo.
175
Para el CD9B, integral era sinnimo de global, sin separacin rgida

de los aspectos sociales y econmicos. El estudio vinculaba los planes integrales a variables puramente econmicas como la creacin de riqueza o de
puestos de trabajo y mostraba una evidente preocupacin para que los futuros
planes integrales no se limitaran a un conjunto de programas asistenciales o
promocionales relacionados con la ocupacin.
Los autores del estudio consideraban, sin embargo, que la dinamizacin
econmico-social del barrio deba estimularse con una poltica decidida de
apoyo a las organizaciones del distrito y de formacin de su poblacin. De esta forma, la intervencin pblica contribuira a generar un proceso de desarrollo endgeno y a articular un tejido social dinmico, elementos que se
consideraban necesarios para mantener ms all de la frontera de los tres aos
aquello que iniciara el plan integral.
Lgicamente, en la medida que el plan integral se propona estimular la
actividad de la comunidad, deba contar con sta y, en este sentido, los autores
del estudio defendan mecanismos de concertacin e implicacin de los vecinos en el proceso de toma de decisiones. Estos mecanismos, se entenda, COllltribuiran a superar las relaciones conflictivas que tradicionalmente haban
mantenido las organizaciones vecinales de Nou Barris y el Ayuntamiento de
Barcelona.
Finalmente, y al igual que el Distrito con sus propuestas sobre la compactacin, el estudio del CD9B propona articular las diferentes actuaciones
sectoriales que tuvieran lugar en un territorio especfico, dentro de un nico
programa, con unos objetivos claros y especficos que respondieran a una estrategia global que, en este caso se afirmaba, deba de ser compartida por la
Administracin y por el resto de actores sociales del distrito.
B. LA NEGOCIACION
a. Restriccin del Ambito del Programa: De Nou Barris a Roquetes
Con la aprobacin el 29 de abril de 1988 de una subvencin de 45 millones de pesetas por parte del FSE, el ADES se dirigi al Consejero-Presidente
del Distrito de Nou Barris para ofrecerle la posibilidad de iniciar su poltica de
planes integrales con un programa piloto en Nou Barris.
La oferta del ADES habra resultado atractiva para cualquier distrito en la
medida que supona aadir, como mnimo, 150 millones al presupuesto ordinario. Los responsables polticos y administrativos del Distrito de Nou Barris
vean en la oferta del ADES, la oportunidad de financiar con recursos externos un programa piloto que sirviera de campo de pruebas de sus ideas sobre Ra
176
TERCERA PARTE
compactacin, en la medida que el concepto de plan integral se adecuaba

perfectamente a su proyecto de coordinar las intervenciones de los profesionales que operaban sobre un mismo territorio.
El distrito entenda, sin embargo, que por los recursos con los que contara
el plan, haba que redefinir su mbito a un barrio y, en este sentido, propuso
que ste fuera Roquetes.
Por qu Roquetes? En primer lugar, porque un grupo de vecinos organizados haban estado presionando al Consejo de Distrito, desde su creacin,
para que se hiciese una intervencin especial en materia social en su barrio.
Adems, algunos vecinos se haban reunido ya con trabajadores sociales del
Distrito en comisiones de trabajo sobre problemas especficos. En segundo lugar, porque Roquetes era un barrio de rea y poblacin medianas comparado
con otros del distrito, y claramente delimitado geogrficamente al situarse entre la sierra y el 11 cinturn.
Como otros barrios del distrito, Roquetes sufra graves problemas urbansticos, especialmente en la llamada zona alta, pero a diferencia de aqullos tena un PERI al que slo faltaban los ltimos trmites de aprobacin. Tanto el
ADES como el Distrito coincidieron en apreciar las oportunidades que para el
proceso de dinamizacin social y econmica podan derivar de la obra nueva
que, una vez aprobado, generase el PERI.
Roquetes presentaba una problemtica social grave, lo que haba dado lugar a continuas protestas y reivindicaciones de los vecinos. A los problemas
estructurales del barrio se aadan aqullos que generaba la drogadiccin de
importantes grupos de poblacin y la recepcin de una comunidad gitana en
aumento. Roquetes, sin embargo, slo tena una asistente social, un casal de
jvenes (que tendra que cerrar temporalemente sus puertas durante el plan integral) y desde haca pocos meses una animadora cultural.
De las tres zonas estadsticas en que los servicios sociales del Ayuntamiento de Barcelona dividen el distrito, aqulla en la que se integra el barrio
de Roquetes presenta una situacin intermedia. En el mismo sentido, la percepcin de los trabajadores sociales entrevistados era que otros barrios del
distrito reunan condiciones similares y hasta, en algunos casos, peores, de lo
que cabe derivar que fueron los factores citados en primer y segundo lugar los
que tuvieron un peso ms decisivo a la hora de optar por Roquetes.
b. Primeros conflictos con los vecinos

La reduccin del mbito de aplicacin del plan de desarrollo integral a un
barrio frustraba doblemente las expectativas de las organizaciones vecinales
del distrito. En primer lugar porque estas entidades interpretaban la decisin
177
del Distrito negativamente: de una forma implcita, se estaba abandonando su

programa mximo de reforma urbanstica y revitalizacin econmico-social
de Nou Barris. Y, en segundo lugar, porque los miembros del CD9B confiaban
en poder liderar el programa una vez aprobado.
La decisin a favor de Roquetes no contentara ni a los dirigentes vecinales de este barrio que entendan que la decisin demostraba la falta de voluntad poltica por parte del Ayuntamiento de convertir el programa planteado
inicialmente en un verdadero plan integral, similar al que de una forma menos estructurada reciba Ciutat Vella gracias a la fuerte implicacin de diversos departamentos del Ayuntamiento y de la Generalitat.
c. Eleccin de los directores

Desde principios de 1988, el ADES haba nombrado director de la operacin plan integral a uno de sus tcnicos con varios aos de experiencia en el
Ayuntamiento de Barcelona y que conoca bien la realidad de los distritos a
raz de su trabajo como director de agentes de desarrollo local.
Por su parte, el Distrito haba ofrecido la coordinacin del equipo territorial que se formara en la zona de Roquetes, a un psiclogo de su plantilla.
La negociacin entre ADES y Distrito conducira a nombrar a ambos, directores conjuntos del PIR. De esta forma, ambos organismos superaban sus
diferencias y mantenan el control del programa.
Las diferencias entre una y otra institucin eran importantes y despertaban
recelos mutuos. De una parte, el ADES era presidida por un concejal de Iniciativa per Catalunya, mientras que el Distrito era presidido por un concejal del
grupo socialista. De otra parte, los profesionales del ADES eran mayoritariamente economistas y tcnicos en ocupacin, mientras que la cultura dominante
en los servicios personales del Distrito era la de psiclogos y asistentes sociales.
En este caso, el nombramiento de uno o dos directores era una decisin
estratgica, en la medida que la fidelidad a las administraciones de origen poda comprometer seriamente la validez del experimento en el que se intentaba
coordinar, bajo una direccin nica, las intervenciones de diferentes organismos sobre un mismo territorio. Siempre caba la posibilidad que los dos directores actuaran unitariamente dado el inters que haban mostrado por el programa y sus buenas relaciones personales.
A principios del mes de mayo de 1988, cuando ya haban transcurrido
cuatro meses del primer ao de los tres de vigencia terica del PIR, los directores del programa se enfrentaban a su reto particular:
Como llevar a la prctica un programa que diera lugar a las consecuencias que, de forma bastante inprecisa y ambigua, haban previsto sus superiores
178
TERCERA PARTE
jerrquicos y polticos y un grupo de vecinos de Roquetes con los que estaban

decididos a colaborar? (77)
Para su tarea, los directores del PIR no disponan de un conocimiento sistemtico sobre la experiencia de otros gestores pblicos llamados a cumplir
una funcin similar. El ADES tena prevista la coordinacin del PIR con acciones similares desarrolladas en la ciudad de Dsseldorf, pero este intercambio de experiencias no se producira nunca.
C. DELIMITACION PROGRESIVA DEL PROGRAMA

a. La Rehabilitacin de un Edificio como Carta de Presentacin
La principal preocupacin de los directores del PIR, en la primavera de
1988, era ganar credibilidad ante los vecinos de Roquetes que an no conocan el Plan, mediante una actuacin importante en el barrio que les sirviera
de carta de presentacin, y, a la vez les permitiera ganar tiempo para formar
su equipo y empezar a establecer mecanismos de discusin con los vecinos.
En este sentido, su primera actuacin fue la rehabilitacin del edificio de
una antigua escuela del barrio que servira como sede de operaciones del PIR
y a su vez, como equipamiento del barrio, durante y despus del PIR.
El edificio, indispensable para que el PIR pudiera operar, se convirti en
un elemento referencial, en la medida que un tercio de los habitantes de Roquetes no saban que el barrio hubiera sido objeto de un plan integral al finalizar ste, pero en cambio, identificaban su sede. Adems, la sede rehabilitada
del PIR constituira un importante activo en el momento de negociar la instalacin de servicios dependientes de otras instituciones en el barrio de Roquetes, dada la escasez de equIpamientos pblicos en el distrito de Nou Barris.
b. Formacin de Grupos de Trabajo con los Vecinos

Para los directores del PIR, si bien era importante disponer de una sede, tanto para la propia gestin del PIR como para su uso por los vecinos de Roquetes,
lo era an ms, poner en marcha algunos proyectos, ya que el programa tena
(77) El problema estratgico, tal y como es definido por Barzelay y O'Kean (1989: 22), era el
siguiente:
l.
2.
Cmo elegir las actividades y los servicios que tuvieran el mayor impacto posible en los problemas sociales a los que se tena que dirigir la intervencin?
Cmo emplear los recursos puestos a su disposicin o que pudieran conseguir en el futuro, para
instrumentar las actividades seleccionadas?
179
que gastar un tercio de los recursos aportados por el ADES y el FSE, el Area de
Bienestar Social del Ayuntamiento de Barcelona, y el VI Plan de Ocupacin Juvenil de la Generalitat de Catalunya, antes de acabar el ao 1988.
La presin presupuestaria llevara a los directores del PIR a otorgar prioridad a los proyectos concretos, aceptando como criterios generales de actuacin los que derivaban de los documentos preparatorios del PIR. Conscientes,
sin embargo, de que sus proyectos tendran que contar con el apoyo de los vecinos y decididos a abrir el programa a la participacin de aqullos, propusieron la formacin de equipos de trabajo mixtos (PIR-vecinos) sobre la base de
las cuatro comisiones (paro, marginacin, cultura y urbanismo) en que se estructuraba la Asociacin de Vecinos de Roquetes, con el propsito de discutir
e impulsar algunos proyectos de estudios o hasta servicios especficos.
c. Adopcin de un Programa Amplio de Objetivos Generales

Estas comisiones acabaran determinando los mbitos de actividad del PIR,
a pesar de su efmera vida. En la medida que iban desapareciendo, --cuando los
vecinos dejaron de asistir a las reuniones por entender que en ellas adoptaban
posiciones de autoridad aparente pero con un poder meramente nominal- daran lugar a las cuatro areas de dinamizacin (econmica, social, cultural y de urbanismo) sobre las que se estructurara la organizacin administrativa y el personal de PIR.
De esta forma, los directores del PIR adoptaban implcitamente un concepto de plan integral amplio, que vena a coincidir en su planteamiento con el
programa de reforma global de los vecinos, y se comprometan a obtener resultados significativos en cada una de las reas de dinamizacin.
Los objetivos formales de cada una de estas reas de intervencin, de
acuerdo con los documentos elaborados por el propio programa, consistan en
lo siguiente:
Area de dinamizacin econmica.
Primero: Insercin social y laboral de personas con dificultades de acceso
al mercado de trabajo. Uvenes, mujeres adultas-amas de casa,
parados de larga duracin).
Segundo: Mejora y desarrollo de las actividades econmicas del barrio.
(pequeos talleres, comercios, proyectos de autoocupacin).
Area de dinamizacin social
Primero: Contribuir a la prevencin y solucin de algunas problemticas
psico-sociales. (nios abandonados, ancianos, drogadictos, marginados sociales).
180
TERCERA PARTE
Segundo: Incrementar la participacin de la comunidad en el desarrollo de

barrio. (entidades vecinales, grupos sociales con menor capacidad de participacin).
Area de dinamizacin cultural
Primero: Promover la identificacin de los vecinos con su barrio a travs
de actuaciones culturales referenciales.
Segundo: Promover actividades que mantengan las diferentes culturas del
barrio.
Tercero: Promover actividades que conecten el barrio con el resto de la
ciudad.
Area de Urbanismo.
Primero: Supervisin y control de las obras generadas por el PERI.
Segundo: Promover obras en suelo pblico no previstas por el PERI.
Tercero: Promover la rehabilitacin de las viviendas de la zona alta del
barrio.
Este resumen de objetivos del programa formal deja bien claro que: primero, el PIR mantena la declaracin de intenciones inicial, en el sentido de
intervenir en todo el abanico de problemas que presentaba el barrio de acuerdo con las expectativas que haba suscitado, y segundo, que sus directores no
se comprometan, sin embargo, a trabajar sobre objetivos especficos directamente observables, ni establecan una ordenacin de los mltiples objetivos
de la intervencin en funcin de su importancia o prioridad.
D. ESTRUCTURA ORGANIZACIONAL y SERVICIOS

a. Capacidad de Decisin de los Directores
Durante el perodo de preparacin del PIR, ADES y Distrito haban llegado a acuerdos sobre la necesidad de que aqul fuera gestionado directamente
por el Ayuntamiento, y sobre el nombramiento de dos directores, uno para cada institucin. Estos disponan de un amplio margen de actuacin a la hora de
decidir el tipo de capacidad interna que precisaba el PIR para cumplir sus funciones. Una comisin ejecutiva, formada por los niveles polticos y administrativos ms altos del ADES y del Distrito supervisara sus decisiones, pero en
cualquier caso, eran los directores los responsables de definir los puestos de
trabajo y de contratar las personas que ms se adecuaran a ellos.
El personal poda ser contratado en rgimen laboral y por un perodo mximo de dos aos y medio con la salvedad de la asistente social y de la animadora cultural aportadas por el Distrito.
181
La posibilidad de contratar laboralmente al personal del programa era importante en la medida que ello otorgaba una mayor flexibilidad a sus directores para seleccionar a sus colaboradores entre aquellas personas que se sintieran atradas por la misin que se les haba encomendado y que fueran ms
proclives a aceptar el carcter innovador del programa y su orientacin de servicio y colaboracin con los vecinos.
Si bien en el apartado de recursos humanos, los directores podran decidir
los criterios en funcin de los cuales contrataran a sus colaboradores as como las personas ms adecuadas para cada funcin, su capacidad de gestin de
los recursos presupuestarios se vea severamente limitada por el control al que
los sometan tanto el Distrito como el ADES.
El PIR era financiado con recursos procedentes del FSE, del ADES, del
VI Plan de Ocupacin Juvenil de la Generalitat de Catalunya, del Area de Bienestar Social del Ayuntamiento de Barcelona y del Distrito.
En la medida que el programa no tena entidad jurdica propia, la totalidad de
la subvencin del Area de Bienestar Social pas a engrosar el presupuesto ordlinario del Distrito que, adems del Director del programa y de las funcionarias mencionadas, ira haciendo algunas aportaciones adicionales, bsicamente para gastos
de inversin en el edificio o en material tcnico o de oficina que, una vez acabado
el PIR, quedaran para el Distrito. El conjunto de recursos bajo el control del Distrito, representaran al final del programa el 40% del presupuesto global.
Por su lado, el ADES mantena el control de los recursos propios y de
aqullos procedentes del FSE y del VI Plan de Ocupacin Juvenil de la Generalitat de Catalunya que se integraron en su presupuesto ordinario y representaran el 60% del presupuesto final del PIR.
La inexistencia jurdica del PIR como organismo autnomo obligaba a sus
directores a desarrollar su programa por medio de la aplicacin de mecanismos administrativos clsicos, lo que no solamente limitara de una forma importante su capacidad de gestin, sino que tendra importantes consecuencias
para el propio funcionamiento del programa: a la dualidad de directores se
aada la dualidad de cajas, lo que tendra su reflejo en la estructura organizacional que describimos a continuacin.
b. Estructura Organizacional del PIR
De acuerdo con el organigrama que reproducimos en la figura 1, el PIR se

estructuraba en base a las cuatro reas de dinamizacin adoptadas a partir de
las primeras reuniones con los vecinos.
A las cuatro reas, se aada una quinta rea de gestin para asuntos relacionados con el mantenimiento y el uso del edificio sede del programa.
182
TERCERA PARTE
El Director del PIR nombrado por el Distrito asuma directamente las relaciones con los vecinos usuarios de las instalaciones rehabilitadas y la direccin de los programas social y cultural. El Director nombrado por el ADES,
por su parte, se ocupara de la direccin del programa de dinamizacin econmica y, de una manera informal, ira asumiendo la direccin de los proyectos
del rea de urbanismo.
Al adoptar como criterio estructurador las reas de dinamizacin, quedaban claramente diferenciados dos niveles:
Primero, el nivel de las reas de dinamizacin que divida la capacidad interna del PIR en funcin de perspectivas ms especializadas. En funcin de
este criterio, se clasificaran los puestos de trabajo por especialidad tcnica.
Segundo, el nivel de los directores, que quedaban como nicos garantes
del enfoque estratgico e integrador que tena que dominar el PIR.
Los directores tenan que responder de su gestin de forma conjunta ante
la Comisin Ejecutiva que estaba formada por los Concejales-Presidentes del
Distrito y del ADES, el Coordinador de Servicios del Distrito, el Director de
Programas del ADES, y los dos Directores del PIR. Esta comisin tena por
misin adoptar los acuerdos de inversin y contratacin de personal, supervisar el desarrollo de los programas, as como el cumplimiento de las obligaciones contradas con terceros respecto al nmero de participantes o el cumplimiento de los plazos previstos. Al margen de su funcin fiscalizadora, la
Comisin Ejecutiva poda jugar un papel importante como rgano de negociacin poltica e integracin de los programas del Distrito y del ADES.
Las comisiones por programas con los vecinos, a las que hemos hecho referencia ms arriba, constituyeron el principal mecanismo de participacin del
PIR hasta el momento en que los vecinos dejaron de asistir a las comisiones
de trabajo por entender que los tcnicos municipales eran insensibles e indiferentes a sus propuestas, su funcin en las comisiones se limitaba a sancionar
proyectos que no tenan tiempo de revisar y, en cualquier caso, las decisiones
presupuestarias escapaban a su control.
La comisiones por programas fueron suplidas, en su funcin de integracin de los vecinos en el programa, por la Comisin de Seguimiento, que durante el segundo ao de programa se convertira en el principal rgano de relacin del PIR con los vecinos y de stos con el programa y la administracin
municipal, representada en este caso por los Concejales-Presidentes del ADES
y del Distrito.
El organigrama representado en la figura 1 refleja grficamente las dificultades de integracin a las que se enfrentaban los directores del PIR. Tanto la estructura administrativa del programa como su doble dependencia jerrquica y presupuestaria del Distrito y del ADES tendan a la formacin de dos equipos: uno
para el rea socio-cultural y otro para el rea econmica y de urbanismo.
183
Figura 1: Estructura Organizacional del PIR
Comisin de
Seguimiento
Consejero
Presidente
DISTRITO
Consejero
Presidente
ADES
I
Comisin
Ejecutiva
Coordinador
de Servicios
Director
Programas
Director
PIR
Director
PIR
Local
Area
Dinamizacin
Social
Cultural
Area
Dinamizacin
Econmica
I
Area
Urbanismo
c. Contratacin de Colaboradores Tcnicos por Areas

Los directores del PIR respondieron a la presin presupuestaria que les
obligaba a gastar una parte importante de los recursos durante el primer ao
de vigencia terica del PIR, contratando estudios y servicios a entidades o empresas externas, normalmente relacionadas con el distrito de Nou Barris. Esta
poltica cambiara substancialmente al iniciarse el segundo ao del programa
como consecuencia del desarrollo de la capacidad interna para ofrecer directamente algunos servicios. En este sentido, las decisiones ms importantes fueron las de contratar los profesionales para cada una de las reas de dinamizacin y para las tareas de administracin general y gestin presupuestaria,
184
TERCERA PARTE
suficientemente complejas en virtud de la amplitud y multiplicidad de objetivos planteados y de la necesidad de negociar continuamente con el Distrito
y el ADES, el destino de los recursos del PIR integrados en sus respectivos
presupuestos.
Las decisiones de los directores del PIR en relacin con la contratacin de
sus propios colaboradores estaban sujetas a una doble limitacin. De una parte, una proporcin importante de los recursos del programa estaba constituda
por subvenciones finalistas, que slo podan ser utilizadas para determinados
conceptos. De otra parte, la necesidad de rehabilitar el edificio donde se instalara el PIR, y los compromisos adquiridos en la fase inicial del programa suponan importantes gastos de inversin en equipamientos y material tcnico.
Para las reas de dinamizacin social y cultural, su director contaba con
una asistente social y una animadora cultural, procedentes del Distrito. En la
medida que la asistente social tena que dedicar la mayor parte de su tiempo a
la atencin de los casos que le llegaban por los mecanismos habituales, su
aportacin al programa social del PIR sera forzosamente reducida.
Para gestionar el programa social se contratara inicialmente, con recursos
procedentes del Distrito, a una psicloga. La evolucin seguida por sta en la
seno del PIR indicaba ya algunos problemas en relacin con el objetivo de integralidad. Durante el segundo ao de vigencia del PIR, en que el contrato de
esta psicloga sera asumido por el ADES, dejara progresivamente los asuntos sociales para dedicar la mayor parte de su tiempo al programa de dinamizacin econmica o de la ocupacin.
Durante el tercer ao de vigencia del PIR, una segunda asistente social se
integrara en el programa de dinamizacin social con el propsito de asistir a
la poblacin gitana de Roquetes. Esta segunda asistente social, sin embargo,
acabara siendo absorbida por las necesidades de asistencia primaria e individual que no poda cubrir la nica asistente social de Roquetes (un barrio con
ms de 17.000 habitantes).
En resumen pues, el programa de dinamizacin social del PIR, quedaba
fuertemente limitado en origen, tanto por la obligacin de las asistentes sociales de dedicar la mayor parte de su tiempo a la asistencia primaria, como
por el cambio de rea de la nica psicloga contratada inicialmente para
asuntos sociales.
Para el rea de dinamizacin econmica y de la ocupacin, su director
contrat dos tcnicos en ocupacin y una psicloga. A ellos se aadira, a partir del segundo ao de programa, la psicloga contratada inicialmente por el
programa social.
El director del programa de dinamizacin econmica se aseguraba as el
recurso ms importante para desarrollar el programa econmico del PIR, al incorporar un equipo de profesionales motivados y con experiencia que podan
185
elaborar sus servicios sobre el terreno y de acuerdo con las necesidades de la

poblacin a servir.
Para el rea de urbanismo, el PIR pudo hacerse con los servicios de un arquitecto que haba formado parte del equipo redactor del PERI de Roquetes.
Si bien ste era un profesional de inestimable valor para el PIR, su trabajo en
relacin con los macro-objetivos adoptados por el programa, dependa en primer lugar, de la aprobacin definitiva del PERI de Roquetes, y en segundo lugar, de la capacidad de los directores del PIR y de los polticos del Distrito y
del ADES de persuadir, a los organismos que controlaban la competencias y
recursos necesarios, para que invirtieran en la reforma urbanstica del barrio.
Finalmente, el PIR contrat a dos administrativas y a una gestora presupuestaria para las funciones de apoyo a la direccin, gestin administrativa y
contable.
En resumen, de la descripcin del soporte orgnico del PIR cabe inferir
claramente un sesgo favorable al programa econmico y de la ocupacin, derivado de las mayores oportunidades de contratar personal que tena el ADES
frente al Distrito. Este resultado pone de relieve las dificultades para alcanzar
los objetivos inicialmente planteados, particularmente para las reas de dinamizacin social y de urbanismo.
d. Resumen de los Proyectos Realizados
La figura 2 resume los proyectos llevados a cabo por el equipo de profesionales contratados por el PIR desde 1988 a 1990, por reas de intervencin,
incluyendo una estimacin de su coste.
186
TERCERA PARTE
Figura 2: Proyectos realizados entre 1988 y 1990
Participantes
Coste
(en millones)
30
13,54
10
6,3
40
18,04
11
12,87
Proyectos
AREA ECONOMICA:
CURSOS DE FORMACION EN
OFIMATICA
CURSOS DE FORMACION EN
PRACTICAS
CURSOS DE FORMACION PARA
MUJERES
PROYECTOS DE AUTOOCUPACION PARA JOVENES
OFICINA DE INFORMACION
LABORAL
ACTIVIDADES DE PROMOCION
DE ASOCIACIONES COMERCIO
Y PROFESIONALES
2,45
4,95
58,15
TOTALES
AREA SOCIAL:
ASISTENCIA SOCIAL
INDIVIDUALIZADA
CURSOS DE
ALFABETIZACION
TALLERES DE LENCERIA
CORTE Y CONFECCION
CHARLAS SOBRE
TOXICOMANIAS
CREACION Y ASESORIA
ASOCIACION DE ANCIANOS
7,96
27
3,47
37
3,71
1,25
500
18,69
TOTALES
AREA CULTURAL:
CURSO DE IMAGEN
Y SONIDO
CREACION DE UN
CASAL INFANTIL
FIESTAS Y ACTIV.
CULTURALES AAVV
TALLERES ARTESANIA
PINTURA, FOTO...
TOTALES
2,3
19
21,48
100
25,43
4,74
10,77
62,42
AREA DE URBANISMO:
PROYECTO ESCUELA-TALLER
ESTUDIO VIVIENDAS
ZONA ALTA
1,41
2,61
TOTALES
4,02
187
3. DISCUSION DE LA EVALUACION
A. CUESTIONES PLANTEADAS POR LOS DECISORES
La contratacin de un equipo de investigacin para evaluar el PIR responda a la preocupacin del ADES por, primero, determinar las caractersticas diferenciales de la intervencin en Roquetes, lo que implicaba definir
el concepto de plan integral y examinar la medida en que la intervencin
responda a la concepcin que de aqul tenan los actores sociales; y segundo, juzgar en qu medida vala la pena generalizar aquella poltica a otros
barrios de la ciudad.
La primera de estas cuestiones tena que ver, por una parte, con la conceptualizacin y el diseo de la intervencin -puesto que si bien los distintos actores sociales coincidan en el rtulo plan integral, cada uno de ellos lo interpretaba de forma distinta-; y por otra parte, con su implementacin -se
trataba de descubrir en qu haban consistido realmente los servicios finalmente creados y distribuidos en Roquetes.
La segunda de las cuestiones planteadas tena que ver con el valor del programa en tanto que modelo de intervencin social. Ello significaba enjuiciar el
programa en funcin de algn criterio:
sus objetivos,
su impacto en la situacin del barrio,
el grado en que los intereses especficos de los distintos actores sociales haban encontrado satisfaccin,
o desde una perspectiva ms poltica, la medida en que se haban conseguido objetivos polticos como por ejemplo, mostrar que el Ayuntamiento estaba intentando resolver los problemas de los barrios ms necesitados (78).
B. EL MODELO DE PROGRAMA
a. Ambivalencia respecto al Concepto de Integral
El exmen de los propsitos de los actores y del proceso de negociacin

que genera el PIR revela una cierta ambigedad con respecto al modelo de
(78) Lgicamente, se podran aadir otros criterios como por ejemplo, la eficacia de otros programas
sociales o la relacin coste-eficacia. El primer problema que se nos plantea antes de entrar en cualquier tipo
de anlisis comparativo o econmico consiste en determinar la eficaci de la intervencin y para ello los
nicos criterios que se nos ocurren son los mencionados.
188
TERCERA PARTE
programa. Si bien su carcter integral se configura como elemento definidor,

durante todo el proceso se barajan dos formas de definir la integralidad de la
intervencin.
Por una parte, el carcter integral de la intervencin se asocia con la idea
de intervencin general, global o de conjunto, esto es, sobre la totalidad de los
problemas sociales de la poblacin de Roquetes, con el objeto de incrementar
la oferta de servicios en todos aquellos sectores (vivienda, asistencia social y
mdica, formacin profesional, cultura) que presentaban dficits histricos.
Por otra parte, el carcter integral de la intervencin tambin se relaciona con la idea de intervencin integrada, en cuanto forma de organizar los
recursos procedentes de reas sectoriales (asistencia social, promocin econmica, juventud, salud, educacin, cultura) e instituciones (Ayuntamiento,
Generalitat, Cruz Roja) diversas, de acuerdo con una estrategia y direccin
compartidas.
En el primer sentido, el carcter integral tiene que ver con el mbito material de la intervencin, mientras que en el segundo sentido se relaciona con
cuestiones de naturaleza metodolgica o de forma de proceder.
El primer modelo de plan integral requera un mayor esfuerzo de negociacin, en la medida que sera necesaria la incorporacin de otros actores institucionales con capacidad y recursos suficientes para tener un impacto significativo en el desarrollo de Roquetes. Tambin requera plazos ms largos, por
lo que respecta a la produccin de beneficios especficos y tangibles para la
poblacin de Roquetes.
El segundo modelo, en cambio, requera la reestructuracin interna de los
servicios sociales y la generacin de dinmicas que favorecieran la cooperacin y la coordinacin de esfuerzos entre la Administracin municipal y los
dems agentes de desarrollo que operan en un mismo territorio.
b. Posiciones de los Actores y Criterios de Evaluacin

Cul era la posicin de los diferentes actores sociales en relacin con
el modelo de programa? En funcin de qu criterios iban a enjuiciar la
intervencin?
Los representantes de las asociaciones y entidades vecinales haban defendido insistentemente la necesidad de una intervencin de carcter integral,
en el sentido de global o de conjunto, para todo el distrito. Los representantes
de los vecinos vean en la oferta del plan integral una oportunidad nica de
atacar a fondo los problemas urbansticos, sociales y econmicos del barrio, y
lgicamente iban a enjuiciar el programa en funcin de su contribucin a la
resolucin de estos problemas.
189
El CD9B, en sus propuestas para todo el distrito de Nou Barris, refera la

integralidad del programa a una forma de intervencin coordinada. En este
sentido, pareca adoptar la perspectiva metodolgica de la compactacin sugerida por el Distrito. La posicin de este grupo en relacin con el mbito material de la intervencin no era muy clara aunque por su insistencia en vincular planes integrales y creacin de riqueza pareca identificarse con la de las
asociaciones vecinales del distrito y de Roquetes.
Tanto el ADES como el Distrito, como despus los directores designados
por estas instituciones, mantenan posiciones de ambigedad respecto al mbito material del plan. Si bien exista una clara interpretacin del concepto integral en su vertiente metodolgica --en la lnea de coordinacin de profesionales de mbitos sectoriales diversos (para el Distrito) y de incorporacin de
fuentes de financiacin y actores (para el ADES), nunca fueron claramente
expuestas las limitaciones del plan en relacin con los problemas del barrio,
dadas las restricciones competenciales, organizativas, temporales y financieras
con las que deba actuar.
Los directores del programa mantuvieron el trmino integral sin explicar
su contenido ni rechazar de forma explcita el modelo de programa que visionaban los vecinos. En realidad, sin embargo, lo que estaba en juego era la
oferta territorializada de programas de formacin (10 que saba y poda hacer
el ADES) articulados en la medida que fuera posible, con las reformas urbansticas que generase el PERI en su da, y con los proyectos sociales y culturales del equipo de barrio del Distrito.
Lgicamente, los directores del programa y sus superiores polticos y
administrativos del ADES y del Distrito iban a enjuiciar el programa en
funcin de criterios distintos a los utilizados por las asociaciones y entidades vecinales.
Para el Distrito, la cuestin esencial consista en determinar en qu medida el trabajo coordinado en equipos territoriales interdisciplinarios, bajo
una direccin nica, redundaba en una mejor aproximacin a los problemas
de la poblacin, y en ltimo trmino, en una mejora de la calidad de los
servicios.
Para el ADES, en cambio, el inters del PIR resida en averiguar si a
travs de la financiacin de un programa especial en determinados barrios
de la ciudad, poda generar un proceso de desarrollo al que se sumaran
otros actores institucionales y en el que participaran activamente los grupos
de vecinos organizados. El programa sera, por tanto, juzgado positivamente si consegua coordinar el esfuerzo inversor del ADES con los recursos e
intereses de otras instituciones, y si todo ello se haca de una forma diferente y ms democrtica.
190
TERCERA PARTE
c. Ideas Bsicas en las que se Fundamenta el Consenso

A pesar de las divergencias en las propuestas y en las expectativas de los
diferentes actores, aparecen tres ideas-fuerza en torno a las que se estructura
el modelo de plan integral.
- La primera es la idea de desarrollo, que se traduce en una preocupacin por obtener mejoras especficas para el barrio de Roquetes en relacin
con los problemas urbansticos, socio-laborales y culturales.
- La segunda es la idea de coordinacin, tanto en el interior del soporte
orgnico del PIR como entre ste y el resto de agentes de desarrollo que operaban en el barrio.
- La tercera es la idea de participacin vecinal y de las entidades ciudadanas, con el propsito aadido de que, a medio plazo fueran capaces de contribuir al desarrollo y a mantener la actividad econmico-social del barrio.
El compromiso de trabajar en estas tres lneas permiti el ajuste entre los
intereses de los actores presentes de forma que se hizo posible el desarrollo
del programa.
Lgicamente, los conflictos surgiran como consecuencia, no nicamente
del desacuerdo sobre lo que implicaban cada uno de estos objetivos, sino tambin del distinto nfasis que distintos actores pondran en cada uno de ellos.
En este sentido, podra considerarse que se trataba de objetivos hasta cierto
punto contradictorios. As, por ejemplo, la participacin vecinal poda debilitarse a costa de la priorizacin del objetivo concomitante de la dinamizacin
econmica. El desarrollo poda, a su vez, verse comprometido por el objetivo
simultneo de experimentar una nueva metodologa de intervencin ms coordinada, y finalmente, el proceso de consolidacin de formas de intervencin
innovadoras y por tanto poco estructuradas, poda verse cuestionado por la
maximizacin de la lgica participativa.
C. EL MODELO DE EVALUACION
a. Inadecuacin del Paradigma Clsico al Programa Evaluado
La premisa terica en la que se basa el modelo clsico de la evaluacin

por objetivos es que los programas pblicos son diseados con el objeto de alcanzar objetivos especficos, y que su xito puede ser determinado en funcin
de la medida en que se alcanzaron aquellos objetivos.
Como sabemos, esta aproximacin recurre a diseos de naturaleza experimental que requieren la identificacin de indicadores de los resultados que
persigue la intervencin, y la medida de su situacin antes y despus del
191
programa. Con el objeto de demostrar que los cambios en los indicadores seleccionados son debidos a la introduccin del programa, recurre asimismo a la
medicin de la situacin de un grupo de control que no recibe la intervencin
antes y despus del programa.
Esta aproximacin es adecuada cuando se trata de un programa bien definido donde una serie de individuos reciben una misma intervencin cuyos
efectos pueden ser anticipados y claramente medidos.
En nuestro estudio de caso nos encontramos, sin embargo, con un programa que no responde a estas caractersticas.
En primer lugar, y dado el carcter amplio y abierto de los objetivos centrales del programa, resulta difcil determinar de forma previa, cmo podramos saber si los objetivos de desarrollo, coordinacin-integracin, y participacin, se haban realizado al final del programa.
- Como hemos visto, durante todo el proceso se mantiene una calculada
ambigedad en relacin con el tema del desarrollo, lo que pennite mantener la
concepcin de un plan integral en su sentido sustantivo de resolucin de todos los problemas, a pesar de que el programa no contaba con los recursos
necesarios para llevarlo a cabo. Qu indicadores podran seleccionarse anticipadamente para decidir si haba habido un desarrollo suficiente como consecuencia de la intervencin?
- En relacin con el objetivo de coordinacin-integracin, tanto a nivel
interno como externo, resulta an ms difcil detenninar como se manifestaran
los progresos alcanzados en esta direccin. Qu operaciones podan ser indicativas de una nueva fonna de proceder tanto entre los profesionales del equipo
tcnico del PIR como en su relacin con otros actores institucionales?
- Por lo que respecta a la participacin poltica, existen muy diversas
formas en que el programa poda tener un impacto. Nuevamente, sin embargo, la indefinicin sobre el alcance de la intervencin de los actores no institucionales, dificulta la evaluacin con respecto a este objetivo. Significaba
participacin codecisin, o era suficiente el mantenimiento de canales de
comunicacin de la direccin del programa con aquellos grupos que tienen
un inters en l?
En segundo lugar, como se ha intentado demostrar con el anlisis de la
fonnacin del programa, se trata de una intervencin que no responde a ninguna fonna previamente establecida sino que el programa se ha ido configurando progresivamente en funcin del entorno.
El PIR es el resultado de la interaccin entre ADES, Distrito, los profesionales a los que se encarg la tarea de llevarlo a tnnino, y la comunidad de
vecinos organizados que participan en su desarrollo.
Sin examinar previamente qu es lo que haba ocurrido en el caso concreto, no sera posible definir qu es lo que se estaba evaluando.
192
TERCERA PARTE
En este sentido, la lgica experimental que, primero, asume que la intervencin se desarroll de la forma en que estaba prevista, y segundo, intenta
controlar la influencia de factores externos a lo que es propiamente la intervencin con el objeto de determinar el impacto neto de aqulla, aparece como
bastante irrelevante.
En tercer lugar, el PIR tenia que ver ms con la forma de intervenir sobre
un territorio degradado que con el impacto sobre unos individuos concretos.
Si bien exista una lgica preocupacin por el impacto de los programas
especficos desarrollados por cada una de las reas de dinamizacin (econmica, social, urbanstica y cultural) en los grupos de poblacin servidos (jvenes
y mujeres en situacin de desempleo, infancia, tercera edad), el programa se
plantea de forma experimental, con el objeto de determinar si funcionaba un
nuevo modelo de intervencin social.
El programa sera por tanto valorado prioritariamente en funcin de los resultados alcanzados en los siguientes trminos:
Primero, desarrollo global (est Roquetes mejor que lo estaba hace tres
aos?);
Segundo, formas de operar, tanto a nivel de tcnicos-profesionales, como
de instituciones y entidades participantes (Se ha conseguido avanzar con
respecto a la coordinacin-integracin de servicios?);
Tercero, mecanismos de participacin vecinal (se han abierto nuevas vas
de comunicacin y/o decisin entre polticos, tcnicos y vecinos?).
En la medida que las cuestiones ms generales y los servicios menos tangibles aparecen como ms relevantes, el recurso a mtodos de evaluacin pensados para examinar los cambios experimentados por individuos concretos como consecuencia de su participacin en un programa resultaban menos tiles.
b. Adopcin de un Enfoque Pluralista y Centrado en el Proceso
Qu aproximacin alternativa poda resultar til para estudiar los efectos

de un programa de objetivos ambiguos y abiertos como el PIR?
Nuestra respuesta para el caso concreto del PIR consisti en adoptar una
metodologa intensiva en entrevistas y observaciones directas de las operaciones del programa con el objeto de:
Primero, describir el proceso seguido por la intervencin;
Segundo, captar las reacciones de las personas e instituciones que participaron en su implementacin; y
193
Tercero, inducir las consecuencias que para aqullos tuvo el programa

en la situacin del barrio.
De una parte, el anlisis del proceso era importante tanto para la definicin del programa evaluado, como para intentar inferir qu decisiones polticas y administrativas podan haber alejado el programa de sus objetivos de integralidad.
As, por ejemplo, en la fase inicial del programa, la decisin de nombrar
dos directores, uno para cada institucin; la divisin sectorial de responsabilidades entre los dos directores; la formacin de dos equipos de hecho, con lgicas y tcnicas profesionales distintas; y la dependencia de los directores y de
sus equipos de sus respectivas administraciones de origen en todo lo relativo a
la autorizacin de gastos para proyectos concretos, en la medida que los recursos del PIR se integraron en los presupuestos del ADES y del Distrito, dificultaban el proceso de integracin perseguido.
.
Mientras que en la fase final del programa, y en ello podra haber influido
el mismo proceso evaluador, la unificacin de la direccin en una persona; la
redefinicin de la estructura organizacional, con la formacin de subequipos
plurisectoriales de composicin variada y flexible; la progresiva alteracin de
los perfiles profesionales a favor de las reas relativamente menos dotadas de
recursos humanos; y en ltimo trmino, la resolucin de algunas dificultades
de comunicacin a nivel poltico entre el ADES y el Distrito, conduciran a un
reforzamiento de la dinmica integradora.
De otra parte, la adopcin de una perspectiva pluralista, abierta a las
opiniones y percepciones de todos los actores institucionales y no institucionales que haban intervenido en el programa nos pareci la ms adecuada para:
Primero, incorporar en la evaluacin las cuestiones que realmente preocupaban a los distintos actores;
Segundo, identificar los resultados de la intervencin, no tanto a nivel
de servicios prestados a individuos concretos como a nivel de impacto
en la situacin del barrio; y,
Tercero, descubrir posibles causas tanto de los xitos no anticipados
como de los fallos sealados por algunos actores.
Por ejemplo, exista una clara preocupacin expresada por los representantes de los vecinos, pero tambin por los directores del programa y el responsable de Servicios Personales del Distrito, por los pobres resultados ofrecidos en materia social y urbanstica, cuando stos aparecan como los
problemas ms relevantes del barrio en el estudio de opinin realizado.
194
TERCERA PARTE
El anlisis del proceso seguido por la intervencin pona de relieve la falta

de capacidad interna para desarrollar servicios sociales claramente intensivos en
personal, como consecuencia de algunas decisiones adoptadas en la fase inicial
del programa y que comprometieron los recursos aportados por el Area de Bienestar Social del Ayuntamiento de Barcelona, mientras que el anlisis de las dificultades encontradas por el PIR en materia de intervencin urbanstica no dejaba lugar a dudas sobre la vulnerabilidad de los proyectos en los que la
direccin del PIR no tena competencias ni controlaba los ritmos de decisin.
Lgicamente, resultaba fcil alcanzar un cierto grado de consenso sobre
los resultados directamente atribuibles a acciones especficas realizadas en estas reas (la creacin de una asociacin de ancianos, la realizacin de un estudio sobre el estado de las viviendas de la llamada zona alta, o incluso la recuperacin de un local para el barrio).
Pero era importante documentar asimismo aquellos outputs menos tangibles, como el efecto catalizador desarrollado por el programa en relacin con
la discusin de actuaciones urbansticas entre los vecinos y los responsables
del Area central de Urbanismo del Ayuntamiento de Barcelona, o la mayor visibilidad que otorgaba al barrio el carcter excepcional del PIR, lo que tendra
el efecto de atraer la atencin de instituciones como el INEM que, con posterioridad al programa, decidira instalar una Escuela Taller en Roquetes.
En el mismo sentido, los problemas surgidos con los mecanismos de participacin establecidos derivaban del inters insatisfecho de algunos representantes vecinales de estar presentes en todas las instancias del programa, y de las
excesivas limitaciones que para los tcnicos ello impona a su gestin diaria.
Era importante, sin embargo, destacar los progresos alcanzados en esta direccin y, a la vez, intentar buscar soluciones a aquellos problemas combinando, como se sugiere en las recomendaciones finales de la evaluacin, formas
de seguimiento y control por arriba, con mecanismos de articulacin de tcnicos y usuarios de los servicios, por abajo.
Estos ejemplos nos sirven para ilustrar cmo la adopcin de una aproximacin evaluativa orientada al proceso y pluralista, en este caso concreto, result til para generar un proceso evaluador que, lejos de centrarse en la medidada del cambio operado en una/unas determinadas caractersticas del
barrio, pusiera de relieve un conjunto de resultados positivos y negativos sobre los que fuera posible alcanzar un cierto consenso, y enfuncin de los cuales cada actor, institucional y no institucional, pudiera enjuiciar si, conforme
a sus intereses, vala o no vala la pena continuar con una poltica de planes
integrales. Adems, este enfoque pareca, de acuerdo con la literatura sobre la
utilizacin de los resultados de las evaluaciones, como el ms apto para que
los protagonistas del proceso de decisin poltica asumieran los resultados de
la misma evaluacin y aprendieran de su propia experiencia.
195

EVALUACION
A. EVALUACION DE PROGRAMAS DE OBJETIVOS AMPLIOS Y
ABIERTOS
Como hemos visto con el caso del PIR, muchos programas no son productos acabados a punto de ser examinados a travs de la medida de efectos especficos en el momento que se plantea su evaluacin. Se trata, ms bien, de
intervenciones que sirven una finalidad de exploracin de posibles soluciones
a problemas sobre los que existe una clara voluntad de hacer algo, sin saber
exactamente cmo hacerlo.
De forma general, se puede caracterizar a estos programas en funcin de
sus objetivos, amplios, generales y abiertos, su forma, poco estructurada y
en constante evolucin, y su objeto, ms una situacin que es percibida en
abstracto como no deseada que un problema especfico de unos individuos
concretos.
En estos casos, creemos que la evaluacin ha de adoptar una aproximacin amplia, basada en el proceso seguido por la intervencin y que tenga en
cuenta los intereses reales de los principales actores.
La orientacin de la evaluacin en funcin del proceso implica una mayor
complejidad ya que, en la lnea de lo dicho en relacin con las evaluaciones
de la implementacin y de la conceptualizacin y diseo de los programas,
podra incluir informacin sobre:
Primero: Aquello que los principales actores esperaban que ocurriera como consecuencia de la intervencin. Adems del qu, es importante el
porqu esperaban que se produjeran determinados resultados y cmo y
cundo esperaban que se produjeran stos.
Segundo: La evolucin seguida por el programa y los servicios realmente
distribuidos: los elementos de los que se componen, los procesos administrativos establecidos, la medida en que el personal era el adecuado y las
caractersticas de los clientes servidos.
Tercero: La medida en que el programa era el ms adecuado desde la perspectiva de lo que los distintos actores entendan requera la situacin o
problema contemplado.
Cuarto: Los recursos invertidos en los diferentes componentes y su relacin con los resultados iniciales.
Quinto: El conocimiento del programa entre diferentes grupos de poblacin y las opiniones y actitud de stos en relacin con el programa y su
impacto.
196
TERCERA PARTE
La incorporacin de los intereses de los mltiples actores presentes supone asimismo una mayor complejidad, en la medida que no siempre existirn recursos ni tiempo suficiente para analizar todas las cuestiones planteadas. Por ello, nos inclinamos por una estructura organizacional de la
evaluacin que, como la propuesta por Patton (1986:331), incluya una comisin de trabajo en la que se encuentren representadas todas las partes
afectadas.
Esta comisin de trabajo debera discutir el diseo de la evaluacin y
adoptar las principales decisiones en tomo a las cuestiones sobre las que debera centrarse la evaluacin. De esta forma se conseguira reducir el poder de la
Administracin que encarga la evaluacin (y que los evaluadores tendern a
adoptar como cliente), y al mismo tiempo se lograra convertir a la evaluacin
en el centro de la discusin poltica sobre los criterios en funcin de los cuales
debera valorarse la intervencin.
Por otra parte, la utilidad de una evaluacin se correlaciona con el grado
de interdependencia entre programa y evaluacin, por lo que un estrecho contacto entre evaluadores y decisores podra incrementar las probabilidades que
la evaluacin fuera tenida en cuenta en las deliberaciones posteriores sobre futuros programas.
Como decamos al presentar este estudio de caso, se podra afirmar que
cuando los programas sean ms como el PIR, menos aconsejable ser centrar
la evaluacin en el cambio experimentado por un/unas pocas caractersticas de
la situacion observada y ms adecuado ser en cambio, adoptar la perspectiva
de proceso y pluralista defendidas.
B. EVALUACION EN FUNCION DEL PROGRAMA

No todos los programas son, sin embargo, como el PIR. El mismo PIR inclua proyectos cuyos objetivos y prestaciones se prestan a una mayor concrecin. En el mismo sentido, en el caso de la Polica Local que presentamos a
continuacin, la forma en que se organizan las operaciones y se distribuyen
los servicios esta muy reglamentada, lo que se traduce en una estandarizacin
de los procedimientos.
El problema metodolgico de la evaluacin parece estar muy relacionado
con el problema del programa. Los dos extremos seran los presentados por
Weiss y Rein (1971 :287). Segn estos autores, cuando se trata de programas
que sirven a una poblacin bien definida, cuyos efectos se pueden anticipar,
vale la pena dedicar recursos en la medida de stos.
Si, por el contrario, el examen de los inputs indica que un programa puede
hacer poco ms que dar una imagen ilusoria de accin efectiva, ms vale
197
dedicarse a estudiar las relaciones pblicas que pueda generar el programa para la Administracin que lo propone.
Entre estos dos extremos, se sita, sin embargo, la normalidad en materia de programas pblicos. Una clasificacin de los programas que podra
resultar til desde la perspectiva de la evaluacin, podra ser la que proponemos a continuacin a partir de dos criterios: la mayor o menor tangibilidad de los servicios producidos y la mayor o menor especificidad de los
objetivos.
En funcin del tipo de prestacin podemos distinguir entre:
1. Programas que ofrecen bienes y servicios a una poblacin especfica y
que tienen un valor econmico directamente medible. Por ejemplo,
una subvencin al crdito para la rehabilitacin de vivienda, un vaso
de leche para nios en edad escolar, o un test de deteccin precoz de
cncer de mama.
2. Programas en los que no hay un output tangible sino que pretenden
mejorar la condicin, las capacidades o las oportunidades de un grupo
de poblacin. Por ejemplo, los programas de formacin e insercin
profesional o el PIR en su conjunto.
En funcin del grado de abstraccin o especificidad de los objetivos, podramos igualmente distinguir entre:
1. Los programas que tienen objetivos especficos y directamente operacionales. Por ejemplo, reducir en tres puntos las diferencias en el nmero de solicitudes de ayuda extraordinaria al alquiler entre las cuatro
provincias catalanas, extender a todos los nios en edad preescolar la
prestacin del vaso de leche para nios en edad escolar o formar e insertar profesionalmente como auxiliares de enfermera a 50 mujeres
amas de casa.
2. Los programas que tienen objetivos amplios o abstractos, cuyas consecuencias pueden ser muchas y variadas. Por ejemplo, conseguir una
mayor coordinacin entre administraciones, incrementar la participacin ciudadana o mejorar la respuesta por parte de la Administracin a
las necesidades locales.
De la combinacin de estos dos criterios resultan cuatro tipos de programas a los que se adecuaran mejor distintos tipos de evaluacin, desde las
aproximaciones ms clsicas centradas en los efectos, hasta las aproximaciones alternativas centradas en el proceso de desarrollo del programa.
198
TERCERA PARTE
Figura 3: Relacin entre tipo de programa y tipo de evaluacin
Tipo de prestacin
Tangible
Intangible
Especficos
Amplios
Objetivos
1. Como se indica en el cuadro, una primera clase de programas sera la de

aqullos que ofrecen bienes y servicios concretos y materiales y que tienen
objetivos especficos.
Esta clase de programas sera la ms susceptible de una evaluacin finalista centrada en el examen del cambio operado en las personas que recibieron la
prestacin.
2. Una segunda clase de programas sera la de aqullos que procuran mejorar la condicin, las capacidades o las oportunidades de un grupo de poblacin definido y que cuentan con objetivos especficos.
Al igual que en el anterior caso, esta segunda clase de programas sera
susceptible de una evaluacin de resultados en funcin de los objetivos iniciales, pero en la medida que la evaluacin se centrara en unas pocas variables
seleccionadas como indicadores del xito o del fracaso del programa, dejara
de producir infonnacin sobre otras cuestiones igualmente importantes en relacin con el tipo de prestacin.
Por ejemplo, en el caso de los programas de fonnacin e insercin para
mujeres y jvenes de Roquetes, adems de la infonnacin sobre el grado de
insercin profesional y su contraste con los objetivos fijados inicialmente, sera importante examinar las caractersticas del grupo de clientes servidos, los
cambios experimentados durante el programa por cada individuo, los componentes del programa a los que cabe asociar una mayor incidencia en el posterior xito o fracaso de los participantes, cunto tiempo han necesitado para encontrar el primer trabajo, el tipo de trabajo que han encontrado, el nivel
salarial, el tiempo en el que han pennanecido en la primera ocupacin o el
grado de satisfaccin personal con la nueva situacin.
Al contrario, centrar la evaluacin en un indicador, como por ejemplo la
insercin, podra generar problemas ya que los administradores tenderan a
trabajar en funcin de estos objetivos en perjuicio de otros. As pues, el nfasis en la insercin se puede traducir en una preferencia por los mejores candidatos en el momento de la seleccin, o en una presin para que stos acepten
199
cualquier oferta, sin importar excesivamente el tipo de trabajo en el que se

ocupen.
3. Una tercera clase de programas sera la de aqullos que, teniendo como
objeto mejorar la condicin, las capacidades o las oportunidades de un grupo de
poblacin (o de la poblacin en general), por razones de ndole poltica o por la
dificultad tcnica que comporta, presentan objetivos abstractos o generales.
Por ejemplo, en el caso de Roquetes, los objetivos de actuar de forma ms
coordinada-integrada, de incrementar la participacin de los vecinos o incluso
de alcanzar un mayor desarrollo econmico-social en el barrio.
Ante la dificultad de cuantificar beneficios especficos derivados de programas de esta naturaleza, la evaluacin ha de recurrir a formas alternativas
para concentrarse en examinar los programas en operacin e intentar inferir lo
que han conseguido a partir de la evidencia emprica.
La evaluacin de estos programas exige trabajar ms directamente con los
actores relevantes para intentar identificar sus intereses y la forma como evolucionan en relacin con el mismo programa. En este sentido, es importante
examinar qu es aquello que se esperaba que ocurriera para examinar las decisiones de los administradores y las actividades desarrolladas.
La utilidad de la evaluacin en este caso, estara ms determinada por su
capacidad de clarificar el proceso y plantear nuevas cuestiones que pudieran
traducirse en mejoras sucesivas del programa que no por la cantidad de datos
aportados.
4. Finalmente, una cuarta clase de programas sera la de aqullos que teniendo objetivos de carcter abstracto o general, ofrecen bienes y servicios especficos. Ciertamente, cabe la posibilidad que dentro de un programa amplio
se incluyan componentes que puedan ser objeto de una evaluacin ms convencional de impactos.
Este sera el caso, por ejemplo, de un programa de caractersticas parecidas al PIR que dispusiera de recursos suficientes para ofrecer un determinado
nmero de ayudas para la rehabilitacin de viviendas marginales. La evaluacin de estos programas sera susceptible de combinar las dos aproximaciones
discutidas hasta aqu.
C. IMPORTANCIA DEL ANALISIS PREVIO DE EVALUABILIDAD

La decisin sobre el tipo de aproximacin que requiere cada caso concreto
debera tomarse cuando se ha alcanzado un cierto grado de conocimiento y familiaridad con el programa. En este sentido, otra leccin aprendida con el caso del PIR tiene que ver con la importancia de dedicar tiempo suficiente al
anlisis previo de evaluabilidad.
200
TERCERA PARTE
Este concepto fue introducido por Horst, Nay, Scanlon y Wholey quienes
entendan que buena parte de los problemas de utilizacin de la evaluacin tenan su origen en los mismos programas evaluados o en sus administradores,
por lo que recomendaban que, con carcter previo a la evaluacin, se intentara
determinar la evaluabilidad del programa, examinando tres cuestiones:
1. Si los problemas, intervenciones propuestas y resultados e impacto esperados estn suficientemente bien definidos.
2. Si las hiptesis propuestas tienen una lgica clara que permite su test.
3. Si existen una o varias personas responsables del programa, cul es su
capacidad para actuar y qu tipo de accin podra esperarse que tomaran como consecuencia de los posibles resultados de la evaluacin.
(1974:307)
En nuestro caso, el anlisis de evaluabilidad consisti en un perodo corto
pero intensivo de tiempo (aproximadamente un mes) en el que nos dedicamos
a recoger y analizar informacin sobre el programa, para luego formular un
plan de evaluacin que sometimos a la discusin de la Administracin que
contrataba la evaluacin.
Lgicamente, este trabajo previo es an ms importante cuando, como en
el caso del PIR, los programas estn mal definidos, los objetivos son vagos y
ambiguos, y existen distintas percepciones sobre el significado y prioridad de
los objetivos ms o menos formales.
Toda evaluacin debera, sin embargo, ir precedida de un anlisis de evaluabilidad. De acuerdo con Rutman (1984:27-38), y a partir de nuestra propia experiencia, creemos que la pre-evaluacin debera incluir los siguientes elementos:
Primero. Descripcin formal del programa, en base a los documentos
oficiales: leyes, reglamentos, acuerdos, propuestas de financiacin,
dossiers de documentacin, informes o folletos publicitarios.
Segundo: Entrevistas con los decisores polticos, administradores, profesionales y todas aquellas personas o grupos relacionados con el programa. Las entrevistas permiten contrastar objetivos y actividades formales con objetivos y actividades tal y como las entienden los actores
ms estrechamente relacionados con el programa.
Tercero: Observacin sobre el terreno de las operaciones del programa. Ello permite comparar lo real con lo escrito y lo afirmado por las
personas y grupos entrevistados. La observacin permite, asimismo,
acercarse a los participantes en el programa.
Cuarto: Identificacin de aquellos objetivos, actividades y servicios
susceptibles de evaluacin, y determinacin de los mtodos aplicables,
201
en cada caso concreto, en funcin de la naturaleza de los programas y

de los datos recogidos o que puedan ser creados.
Quinto: Discusin con la comisin de trabajo con autoridad sobre todo
el proceso de evaluacin sobre los posibles propsitos y cuestiones a
los que debera responder la evaluacin, sobre su utilidad para diferentes grupos de usuarios y sobre las posibilidades de aplicacin de sus
resultados.
202
CAPITULO VII
EL CASO DE LA POLICIA LOCAL
1. INTRODUCCION
La presentacin del caso de la Guardia Urbana de l'Hospitalet de LLobregat

constituye una primera aproximacin al tema de la evaluacin de los servicios
de Polica Local, partiendo de datos recogidos por la misma Administracin.
Adems de demostrar cmo la informacin recogida de una forma rutinaria y continuada puede ser utilizada de forma efectiva para la gestin del servicio, el caso pone de relieve diversas posibilidades de anlisis en funcin de
los datos disponibles, utilizando en este caso, mtodos cuantitativos y recurriendo a la concepcin clsica de indicadores generales tanto de la forma en
que se presta el servicio como de su eficacia global.
La evaluacin de los servicios de Polica Local ha de permitirnos conocer mejor qu hace la Polica, y los efectos que tiene su actividad en la comunidad local.
Ambas cuestiones presentan algunas dificultades que han sido objeto de
discusin por la literatura especializada. En este estudio se hace un repaso de
esta literatura, bsicamente norteamericana, y se pretende mostrar cmo partiendo de los datos objetivos de archivo recogidos da a da por la sala de
mando de la GUH se puede obtener:
Primero, informacin sobre las demandas que experimenta el servicio,
lo que nos dar una imagen ms adecuada de la realidad de la actividad desarrollada por las Policas Locales.
Segundo, informacin sobre la racionalidad, en trminos de carga de
trabajo, con que se distribuyen los recursos policiales a lo largo del da
yen diferentes zonas de la ciudad.
Tercero, informacin sobre la eficacia policial a partir de dos indicadores generales de servicio: el tiempo que tarda la Polica en responder a una demanda individual y el tiempo que pasa con el servicio que
aqulla origina.
Cuarto, informacin sobre la distribucin de los servicios, en trminos
de equidad, a distintos grupos de poblacin o zonas de la ciudad.
2. PROBLEMAS CON LA EVALUACION POR OBJETIVOS
El anlisis de la eficacia de la Polica como servicio podra verse gravemente distorsionado si se limitara a determinar lo alcanzado en relacin con
205
hipotticos objetivos ---de reduccin de la tasa de criminalidad, de disminucin del nmero de accidentes o de aumento del valor total de la propiedad recuperada de hurtos o robos, por poner algunos ejemplos- precisamente por la
complejidad y la variedad de actividades que realizan las Policas Locales en
mbitos tan dispares como la ordenacin del trfico, la investigacin de hechos criminales, la asistencia social a personas necesitadas o la intermediacin
en los conflictos entre vecinos o familiares. Es decir, el servicio de Polica Local hace demasiadas cosas como para poder resumir su eficacia en unos pocos
indicadores.
Adems, e independientemente de la dificultad propia de nuestras latitudes de identificar y operacionalizar los objetivos de una poltica especfica
en relacin con el trfico, la seguridad ciudadana o la violacin de las ordenanzas locales, la experiencia de la gestin por objetivos en el campo policial durante los aos 70 en EEUU, nos muestra como la seleccin inicial de
un conjunto de objetivos determina aquellos aspectos de la actividad policial
que despus sern objeto de medida, de forma que las actividades policiales
no contempladas por los objetivos son excluidas del anlisis en base al que
se sacan conclusiones sobre la eficacia general del servicio (Whitaker et el.,
1982:10-18).
Ello ha llevado a centrar una atencin excesiva en tan slo una parte de la
actividad policial, generalmente aqulla relacionada con la seguridad ciudadana y la criminalidad, cuando en realidad, las conclusiones de diferentes estudios (Bercal, 1970; Webster, 1970) apuntan a que sta no es la principal actividad de las Policas Locales en EEUU. Tampoco lo es en nuestro pas como
confirma el anlisis de los servicios solicitados y prestados por las unidades
operativas de la GUH.
A la distorsin que resulta de centrar el anlisis en unos pocos objetivos,
hay que aadir la derivada del hecho que el anlisis se haga a partir de datos
recogidos por el mismo servicio. Dado que recoger informacin sobre aquello
que valora la ciudadana en relacin con los diferentes aspectos de la funcin
policial puede resultar caro y difcil, generalmente, aquello que se estudia viene determinado por la informacin de la que se dispone.
Esta es una limitacin que comparte nuestro estudio de caso y que no nos
permite entrar en algunas cuestiones importantes como la de las percepciones
subjetivas de los ciudadanos. A pesar de ello, creemos que existe un amplio
campo de investigacin en el anlisis de la informacin que recogen las Policas Locales, con el propsito de sugerir recomendaciones que tengan algn
sentido para sus responsables en la lnea de obtener un mejor conocimiento de
su actividad y de mejorar la eficacia de su gestin a travs de la utilizacin de
los datos de que disponen.
206
TERCERA PARTE
3. LA LITERATURA SOBRE EVALUACION DE SERVICIOS

POLICIALES
Si examinamos la literatura sobre medida de servicios urbanos, veremos
que la mayor parte de las investigaciones en materia policial se refieren a tres
cuestio~es principales (Maxfield, 1979: 18-66):
la distribucin de los recursos en el tiempo y en el espacio;
la distribucin equitativa de los servicios entre la poblacin;
y la discrecionalidad que ejercen los agentes en el proceso de toma de
decisiones.
A. DISTRIBUCION DE LOS RECURSOS POLICIALES

La mayora de los estudios examinan variables que reflejan la distribucin
de los recursos policiales en una ciudad, como por ejemplo, el nmero de unidades (a pie o motorizadas) por sector policial, el nmero y rea geogrfica de
los mismos sectores policiales o la parte del gasto que les corresponde.
Como afirma Maxfield (1979:67-69), la distribucin de los recursos policiales no nos informa sobre las diferencias en la calidad del servicio en distintas partes de la ciudad, ni tampoco aporta ninguna informacin sobre la manera como se ejercen estos servicios, dada la enorme discrecionalidad de que
disponen los miembros de la Polica al interpretar qu incidentes merecen una
respuesta policial.
Efectivamente, los indicadores de la distribucin de los recursos policiales tienen poco que ver con el nivel de servicio realmente prestado a la poblacin. A pesar de ello, la investigacin operativa en materia policial ha
contribuido a desarrollar criterios y mtodos de distribucin de los recursos
en el espacio y el tiempo que plantean la necesidad de un tipo de informacin de carcter evaluativo.
a. Criterios
La distribucin de los recursos policiales entre las diversas reas o sectores de la ciudad puede responder a diferentes criterios. Generalmente, la divisin en sectores tiene en cuenta los distritos y los barrios municipales, as como las caractersticas topogrficas de la ciudad.
A parte de tener en cuenta los barrios y las barreras naturales que
puedan dificultar la movilidad de las unidades operativas, si los sectores
207
policiales se establecieran siguiendo un criterio de equidad, de forma

que cualquier demanda que se produjera tuviera una respuesta igual de
rpida por parte de la Polica, probablemente se obtendra una distribucin desigual respecto a la problematica social, contribuyendo por tanto
a debilitar el servicio en zonas de alta densidad de poblacin respecto a
zonas menos pobladas (Langbein, 1980: 13). Dado que generalmente las
zonas de menor densidad de poblacin tienen un nivel de renta ms elevado, incluso desde una perspectiva poltica, se podra cuestionar esta
distribucin.
Por ello, parece que la distribucin ms eficiente de los recursos sera
la que se hiciera en funcin del volumen de servicos que genera cada zona
(Wilson, 1977: 357 y ss.). En todas la ciudades, hay reas que requieren un
mayor nmero de intervenciones, ya sea por razones de trfico, porque all
es donde se concentran los locales nocturnos o porque la tasa de criminalidad es ms elevada. La distribucin de los recursos policiales en funcin dle
la demanda obligara a destinar un mayor nmero de policas en estas reas, o bien a dividir su superficie en sectores ms pequeos, de forma que se
equilibrara el nmero de policas por servicios demandados para todos los
sectores.
El mismo tipo de razonamiento se podra aplicar a la distribucin de los
efectivos en el tiempo. La distribucin igualitaria entre los tres tumos (maana, tarde, noche) no tendra demasiado sentido ya que las demandas de servicio se concentran en determinadas horas del da y en general ocurren con menos frecuencia durante la noche, como veremos despus.
Otros factores que pueden tener una incidencia considerable en la distribucin de los recursos son los de tipo poltico. Grupos de residentes de distintos
barrios de la ciudad tienen actitudes diversas con respecto a las instituciones
pblicas. En este sentido, los grupos que ejercen una presin mayor o que
simplemente generan ms demandas de servicio, pueden influir en la distribucin que se haga de los recursos de la ciudad (79).
En resumen, pues, la variedad de incidentes por los que un ciudadano puede requerir la presencia de la Polica y las variaciones en la frecuencia con que
aqullos se producen en el tiempo y en el espacio hacen que la distribucin de
los efectivos se convierta en una tarea compleja y que a menudo se haga de
una forma intuitiva, a partir de la distribucin igualitaria de los miembros del
cuerpo en sectores policiales relativamente uniformes, aadiendo en su caso,
algunos efectivos para compensar la mayor problemtica social de algunos
sectores.
(79) Esta es una idea que, de alguna fonna, me sugiri el Inspector-jefe de la GUH, Sr. Martn, al discutir la variedad de demandas que ejercen sobre la Polica los distintos barrios de la ciudad.
208
TERCERA PARTE
b. Mtodos
No obstante, algunos investigadores han propuesto diversas fnnulas de
distribucin objetiva de los recursos. Quiz la ms conocida sea la propuesta
por O. Wilson (1977), fundador de la Escuela de Criminologa de la Universidad de California y Jefe de la Polica de la Ciudad de Chicago durante los
aos 60.
Concretamente, el mtodo de Wilson, asigna diferentes pesos a diferentes
tipos de incidentes en funcin del tiempo que requieren y de su gravedad. A
travs de la tabulacin estadstica del nmero de incidentes que ocurren en diferentes horas del da, en diferentes zonas de la ciudad, detennina: Primero, la
segmentacin ptima del da en turnos, de fonna que se equilibre la carga de
trabajo entre tumos y las variaciones en la demanda de servicios dentro de un
mismo tumo sean mnimas, y segundo, el tamao de los sectores policiales
durante cada tumo - dividendo la carga de trabajo entre el nmero de sectores se obtiene la carga media por sector y combinando en reas mayores los
sectores que no alcanzan la mediana, se delimita su configuracin definitiva.
Lgicamente, es preciso calcular las horas de trabajo disponibles --descontando las horas perdidas en das libres, indisposiciones, bajas, o que se
ocupan en actividades que no son de patrulla preventiva- y distribuir los
agentes teniendo en cuenta que cada uno de ellos debe hacer 8 horas de trabajo continuo, intentando ajustar al mximo el nmero de horas-agente y la carga de trabajo (Wilson, 1977:633-655).
Si bien esta ltima tarea tendra que ser, aparentemente, la ms sencilla, el
cumplimiento de mltiples funciones (relacionadas con el trfico, de inspeccin, de asistencia a los juzgados) por parte de la Polica Local, hace difcil la
estimacin de las horas necesarias para actividades que no sean estrictamente
de patrulla preventiva y respuesta activa a las demandas de servicio de la sala
de mando.
El principal problema del mtodo de Wilson tiene, sin embargo, que ver
con los criterios en funcin de los cuales otorgar diferentes pesos a diferentes
tipos de incidentes. Wilson, en su libro de texto sobre Administracin de la
Polica, otorga pesos que van de 1 a 4 en funcin de la gravedad de los incidentes, de fonna que slo las actividades relacionadas con delitos o con la
prctica de detenciones reciben pesos de valor 3 y 4 (Wilson, 1977:662). El
peso otorgado es, sin embargo, independiente del tiempo que realmente ocupa
a la Polica hacerse cargo de cada incidente.
Otros mtodos posteriores, en cambio, tienen en cuenta lo que hemos llamado tiempo de servicio, es decir, el tiempo que tarda una unidad en atender
un detenninado servicio, as como otros factores (como, por ejemplo, el tiempo de desplazamiento medio, la sup~rficie del sector o los kilmetros de va
209
pblica) con lo que se intenta tener en cuenta variables que no sean estrictamente la de la demanda (Heller et al. 1977).
Sin nimo de entrar en la discusin detallada de estos mtodos, la explicacin precedente nos sirve para poner de relieve la importancia de anticipar el
nmero de incidentes que se producirn en diferentes horas del da, en distintos sectores o zonas de la ciudad, para poder hacer una distribucin racional
de los efectivos.
En sentido inverso, desde la perspectiva de la evaluacin, la constatacin
de niveles de demanda agregada similares (ya que el tipo de incidente puede
variar) entre los diferentes tumos y sectores de la ciudad, puede ser considerada como un indicador de que la distribucin de los efectivos es equilibrada.
B. DISTRIBUCION EQUITATIVA DE LOS SERVICIOS

Otro importante sector de la literatura sobre servicios urbanos se preocupa
ms de la distribucin final de los servicios entre la poblacin que no de las
estructuras de implementacin de estos servicios. En lugar de centrar su atencin en encontrar la mejor manera de distribuir los efectivos sobre el terreno o
en el tiempo, se propone examinar cmo afectan las actividades desarrolladas
por la Administracin, generalmente local, a distintos grupos de poblacin de
diferentes zonas de una misma ciudad.
Desde esta perspectiva, el tema de la equidad en la distribucin de los servicios urbanos, y concretamente de los servicios de Polica, toma mayor relevancia: se trata de examinar si determinados sectores de la sociedad obtienen
servicios de peor calidad o en menor cantidad, que otros. Esta preocupacin
ha sido expresada de forma sinttica en la que se ha llamado la underdass
hypotesis, segn la cual las reas de las ciudades de nivel socio-econmico
ms bajo, habitadas por grupos minoritarios reciben proteccin policial de inferior calidad.
En un estudio sobre los servicios pblicos de la ciudad de San Antonio
(EEUU) en el que tambin se incluye el servicio de Polica, Lineberry (1977)
examina cinco explicaciones posibles de las diferencias que pueda haber en la
cantidad y/o calidad de los servicios pblicos que reciben grupos de poblacin
distintos de una misma ciudad. Tres de estas explicaciones son una concrecin
de la hiptesis de las clases inferiores, la cuarta es la de carcter ecolgico
y la quinta hace referencia a los mecanismos institucionales de toma de decisiones (80).
(SO) Las hiptesis de Lineberry pueden resumirse en los siguientes trminos:
La cantidad y/o la calidad de los servicios urbanos est positivamente relacionada con la proporcin, primero de poblacin blanca en un barrio, segundo de poblacin de estatus socio-
210
TERCERA PARTE
Por 10 que respecta al servicio de Polica, Lineberry utiliza como medida

de output el nmero de agentes asignados a cuatro tipos de sectores polciales
definidos en tnninos de los porcentajes de poblacin de grupos de minoras
tnicas que incluyen. La conclusiones del estudio fueron que no haba una discriminacin sistemtica de los grupos minoritarios en el nivel de recursos policiales asignados en la ciudad de San Antonio.
Un enfoque similar fue el adoptado por Bloch (1974) en su estudio sobre
la distribucin de los servicios de Polica en la ciudad de Washington D.C. En
este estudio, Bloch compara diferentes medidas de actividad policial para dos
barrios, uno de clase baja y poblacin mayoritariamente negra y otro de clase
mediana-alta y poblacin mayoritariamente blanca.
El estudio incluye dos tipos de medidas. Por un lado, medidas de input como la carga de trabajo que han de soportar los efectivos destinados a uno y
otro barrio de la ciudad (Bloch, 1974:2-6) y por el otro, medidas de eficacia
como la tasa de criminalidad en las dos zonas, el porcentaje de casos en los
que la Polica consigue identificar y detener a los responsables de un hecho
criminal, la opinin de la poblacin sobre el servicio y sus percepciones sobre
el tiempo que tarda la Polica en llegar al lugar donde se reclama su presencia
(Bloch, 1974:6-26).
Las conclusiones del estudio fueron que haba una relativa igualdad entre
los dos barrios, excepto en que la zona de nivel socio-econmico ms bajo y
poblacin negra, sufra una tasa de violencia criminal muy superior y la percepcin de su poblacin era que la Polica tardaba excesivamente en acudir
cuando se precisaban sus servicios (Bloch, 1974:ix).
Si comparamos los dos estudios que se acaban de describir en tnninos de
un modelo input ~ proceso ~ output ~ outcome, se puede afirmar que
Bloch esta ms prximo a medir outcomes.
Ambos utilizan el nmero de Policas asignados a una detenninada rea o
sector de la ciudad como indicador del nivel de servicios prestados. En realidad, sin embargo, sta es una medida de input. Del input ms importante de la
funcin policial, sin lugar a dudas, pero que no se puede identificar con la idea
de producto, efecto o consecuencia para la poblacin de la actividad policial.
En cambio, algunas de las medidas que Bloch llama de eficacia, s que se
acercan ms a este concepto.
Como acabamos de ver, Bloch utiliza medidas objetivas y medidas subjetivas. Las primeras son la tasa de criminalidad y el porcentaje de casos resueltos
econmico elevado y tercero, de poblacin que ocupa posiciones de poder en la Administracin Local.
La cantidad y/o calidad de los servicios urbanos depende asimismo de factores ecolgicos como,
por ejemplo, si se trata de un barrio antiguo o moderno, su densidad, sus caractersticas geogrficas o su carcter residencial y/o comercial; y de reglas de decisin burocrticas adoptadas para
simplificar la asignacin de recursos (1977: 66).
211
por la Polica (81). Si bien esta ltima medida es claramente un indicador de

eficacia policial, las tasas de criminalidad presentan algunos problemas ya que
slo reflejan los hechos delictivos sobre los que llega a tener conocimiento
oficial la Polica. As, podra ocurrir que una intervencin tendente a mejorar
la eficacia del servicio, como el incremento de efectivos, tuviera un reflejo negativo en el indicador propuesto ya que ms policas tendran acceso a casos
que antes escapaban al servicio, lo que se traducira en un empeoramiento de
las estadsticas.
Las medidas subjetivas, en el estudio de Bloch, son creadas a partir de
preguntar a la poblacin su opinin sobre la seguridad en el vecindario, la
efectividad de la Polica en ocuparse de problemas especficos (cuestiones sobre las que contaba con medidas objetivas), la manera como trata la Polica a
los vecinos, y el tiempo que tardara en responder a una llamada pidiendo auxilio (Bloch, 1974: 17-25).
De estas cuatro cuestiones, las dos ltimas hacen referencia a dos caractersticas importantes de lo que realmente hace la Polica y, en este sentido, se
aproximan bastante al concepto de outcome. Parece evidente que una respuesta rpida es ya, en s misma, un servicio importante. Podramos aadir que es
ms importante cuanto ms grave sea el incidente. Igualmente, la forma como
se desarrolla la interaccin entre policas y vecinos constituye un componente
esencial del servicio, sobre todo si se tiene en cuenta que, a menudo, la actuacin de la Polica Local consiste en prestar algun tipo de apoyo o ayuda, ya
sea sugiriendo a la persona necesitada donde tiene que dirigirse, intentando resolver el problema o procurando que las partes en conflicto encuentren una salida negociada.
Adems, la rapidez con que la Polica responde a una demanda individual y el trato o actuacin que aqulla dispensa a los ciudadanos que solicitan sus servicios, aparecen como dos elementos determinantes de la evaluacin que hacen los ciudadanos de los servicios de Polica, segn Parks
(1984: 120). En su estudio de los servicios de Polica del area metropolitana
de San Luis, este autor analiza las percepciones subjetivas sobre el servicio
de Polica, tanto de personas con una experiencia reciente con la Polica, como de personas que, al no haber tenido una experiencia personal reciente,
han de recurrir a otras fuentes de informacin como familiares, amigos, vecinos o los mismos media.
(81) Un caso, se da por resuelto si:
primero, se ha producido una detencin,
segundo, la persona identificada como autora del crimen se encuentra ya en una institucin penitenciaria,
y tercero, no es posible continuar el proceso porque la vctima rechaza cooperar y el hecho delictivo slo puede ser perseguido a instancia de parte (Bloch, 1974: 16).
212
TERCERA PARTE
Los resultados de su investigacin indican una fuerte asociacin entre las

dos variables estudiadas, hasta el punto que un contacto insatisfactorio con la
Polica reduce la percepcin de una respuesta rpida en un 10 por ciento
(Parks, 1984: 123).
Este tipo de investigacin es importante ya que pone de relieve lo que es
valorado por parte de los clientes del servicio y por tanto, cmo se puede influir desde la gestin para producir un cambio favorable en la percepcin que
tienen los ciudadanos de los servicios pblicos.
Volviendo a Bloch, este autor utiliza percepciones subjetivas del tiempo
de respuesta de la Polica y de la fonna en que sta trata a las personas que
precisan sus servicios. Mladenka y Hill (1978) en cambio, recogen datos objetivos relativos a la primera de estas variables -el tiempo de respuesta- para
9 das, durante un perodo de 2 meses en la ciudad de Houston y analizan las
diferencias en el tiempo de respuesta y en la distribucin de los efectivos policiales entre los 20 distritos en los que se divide la ciudad, mirando si las caractersticas socio-econmicas de los distritos explican las variaciones en
aquellas variables dependientes (1978: 119).
Las conclusiones son negativas en ambos casos. Ni los tiempos de respuesta de la Polica Local de Houston pueden asociarse a las caractersticas
socio-econmicas de la poblacin de distintos distritos, ni se puede afinnar
que la ciudad penaliza los distritos de clase social ms baja en tnninos de
distribucin de personal (1978:126).
La investigacin en tomo al comportamiento de la Polica en su interaccin con los ciudadanos ha dado lugar a un tercer gran bloque de la literatura
que ha centrado su atencin en la discrecionalidad que ejercen los funcionarios de los cuerpos de Polica en el ejercicio diario de las funciones que les
son propias.
C. DISCRECIONALIDAD DE LOS AGENTES

De una fonna general, el problema de la discrecionalidad de las Policas
Locales aparece en la descripcin de la burocracia de contacto (<<Street-level
bureaucracy), es decir, aquellos funcionarios que se encuentran en el nivel
ms bajo de la jerarqua de una organizacin administrativa, pero que en cambio tienen un elevado grado de independencia. Como afinna Lipsky (1976: 13)
los hombres y las mujeres policas son los que deciden a quin hay que arrestar o a quin hay que vigilar.
Ciertamente, la Polica Local es un buen ejemplo ya que es difcil supervisar el comportamiento de los miembros del cuerpo cuando se encuentran de
servicio por las calles de la ciudad. Aunque existan unas lneas de autoridad
213
muy precisas, son los agentes de las unidades operativas los que interactan
con la poblacin y los que en ltimo trmino controlan la informacin que
llega a la organizacin sobre lo que ocurre en la ciudad o sobre las personas
que tuvieron alguna participacin en incidentes que merecen una respuesta
policial.
Algunos estudios, sin embargo, han examinado los encuentros que se producen entre la Polica y la poblacin a travs de la observacin directa de investigadores que se desplazaban con los mismos policas.
Black (1970) utiliz este tipo de informacin para analizar los factores
que tienen mayor influencia en la decisin de considerar un hecho como sancionable o delictivo. As, segn este autor, de su investigacin derivaba que
eran importantes, adems de la gravedad del incidente, tanto las preferencias
de la vctima, como el grado de relacin previa entre la vctima y el agresor.
En el supuesto que la vctima no urgiera a la Polica la persecucin del hecho
o cuando aqulla y la persona acusada tenan algn tipo de relacin previa, la
Polica era menos proclive a iniciar una investigacin (Black, 1970:735).
En el mismo sentido, Reiss (1971), en un trabajo ms general sobre la Polica y la ciudadana, defenda que sta ejerce un control considerable sobre la
funcin policial a travs de sus decisiones discrecionales sobre comunicar o
no comunicar a la Polica Local determinados hechos ocurridos en la vida diaria (1971 :69).
Una aproximacin diferente al tema de la discrecionalidad es la adoptada por Maxfield (1979) en su estudio comparativo de los servicios de Polica de las ciudades de Chicago y San Francisco. Maxfield toma el nmero
de delitos oficialmente reconocidos por la Polica en una ciudad como indicador del output de este servicio y compara este indicador con indicadores
de demanda, con el propsito de hacer algunas inferencias sobre el proceso
decisional que se produce durante la transformacin de las demandas en
productos finales.
Siguiendo la lgica de la literatura sobre equidad, analiza las diferencias
en el proceso decisional --es decir, en el nmero de demandas que se convierten al final del proceso en un caso oficial- en base a las caractersticas de la
poblacin, a las caractersticas de los incidentes y a los niveles de demanda
que experimentan diferentes reas de las dos ciudades estudiadas, llegando a
la conclusin que la influencia de la discrecionalidad en las decisiones policiales es ms bien residual (1979:295).
***
Hasta aqu, hemos hecho un repaso de la literatura, predominantemente
norteamericana, que se ocupa de la evaluacin de los servicios de Polica
214
TERCERA PARTE
Local y hemos visto que existen tres posibles aproximaciones a partir de

examinar:
primero, cmo se distribuyen los recursos geogrfica y temporalmente;
segundo, hasta qu punto la distribucin [mal de los servicios es equitativa entre distintos grupos de poblacin y/o diferentes zonas de una misma ciudad;
y tercero, qu diferencias se producen en la toma de decisiones que afectan a distintos grupos de poblacin como consecuencia de la discrecionalidad de la que disponen los miembros de los cuerpos de Polica.
La primera aproximacin se centra claramente en los inputs de la funcin

policial, mientras que la segunda y la tercera tienen que ver ms con los outcomes o efectos de las decisiones policiales sobre distintos grupos de poblacin.
Como se dijo ms arriba, la simple distribucin de los recursos sobre la
geografa local ofrece poca informacin sobre la calidad de los servicios prestados. Esta depende de lo que hagan los agentes, tanto durante su actividad de
patrulla preventiva como cuando son llamados a cumplir una determinada
funcin y por tanto a ocuparse de un determinado incidente. De alguna manera, los estudios que se basan en la medida de los tiempos de respuesta y en el
anlisis del comportamiento y decisiones policiales se aproximan ms a este
concepto.
Existe igualmente una literatura sobre Polica en castellano. Entre las
aportaciones ms recientes cabe destacar la obra ya clsica de Ballb (1985)
sobre la presencia de las fuerzas armadas en el mantenimiento del orden pblico en la Espaa contempornea, en cuyo ltimo captulo se analiza la voluntad constitucional de desmilitarizar y desvincular el aparato policial del
Ejrcito. En el mismo sentido, Lpez Garrido dedica parte del Aparato Policial en Espaa (1987) a revisar desde una perspectiva histrica el modelo de
orden pblico de la Espaa liberal. Este autor tambin analiza la estructura
sociolgica de los cuerpos de seguridad (origen regional, procedencia social, y nivel cultural de sus miembros) as c'omo las enseanzas impartidas a
los oficiales de carrera de la Guardia Civil, con el objeto de poner de relieve
sus sesgos ideolgicos.
Por su parte, Martn Fernndez plantea en La Profesin de Polica,
(1990: 136) la seleccin de los recursos humanos y su formacin como elementos claves de la reforma policial, para acabar proponiendo el anlisis de
tareas como un eje bsico del proceso de cambio policial. Si bien en este estudio no se utilizan directamente las categoras propuestas por Martn Fernndez, nuestro anlisis de demandas conecta perfectamente con su preocupacin por determinar lo que realmente hacen los agentes durante su jornada
laboral.
215
4. ESCALA Y ORGANIZACION DE LA POLICIA LOCAL DE

L'HOSPITALET
A. ALGUNAS MEDIDAS DE INPUT
L'Hospitalet de Llobregat es, con una poblacin justo por debajo de los
280.000 habitantes, la segunda ciudad de Catalua y la dcimotercera de Espaa.
El examen comparativo de algunos indicadores de inputs para las Policas
Locales de Barcelona y 1'Hospitalet puede darnos una cierta idea de la escala
de sus operaciones.
En primer lugar, la poblacin de Barcelona es 6 veces mayor que la de
1'Hospitalet. Las diferencias entre los presupuestos de las dos Policas para
1989 no eran aproximadamente las mismas que entre sus poblaciones. Mientras que la Guardia Urbana de Barcelona gast ms de 9000 millones, el presupuesto de la de 1'Hospitalet fue de 948 millones. Las remuneraciones del
personal constituyen el captulo ms importante de estos presupuestos, con
aproximadamente un 85% del gasto en el caso de 1'Hospitalet.
El nmero de agentes en Barcelona el ao 1989 era de 2118, ms de 7.8
veces el nmero de agentes para l'Hospitalet que era de 271. Ello supone 0.91
agentes por cada 1000 habitantes en esta ltima ciudad, por 1.2 agentes por
cada 1000 habitantes en Barcelona.
Tabla 1:
Barcelona y L'Hospitalet. Resumen de medidas de inputs para 1989.

Datos de 1986
Barcelona
Hospitalet
Presupuesto
(en millones)
9.191,5
948
Total agentes
2.118
271
Poblacin
(en miles)
Agentes por 1.000 h.
Demandas ciudadanos
Demandas por 1.000 h.
216
1.703,7
279,7
1,2
0,9
166.373
97,7
24.800
91
TERCERA PARTE
Como veremos ms adelante, la unidad bsica de demanda para las Policas

Locales son los servicios que gestionan sus salas de mando. Estos servicios, que
constituyen la parte ms importante aunque no la nica de la actividad policial,
se pueden producir como consecuencia de la llamada de un ciudadano o por propia iniciativa de los miembros del cuerpo durante su actividad de patrulla.
Los datos para Barcelona se limitan a las llamadas de ciudadanos al telfono especial de la Guardia Urbana. Concretamente, en Barcelona, hubo
166.373 llamadas al 092 en 1989, es decir unas 97.7 llamadas por cada mil
habitantes, mientras que en 1'Hospitalet -que no cuenta con un telfono especial- el nmero de llamadas por cada mil habitantes se situara en tomo a
las 91 en funcin de datos sobre el nmero total de servicios anuales y de la
proporcin en que stos son generados por llamadas de ciudadanos en el perodo estudiado.
B. ESTRUCTURA ORGANICA DEL SERVICIO

La GUH se estructura oragnicamente, de acuerdo con el Plan de Servicios de la Guardia Urbana, en tres secciones -Recursos, Apoyo y Demarcaciones- que a su vez se componen de departamentos y unidades. El responsable del servicio es el Jefe del Cuerpo, de las secciones lo son los oficiales y
sub-oficiales, de los departamentos, los sargentos y de las unidades, los cabos.
La jerarqua organizativa est, pues, claramente definida mantenindose por
tanto el principio de autoridad que se considera muy importante en la cultura
de los servicios policiales.
El eje fundamental del servicio lo constituye el personal adscrito a la Seccin de Demarcaciones, y a travs de sta a cada uno de los sectores o zonas
en que se divide la geografa municipal durante las 24 horas del da.
Las otras dos secciones cumplen funciones de refuerzo con una diferencia,
mientras que la Seccin de Apoyo se integra plenamente en el flujo de trabajo
de las operaciones policiales, la Seccin de Recursos cumple funciones de soporte tcnico.
Concretamente, la Seccin de Apoyo est integrada por tres departamentos
-vigilancia, circulacin y seguridad ciudadana- cuyas actividades se caracterizan por requerir la dedicacin constante y diaria de un determinado nmero de
agentes en unidades que se ocupan de la vigilancia en edificios, parques, y otras
instalaciones municipales, la regulacin del trfico en horas punta en determinados cruces de la ciudad o a la salida de las escuelas, la retirada de vehculos mal
estacionados o abandonados en la va pblica, la confeccin de atestados y diligencias judiciales y la elaboracin de informes tcnicos relativos a accidentes o
la custodia de detenidos en el depsito municipal.
217
Estas y otras actividades, como las de investigacin que desarrolla la

Guardia Urbana en colaboracin con las otros Cuerpos y Fuerzas de Seguridad del Estado, constituyen una parte importante del trabajo policial que han
de cubrir los agentes no adscritos a una demarcacin territorial especfica.
Lo mismo sucede con la Seccin de Recursos. Integrada por cinco departamentos --el gabinete tcnico, los departamentos de personal y formacin, parque mvil, material y almacn- cumple funciones de tecnoestructura y de apoyo tanto a los agentes de las otras secciones como a la direccin del servicio.
C. OPERACIONES DE PATRULLA Y SECTORES POLICIALES

La organizacin del servicio se fundamenta, sin embargo, en la figura dellPolica de sector. Es por ello, que la actividad de patrulla es la que ocupa el mayor
nmero de agentes y la que consume por tanto una mayor parte del presupuesto.
Los agentes que cumplen funciones de patrulla, al margen de algunas actividades administrativas o no policiales como las de repostar (comer en el
argot policial) dedican la totalidad de su tiempo a recorrer su sector y a responder a demandas de servicio especficas que pueden tener su origen tanto en
los propios vecinos a travs de la sala de mando, como en la misma calle por
el hecho de estarse produciendo algun incidente que el mismo agente entiende
no debera producirse.
La filosofa que hay detrs de la poltica de dedicar una parte importante
de los recursos a la actividad de patrulla preventiva es que sta tiene un efecto
disuasorio entre aqullos a quienes podra ocurrrseles transgredir las normas,
mientras que la presencia policial en la calle da un sentimiento de seguridad y
confianza al resto de la poblacin.
Al mismo tiempo, los agentes adscritos a las diferentes unidades operativas sectoriales constituyen un canal directo e inmediato de informacin para
la Administracin municipal sobre no tan slo lo que sucede en la ciudad sino
tambin el estado de sta, en la medida que aqullos tienen la obligacin de
comunicar cualquier desperfecto que se produzca en la va pblica.
De otra parte, la distribucin de la fuerza policial por toda la geografa
municipal supone situar a los agentes en una posicin que permita a la GU
responder con celeridad a las peticiones de servicio all donde se produzcan.
La funcin de respuesta policial consiste, entonces, en investigar el incidente
a raz del cual se ha producido la demanda de intervencin.
En 1'Hospitalet, la unidad bsica de patrulla es el sector. Cada sector policial
tiene asignado ocho agentes que actan bajo la supervisin directa de un cabo.
Por encima del sector, la ciudad se divide en dos zonas. Cada zona se compone
de seis sectores y est supervisada por un sargento. Por ultimo, cada uno de los
218
TERCERA PARTE
tumos -maana, tarde y noche- tiene un jefe que se responsabiliza de la totalidad del servicio. Durante la noche, sin embargo, el servicio presenta algunas diferencias ya que todo el personal se distribuye en dos unidades de seis agentes y
un cabo que se ocupan de las dos nicas zonas en que se divide la ciudad.
Desde la perspectiva de distribucin de los efectivos, la cuestin clave es
la de los criterios a partir de los cuales dividir la ciudad en sectores. En 1'Hospitalet, la configuracin de los sectores policiales tiene muy en cuenta los distritos administrativos y los barrios de la ciudad.
Concretamente, la GUH tiene dividida la ciudad en dos zonas, al norte y
al sur de la va del ferrocarril que atraviesa la ciudad de este a oeste. Dentro
de la zona norte, los distritos municipales V, IV Y II comprenden respectivamente los sectores policiales 1 y 2, 3 y 4, Y5 Y6 que se corresponden con los
barrios de Can Serra, Pubilla Cases, Florida, Les Planes, Collblanc y Torrassa.
En la zona sur, el distrito I se divide en tres sectores policiales, el distrito III
en dos y el distrito VI en uno que tambin comprende parte del trmino municipal por debajo de la Gran Va del distrito III.
Como se puede apreciar en el mapa, los sectores 1 y 3 se corresponden
con el centro de la ciudad y el barrio de Sant Josep, mientras que l'Avinguda
Carrilet hace de frontera entre stos y el segundo sector. Los sectores 4 y 5
quedan bien delimitados por otro ramal de la va del tren y se corresponden
con el barrio de Santa Eulalia mientras que el sector 6 sur coincide con los barrios de BeIlvitge y Polgono Goma!.
219
As pues, cada distrito municipal se divide en dos sectores policiales, cuyas fronteras se corresponden de forma casi perfecta con las de los distritos,
excepto los distritos I y VI que se dividen en tres y un sector respectivamente.
D. RESPONSABILIDAD OPERATIVA: LA SALA DE MANDO

La organizacin del servicio en base a las patrullas por sectores supone otorgar la mxima responsabilidad operativa a los jefes de la sala de mando. En este
sentido, el Plan de Servicios de la Guardia Urbana distingue claramente entre la
dependencia orgnica que cada agente tiene respecto de sus superiores jerrquicos, en funcin de la unidad a la que est destinado, y la dependencia funcional
respecto a los mandos responsables cada da de la totalidad del servicio.
Estos son, pues, los encargados de dirigir y coordinar las actividades y las
intervenciones de todo el cuerpo durante su perodo de guardia. Funcin que
cumplen desde las dependencias centrales de la GUH donde se encuentra la
sala de mando y para la que cuentan con un encargado de sala y dos operadores de comunicaciones que, en el caso de 1'Hospitalet, son agentes uniformados del cuerpo de Polica Local.
Desde la perspectiva de la gestin diaria del servicio, la sala de mando
juega un papel central en la medida que centraliza todas las demandas de servicio que se producen y determina la respuesta policial que merece cada incidente, enviando o no una unidad para que se haga cargo del servicio. Controla, por tanto, la actividad de todos los agentes distribuidos por sectores y
ejerce una influencia considerable a la hora de decidir si las demandas individuales han de tener una respuesta inmediata, diferida o bien han de ser reconducidas hacia otros servicios municipales.
Serve; de la
Ajuntament de
Guardia Urbana
~U" L'Hospitalet de L10bregat
TARGETA
D'AVIS
operador
I DATA
I REBUDA
ITRANSMESA
ARRIBADA AL LLOC
RETOR N
220
1I Repartidor
11 Nm.
Nom del demandant
Teleton
I Codi
CAUSA
INFRACCI
INCIDENT
O
O
ACCIDENT
INFORMACI
O
O
LLOC
lo
I~
I~
1. PERILLOSA
2. URGENT
Vehicle
O
O
3.IMPORTANT
4. RUTINA
SECTOR
ACTUACI DEL SERVEI
ORIGEN
Teleton
Atestat
No intervenci
Local Servei
Informe
Falsa Alarma
Altres policies
Trasllat fents
POLlCIA
Sistema d'alarma
nombre .................
PARTICULARS
Policia en patrulla
Efectuar detencions
nombre ..........................
O Codi Penal
O OOMM
O Altres
O Codi Circul.
Informacin especial al dors:
O SI
NO
TERCERA PARTE
La forma como opera la sala de mando es la siguiente: el servicio es activado

como consecuencia de una llamada individual de un particular o de una comunicacin de una unidad operativa desde su sector. Al responder a cada demanda, los
operadores de la sala de mando abren una ficha como la que reproducimos donde
recogen algunos datos bsicos en relacin a los hechos que han motivado la comunicacin y, o bien envan a la unidad disponible que se encuentra ms cerca de los
h~chos o bien autorizan a la unidad que ha iniciado la comunicacin para que intervenga con lo cual aquella unidad deja de estar disponible para otros servicios.
a. Informacin sobre Servicios Individuales

La calidad de la informacin que se recoge en las fichas sobre cada uno de
los servicios es variada y depende, en buena medida, del agente de tumo y del
volumen de trabajo al que tena que hacer frente en el momento de recibir la
comunicacin.
De forma general, las fichas contienen informacin sobre los siguientes
puntos:
1. El demandante, su direccin y telfono, salvo en los casos en que no
quiere identificarse. Cuando la demanda parte de los mismos agentes
en patrulla, stos se identifican por su propio cdigo que refleja el sector y si se trata de una patrulla que se desplaza a pie o en vehculo y
qu tipo de vehculo (vespa, motocicleta, turismo, furgoneta, gra o
todo terreno).
El operador indica el origen de la demanda en el recuadro previsto para este tipo de informacin que tambin contempla la posibilidad que
sea otro servicio local, otra polica o una alarma conectada con la sala
de mando los que generen la demanda. .
2. La causa o problema en que se basa la demanda y el lugar donde se requiere la presencia de la Polica. En funcin de esta informacin, el
operador clasifica los hechos como una infraccin, accidente, incidente (categora donde se incluyen hechos de naturaleza muy diversa) o
demanda de informacin, y asigna una prioridad que puede ir de 1
(prioridad mxima) a 4 (prioridad mnima).
3. La patrulla a la que se reparte el servicio. A menudo, se utiliza el dorso de la ficha para completar la descripcin de los hechos e indicar de
forma sumaria cul ha sido la actuacin policial. No se rellena casi
nunca, sin embargo, el recuadro previsto para recoger la informacin
sobre este ltimo aspecto. Esta prctica impide determinar con exactitud el nmero de casos en que no hay intervencin y supone perder
221
informacin sobre aspectos puntuales, en la medida que los operadores no siempre disponen de tiempo suficiente para hacer una narracin
detallada del servicio en el dorso de la ficha.
4. Las horas en que a) se ha recibido la demanda, b) se ha enviado a una
patrulla para que se hiciera cargo del servicio, c) aqulla ha llegado al
lugar indicado y d) ha devuelto la comunicacin informando que el
servicio se haba cumplido.
Casi la totalidad de las fichas recogen informacin sobre los tiempos de recepcin, transmisin, llegada al lugar de los hechos y retomo. En algunos casos,
faltan datos sobre el tiempo de llegada al lugar indicado y retomo. Tambin hemos notado que los operadores tienden a escribir la misma hora para los dos primeros tiempos, lo que implicara que siempre existe disponibilidad para atender
un nuevo servicio, y de forma general, no diferencian entre los tres primeros
tiempos cuando el servicio tiene su origen en una patrulla de la misma GUH
que se encuentra ya en el lugar donde se ha producido el incidente.
La informacin recogida en las fichas individuales es utilizada en la GUH,
diariamente, por los jefes de la sala de mando, para elaborar el comunicado de
novedades ocurridas durante su tumo y anualmente, por el Gabinete Tcnico,
para redactar la Memoria del cuerpo.
b. Memoria Anual de Actividades
La realizacin de la Memoria a partir del ao 1989 supone un importante

esfuerzo por presentar informacin agregada sobre la situacin de la GUH y
sobre su actividad a los responsables polticos de la Administracin municipal
y en general a la ciudad de 1'Hospitalet y es claramente indicativa de la voluntad del inspector-jefe de utilizar los datos recogidos diariamente para la planificacin del servicio.
Ms especficamente, la Memoria incluye una descripcin detallada de la
plantilla de la GUH y algunas medidas de inputs como, por ejemplo, el nmero de das y horas trabajados, el nmero de vehculos, kilmetros recorridos y
litros de combustible consumidos. Desde la perspectiva de los outputs, la Memoria hace un resumen cuantificado de los servicios prestados por todo el
cuerpo en materia de circulacin, seguridad ciudadana, polica administrativa,
asistencia al ciudadano, administracin y formacin interna. Para cada una de
estas materias o reas, la Memoria incluye medidas agregadas como por ejemplo, el nmero de denuncias impuestas por infracciones de trfico, el nmero
de detenidos y arrestados en el depsito municipal o el nmero de documentos
administrativos de diversas clases procesados.
222
TERCERA PARTE
5. FUENTES DE DATOS
El anlisis que se presenta a continuacin depende principalmente de los
datos contenidos en las fichas de servicio de la GUH. Dado que estas fichas
no son archivadas en ninguna forma que permita su lectura rpida a travs de
medios informticos, cualquier tipo de anlisis requiere su revisin individualizada y manual.
La GUH genera alrededor de 40.000 fichas de servicios cada ao, por lo
que era preciso seleccionar una muestra de stas.
Ante la imposibilidad prctica de trabajar con una seleccin aleatoria, se
opt por recoger los datos correspondientes a 30 das seguidos del mes de
abril de 1989. Este procedimiento de seleccin de los casos tiene precedentes
en la literatura sobre medida de servicios urbanos y se justifica por el elevado
nmero de observaciones finalmente incluidas en el anlisis (82).
De la totalidad de servicios correspondientes al mes de abril, se excluyeron los que se reducan a una comunicacin telefnica o por radio entre policas o con un particular que solicitara informacin sobre una cuestin puntual como un telfono o una direccin. Como ejemplos de los primeros,
podemos sealar la comunicacin de desperfectos en la va pblica para dar
despus aviso a las empresas de servicios o la transmisin desde la sala de
mando a todas las unidades operativas de la descripcin de los autores materiales de un robo del que haba tenido conocimiento en primera instancia la
Polica Nacional, cuando a esta transmisin no la sigue una actuacin concreta. Tampoco se incluyeron las comprobaciones de matrculas de vehculos en los ordenadores centrales de la Polica Local, las identificaciones de
individuos o los traslados rutinarios de detenidos, documentos y otros materiales. Finalmente, tambin fueron excluidas las actuaciones de la gra municipal dado que generalmente stas se producen despus que un agente se
ha desplazado al lugar donde se ha producido la infraccin (generalmente de
estacionamiento) y este servicio ya queda incluido en la categora de incidentes relacionados con el trfico.
Los 2385 casos estudiados fueron agrupados en 12 categoras. Este proceso no estuvo exento de problemas dada la variedad de incidentes en que
interviene la Polica Local, y la ambigedad de algunos casos que, en funcin de interpretaciones diversas, podran ser clasificados en categoras diferentes.
(82) Vid. Maxfield (1985: 123). En su estudio sobre San Francisco coge un perodo de seis semanas.
Mladenka y Hill (1978: 119) utilizan un procedimiento de muestreo sistemtico que consiste en escoger el
primer servicio aleatoriamente y a partir de aqu uno de cada diez, para nueve das completos distribuidos
en un perodo de dos meses.
223
Para cada caso se recogieron los datos relativos a:

a) la hora del da en que se haba producido la demanda,
b) el origen de sta, reduciendo las posibilidades a tres: la propia
GUH en patrulla, una llamada externa o una comunicacin de otras
policas.
c) la prioridad asignada por la sala de mando.
Adems, en funcin de la direccin de cada servicio se localiz el distrito
municipal, que se utiliza como unidad de anlisis en perjuicio de los sectores
policiales dado que los datos socio-demogrficos del censo slo se presentan
agregados por distritos. A nivel de distrito, pues, se utilizan las siguientes variables censales: densidad de poblacin, porcentaje de poblacin que est trabajando, porcentaje de poblacin con estudios superiores a segunda etapa de
EGB y porcentaje de poblacin nacida en Catalua.
A partir de los datos relativos a las horas de recepcin (ti), transmisin
(t2), llegada al lugar (t3) y retomo (t4 ) de cada servicio, se calcularon los siguientes tiempos para cada caso:
l. Tiempo de repuesta (t2 - tI)
Intervalo de tiempo entre que se recibe la comunicacin de un incidente y el servicio correspondiente es repartido a una unidad operativa
o, en su caso, se le da confirmacin para que se ocupe de l.
2. Tiempo de servicio (t4 - t2 )
Tiempo que pasa una patrulla en un servicio especfico, incluido el
tiempo de viaje o desplazamiento.
Finalmente, para acabar este apartado sobre las fuentes de datos en que se
basa este estudio, es preciso aadir que tambin se entrevistaron algunos
agentes de la GUH en diversas ocasiones, con el propsito de recoger informacin sobre la distribucin de los efectivos y sobre la forma como opera la
sala de mando en su funcin de direccin y coordinacin de todas las actividades del cuerpo.
6. ANALISIS DE LA DEMANDA DE SERVICIOS POLICIALES
Como primer elemento de la evaluacin de los servicios de Polica Local

en L'Hospitalet se analiza en este apartado la frecuencia de diferentes tipos de
incidentes en la forma que son interpretados por los operadores de la sala de
mando y recogidos en las fichas de servicio.
224
TERCERA PARTE
Al analizar la distribucin de los incidentes como indicadores de la demanda efectiva que experimenta la Polica Local se obtiene una imagen ms
precisa de la realidad de la funcin policial. Este tipo de informacin puede
ayudar a los administradores policiales a formular la misin de sus organizaciones y a definir mejor las tareas que han de cumplir los agentes del cuerpo.
Adems, con este tipo de informacin, los programas de formacin podrn ser
diseados de forma que se ajusten mejor a las necesidades de los agentes en el
desarollo de sus funciones.
El anlisis de la demanda es igualmente importante porque la funcin de
patrulla preventiva y respuesta activa responde en buena parte a lo que Levy,
Meltsner y Wildavsky (1974:244-245) llaman reglas de decisin de Adam
Smith. Esto es, normalmente, la movilizacin de la Polica se produce como
reaccin a la llamada de un particular.
Como muestra la Tabla 2, en el caso que nos ocupa y. durante el perodo
estudiado, los agentes de las unidades operativas de la Polica Local de L'Hospitalet fueron despachados en un 62% de los casos como consecuencia de las
demandas directas de ciudadanos. Estas son, pues, mayoritariamente reponsabIes de la movilizacin de los agentes. Estos, por su parte, iniciaron un total
de 847 servicios, lo que representa algo ms de un tercio del total. Otras policas, concretamente la Polica Nacional, movilizaron a la Local en el resto de
las ocasiones (un 2.5% de los casos) generalmente por tratarse de asuntos que
consideraban que no eran de su competencia o porque simplemente no tenan
capacidad suficiente para dar una respuesta efectiva (83).
Tabla 2:
Origen de las demandas de servicios
Origen
Fre.
Acum.
PATRULLAGU
847
35,5
35,5
TELEFONO
1479
62
97,5
59
2,5
100
2.385
100
OTRAS POLICIAS
TOTAL
(83) Dentro del captulo de curiosidades, cabe incluir un servicio que sistemticamente pide la
Polica Nacional a la Local y que consiste en el envo de agentes femeninas para proceder al cacheo de
detenidas.
225
Algunos trabajos de investigacin de las operaciones policiales han mostrado que las demandas que recibe la Polica siguen una distribucin de Poisson. Esto significa que el volumen de servicios requeridos guarda una cierta
periodicidad (84).
Pero, de alguna forma, el principal problema que plantea la gestin de un
servicio en que tan slo en una minora de los casos la accin es iniciada por
la misma Polica, es predecir (1) dnde y cundo se producirn distintos niveles de demanda (tema al que nos referimos en el apartado siguiente) y (2) qu
tipo de servicio ser preciso, dada la dificultad adicional que supone la diversidad de demandas que recaen sobre la Polica Local.
Las columnas primera y segunda de la Tabla nmero 3 muestran la frecuencia y distribucin porcentual de la demanda global en funcin de las 12
categoras de incidentes en que se ha organizado este estudio. Los tiempos
consumidos en la atencin de estos incidentes, desde el momento en que un
agente recibe el encargo hasta que devuelve la comunicacin informando que
el servicio se da por acabado y su distribucin porcentual se recogen en las
columnas tercera y cuarta de esta misma Tabla.
Dado que no se dispona de informacin sobre los tiempos de servicio para la totalidad de los casos, y que como hemos indicado anteriormente, se ex- .
cluyeron algunos incidentes del anlisis, las cifras absolutas tanto de casos como de minutos dedicados a responder a las demandas individuales, han de
tomarse con algunas reservas.
A. TRAFICO Y ACCIDENTES DE CIRCULACION

La primera categora incluye aquellos incidentes relacionados con el trfico. Las demandas ms frecuentes dentro de este captulo son las que tienen
(84) As, por ejemplo, en L'Hospitalet, se produce una media mensual de 47 accidentes durante el turno de noche (de 22 a 6 horas). Dado que estos sucesos son independientes, la media para un perodo de 8
horas nocturno es de 1.5%. La distribucin de Poisson nos da para esta frecuencia de accidentes, las siguientes probabilidades:
Nmero accidentes
(22 h. a 6 h.)
Probabilidad
O
1
0,2231
0,3347
0,2510
0,1255
0,0471
0,0141
0,0035
0,0008
0,0001
0,0000
2
3
4
5
6
7
8
9
226
TERCERA PARTE
que ver con el estacionamiento indebido de vehculos en vados, doble fila, sobre las aceras o dificultando el paso de transportes pblicos y vehculos de tercera categora. Tambin se incluyen en esta categora los relacionados con el
abandono de vehculos en la va pblica. Este grupo, solamente, representa el
47% de los casos y el 49.9% del tiempo total consumido por los agentes de las
unidades sectoriales.
Tabla 3:
Frecuencia y distribucin de los servicios por categoras de

incidentes
Tipos de incidentes
Tiempo *
de Servicio
47
7,8
3,8
8,5
1
11,9
3,1
3,8
2,2
0,4
1,5
9,3
27.227
4.288
1.513
3.831
337
4.959
1.811
2.382
1.275
144
880
5.919
49,9
7,9
2,8
7
0,6
9,1
3,3
4,4
2,3
0,3
1,6
10,8
100
54.566
100
Fre.
TRAFICO
1120
ACCIDENTES
185
ALARMA
90
PERSONA NECESITADA
202
RELAC. CON DROGAS
23
MOLESTIAS Y DISPUTAS
283
RECUPERACION VEHIC.
74
DEL. CONTRA PROPIEDAD
90
DEL. CONTRA PERSONAS
53
DEL. SEXUAL
9
INFRACCION ADM.
35
221
OTROS
TOTAL
2.385
* Datos de tiempo de servicio (en minutos) sobre 2.309 casos.

En el perodo estudiado, se produjeron una media de 6.1 accidentes por
da. Esta categora representa el 7.8% de la demanda global y ocup igualmente un 7.9% del tiempo de servicio.
Ello supone que las patrullas sectoriales de la Polica Local de L'Hospitalet dedican ms de la mitad de su tiempo a incidentes relacionados con el trfico, sean stos debidos a infracciones, vehculos abandonados o accidentes en
el casco urbano.
227
B. SERVICIOS SOCIALES
A las categoras de Trfico y Accidentes siguen en importancia las de
Molestias y Disputas, Otros y Personas necesitadas.
La categora de Molestias y Disputas incluye intervenciones por razn
de ruidos, actos de gamberrismo y disputas familiares o entre vecinos.
Otros es una categora residual en la que se incluyen un conjunto amplio de incidentes que podramos resumir con la expresin cuando no sepa
qu hacer, llame a la GU e incluye desde casos de escapes de agua y gas y
pequeos incendios hasta abrir un vehculo con las llaves puestas o guiar a un
camionero extranjero hasta la salida de la ciudad, pasando por todos los relacionados con animales, perros, gatos y hasta serpientes en la va pblica.
La categora de Personas necesitadas incluye los servicios de asistencia
a personas con las facultades mentales perturbadas, indigentes, enfermos, drogadictos en situacin crtica o alcohlicos.
Estas tres categoras representan una importante funcin de la Polica Local que consiste en la asistencia a personas con problemas especficos y en la
mediacin en conflictos privados. Agrupadas representan casi el 29.7% de los
casos estudiados y el 26.9% del tiempo empleado en la atencin de los servicios demandados.
C. DELITOS Y FALTAS
La Tabla 3 presenta igualmente informacin sobre incidentes interpretados
inicialmente como posibles delitos o faltas.
La categora de Alarma incluye los casos en que la GU es alertada por
una alarma que se dispara o porque se ha producido una amenaza de bomba.
Este grupo representa el 3.8% de los casos y requiri el 2.8% del tiempo de
servicio. La mayora de las alarmas son falsas, lo que contribuye a percibir la
Polica Local como una Polica que ocupa la mayor parte de su tiempo en problemas que no son de naturaleza criminal.
El mismo porcentaje de casos (3.8) y un porcentaje superior en tiempo de
servicio (4.4) obtiene el grupo de servicios por Delitos contra la Propiedad.
En esta categora se incluyen casos de hurto o robo de vehculos (ciclomotores, motocicletas y turismos) por una parte, y hurto o robo en viviendas o comercios. En este ltimo caso, puede tratarse de robos con dao en las cosas o
pequeos hurtos de productos expuestos al pblico.
Se ha incluido en una categora aparte las actuaciones policiales tendentes
a la recuperacin de vehculos de hurto ya sea por propia iniciativa de la
Polica o a raz del aviso de un particular. El servicio consiste, en este caso, en
228
TERCERA PARTE
el desplazamiento hasta el lugar donde se encuentra el vehculo y en la identificacin de sus titulares. Si efectivamente se trata de un vehculo de hurto, la
gra procede posteriormente a su depsito. En el perodo estudiado se produjeron una media de 2.4 recuperaciones por da. Esta categora representa el
3.1 % de los casos y ocup un 3.3% del tiempo de servicio.
Menos frecuentes fueron las demandas a la Polica Local por razn de
Delitos contra las Personas (2.2% de los casos y 2.3% del tiempo consumido). En esta categora se incluyen algunos casos de robo con intimidacin o
con fuerza en las personas, pero mayoritariamente supuestos en que un particular pide auxilio a la Polica ante lo que considera una probable amenaza para su persona o sus bienes. En muchos casos se trata simplemente de sospechas infundadas. Una respuesta policial rpida es, sin embargo, sumamente
importante para la persona que cree encontrarse en situacin de riesgo.
Se ha incluido en categoras aparte los incidentes relacionados con drogas y
las ofensas de naturaleza sexual. Los primeros se refieren a aquellos supuestos
en que una patrulla es requerida para que investigue a una persona o grupo de
personas consumiendo algun tipo de estupefacientes. Su clasificacin presenta
algunas dificultades ya que la naturaleza de la intervencin es distinta cuando se
trata de una persona que requiere asistencia mdica o cuando se trata de una
persona o grupo de personas que aparecen a los ojos del denunciante como sospechosos de una conducta delictiva. En este ltimo caso, ya que el primero queda incluido en la categora de persona necesitada, la mayor parte de los servicios
no conducen a la detencin de los sospechosos sin ms bien a su dispersin. La
frecuencia y el tiempo consumido en este tipo de incidentes representan el 1 y el
0.6% respectivamente de la demanda y tiempo de servicio totales.
Las ofensas de naturaleza sexual sobre las que tuvo conocimiento la Polica Local en el perodo estudiado representan el 0.4% de los casos y el 0.3%
del tiempo empleado en los servicios. En esta categora se incluyen bsicamente supuestos de escndalo pblico (generalmente por exhibicionismo),
adems de algunos casos de abusos.
El conjunto de incidentes inicialmente interpretados como posibles delitos
representa el 14.3% de los casos estudiados yel 13.7% del tiempo consumido
en atender aqullos. Ello supone que, si bien la Polica Local cumple una importante funcin de investigacin y resolucin de delitos, sta es slo una parte ms bien reducida de su actividad y en la que adems aparece como incluso
ms significativa la asistencia directa a las vctimas.
D. POLICIA ADMINISTRATIVA
La categora de infracciones administrtivas incluye aquellos servicios que
se producen como consecuencia de la violacin de las ordenanzas municipales.
229
Las demandas ms frecuentes dentro de este captulo son las que se producen
por razn de la venta ambulante de productos, obras en viviendas particulares
e instalacin de veladores en la va pblica sin el correspondiente permiso.
Este tipo de problemas da cuenta de un 1.5% de la demanda global y del 1.6%
del tiempo empleado en atender aqulla.
En resumen, el anlisis de las demandas y servicios que experimenta la
GUH y del tiempo empleado en atender aqullas revela una nueva perspectiva en la forma de concebir la actividad de las Policas locales. Como pone
de relieve la Tabla 3, lo que se requiere de la Polica Local es un servicio
que est las 24 horas del da dispuesto a prestar todo tipo de asistencia y
ayuda a personas con problemas muy concretos, ya sea por el estancionamiento indebido de un vehculo ante la puerta de su garaje, por la enfermedad sobrevenida de un familiar o por la necesidad de rescatar un gato. La
funcin de servicio de emergencia, es pues la dominante por lo que respecta a la faceta de respuesta activa a las demandas originadas en la comunidad local.
Adems de esta funcin de servicio, la Polica Local cumple una funcin
de proteccin y mantenimiento del orden principalmente a travs de la actividad de patrulla preventiva por toda la geografa municipal, y tambin, como
se ha puesto de relieve, mediando en disputas familiares o entre vecinos, dispersando grupos de individuos de aparencia sospechosa o colaborando en la
detencin de los autores materiales de faltas y delitos.
Ambas funciones deben ser por tanto consideradas en los programas de
formacin para que stos respondan a las necesidades reales del trabajo de Polica Local. De alguna forma, la imagen de este trabajo, tradicionalmente asociada al agente diestro en el empleo de armas de fuego y dispuesto a ejercer la
autoridad que le ha sido conferida debe ser sustituida por la de un colectivo de
profesionales expertos en tratar problemas humanos, cuya solucin, a menudo, no est en sus manos.
E. DISTRIBUCION DE LAS DEMANDAS EN EL ESPACIO Y EN EL

TIEMPO
Los datos recogidos por los operadores de la sala de mando en las fichas
de servicios pueden ser analizados de distintas maneras para obtener medidas
tanto de demanda como de eficacia en la prestacin del servicio. En cuanto a
la demanda, el mayor inters reside, como se ha venido haciendo, en analizar
los casos por categoras de incidentes. Cabe, sin embargo, analizar la distribucin de las deIJ:landas por sector policial o distrito municipal, y por tumos o
incluso horas del da.
230
TERCERA PARTE
Distintas posibilidades de anlisis de estas variables se traducen en otras

tantas fonnas de presentar infonnacin sobre el servicio que podran ser de
utilidad para la gestin del servicio.
Demandas por distritos
Tabla 4:
Fila
DISTRITO
TIPO DE INCIDENTE
2
Total
215
321
125
180
201
78
1.120
47,0
54
29
32
18
18
34
185
7,8
24
26
18
90
3,8
43
36
37
28
27
31
202
8,5
1,0
23
55
52
43
45
36
52
283
11,9
13
15
24
74
3,1
26
14
10
18
13
90
3,8
16
11
11
53
2,2
10
60
42
33
27
17
42
221
9,3
11
35
1,5
INFRACCION
TRAFICO
ACCIDENTE
ALARMA
PERSONA
NECESITADA
REL CON DROGAS
MOLESTIAS
Y DISPUTAS
RECUPERACION
VEHICULOS
DEL. CONTRA
PROPIEDAD
DEL. CONTRA
PERSONAS
OTROS
INFRACCION ADM.
12
Columna
Total
9
,4
DEL. SEXUAL
515
21,6
532
22,3
333
14,0
338
14,2
352
14,8
315
13,2
2385
100,0
231
La Tabla 4 muestra un resumen de las demandas para los seis distritos

por categoras de incidentes. Las filas presentan informacin sobre la frecuencia de diferentes tipos de problemas en los seis distritos, mientras que
las columnas muestran la frecuencia de cada una de las categoras para un
mismo distrito.
Tabla 5:
Distribucin de la demanda global por hora del da y distrito
DISTRITO
HORA DEL DIA

1
14
11
12
13
14
15
16
17
18
19
20
21
22
23
24
19
17
16
12
5
6
14
18
28
21
31
28
20
27
18
22
29
29
17
37
34
21
23
23
7
8
23
40
31
27
31
23
30
22
25
28
23
27
50
38
20
10
17
9
9
9
5
3
8
7
12
19
17
19
23
16
16
15
14
18
18
15
29
16
16
10
Columna
Total
515
21,6
532
22,3
1
2
3
4
5
6
7
8
9
10
232
9
12
7
10
4
16
Fila
6
9
7
6
4
2
3
15
18
11
16
26
23
16
12
17
15
18
23
21
15
12
11
5
81
56
53
39
31
32
60
103
157
99
136
153
112
123
98
118
113
122
113
181
140
93
84
88
315
13,2
2385
100,0
10
15
14
4
6
7
4
3
6
20
27
10
20
26
12
21
11
17
13
16
20
21
24
12
20
18
333
14,0
338
14,2
352
14,8
10
4
4
7
5
10
20
25
9
23
19
18
13
20
23
10
18
11
23
13
12
10
Total
10
TERCERA PARTE
Un informe de este tipo puede ser til para la gestin del servicio en la
medida que permite determinar de forma inmediata aquellos distritos con niveles superiores de un determinado tipo de incidente. As, por ejemplo, existe
un nmero superior de alarmas en los distritos I y III, Yparece claro que donde suelen aparecer los vehculos de hurto es en el distrito VI.
Un informe de carcter anual en el que se agregaran los resmenes mensuales podra ser til a la administracin municipal para determinar las reas
donde se producen con mayor frecuencia, por ejemplo, emergencias mdicas
o agresiones sexuales, lo que facilitara decisiones sobre la localizacin de
servicios de apoyo no estrictamente policiales.
La Tabla 5 utiliza el mismo formato para presentar un resumen de las demandas para los seis distritos por horas del da. La misma informacin presentada por tumos, quiz an facilitara ms la redistribucin de los agentes de un
mismo tumo en funcin de los distritos o sectores con mayor volumen de demandas.
Finalmente, las Tablas 6 y 7 resumen los tiempos medios de respuesta y
de servicio para cada distrito por categoras de incidentes. Este tipo de informacin puede ser til a los administradores policiales para determinar si se
producen retrasos sistemticos en la distribucin de los servicios por categoras de incidentes y distritos o para identificar aquellos servicios que consumen
tiempos poco usuales. As, por ejemplo, si un agente del distrito VI pasa media hora diaria en emergencias mdicas, ello es indicativo de la necesidad de
un servicio de ambulancia en la zona.
Tabla 6:
DISTRITO
Tiempo de respuesta por distrito y por tipo de demanda
TIPO DE INCIDENTE
Para toda la poblacin

INFRACCION TRAFICO
1
2
3
4
5
6
TIEMPO DE RESPUESTA
Media
Desv. Sto
Casos
5,8709
27,2524
2332
9,6124
5,1557
12,1821
6,6774
10,2528
12,2424
7,8514
37,8377
15,8557
61,3042
17,3348
22,3773
29,2216
24,4286
1099
212
313
124
178
198
74
233
DISTRITO
TIPO DE INCIDENTE
Media
Desv. St.
Casos
ACCIDENTE
1,2260
1,2260
,8571
,3125
,1250
,1875
2,8788
5,9739
5,9739
2,5490
,7378
,3416
,5439
9,9240
177
52
28
32
16
16
33
ALARMA
2,7386
3,2500
3,1667
2,5600
,7500
,2500
4,2353
8,4846
8,2475
7,7567
10,3685
1,7525
,7071
10,2013
88
24
6
25
8
8
17
PERSONA NECESITADA
,6850
,18601
,3056
1,5135
1,4074
,4444
,4000
2,5960
,9324
,9804
5,2895
2,5908
,5774
,8550
200
43
36
37
27
27
30
2,4545
14,0000
,0000
,0000
,5714
1,0000
8,7163
23,3880
,0000
,0000
,7868
2,1381
22
3
1
3
7
8
2,9823
2,9823
4,4423
3,8095
1,6889
2,6389
2,3462
8,1797
8,1797
11,5324
10,1842
3,6044
7,0230
6,7964
282
282
52
42
45
36
52
1
2
3
4
5
6
1
2
3
4
5
6
1
2
3
4
5
6
REL. CON DROGAS
2
3
4
5
6
1
2
3
4
5
6
234
TIEMPO DE RESPUESTA
TERCERA PARTE
DISTRITO
1
2
3
4
TIPO DE INCIDENTE
Media
Desv. Sto
Casos
4,5753
9,4167
3,4286
4,4667
2,7500
2,7143
3,7083
10,1419
18,8219
8,6382
7,7724
4,9785
4,2314
8,2750
73
12
7
15
8
7
24
DEL. CONTRA LA
PROPIEDAD
,4815
,7500
,4615
,0000
,6667
,2143
,4615
1,1738
1,5108
,9674
,0000
1,6583
,8018
,9674
81
24
13
8
9
14
13
DEL. CONTRA LAS

PERSONAS
,5098
,6000
,6000
,6250
,0000
,2727
,6000
,9246
1,2984
,8433
,9161
,0000
,4671
,8944
51
15
10
8
2
11
5
4,7064
2,4833
8,2195
2,6364
4,5000
9,9375
4,2143
18,7552
4,4626
30,1086
5,6944
8,1449
38,1601
17,7812
218
60
41
33
26
16
42
5,8235
1,8571
1,6667
32,0000
4,3750
,0000
6,5000
16,1010
2,3401
1,4142
51,1566
5,6805
,0000
11,5888
34
7
9
3
8
1
6
RECUPERACION DE
VEHICULOS
5
6
1
2
3
4
5
6
1
2
3
4
5
6
OTROS
1
2
3
4
5
6
INFRACCION ADM.
1
2
3
4
5
6
TIEMPO DE RESPUESTA
235
DISTRITO
TIPO DE INCIDENTE
DEL. SEXUAL
1
2
4
6
TIEMPO DE RESPUESTA
Media
Desv. St.
Casos
2,0000
1,0000
6,0000
,0000
,0000
4,0415
1,41421
7,0711
,0000
,0000
7
2
2
1
2
Total Casos = 2385

Casos Perdidos = 53 2,2%
Tabla 7:
DISTRITO
Tiempo de servicio por distrito y por tipo de demanda
TIPO DE INCIDENTE
Media
Desv. St.
Casos
23,6319
29,5963
2309
INFRACCION TRAFICO
25,1172
23,4714
29,7194
21,2314
22,1503
23,2835
28,5132
36,0851
26,2560
56,5780
16,7540
19,2390
22,3003
30,9108
1084
210
310
121
173
194
76
ACCIDENTE
24,2260
23,3019
23,7778
23,5000
24,8750
28,5000
24,3939
16,3938
16,1359
15,0495
14,1467
17,1187
20,3011
18,3063
177
53
27
32
16
16
33
1
2
3
4
5
6
1
2
3
4
5
6
236
TIEMPO DE SERVICIO
TERCERA PARTE
DISTRITO
TIPO DE INCIDENTE
TIEMPO DE SERVICIO
Media
Desv. St.
Casos
ALARMA
17,1932
13,5417
19,0000
22,2400
17,6250
14,8750
15,1765
21,3519
20,2011
14,0855
29,4636
23,0089
9,5385
13,7352
88
24
6
25
8
8
17
PERSONA NECESITADA
19,1550
21,0930
13,2778
20,8378
18,8889
13,9259
26,3000
22,3026
26,7660
8,2760
20,2848
30,8998
11,3914
26,0664
200
43
36
37
27
27
30
REL. CON DROGAS

2
3
4
5
6
14,6522
16,3333
12,0000
19,3333
14,1250
13,1250
7,0621
2,0817
,0000
9,0185
9,2341
5,6930
23
3
1
3
8
8
1
2
3
4
5
6
MOLESTIAS Y DISPUTAS 17,9025

18,7170
18,6346
18,2195
17,7111
15,9722
17,5800
17,4479
17,8674
11,9164
16,9949
11,8084
11,4130
27,7467
277
53
52
51
45
36
50
RECUPERACION DE
VEHICULOS
19,0945
21,0014
11,1761
32,7436
12,0683
9,2014
12,4812
73
12
7
15
8
7
24
1
2
3
4
'5
6
1
2
3
4
5
6
1
2
3
4
5
6
24,8082
25,1667
20,2857
28,0000
22,7500
20,0000
26,0417
237
DISTRITO
1
2
3
4
5
6
1
2
3
4
5
6
TIPO DE INCIDENTE
Media
Desv. St.
Casos
DEL. CONTRA LA
PROPIEDAD
30,1519
33,0833
31,0769
32,1250
25,0000
33,4286
21,2727
28,7550
34,0969
28,8486
21,7810
34,5760
30,5456
11,1722
79
24
13
8
9
14
11
DEL. CONTRA LAS

PERSONAS
26,5625
36,0714
34,2222
16,8571
19,0000
22,0909
12,6000
30,1957
48,1448
27,1697
8,3552
4,2426
15,0363
9,4234
48
14
9
7
2
11
5
OTROS
27,1514
28,8333
33,3415
20,0303
19,5556
30,3529
27,9250
27,6572
24,0981
36,9937
10,8555
13,7207
37,3630
32,3494
218
60
41
33
27
17
40
INFRACCION ADM.
25,8824
16,7143
22,6667
37,333
24,3750
50,0000
33,6667
18,9365
10,1278
14,5602
27,3191
16,3440
,0000
28,7100
34
7
9
3
8
1
6
DEL. SEXUAL
18,0000
33,5000
14,5000
20,0000
9,3333
11,4518
10,6066
2,1213
,0000
5,7735
8
2
2
li
3
1
2
3
4
5
6
1
2
3
4
5
6
1
2
4
6
Total Casos
Casos Perdidos
238
TIEMPO DE SERVICIO
= 2385
= 76 3,2%
TERCERA PARTE
7. EVALUACION DE LA DISTRIBUCION DE LOS AGENTES

Como ha puesto de relieve el repaso de la literatura, todps los mtodos objetivos de distribucin de los recursos tienen en cuenta la demanda de servicios a lo largo del da y en diferentes zonas de la ciudad. Adems, desde que
Wilson desarollara su frmula, normalmente asignan distintos pesos a diferentes categoras de incidentes en funcin de la gravedad que los administradores
policiales les otorgan. Para no entrar en la discusin de los criterios en funcin
de los cuales otorgar distintos pesos a diferentes categoras de incidentes en
los que interviene la GUH, se analiza en este apartado la distribucin de los
recursos a partir, una vez ms, de la frecuencia de incidentes y del tiempo
consumido en la prestacin de los servicios requeridos.
Esta ltima medida presenta algunas limitaciones en la medida que la
celeridad con que comunican la terminacin de un servicio las unidades
operativas de distintos sectores o de distintos turnos puede no ser la misma.
Podra ocurrir, por ejemplo, que durante la noche, dado que la demanda de
servicios es menor, los agentes adoptaran una actitud ms relajada en relacin con el retomo de las comunicaciones despus de cumplir un determinado servicio.
Por otra parte, solamente se tiene en cuenta el trabajo policial en su faceta de respuesta activa, mientras que los administradores policiales podran considerar que, por ejemplo, el carcter ms conflictivo de un distrito
justifica una mayor presencia preventiva policial aunque en realidad el nmero de incidentes sobre los que llega a tener conocimiento la Polica sea
menor.
En cualquier caso, la medida del tiempo de servicio aparece como un criterio ms seguro que el de distribuir de forma un tanto arbitraria pesos a distintas categoras de incidentes, y las consideraciones de tipo ms cualitativo
tienen razn de ser a posteriori como elemento corrector de la distribucin que
sobre el papel aparezca como ptima.
A. POR TURNOS
Las unidades operativas de la GUH se organizan en tres tumos de 8 horas
que operan de acuerdo con los horarios y efectivos que se especifican a continuacin.
Tumo de la maana, de 6 horas a 14 horas (12 sectores)
- 1 sargento
- 6 cabos
-47 agentes
239
Tumo de la tarde, de 14 horas a 22 horas (12 sectores)

- 1 sargento
- 6 cabos
-48 agentes
Tumo de la noche, de 22 horas a 6 horas (2 zonas)
- 1 sargento
- 2 cabos
- 12 agentes
Del anlisis de las demandas que experimenta cada tumo y del tiempo de
servicio empleado en atender aqullas se puede determinar que los agentes de
los tumos de la maana y de la tarde tienen una carga de trabajo muy similar,
mientras que los de la noche tienen una carga sensiblemente superior a la de
sus compaeros de los tumos de da.
Tabla 8:
Di~tribucin
de agentes y servicios por tumos
Tiempo * % Tiempo
de Servicio Servicio
Agentes
%
Agentes
Fre.
MAANA
54
43,5
893
38,7
21.680
39,7
TARDE
55
44,3
964
41,7
22.869
41,9
NOCHE
15
12,1
452
19,6
10.017
18,4
124
99,9
2.309
100
54.566
100
Tumo
TOTAL

Con aproximadamente la misma dotacin de personal, los tumos de la maana y de la tarde tuvieron una carga de trabajo del 38.7 Y del 41.7% de los
casos respectivamente, lo que les ocup el 39.7 y el 41.9% del tiempo total de
servicio. Mientras que el tumo de la noche con solamente el 12% de los efectivos tuvieron que hacer frente al 19.6% de los casos en los que consumieron
el 18.4% del tiempo de servicio total, lo que supone un nivel superior de carga
de trabajo por agente.
240
TERCERA PARTE
B. POR DISTRITOS
La distribucin de los agentes por sectores solamente es operativa durante los turnos de da, por lo que el anlisis se limita a las demandas y tiempos de servicio agregados por distritos que se producen durante el intervalo que va de las 6 de la maana
hasta las 10 de la noche. Por otra parte, se excluyen los sargentos por ser responsables
de zonas que superan los sectores y distritos en los que se divide la ciudad.
La distribucin de los agentes por distritos municipales es la que se especifica
a continuacin:
Distrito 1, 3 sectores
- 3 cabos
- 23 agentes
Distrito IV, 2 sectores

- 2 cabos
- 16 agentes
Distrito 11, 2 sectores

- 2 cabos
- 16 agentes
Distrito V, 2 sectores
- 2 cabos
- 16 agentes
Distrito III, 2 sectores

- 2 cabos
- 16 agentes
Distrito VI, 1 sector

-1 cabo
- 8 agentes
Tabla 9:
Distribucin de agentes y servicios por distritos

Tumos de da
Tiempo * % Tiempo
de Servicio Servicio
Distrito
Agentes
%
Agentes
26
24,3
385
20,7
9.398
21
II
18
16,8
430
23,2
11.676
26,2
III
18
16,8
263
14,2
5.740
12,9
IV
18
16,.8
257
13,8
5.583
12,6
18
16,8
265
14,3
5.859
13,2
VI
8,4
257
13,8
6.293
14,1
107
99,9
1.857
100
44.549
100
TOTAL
Fre.

241
Las desigualdades entre la carga de trabajo de los agentes asignados a los

sectores comprendidos en los seis distritos municipales son importantes. Tomando como referencia la carga de trabajo que experimenta el distrito 1, este
distrito y los 111, IV YV aparecen con un nivel proporcional de carga de trabajo, tanto en nmero de incidentes (en tomo a los 14 por agente) como en tiempo dedicado a los servicios correspondientes (en tomo a las 6 horas por agernte), mientras que los distritos 11 y VI sufren una carga de trabajo que es casi el
doble (en tomo a los 24 y 28 incidentes y 11 Y 12 horas respectivamente) de la
de sus compaeros de los distritos 1, 11, IV YV.
8. EVALUACION DE LA EFICACIA POLICIAL

A. PLANTEAMIENTO DEL PROBLEMA
Los datos recogidos por los operadores de la sala de mando en las fichas
de servicios permiten obtener algunas medidas de outcomes o efectos de las
decisiones policiales sobre la poblacin. El repaso de la literatura sobre evaluacin de servicios policiales nos ha permitido descubrir algunas investigaciones que se aproximan bastante al concepto de outcomes policiales y que
por tanto, aportan informacin cualitativamente ms rica que la simple enumeracin de servicios producidos.
Bsicamente, se han descrito dos enfoques: por una parte, aqullos que se
basan en el anlisis de la discrecionalidad de los agentes, ya sea observando
directamente su comportamiento o examinando el proceso de transformacin
de demandas especficas (por razn de delitos, por ejemplo) en outputs concretos (detenciones) para distintos grupos de poblacin o reas de una misma
ciudad. Por otra parte, aquellos enfoques que se basan en el tiempo de respuesta policial, y que toman a ste como indicador general de servicio.
La GUH cuantifica en su memoria anual algunos servicios producidos, lo
que permite la comparacin interanual de tasas de accidentabilidad, de horas
empleadas en la regulacin de trfico de cruces importantes, de denuncias impuestas por infracciones, de vehculos retirados por la gra municipal, de detenciones y arrestos, de inspecciones realizadas, de desperfectos detectados en
la va pblica o incluso de documentos tramitados. El sistema de informacin
actual, tanto a nivel de Polcia como del Area de Estadstica del Ayutamiento
no permite, sin embargo, asociar estas medidas de outputs a medidas de demanda por grupos de poblacin o por zonas de la ciudad.
S que es posible, sin embargo, a partir de los datos disponibles, examinar
las variaciones en la respuesta policial a demandas individuales de ciudadanos
a partir de dos indicadores generales de servicio: el tiempo que tarda la Polica
242
TERCERA PARTE
Local en dar una respuesta activa y el tiempo consumido en la actividad que

ha de satisfacer la demanda inicial.
Otra posibilidad consiste en utilizar las evaluaciones de ciudadanos que han
tenido una experiencia reciente de contacto con la Polica como medidas de eficacia. Este es un enfoque defendido especialmente por aqullos que tienen una
visin de la sociedad basada en la eleccin individual como criterio determinante, que se justifica en nuestro caso por la relevancia que tiene la funcin de servicio asistencial dentro de la actividad de la GUH, pero que no se sigue en este
estudio de caso que se limita a presentar algunas perspectivas de anlisis de la
eficacia a partir de los datos recogidos internamente por el servicio.
Tiempo de respuesta y tiempo de servicio son indicadores vlidos del servicio prestado por la Polica Local por varias razones:
En primer lugar, porque partimos de la suposicin de que todo ciudadano
que llame a la Polica tiene derecho a esperar una respuesta rpida y eficaz
que le permita solucionar su problema. Si bien es cierto que slo en algunos
casos, la rapidez con que acte la Polica ser crucial (caso de una persona
gravemente enferma, de un escape de gas o de un atraco que se acaba de producir), la celeridad con que acte el servicio es indicativa de la preocupacin
del cuerpo por responder de forma eficaz a todas las demandas individuales
(Mladenka y Hill, 1978: 116).
En segundo lugar, porque como ha puesto de relieve el anlisis de la actividad, la Polica Local cumple en nuestro pas una funcin esencialmente asistencial y de servicio cuyo producto es a menudo algn tipo de respuesta informal que slo se puede medir en tiempo consumido. Por otra parte, una
distribucin desigual del tiempo dedicado a atender demandas individuales sera contraria a la voluntad de servicio a toda la comunidad.
En tercer lugar, porque investigaciones basadas en las percepciones subjetivas de los ciudadanos han indicado que los tiempos de respuesta y de servicio son importantes para aqullos (Parks, 1984).
Estos indicadores presentan a su vez, importantes limitaciones en la medida que no aportan informacin alguna sobre cmo se desarrolla la interaccin
entre agentes y ciudadanos dado que no se puede asumir que exista una relacin positiva entre mayores niveles de actividad (tiempo de servicio) y mayores niveles de satisfacin o beneficios para la persona asistida.
B. TIEMPO DE RESPUESTA
La Tabla 10 muestra los tiempos medios de respuesta en la GUH por categoras de incidentes. La primera y la segunda columna presentan las medias
243
en minutos y las variaciones estandard para cada una de estas categoras. La

tercera columna incluye las medianas --que como medida de tendencia central es mejor que la media en este caso dado que se dan valores muy dispares-, y la cuarta, el nmero de casos por tipo de incidente con informacin
sobre el tiempo de respuesta durante el perodo estudiado.
Tabla 10: Tiempo medio de respuesta por categoras de incidentes
Media
Desv.
Stand.
TRAFICO
ACCIDENTES
ALARMA
PERSONA NECESITADA
RELAC. CON DROGAS
RECUPERACION VERIC.
DEL. SEXUAL
INFRACCION ADM.
OTROS
9,6
1,2
2,7
0,6
2,4
2,9
4,5
0,4
0,5
2
5,8
4,7
37,8
5,9
8,4
2,5
8,7
8,1
10,1
1,1
0,9
4
16,1
18,7
5,8
27,2
Tipos de incidentes
Mediana
Fre.
1
0
1.099
177
88
200
22
282
73
81
51
7
34
218
O
O
O
O
O
1
O
2.332
La Tabla 10 pone de relieve algunas caractersticas del servicio que presta

la GUR.
En primer lugar, los tiempos consumidos por la sala de mando en repartir los servicios son bastante reducidos. En los casos de delitos contra las
personas o la propiedad y de personas necesitadas, la media no llega al minuto. Salvo para los casos de trfico e infracciones administrativas, la mediana es O. Ello supone que en un 50% de los casos, los operadores de la sala de mando repartieron los servicios inmediatamente despus de recibir la
primera llamada.
En segundo lugar, existen variaciones importantes, dentro de una misma
categora de incidentes. La desviacin estndar es en todas las categoras superior a la media. Algunas veces tres y cuatro veces el valor de sta, lo que
244
TERCERA PARTE
indica que existen diferencias en la rapidez con que se despachan un mismo

tipo de incidentes. Unas veces se producen importantes retrasos, mientras que
en otras ocasiones se procede de forma inmediata.
Los mayores retrasos se producen en relacin con problemas de trfico,
infracciones administrativas, otros, recuperacin de vehculos de robo y molestias y disputas. Mientras que los casos que generan respuestas ms rpidas,
por orden decreciente son los de delitos contra la propiedad y las personas,
ayuda a individuos con problemas agudos, accidentes, delitos sexuales, incidentes relacionados con drogas y alarmas. Se puede afirmar, por tanto, que los
incidentes potencialmente ms graves son repartidos con mayor celeridad, en
perjuicio de aqullos percibidos como menos serios o peligrosos.
La relacin entre niveles de demanda y tiempos de respuesta se presenta

grficamente en las figuras 1 y 2. La primera muestra la frecuencia total de
servicios por horas del da, mientras que- la segunda expresa tiempos medios
de respuesta durante indnticos intervalos de tiempo.
Figura 1
VOLUMEN DE SERVICIOS
POR HORA DEL OlA
190 - , - - - - - - - - - - - - - - - - - - - - - - - . . ,
180
170
160
150
140
130
120
UJ
110
el
c;n
gj 100
o
fi:
~
90
80
70
60
50
40
30
20
\O
0-+--------------------------1
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
HORA
245
Figura 2
TIEMPO DE RESPUESTA
POR HORA DEL OlA
20
-r--------------------------,
19
18
17
16
15
14
13
Vl
12
11
::>
10
9
8
7
6
5
3
2
1
0-+---------------------------1
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
HORA
La comparacin de ambas grficas permite determinar si existe alguna relacin entre estas dos variables (85).
El nivel de demandas se mantiene en los niveles ms bajos durante la noche para crecer de forma considerable desde las 6 hasta las 8 de la maana.
Mantiene un nivel alto fluctuante durante el da para llegar a su mximo alrededor de las 8 de la tarde, hora a partir de la cual empieza a descender.
Los tiempos medios de respuesta mantienen niveles igualmente bajos hasta las 5 de la maana, hora a partir de la cual aumentan considerablemente alcanzando su valor ms alto entre las 10 Ylas 11 de la maana. A esta hora empieza un descenso continuado que slo se ve truncado por aumentos
importantes entre las 3 y las 7 de la tarde.
No parece, por tanto, que exista una estrecha relacin entre volumen de
servicios y tiempo de respuesta si bien es cierto que entre las 7 y las 11 de la
maana, y en menor medida entre las 16 y las 19 horas se produce un cierto
retraso en las comunicaciones que podra estar motivado por la acumulacin
de demandas.
(85) Para el estudio de las relaciones entre tiempo de respuesta/servicio y demanda global, seguimos
el trabajo de Maxfield, (1981: 124-129).
246
TERCERA PARTE
c. En Funcin de la Prioridad Asignada
Otro motivo de retraso puede hallarse, ms que en problemas de capacidad o disponibilidad de los agentes, en la interpretacin que hacen de cada incidente los operadores y en la prioridad asignada a cada caso.
La Tabla 11 muestra la frecuencia con la que los operadores de la sala de
mando asignan cada una de las prioridades establecidas, as como el tiempo
medio de respuesta para cada categora.
Tabla 11: Tiempo medio de respuesta por tipo de prioridad
Fre.
Media
Desv.
Stand.
PELIGRO
0,2
0,4
0,5
URGENTE
82
3,4
3,5
25
174
7,3
2,2
9,4
2.124
89,1
6,2
28,3
2.385
100
5,8
27,2
Prioridad
IMPORTANTE
RUTINA
TOTAL
En primer lugar, cabe destacar que en tan slo el 11 % de los casos se asign algn tipo de prioridad, de modo que el 89% restante de los casos estudiados no merecieron ningn tipo de priorizacin.
Entre los casos a los que les fue, asignada algn tipo de prioridad, en 5 ocasiones (el 0.2% de los casos) aqulla fue mxima y el tiempo medio de respuesta
fue efectivamente el ms bajo (0.4 minutos). Las prioridades 2 y 3 fueron asignadas al 3.4% y al 7.3% respectivamente de los casos. Sin embargo los tiempos de
respuesta fueron superiores para los casos de prioridad 2 que para los de prioridad 3. La elevada desviacin estndar de la segunda categora es indicativa de
que podra haberse cometido algn error al asignar prioridad 2 a casos que de hecho se trataron como de inferior prioridad. Si se excluyen del anlisis las infracciones de trfico y de cracter administrativo, la asignacin de prioridad aparece
entonces como claramente efectiva en la reduccin de los tiempos de respuesta.
Estos no llegan ahora a 0.69 y 0.91 minutos para las prioridades 2 y 3 respectivamente, se mantienen en 0.4 minutos para la prioridad 1 (dado que sta no fue
asignada a ningn incidente relacionado con el trfico o con una infraccin administrativa) y pasa de 6.2 a 2.6 minutos para el resto de los incidentes.
247
De ello cabe deducir que:

1. La asignacin de prioridad es poco usual en la GUR pero cuando se realiza es efectiva en la medida que los tiempos de respuesta son ms cortos.
2. Los retrasos que se producen en la respuesta policial se explican ms
por el carcter rutinario del servicio que por un problema de exceso de
demanda y falta de disponibilidad.
C. TIEMPO DE SERVICIO
Q.
En Funcin del Tipo de Incidente
Como muestra la Tabla 12, los problemas que consumen ms tiempo suponen entre 24 y 30 minutos de media y entre 18 y 21 minutos de mediana. Se trata
de delitos contra la propiedad o contra las personas --donde la atencin a las vctimas es sumamente importante-, el grupo residual de otros servicios que incluye incidentes de naturaleza muy variada, y todos los relacionados con trfico,
accidentes, recuperacin de vehculos e infracciones administrativas.
Deberan reducirse los tiempos de servicio consumidos en algunas de estas categoras de incidentes para as conservar recursos con los que hacer frente a nuevas demandas ms rpidamente?
Tabla 12: Tiempo medio de servicio por categoras de incidentes
Tipos de incidentes
Media
Desv.
Stand.
Mediana
Fre.
TRAFICO
ACCIDENTES
ALARMA
PERSONA NECESITADA
RELAC. CON DROGAS
RECUPERACION VERIC.
DEL. SEXUAL
INFRACCION ADM.
OTROS
25,1
24,2
17,1
19,1
14,6
17,9
24,8
30,1
26,5
18
25,8
27,1
36
16,3
21,3
22,3
7
17,4
19
28,7
30,1
11,4
18,9
27,6
18
20
11
13
13
14
20
21
17
16
20
19
1.084
177
88
200
23
277
73
79
48
8
34
218
23,6
29,5
248
2.309
TERCERA PARTE
En principio, no parece que exista un problema de falta de disponibilidad para

los casos en que es crucial dar una respuesta rpida. Pero es que independientemente de la dificultad de fijar criterios en relacin al tiempo que merece cada incidente, no parece que una estrategia como la indicada tenga demasiado sentido. Al
contrario, el anlisis expuesto parece indicar que existe un cierto margen en
L'Hospitalet para reducir la actividad de patrulla preventiva y aumentar los agentes destinados a unidades igualmente operativas de refuerzo o investigacin.
Lo importante, ms que reducir de forma sistemtica los tiempos de servicio de acuerdo con directivas desde arriba, es que la sala de mando pueda gestionar adecuadamente la carga de trabajo en funcin del volumen de demandas que experimenta en cada momento. Para ello, seran suficientes dos cosas:
1. Ejercer un mayor control sobre el tiempo empleado en cada servicio.
2. Transferir servicios directamente a unidades de apoyo e investigacin
o a otros servicios municipales (bomberos, ambulancias, compaas de
servicios) cuando se trata de problemas de su competencia.
La figura 3 muestra la distribucin de los tiempos medios de servicio por

horas del da. Estos alcanzan su mximo durante el tumo de la noche, a las 4
de la madrugada, mientras que los mnimos coinciden con las horas de cambio
de tumo, cuando los agentes se preparan para dar el relevo a los compaeros
que les sustituyen en sus demarcaciones.
Figura 3
TIEMPO DE SERVICIO
POR HORA DEL OlA
38...,.----------------------.....,
36
34
32
30
28
~ 26
=> 24
22
20
18
16
14
12
1O+----------------------~
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 2021 22 2324
HORA
249
Si se compara los grficos de las figuras 1 y 3 tampqco parece que

exista una clara relacin entre volumen de demandas y tiempo de servicio. Cabra esperar una reduccin de los tiempos de servicio cuando se
produce un mayor volumen de demandas, en la medida que stas generan
una cola de servicios. Sin embargo, ello no sucede en L'Hospitalet, donde
adems la sala de mando, que es donde se centralizan las demandas, difcilmente puede controlar la actividad de los agentes mientras stos cumplen un servicio y hasta que no devuelven la comunicacin dndolo por
terminado.
9. EVALUACION DE LA DISTRIBUCION DE LOS SERVICIOS EN

TERMINOS DE EQUIDAD
Finalmente, con el objeto de analizar la variacin en los tiempos de respuesta y de servicio para distintas zonas de la ciudad, se presentan en la Tabla
13, los resultados del anlisis correlacional entre los tiempos de respuesta y de
servicio y cuatro variables socio-demogrficas (densidad de poblacin, porcentaje de poblacin que trabaja, porcentaje de poblacin que ha cursado como mnimo segunda etapa de EGB y porcentaje de poblacin nacida en Catalunya) a nivel de distrito.
Tabla 13: Correlaciones de variables demogrficas y tiempos de respuesta y

de servicio
%
% Nacidos
Variables
Densidad
Trabaja
Estudios
Catalunya
TIEMPO DE RESPUESTA
0,0635*
-0,0192
-0,0306
-0,0358
0,017
-0,0218
0,0057
0,0248
TIEMPO DE SERVICIO
* Significativo al nivel de ,01
Siguiendo a Mladenka y Hill (1978:123), lo que se pretende con este tipo

de anlisis es determinar si existen variaciones en el comportamiento policial
que se explican por las caractersticas de la poblacin que habita en determinados barrios.
250
TERCERA PARTE
La direccin de las correlaciones sugiere que la respuesta policial es ms

rpida en aquellas zonas donde hay menor densidad de poblacin, pero donde
tambin son menores los porcentajes de poblacin con trabajo, estudios o nacida en Catalunya. Es decir, el tiempo de respuesta para zonas de nivel socioeconmico ms bajo tendera a ser menor.
Todos los coeficientes son, sin embargo, muy pequeos en trminos absolutos, lo que significa que la posible asociacin entre variables es muy dbil.
Por ello, cabe afirmar que la variacin en la respuesta policial o en el tiempo
empleado en atender servicios especficos, no se puede atribuir a factores socio-demogrficos en L'Hospitalet (86).

EVALUACION
A. EVALUACION DE SERVICIOS DE POLICIA LOCAL CON DATOS
DE LA ADMINISTRACION
El estudio de caso de la GUH ha permitido ilustrar algunas aproximaciones posibles al tema de la evaluacin de los servicios pblicos de Polica Local partiendo de datos recogidos por la misma Administracin.
Los cuerpos de Polica Local, como tantas otras administraciones pblicas, no son evaluados en funcin de estndares objetivos para la determinacin de su presupuesto, ni tienen ningn incentivo para proporcionar medidas
de su rendimiento. Por ello, uno de los principales problemas que presenta la
evaluacin deriva de la informacin que contienen los archivos policiales y
que generalemente responde a preocupaciones ajenas a las de la evaluacin.
En nuestro caso, partamos de un elevado conocimiento tanto de los inputs
ms relevantes como del proceso que sigue la prestacin de servicios policiales.
Como inputs principales cabe incluir las demandas individuales de servicio y
los agentes con que cuenta la GUH para las funciones de patrulla preventiva y
respuesta activa. El proceso hace referencia en este caso al iter que sigue una
demanda desde que se genera hasta que da lugar a un servicio concreto.
La evaluacin de los servicios de Polica Local a partir de datos de la Administracin es pues claramente posible y potencialmente til a estos dos
(86) Este anlisis adolece de contar con slo 6 casos -los seis distritos municipales- dado que el
censo de L'Hospitalet nicamente presenta informacin a este nivel. La anterior afirmacin sobre la inexistencia de relacin entre las variables estudiadas tiene, sin embargo, sentido en la medida que existe una
gran homogeneidad entre los seis distritos en los que se divide la poblacin.
La correlacin aparece como significativa en el caso indicado con un * en la tabla. La probabilidad de
que no exista asociacin alguna entre las variables es menos de un 10% en este caso. La asociacin es probablemente debida al elevado nmero de casos analizados y en cualquier caso es muy dbil.
2Sl
niveles: inputs y proceso. En nuestro caso, ha consistido en analizar las demandas que experimenta el servicio, la distribucin de los recursos y la forma
en que stos son gestionados para atender aqullas de forma rpida y suficiente en cuanto a tiempo.
A su vez, el tiempo que tarda la Polica Local en responder a una demanda
individual y el tiempo que pasa con aqulla pueden ser interpretados como indicadores de eficacia policial en s mismos, e independientemente de otras
medidas de outputs concretos. Adems, estos indicadores permiten hacer una
valoracin, en trminos de equidad, del servicio prestado a distintos grupos de
poblacin o zonas de la ciudad.
Si bien es cierto que la evaluacin de un servicio policial tambin se puede
expresar en trminos de medidas de otros outputs, generalmente ello supone distorsionar la realidad dado que los indicadores seleccionados no reflejan toda la
actividad policial. Lo que se plantea aqu es, pues, la necesidad de un sistema de
informacin que permita relacionar demandas concretas con resultados de la accin policial con motivo de aquella demanda, para poder obtener as informacin
sobre las consecuencias para la poblacin de la intervencin de la Polica Local
B. EVALUACION EN FUNCION DE LA INFORMACION

Nuestro estudio de caso pone de relieve la dependencia de la evaluacin
tanto del grado de conocimiento de las actividades que constituyen el proceso
de produccin de un servicio, como de la mayor o menor medida en que se
pueden determinar los impactos de aqul en la sociedad.
Si como hace Majone (1989: 177), reflejamos estos dos parmetros en una
tabla, obtendremos nuevamente las condiciones en que son ms apropiadas la
evaluacin de proceso y la evaluacin de resultados.
Figura 4: Relacin entre nivel de conocimiento y tipo de evaluacin

Fuente: Majone, (1989: 177).
Conocimiento del proceso de produccin
Grado en que
se pueden medir
los resultados
252
completo
incompleto
alto
bajo
TERCERA PARTE
Lgicamente, la mejor situacin es la representada por la casilla nmero

1: cuando es posible medir impactos, y tenemos un concocimiento completo
del proceso de produccin de un servicio, la seleccin entre evaluacin de
proceso o de resultados depender nicamente de la capacidad tcnica de los
evaluadores, de los recursos disponibles o de lo que consideren ms oportuno
los decisores polticos.
En el otro extremo, la casilla nmero 4, la imposibilidad de medir resultados y un conocimiento incompleto de cmo producir stos, reducir la evaluacin a un mero control de gestin de los recursos puestos a disposicin del
servicio.
Entre ambos extremos se situaran aquellas actividades en que, o bien sus
gestores son nicamente evaluados en funcin de sus resultados, sin atender a
la forma en que se alcanzaron (casilla nmero 2) o bien la evaluacin se extiende a cuestiones de proceso y por tanto sobre la forma en que inputs son
transformados en servicios concretos, pero se desconoce, en cambio, sus efectos en la sociedad (casilla nmero 3).
Como hemos visto, la principal dificultad que presenta la evaluacin de
los servicios que presta la Polica Local reside en el carcter difcilmente medible de los efectos que suponen para la poblacin las actividades en que emplean su tiempo los miembros del cuerpo.
En' este sentido, hemos intentado, con nuestro estudio de caso, deplazarnos por la diagonal que va desde la situacin en que slo es posible evaluar
inputs hasta aqulla en que es posible seleccionar entre evaluacin de resultados y evaluacin de proceso.
C. UTILIDAD RELATIVA DE LAS MEDIDAS OBJETIVAS

A diferencia del caso de los planes integrales, donde tratbamos con un
programa de formas poco estructuradas y sujeto a cambios constantes, fruto
de su finalidad exploratoria en la bsqueda de soluciones a problemas mltiples, el servicio de la Polica Local se caracteriza por una estructura organizacional consolidada y unas formas de operar muy estandarizadas que responden a una concepcin ampliamente compartida por los responsables de polica
sobre la importancia de la actividad de patrulla preventiva y de respuesta activa a situaciones'juzgadas, por ciudadanos particulares o por los mismos policas, como problemticas o conflictivas.
La evaluacin de los servicios de Polica Local, se presenta en este sentido, como ms susceptible de medicin, en funcin no tanto de hipotticos objetivos sino de indicadores que permitan obtener algunas conclusiones sobre
la calidad del servicio.
253
De acuerdo con la filosofia policial implcita en la forma que se estructura

y opera la Polica Local, hemos entendido que era importante lo siguiente:
Primero, tener un conocimiento detallado de las actividades que consumen
la mayor parte del tiempo de servicio de los agentes del cuerpo.
Segundo, que los recursos policiales se distribuyan de forma que se iguale
la carga de trabajo por agente.
Tercero, que los incidentes potencialmente ms graves sean distribuidos
con mayor celeridad, en perjuicio de aqullos menos graves.
Cuarto, que la respuesta policial no sufra retrasos como consecuencia de
la acumulacin de demandas.
Quinto, que todos los servicios demandados por ciudadanos tengan una
respuesta efectiva.
Sexto, que los agentes tengan tiempo suficiente para atender correctamente a personas con problemas especficos.
Sptimo, que la falta de control sobre los agentes empleados en un servicio no genere una cola de servicios.
Octavo, que el servicio de Polica trate igual a distintas reas y grupos de
poblacin de la ciudad.
En la medida que estos aspectos sean valorados y que la evaluacin aporte
informacin sobre su condicin actual, la evaluacin puede tener alguna utilidad, tanto para el responsable del servicio, como para los decisores polticos,
como para los ciudadanos que tienen una preocupacin por la eficacia del servicio.
Al igual que ocurre con el caso de los planes integrales, distintas personas
o grupos que tienen relacin con el servicio de Polica pueden, sin embargo,
tener percepciones distintas sobre lo que constituye valor en relacin con la
funcin policial. Cabra, por ejemplo, argumentar que el modelo de patrulla
preventiva por sectores policiales como actividad residual mientras la Polica
no responde a un servicio es ineficaz como medida disuasoria o para incrementar el sentimiento de seguridad de los ciudadanos. Habra por tanto que
retrotraer la cuestin de la evaluacin a la determinacin de lo que la Polica
debera hacer, para luego determinar lo que hace y, en su caso, los cambios
necesarios para adecuar sus actividades y la forma en que opera.
En este sentido nos parece importante sealar:
Primero, que no hay un nico indicador de eficacia policial que sirva a todos los propsitos. Toda medida de resultados se hace de acuerdo con unos
criterios que llevan implcitos valores, y la adopcin de una serie de medidas
implica aceptar que aquello es lo que el servicio debera hacer.
Segundo, de acuerdo con lo dicho anteriormente, la evaluacin ha de ser
concebida como un proceso abierto de aprendizaje sobre lo que constituye valor-calidad en relacin con un servicio, sobre la forma como opera ste y
254
TERCERA PARTE
sobre cmo se produce la interaccin entre las actividades del servicio y las
condiciones sociales sobre las que se quiere influir. Estas son cuestiones sobre
las que nuestro nivel de conocimientos es a menudo muy reducido, por lo que
si bien la evaluacin puede proporcionar informacin en base a ciertas percepciones sobre lo que debera hacer un servicio, esta informacin no debe interpretarse como una respuesta definitiva, sino ms bien como un nuevo input a
partir del cual formular nuevas cuestiones y avanzar en la lnea de determinar
posibles impactos de la intervencin pblica en la sociedad.
255
CONCLUSIONES
En este apartado recogemos aquellas conclusiones a las que nos ha llevado la investigacin sobre la evaluacin de programas y servicios pblicos.
Ms que conclusiones definitivas sobre el tema, se trata de una serie de reflexiones finales que resumen nuestra tesis e incorporan lo aprendido de la experiencia concreta de los estudios de caso en relacin con lo afirmado por la literatura cientfica.
1. La evaluacin de programas y servicios pblicos puede constituir una
herramienta til de reforma, racionalizacin y mejora cualitativa de la intervencin pblica en la sociedad.
La evaluacin, como hemos visto, puede adoptar formas muy diversas y
puede ser llevada a cabo de acuerdo con metodologas muy diferentes. No
creemos necesario ni conveniente alineamos con una metodologa racionalcientfica-cuantitativa-sumativa, ni tampoco con su alternativa pluralista-naturalista-cualitativa-formativa. El mrito no est tanto en la naturaleza de la investigacin como en la relevancia de la informacin producida en cada caso
concreto.
El desarrollo de nuevas polticas y programas en nuestro pas requiere una
comprensin ms amplia y profunda de los procesos, con el objeto de sacar
enseanzas positivas para acciones futuras. Desde este punto de vista, nos parece importante que la evaluacin sirva para producir informacin til para la
discusin y negociacin de las nuevas formas de intervencin pblica.
Al mismo tiempo, creemos que existe un amplio campo de investigacin
en el anlisis de la actuacin de las Administraciones Pblicas con el objeto
de producir informacin que sirva a sus gestores para obtener alguna idea de
la calidad de los servicios que estn produciendo. Desde este punto de vista,
nos parece igualmente importante que la evaluacin sirva para producir informacin til para pasar cuentas y hacer un cierto balance de aquella actuacin.
2. La evaluacin de programas y servicios pblicos se integra en el marco terico del anlisis de las polticas pblicas, en la medida que, como ste,
persigue producir informacin que tenga alguna relevancia a nivel de proceso
de toma de decisiones poltico-administrativas, esto es, informacin que resulte til para resolver problemas concretos.
A diferencia del anlisis de las polticas pblicas, de carcter ms bien
anticipatorio, la evaluacin de programas normalmente tiene lugar durante
el proceso de formacin de las polticas o con posterioridad a su puesta en
prctica.
259
Al igual que el anlisis de las polticas pblicas, la evaluacin se caracteriza por su carcter aplicado y por el recurso a mltiples mtodos de investigacin. A diferencia de la investigacin bsica, sin embargo, la evaluacin se
realiza para que sus resultados sean utilizados por personas concretas, y tiene
lugar en un contexto real. La percepcin de la evaluacin como una amenaza
para los sujetos evaluados impone algunas limitaciones importantes a este tipo de investigacin.
3. El desarollo de la evaluacin de programas se asocia con el crecimiento
de los programas sociales y de ayuda internacional durante los aos sesenta en
los EEUU, Canad, y en algunos pases europeos, y con la introduccin, desarrollo y generalizacin paralelos de reformas racionalizadoras de los procesos de decisin y presupuestacin pblicos.
Si bien los procesos de gensis y evolucin de la evaluacin son bastante
similares para estos pases, su grado de sistematizacin e institucionalizacin
difiere en funcin de la posicin que ocupan los tribunales de cuentas en relacin con el legislativo y el ejecutivo, y del impulso otorgado a la evaluacin
por los Ministerios de Hacienda. Tambin cabe distinguir aquellos pases en
que la evaluacin se plantea en relacin con las polticas generales de las instituciones centrales de gobierno, de aquellos otros en que presenta una estructura ms descentralizada y en que, por tanto, est ms relacionada con programas concretos.
4. La evaluacin de programas ampla progresivamente las cuestiones
a las que se dirige hasta incluir en su mbito, primero, la evaluacin de los
efectos netos de la intervencin pblica -es decir, de aquellos efectos que
no se hubieran producido en ausencia de aqulla-; segundo, la evaluacin
de la implementacin de los programas -esto es, de su cobertura y organizacin administrativa-; tercero, la evaluacin de la forma en que los
programas son concebidos y diseados en funcin de los estudios de necesidades y de la forma en que son definidos los problemas sociales; y cuarto, los anlisis coste-eficacia y coste-beneficio -es decir, la evaluacin
econmica-o
Desde esta perspectiva, la evaluacin comprensiva de una poltica o programa pblicos, permite relacionar los resultados finales de una intervencin,
con su coste, y con la forma en que fue administrada y hasta planificada inicialmente.
Desde otra perspectiva, la demanda de evaluacin de un programa puede
responder a propsitos de carcter formativo, con el objeto de obtener informacin til para la gestin operativa del programa durante su desarrollo, o a
propsitos de carcter sumativo, con el objeto de proporcionar informacin
til para el proceso de toma de decisiones sobre la continuidad o la terminacin de una poltica.
260
CONCLUSIONES
5. Evaluar la actuacin de los poderes pblicos implica necesariamente la

idea de juzgar el mrito, el valor o la bondad de sus programas o servicios.
Ello puede hacerse conforme a mltiples criterios:
a) en funcin de la medida en que se alcanzaron los objetivos formales
de la intervencin;
b) en funcin de la medida en que se produjeron progresos significativos
en relacin con objetivos generales de crecimiento econmico y distribucin de la riqueza;
c) en funcin de la medida en que se satisfizo las necesidades materiales
de la poblacin o rea objeto del programa;
d) en funcin de la medida en que se produjeron avances importantes en
aquellos aspectos que ms valoran aqullos que tienen autoridad formal para tomar decisiones sobre el futuro de la intervencin;
e) en funcin de la medida en que los participantes, profesionales y administradores de un programa entienden que el programa fue un xito
o un fracaso;
f) en funcin de la medida en que el programa satisfizo los intereses de
los mltiples actores y grupos afectados.
La eleccin de un criterio u otro determina la aproximacin metodolgica
a la evaluacin, desde las aproximaciones racionales centradas en los objetivos, a las aproximaciones ms polticas centradas en los intereses de una pluralidad de actores.
6. La premisa terica en la que se fundamenta el modelo clsico de la evaluacin por objetivos es que los programas pblicos son diseados con el objeto de alcanzar objetivos especficos, y que su xito puede ser determinado
en funcin de la medida en que se alcanzaron aquellos objetivos.
Los objetivos de las polticas y de los programas pblicos acostumbran a
ser, sin embargo, generales, abstractos y confusos, dado que el proceso de decisin poltica se fundamenta en acuerdos sobre la necesidad de actuar en relacin con los problemas que se hacen un hueco en la agenda pblica, pero que
no llegan a explicitar lo que haya que hacer, ni las consecuencias que cabra
esperar de aquella actuacin.
El modelo clsico de la evaluacin por objetivos recurre a diseos de naturaleza experimental, cuasiexperimental, y al establecimiento de controles estadsticos que requieren, primero, la identificacin de variables que reflejen
aproximadamente los resultados del programa; y segundo, la medida de su situacin, antes y despus de la intervencin y/o en relacin con la situacin de
grupos de control que no recibieron aqulla.
261
Esta aproximacin es adecuada cuando se trata de un programa bien definido, susceptible de ser analizado por partes y que permite la descripcin de
un modelo de impacto con unas relaciones causales claras; donde una serie de
individuos reciben una misma intervencin cuyos efectos pueden ser anticipados y claramente medidos; y cuando es posible formar grupos de comparacin
equivalentes y/o obtener mltiples medidas de una misma variable en intervalos peridicos de tiempo anteriores y posteriores a la intervencin.
7. La premisa terica en la que se fundamenta el modelo pluralista de
evaluacin es que generalmente existe una diversidad de percepciones sobre
los criterios evaluativos que deben aplicarse en relacin con un programa
especfico, y que lo importante, no es tanto desarrollar medidas objetivas de
resultados como facilitar un amplio dilogo entre los defensores de criterios
diversos.
La evaluacin pluralista se caracteriza por abrir el proceso evaluador a
mltiples actores, con intereses y perspectivas diversos, con el objeto de producir informacin que resulte til a estos actores y, especialmente a aqullos
con mayor capacidad de influir en las decisiones futuras.
El modelo de evaluacin pluralista responde perfectamente a la demanda
de evaluaciones que puedan ser realizadas en perodos de tiempo relativamente cortos, sin comprometer grandes cantidades de recursos y que respondan a
las necesidades de sus usuarios. Adems, el recurso a metodologas cualitativas permite mantener un estrecho contacto con la realidad y obtener una mejor comprensin del entorno poltico-social en el que se desarrollan nuevas intervenciones sociales.
Por el contrario, las aproximaciones pluralistas raramente sirven al objeto
de producir una estimacin de los efectos netos de los programas pblicos en
grupos de poblacin especficos.
8. El caso del Plan integral de Roquetes pone de relieve que muchos programas no son productos acabados a punto de ser examinados a travs de la medida
de sus efectos especficos en el momento que se plantea su evaluacin. De forma general, se puede caracterizar a estos programas en funcin de sus objetivos
amplios, generales y abstractos; su forma poco estructurada y en constante evolucin; y su objeto, ms una situacin que es percibida en abstracto como no deseada que un problema especfico de unos individuos concretos.
En estos casos, resulta difcil determinar de forma previa, como podramos saber si los objetivos se haban realizado al final del programa; es preciso
examinar qu es lo que ha ocurrido en el caso concreto para poder definir el
programa que se est evaluando; y es igualmente importante, generar un proceso que sirva al objeto de identificar posibles efectos de la intervencin.
En estos casos, la adopcin de una perspectiva pluralista puede servir tanto al objeto de responder a las cuestiones que realmente interesan a los actores
262
CONCLUSIONES
(yen funcin de las cuales enjuiciarn la intervencin), como al objeto de

identificar las posibles causas tanto de los xitos como de los fracasos, con el
fin de contribuir en la construccin de una teora sobre cmo intervenir en situaciones similares a la examinada.
9. El caso del Plan Integral de Roquetes pone igualmente de relieve la diversidad de enfoques de evaluacin que requieren intervenciones distintas.
Los dos extremos seran, por una parte, aquellos programas que ofrecen bienes y servicios concretos a una poblacin especfica, y que tienen objetivos
directamente operacionales; y por la otra, aquellos programas que pretenden
mejorar la condicin, las capacidades o las oportunidades de una situacin, y
que tienen objetivos amplios y abstractos, cuyas consecuencias pueden ser
muchas y variadas.
En la medida que los programas se parezcan ms a los del primer grupo,
sern ms susceptibles de una evaluacin de efectos clsica. Por el contrario, aquellos programas que se parezcan ms a los del segundo grupo, requerirn una evaluacin orientada al proceso y abierta a los principales actores.
10. El caso de la Polica Local demuestra que es posible evaluar los
servicios urbanos de Polica, partiendo de datos recogidos por la misma
Administracin.
En este caso, el nivel de conocimientos que tenemos tanto de los inputs
ms relevantes, como del proceso que sigue la prestacin del servicio, permite analizar: primero, las demandas que experimenta el servicio; segundo,
la forma en que se distribuyen los recursos; y, tercero, la forma en que stos son gestionados para atender aqullas de forma rpida y suficiente en
cuanto a tiempo.
11. La principal dificultad que presenta la evaluacin de los servicios que
presta la Polica Local reside en el carcter difcilmente medible de los efectos
que suponen para la poblacin las actividades en que emplean su tiempo los
agentes.
En nuestro caso, hemos considerado que era importante, adems de conocer las actividades que consumen la mayor parte del tiempo de servicio de la
Polica y la forma en que se distribuyen los recursos, que los incidentes potencialmente ms graves sean distribuidos con mayor celeridad; que la respuesta
policial no sufra retrasos como consecuencia de la acumulacin de demandas;
que todos los servicios demandados tengan una respuesta; que los agentes dediquen suficiente tiempo a las personas que requieren sus servicios pero que
esto no se traduzca en retrasos para otros servicios; que la Polica trate igual a
distintas reas y/o grupos de poblacin de la ciudad.
Estas medidas nos parecen relevantes de acuerdo con el modelo policial
de patrulla preventiva por sectores policiales, como actividad residual mientras no se produce la demanda de un servicio activo.
263
BIBLIOGRAFIA
ALBAREDA, M. 1988
Planes de Ocupacin INEM-Corporaciones Locales, 1987
Barcelona: INEM
ALBI IBAEZ, E., J.A. RODRIGUEZ ONDARZA 1988
Anlisis Coste-Beneficio: Notas sobre su Situacin Actual, Papeles de
Economa Espaola,
37: 482-487
ALBRITTON, R.B.1979
Measuring Public Policy: Impacts of the Supplemental Security Income
Program, American Joumal of Political Science,
23: 560-578
ALBRITTON, R.B., T. WITAYAPANYANON 1989
Impacts of SSI: A Reanalysis of Federal Welfare Policy, en
R.D. BINGHAM, C.L. FELBINGER Evaluation in Practice
White Plains, NY.: Longman
ALCAIDE INCHAUSTI, J. 1988
El gasto pblico en la democracia espaola: los hechos, Papeles de
Economa Espaola,
37: 2-41
ALVIRA MARTIN, F.1991
Metodologa de la Evaluacin de Programas
Madrid: CIS
ARVIDSSON, G.1986
Perfonnance Evaluation, en EX. KAUFMAN, G. MAJONE, J. OSTROM.
Guidance, Control and Evaluation in the Public Sector
Berln: De Gruyter
BAENA DEL ALCAZAR, M. 1977
El Poder Econmico de la Burocracia en Espaa, Infonnacin Comercial
Espaola,
522: 12-21
267
BAENA DEL ALCAZAR, M. 1985 .

Curso de Ciencia de la Administracin
Madrid: Tecnos
BALLBE, M. 1985
Orden Pblico y Militarismo en la Espaa Constitucional (1812-1983)
Madrid: Alianza Universidad
BAON, R. 1978
Poder de la Burocracia y Cortes Franquistas 1943-1971
Madrid: Instituto Nacional de Administracin Pblica
BARNARD, C.I.1968
The Functions ofthe Executive.
Cambridge, MA.: Harvard University Press
BARZELAY, M., J.M. O'KEAN 1989
Gestin Pblica Estratgica. Concepto, Anlisis y Experiencias:
El Caso IPIA
Madrid: Instituto de Estudios Fiscales
BECKMAN, N. 1977
Policy Analysis in Government: Altematives to 'Muddling Through',
Public Administration Review,
37: 221-222
BERCAL, T. E.1970
Calls for Police Assistance: Consumer Demands for Govemment Service,
American Behavioral Scientist
13: 681-692
BELTRAN, M. 1977
La Elite Burocrtica Espaola
Barcelona: Ariel
BELTRAN, M. 1991
La Productividad de la Administracin Espaola: Un Anlisis Comparativo
Madrid: Ministerio de Economa y Hacienda
BINGHAM, R., C. FELBINGER 1989
Evaluation in Practice
268
BIBLIOGRAFIA
BLACK, D.J. 1970

Production of Crime Rates, American Sociological Review,
35: 733-748
BLAU, P.1955
The Dynamies ofBureaueraey.
Chicago, IL.: The University of Chicago Press.
BLANCO, J.M. 1986
Informe INEM
Barcelona: lNEM-Universitat Autonoma de Barcelona
BLOCK, P.B.1974
Equality ofDistribution ofPoliee Serviees: A Case Study ofWashington D.C.
Washington, DC: The Urban Institute
BOCIALETTI, G., R.E. KAPLAN 1986
Self-Study for Human Services Agencies: Managing a Three-Sided
Relationship, Evaluation and Program Planning
9: 1-11
BORUCO, R.F., A.J. McSWEENEY, E.J. SODERSTROM 1978
Randomized Field Experiments for Program Planning,
Development and Evaluation: An Illustrative Bibliography,
Evaluation Quarterly,
2: 655-695
BORUS, M.E., W.E. TASO 1970
Measuring the Impaet ofManpower Programs.
Ann Arbor, MI.: Institute of Labor and Industrial Relations, University of
Michigan - Wayne State University
BRYK, A.S.1983
Stakeholder Based Evaluation
San Francisco, CA: Jossey Bass
BROWN, J.D. 1973
The U.S. GAD's Changing Foeus as the Federal Government's Auditor,
1920-1972. (Tesis)
Ann Arbof, MI.: UMI
269
BROWN, R., R.D. PETHEL 1974

A Matter of Facts: State Legislative Performance Auditing, Public
Administration Review,
34: 318-326
BROWNE, A., A. WILDAVSKY, 1987
What Should Evaluation Mean to Implementation?, en D.J. PALUMBO
The Politics 01 Program Evaluation.
Beverly Hills: Sage
BUCHANAN, B. 1981
The Senior Executive Service: How Can We Tell if it Works?, Public
41: 349-358
BUTTOLPH JOHNSON, J., R.A. JOSLYN 1986
Political Science Research Methods
Washington, D.C.: Congressional Quaterly Press
CAMPBELL, D., J. STANLEY 1973
Diseos experimentales y cuasiexperimentales en la investigacin social.
Buenos Aires: Amorrortu Editores
CARO, F.G. 1971
Evaluation in Comprehensive Urban Antipoverty Programs, en EG. CARO
Readings in Evaluation Research,
New York, NY: Rusell-Sage
CHELIMSKY, E. 1985
Old Pattem and New Direction in Program Evaluation, en E. CHELIMSKY
(ed.) Program Evaluation: Patterns and Directions,
Washington, D.C.: American Society for Public Administration
CLARK, R.F. 1985
The Proverbs of Evaluation, en E. CHELIMSKY Program Evaluation:
Patterns and Directions
Washington D.C.: American Society for Public Administration
COHEN, E., R. FRANCO 1988
Evaluacin de Proyectos Sociales
Buenos Aires: Grupo Editor Latinoamericano
270
BIBLIOGRAFIA
COLEMAN, J.S. et al. 1966

Equality 01 Educational Opportunity.
Washinton D.C.: Government Printing Office
COOK, T.D., T.D. CAMPBELL 1976

Quasi-Experimentation: Design and Analysis Issues lor Field Settings.
Skokie, IL.: Rand MacNally
COOK, T.D., W.R. SHADISH
19~6
Program Evaluation. The Wordly Science, en Evaluation Studies Review

Annual. Vol 12.
CRONBACH, C.J. et al. 1980

Toward Relorm 01 Program Evaluation
San Francisco, CA: Jossey-Bass
CRONBACH, L.J.1982
Designing Evaluations 01 Educational and Social Programs.
San Francisco, CA.: Jossey-Bass
CROZIER, M.1964
The Bureaucratic Phenomenon.
Chicago, IL.: The Universtiy of Chicago Press
DERLIEN, H.U. 1990

Genesis and Structure of Evaluation Efforts in Comparative Perspective, en
R.C.RIST(ed.) Program Evaluation and the Management olGovernment.
New Brunswick: Transaction Publishers
DIAMANT, A. 1962
The Bureaucratic Model: Max Weber Rejected, Rediscovered and Reformed, en
F. HEDDY, S.L. STOKES (eds.) Papers in Comparative Public Administration,
Ann Arbor, MI.: University of Michigan
DROR, Y. 1967
Public Policy-making Reexamined.
Scranton, PENN.: Chandler
DUNN, W.N.1986
The Meaning of Policy Analysis, en ES. LANE Current Issues in Public
Administration,
New York, NY.: S1. Martin's Press
271
DUTTON, D. 1978
Explaining the Low Use of Hea1th Services by the Poor: Cost, Attitudes or
Delivery Systems, American Sociological Review,
43: 348-368
EVALUATION STANDARDS COMMITTEE 1981
Standards for Evaluation of Educational Programs, Projects and Materials
New York, N.Y.: McGraw Hill
EVENO, B.1984
L'Evaluation et le ContrOle Administratif, en J.P. NIOCHE,
R. POINSARD, L' Evaluation des Politiques Publiques,
Pars: Economica
FAYOL, H. 1937
The Administrative Theory in the State, en L. GULICK Y L. URWICK
(eds.) Papers on the Science ofAdministration,
New York, N.Y.: Institute of Public Administration
FESTINGER, L. 1964
Behavorial Support for Opinion Changes, Public Opinion QuarterIy,
28: 404-417
GLASS, G.V., V.L. WILSON, J.M. GOTTMAN 1975
Design and Analysis ofTime-Series Experiments
Boulder, CO: AUP
GOLDENBERG, E.N. 1983
The Three Faces of Evaluation, Joumal of Policy Analysis and
Management,
2: 515-525
GRUP D' ANALISI POLITICA 1991
Avaluaci Pla Integral Roquetes
Departament de Ciencia Poltica i Dret Pblic, Universitat Autonoma de
Barcelona
GUBA, E.G., Y.S. LINCOLN 1981
Effective Evaluation: Improving the Usefulness ofEvaluation Results Through
Responsive and Naturalistic Approaches
San Francisco, CA: Jossey Bass
272
BIBLIOGRAFIA
GUBA, E.G., Y.S. LINCOLN 1987

The Countenances of Fourth-Generation Evaluation: Description,
Judgment and Negotiation, en D.J. PALUMBO
The Politics ofProgram Evaluation
Beverly Hills, CA: Sage
GULICK, L.1937
Notes on the Theory of Organization, en L. GULICK y L. URWICK (eds.)
Papers on the Science ofAdministration.
New York, N.Y.: Institute of Public Administration
GULICK, L., L. URWICK 1937

Papers on the Science ofAdministration.
New York, NY.: Institute of Public Administration
HELLER, N.B. et al. 1977

Field Evaluation of the Hypercube System: Final Report
Saint Louis, MS: Saint Louis Metropolitan Police Department
HELLSTERN, G.M. 1986

Assessing Evaluation Research, en EX. KAUFMANN, G. MAJONE,
V. OSTROM. Guidance, Control and Evaluation in The Public Sector
Berln: De Gruyter
HENERSON, M.E.; L. MORRIS, C. FITZ-GIBBON 1987

How to Measure Attitudes
Newbury Park, CA: Sage
HERMAN, J., L. MORRIS, C. FITZ-GIBBON 1987

Evaluator's handbook.
Newbury Park, CA.: Sage
HIRST, E., R. GOELTZ 1989

Evaluation of Residential Energy Conservation Programs in Minnesota, en
R.D. BINGHAM, C.L. FELBINGER Evaluation in Practice,
HOGWOOD, B.W., L.A. GUNN 1984

Policy Analysis for the Real World.
Oxford: Oxford University Press
273
HORST, P., J.N. NAY, J.W. SCANLON, J.S. WHOLEY 1974

Program Management and the Federal Evaluator, Public Administration
Review,
34: 300-308
HUDSON, J., H.A. McROBERTS 1984
Auditing Evaluation Activities, en L. RUTMAN, Evaluation Research Methods
Beverly Hills CA: Sage
JUNQUERA GONZALEZ, J. 1988
Los gastos pblicos de personal en los pases de la Europa Comunitaria,
Papeles de Economa Espaola,
37: 305-327
KATZMAN, M.T. 1971
The Political Economy of Urban Schools.
Cambridge, MA.: Harvard University Press
KELLING et al. 1974
The Kansas City Preventive Patrol Experiment.
Washington, D.C.: Police Foundation
KING, J.A., L.L. MORRIS, C. FITZ-GIBBON 1987
How to Assess Program Implementation.
LANGBEIN, L.I. 1980
Discovering Wether Programs Work: A Guide to Statistical Methods for
Program Evaluation.
Glenview, IL.: Scott/Foresman
LASSWELL, H. 1962
The Public Interest, en C.E FRIEDRICH (ed.) The Public lnterest
New York, NY.: Atherton Press
LEVITAN, S.A., G. WURZBURG 1979
Evaluating Federal Social Programs: An Uncertain Art.
Kalamazoo, MI: The W.E. Upjohn Institute for Employment Research
LEVY, F.; A. J. MELTSNER; A. WILDAVSKY 1974
Urban Outcomes
Berkeley: University of California Press
274
BIBLIOGRAFIA
LEVY, K 1984
L'Evaluation des Politiques Publiques aux Etats-Unis, en J.P. NIOCHE y
R. POINSARD (eds.) L' Evaluation des Politiques Publiques,
Pars: Economica
LEWIS, F.L., KG. ZARB 1974
Federal Program Evaluation from the OMB Perspective, Public
34: 308-317
LINDBLOM, C.E.1959
The Science of 'Muddling Through', Public Administration Review,
19: 79-88
LINDBLOM, C.E. 1980
The Poliey-Making Proeess.
Englewood Cliffs, NJ.: Prentice-Hall
LINEBERRY, R.L. 1977
Equality and Urban Poliey: The Distribution ofMunicipal Publie Serviees
LIPSKY, M. 1976
Toward a Theory of Street-Level Bureaucracy, en W.D. HAWLEY (ed)
Theoretieal Perspeetives on Urban Politics
Englewood Cliffs, NJ: Prentice Hall
LOPEZ GARRIDO, D. 1987
El Aparato Policial en Espaa
Barcelona: Ariel
LOSCHACK, D. 1975
La Science Administrative: Quelle Administration? Quelle Science?, Revue
Intemationale de Science Administrative,
XL: 239-252
MAE KELLY, R. 1987
The Politics of Meaning and Policy Inquiry, en D.J. PALUMBO
The Polities of Program Evaluation
275
MAJONE, E.1989
Evidence, Argument and Persuasion in the Policy Process
New Haven, CN: Yale University Press
MARTIN FERNANDEZ, M. 1990
La Profesin de Polica
Madrid: Siglo XXI-CIS
MARVIN, K.E., J.L. HEDRICK 1974
GA Helps Congress Evaluate Programs, Public Administration Review,
34: 327-332
MAXFIELD, M.G.1979
Discretion and the Delivery of Police Services (Tesis)
Ano Arbor, MI: UMI
MAXFIELD, M.G.. 1985
Service Time, Dispatch Time, and Demand for Police Services: Helping
More by Serving Less, en E. CHELIMSKY, Program Evaluation: Patterns
and Directions
Washington DC: American Society for Public Administration
MAXFIELD, M.G., G. PIERCE 1986
Impact ofLegislation to Prohibit Happy Hours on Alcohol-Related Motor
Vehicle Accidents.
Washington, D.C.: Nationallnstitute of Justice
MAYNTZ, R. 1985
Sociologa de la Administracin Pblica
Madrid: Alianza Universidad
MAYO, E. 1945
The Social Problems ofan Industrial Civilization.
London: Routledge & Kegan Paul
MERTON, R.K. 1957
Bureaucratic Structure and Personality, en Social Theory and Social Structure,
New York, N.Y.: The Free Press
MIKESELL, J .L. 1982
Fiscal Administration
Chicago, IL: Dorsey
276
BIBLIOGRAFIA
MINISTERIO DE ADMINISTRACIONES PUBLICAS 1990

Reflexiones para la Modernizacin de la Administracin del Estado
Madrid:Ministerio de Administraciones Pblicas
MLADENKA, K.R.; K.Q. HILL 1978
The Distribution of Urban Police Services, Joumal of Politics,
40: 112-133
MONNIER, E. 1987
Evaluations de l' Action des Pouvoirs Publics
Pars: Economica
MORRIS, L., C. FITZ-GIBBON, E. LINDHEIM 1987
How to Measure Performance and Use Tests
Newbury Park, CA: Sage
NACHMIAS, D., C. FELBINGER 1982
Utilizaton in the Policy Cycle: Directions for Research, Policy Studies Review,
2: 300-308
NEWCOMB, T.M. 1989
Conservation Program Evaluation: The Control of Self Selection Bias, en
R.D. BINGHAM, C.L. FELBINGER Evaluation in Practice,
NIOCHE, J.P. 1982 a)
De I'Evaluation al' Analyse des Politiques Publiques, Revue Fran~aise de
Science Politique,
32: 33-61
NIOCHE, J.P. 1982 b)
Science Administrative, Management Public et Analyse des Politiques
Publiques, Revue Fran~aise d' Administration Publique,
24: 9-23
NIOCHE, J.P., R. POINSARD 1984
L' Evaluaton des Politques Publiques
Pars: Economica
OLIVER, J; l. BUSOM; J. TRULLEN 1989
Estimaci de la Renda Familiar Disponible per Capita de Barcelona, els seus
Districtes i els 27 Municipis de la Corporaci Metropolitana de Barcelona 1985
Barcelona: Ajuntament de Barcelona
277
OSTROM, V., E. OSTROM 1971

Public Choice: A Different Approach to the Study of Public
Administration, Public Administration Review,
31: 203-216
PALUMBO, D.J. 1987
The Politics 01 Program Evaluation
PARKS, R.B.1984
Linking Objective and Subjective Measures of Performance, Public
44: 118-127
PATTON, M.Q. 1986
Utilization-Focused Evaluation
PATTON, M.Q. 1987
How to Use Qualitative Methods in Evaluation
PERROW, C. 1975
Complex Organizations: A Critical Essay
Glenview, IL: Scott, Foresman and Company
POLAND, D.F. 1974
Program Evaluation and Administrative Theory, Public Administration
Review,
34: 333-338
PROTTAS, J.M.1981
The Cost of Free Services: Organizational Impediments to Access to Public
Services, Public Administration Review,
41: 526-534
QUERMONNE, J.L., L. ROUBAN 1984
L'Evaluation et le Controle Politique, en J.P. NIOCHE, R. POINSARD
L' Evaluation des Politiques Publiques
Pars: Economica
278
BIBLIOGRAFIA
QUERMONNE, J.L., L. ROUBAN 1986

French Public Administration and Policy Evaluation: The Quest for Accountability, Public Administration Review
46: 397-406
REISS, A.J. 1971
The Police and the Public,
New Haven, CN: Yale University Press
ROBINSON, J., A. ATHANASIOU, K. HEAD 1967
Measures o[ Occupational Attitudes and Occupational Characteristics
ROBINSON, J., J. RUSK, K. HEAD 1968
Measures o[ Political Attitudes
ROBINSON, J., P. SUAVER 1969
Measures o[ Social Psychological Attitudes
ROETHLISBERGER, F.J., W.J. DICKSON 1947
Management and the Worker.
Cambridge, MA: Harvard University Press
ROSSI, P.H., H.E. FREEMAN 1985
Evaluation: A Systematic Approach.
ROSSI, P.H., U.E. FREEMAN 1989
Evaluacin. Un Enfoque Sistemtico para Programas Sociales
Mxico: Trillas
ROSSI, P.U., K.C. LYALL 1976
Re[orming Public Welfare: A critique ofThe Negative lncome Tax
Experiment.
New York, NY: Russell-Sage
ROSSI, P.U., J.D WRIGHT 1984
. Evaluation Research. An Assessment, Evaluation Studies Review Annual.
Vol. 11
279
ROUBAN, L. 1983
Le General Accounting Office, Recherche sur l' Evaluation des Politiques
Publiques aux Etats-Unis. (Tesis)
Pars 1
RUTMAN, L. 1980
Planning Useful Evaluations: Evaluability Assessment
RUTMAN, L. 1984
Evaluation Research Methods
SCRIVEN, M. 1967
The Methodology of Evaluation, en R. TYLER, R. GAGNE, M. SCRIVEN
(eds.) Perspective ofCurriculum Evaluation,
Chieago, IL: Rand MeNally
SCRIVEN, M.1973
Goal-Free Evaluation, en E.R. HOUSE (ed) School Evaluation.
The Politics and Process
Berkeley, CA: Me Cutehan
SELZNICK, P. 1966
TVA and the Grass Roots
New York, NY: Harper and Row
SUORTELL, S.M., W.C. RICUARDSON 1978

Health Program Evaluation
Sant Louis, MI: Molby
SIMON, U.A. 1976

Administrative Behavior.
New York, NY: The Free Press
SINGLETON, R.; B.C. STRAITS; M.M. STRAITS;
R.J. McALLISTER 1988
Approaches to Social Research
New York, NY: Oxford University Press
280
BIBLIOGRAFIA
SKIDMORE, F. 1989
Overview of the Seattle-Denver Income Maintenance Experiment Final
Report, en R. BINGHAM, C. FELBINGER Evaluation in Practice
White Plains, NY: Longman
STAKE, R.E.1975
Evaluating the Arts in Education
Columbus, OH: Merril
STIPACK, B.1979
Citizen Satisfaction with Urban Services: Potential Misuse as a Performance
Indicator, Public Administration Review,
39: 46-52
STOUT, R.1980
Management or Control? The Organizational Challenge
Bloomington, IN: Indiana University Press
STROSBERG, M.A.; J.S. WHOLEY 1983
Evaluability Assessment: From Theory to Practice in the Department of
Health and Human Services, Public Administraton Review,
43: 66-71
STRUYK, R.J.; M. BENDICK (eds.) 1981
Housing Vouchers for the Poor: Lessons from a National Experiment.
Washington, DC: Urban Institute
SUBIRATS, J. 1988
Consideracions poltico-administratives sobre la posada en practica de les
poltiques pbliques, Autonomies
9: 93-109
SUBIRATS, J.1989
Anlisis de Polticas Pblicas y Eficacia de la Administracin.
Madrid: Instituto Nacional de Administracin Pblica
SUCHMAN, E.A. 1970
Action for What? A Critique of Evaluative Research, en R. O'TOOLE (ed.)
The Organization, Management and Tactics of Social Research,
Cambridge, MA: Schenkman
281
TAYLOR, F.W. 1947

The PrincipIes of Scientific Management, en Scientific Management,
New York, NY: Harper & Brothers
THISTLETHWAITE, D.T., D.T. CAMPBELL 1989
Regression-Discontinuity Analysis: An Altemative to the Ex Post Facto
Experiment, en R.D. BINGHAM, C.L. FELBINGER Evaluation in Practice,
White Plains, NY: Longman
THOENING, J.C. 1984
Commentaire, en J.P. NIOCHE, R. POINSARD L' Evaluation des Politiques Publiques
Pars: Econmica
THOMPSON, M. 1980
Benefit-Cost Analysis for Program Evaluation.
THOMPSON, V.A. 1967
Modern Organization.
New York, NY: Knopf
URKOWITZ, A.G., R.E. LAESSING 1982
Addressing the Believability of Research Results Reported in the
Environmental Health Matrix, Public Administration Review,
42: 427-438
VIVERET, P. 1989
L'Evaluation des Politiques et des Actions Publiques: Rapport au Premier
Ministre, Documento no publicado
VULPIAN, A. DE, B. DEVEZ 1984
L'Evaluation par la Socit Civile, en J.P. NIOCHE, R. POINSARD,
L' Evaluation des Politiques Publiques,
Pars: Economica
WALKER, W.E.1985
The Conduct of Program Evaluations on Govemment, Evaluation and
Program Planning,
8: 271-280
282
BIBLIOGRAFIA
WASSON, J.H. et al. 1984

Continuity of Outpatient Medical Care, The Joumal of the American
Medical Association, Vol. 252, Nm. 17
WEBER, M. 1946
Bureaucracy, en H. GERTH, C.W. MILLS From Max Weber: Essays in
Sociology,
New York, NY: Oxford University Press
WEBSTER, J.A. 1970
Police Task and Time Study, Joumal of Criminal Law, Criminology, and
Police Science
61: 94-100
WEISS, C.H.1972
Evaluation Research.
Englewood Cliffs, NJ: Prentice-Hall
WEISS, C.H. 1983
Stakeholder-Based Evaluation, en New Directions for Program Evaluation
17:3-14
WEISS, C.H. 1987
Where Politics and Evaluation Research Meet, en D.J. PALUMBO
The Politics ofEvaluation
WEISS, R.S.; M. REIN 1971
The Evaluation of Broad-Aim Programs, en EG. CARO Readings in
Evaluation Research
New York, NY: Russell-Sage
WILSON O.W.; R.C. MCCLAREN 1977
Police Administration
New York, NY: McGraw Hill
WHITAKER, G.P.; S. MASTROFSKI; E. OSTROM; R.B. PARKS;
S.L. PERCY 1982
Basic Issues in Police Performance
Washington DC: National Institute of Justice
283
WHOLEY, J.S.;J.W. SCANLON; H. DUFFY; J.S. FUKUMOTO;

L.M. VOGT 1975
Federal Evaluation Policy: Analysing the Effects ofPublic Programs.
Washington, DC: Urban Insitute
WILDAVSKY, A. 1969
Rescuing Policy Analysis from PPBS, Public Administration Review,
29: 189-202
WILDAVSKY, A. 1972
The Self-Evaluating Organization, Public Administration Review
32: 509-520
WILDAVSKY, A. 1980
The Art and eraft ofPolicy Analysis
London: The Macmillan Press Ltd
WILSON, W. 1887
The Study of Administration, Political Science Quaterly,
2: 197-225
WISE, C.R., L. RECASINO WISE 1982
Productivit et Evaluation de Programme aux Etats-Unis, Revue Franc;aise
d' Administration Publique,
24: 25-37
YSANDER, D.C. 1984
L'Evaluation des Politiques Publiques en Suede, en J.P. NIOCHE,
R. POINSARD (eds.) L' Evaluation des Politiques Publiques,
Pars: Economica
ZAPICO GOI, E.1988
La Modernizacin Simblica del Presupuesto Pblico (Anlisis de la Reforma
Presupuestaria del Gobierno Socialista)
Oati: Instituto Vasco de Administracin Pblica
284
Ministerio
para las
Administraciones
Pblicas
Coleccin
Estudios
Cmo evaluar programas y

servicios pblicos?

SERVICIOS PUBLICaS? Aproximacin
sistemtica y estudios de caso es un
escaln ms en la labor emprendida por
el INAP para facilitar al lector espaol un
conjunto de textos que posibiliten la
mejora de la gestin pblica.
La obra permitir adentrarnos en el
mundo de la evaluacin, de larga
tradicin en otros contextos, de manera
sencilla y con voluntad de convertir sus
pginas en un valioso instrumento de
consulta.
o
o
Q-S
II
c
i_
re u
-2 i
-o
Xavier Ballart
Serie
Administracin
Ministerio para las Administraciones Pblicas

P.V.P. 2.300
(IVA INC

Xavier Ballart. Cómo Evaluar Programas y Servicios Públicos

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Xavier Ballart. Cómo Evaluar Programas y Servicios Públicos

Caricato da

Copyright:

Formati disponibili

Ministerio

Cmo evaluar programas y

COMO EVALUAR PROGRAMAS Y

Aproximacin sistemtica y estudios de caso

Ministerio para las Administraciones Pblicas

COMO EVALUAR PROGRAMAS y

COMO EVALUAR PROGRAMAS Y

MINISTERIO PARA LAS ADMINISTRACIONES PUBLICAS

Primera edicin: Mayo 1992

MINISTERIO PARA LAS ADMINISTRACIONES PUBLICAS

COMO EVALUAR PROGRAMAS y SERVICIOS PUBLICaS?

COMO EVALUAR PROGRAMAS y SERVICIOS PUBLICaS?

COMO EVALUAR PROGRAMAS y SERVICIOS PUBLICaS?

b. Formacin de Grupos de Trabajo con los Vecinos

4. ESCALA Y ORGANIZACION DE LA POLICIA LOCAL

COMO EVALUAR PROGRAMAS y SERVICIOS PUBLICaS?

INDICE DE FIGURAS, CUADROS Y TABLAS

PRINCIPALES CUESTIONES PARA CADA TIPO DE

IDENTIFICACION DE OBJETIVOS: DIMENSIONES A

RELACIONES ENTRE ANALISIS, EVALUACION E

MODELO TEORICO PARA LA EVALUACION DE

TIPOS DE EVALUACION DE PROGRAMAS

DISEO DE SERIES TEMPORALES CON GRUPO DE

DISEO DE GRUPOS DE COMPARACION NO

DISEO DE DISCONTINUIDAD EN LA REGRESION

PLANES DE IMPUESTO NEGATIVO PROBADOS EN EL

NUMERO DE CASOS SSI, AFDC

BENEFICIOS MENSUALES POR PARTICIPANTE SSI,

AHORRO ENERGETICO PARA GRUPOS

COMO EVALUAR PROGRAMAS y SERVICIOS PUBLICaS?

ESTUDIANTES QUE OBTIENEN BECAS

ESTUDIANTES QUE PIENSAN CONTINUAR

ACTITUDES RESPECTO A INTELECTUALISMO

RESULTADOS DEL ANALISIS DE REGRESION

ORGANIZACION DEL PROCESO EVALUADOR SEGUN

PRIMER ESTUDIO DE CASO

ESTRUCTURA ORGANIZACIONAL DEL PIR

PROYECTOS REALIZADOS ENTRE 1988 Y 1990

RELACIONES ENTRE TIPO DE PROGRAMA Y

SEGUNDO ESTUDIO DE CASO

VOLUMEN DE SERVICIOS POR HORA DEL DIA

TIEMPO DE RESPUESTA POR HORA DEL DIA

TIEMPO DE SERVICIO POR HORA DEL DIA

RELACION ENTRE NIVEL DE CONOCIMIENTO Y

BARCELONA Y L'HOSPITALET. RESUMEN DE

ORIGEN DE LAS DEMANDAS DE SERVICIOS

FRECUENCIA Y DISTRIBUCION DE LOS SERVICIOS

DEMANDAS POR DISTRITOS

DISTRIBUCION DE LA DEMANDA GLOBAL POR

TIEMPO DE RESPUESTA POR DISTRITO Y POR TIPO

TIEMPO DE SERVICIO POR DISTRITO Y POR TIPO DE

DISTRIBUCION DE AGENTES Y SERVICIOS POR

DISTRIBUCION DE AGENTES Y SERVICIOS POR

TIEMPO MEDIO DE RESPUESTA POR CATEGORIAS

TIEMPO MEDIO DE RESPUESTA POR TIPO DE

TIEMPO MEDIO DE SERVICIO POR CATEGORIAS DE

CORRELACIONES DE VARIABLES DEMOGRAFICAS y

Area de Desarrollo Econmico-Social

Aid to Families with Dependent Children

Centro de Estudios y Documentacin Nou Barris

Experimental Housing Allowance Program

Fondo Social Europeo

General Accounting Office