(Consulte n u e s t r a p g i n a w e b : w w w . s i n t e s i s .

c o m
1.11 ella e n c o n t r a r el c a t l o g o c o m p l e t o y c o m e n t a d o

Indice

Introduccin '3

PARTE I

D I S E O DE POLTICAS Y PROGRAMAS DE i N T E R V E N a N SOCIAL

C a p t u l o I . Polticas, programas y evaluaciones .... 15

Conceptos clave - -
I . I . Q u es la investigacin de evaluacin 17
Enrique Rebolloso
Baltasar Fernndez-Ramrez 1.2. Evaluacin e investigacin social 18
Pilar Cantn 1.3. Desarrollo histrico de la investigacin de evaluacin 21
1.4. Situacin actual de la investigacin de evaluacin 24
EDITORIAL SNTESIS, S. A. 1.5. Caractersticas del proceso de evaluacin _ ~ 25
Vallehermoso, 34. 28)15 Madrid
Telfono: 91 593 20 98 1.6. Delimitacin final del concepto de e v a l u a c i n - 29
httpj/www.slntcsis.com

C a p t u l o 2. P r o p s i t o s y actividades principales del proceso evaluativo 35

ISBN: 978-84-975656-9-1
Conceptos clave.- - 35
Depsito legal: M-16.981-2008
2.1. Razones o motivos principales de las evaluaciones -- 37
Impreso en Espaa Prinled in Spain 2.2. P r o p s i t o s de la evaluacin - - 41
2.2.1. Evaluacin para la r e s p o n s a b i l i d a d - - 41
2.2.2. Evaluacin para el desarrollo 42
Reservados todos tes derechos. Est prohibido, bajo las sanciones
penales y el resarcimiento civil previstos en bu leyes, reproducir, 2.2.3. Evaluacin para el conocimiento 42
registrar o transmitir esta publicacin. Integra o parcialmente, por 2.3. Actividades generales de evaluacin - 43
cualquier sistema de recuperacin y por cualquier medio, sea mecnico, 2.3.1. Conceptualizacin y d i s e o - 43
electrnico, magntico, electroptico, por fotocopia
13.2. Direccin y responsabilidad en la i m p l e m e n t a c i n 44
o cualquier otro, sin la autorizacin previa por escrito
de los editores y de Editorial Sntesis, S. A. 2.3.3. Valoracin de la utilidad del p r o g r a m a 45

II I
 I I I | . . | I LLLLIVII.KL 'K/LW

; 4 I iunnn 69 I * v t l u w i n ~ - 46 4.7. Evaluacin*- orientad* por la t e o r a

r , l r l
H I l l w n t n t o i d dectiin 46 4.7.1. B m t t n t M < ' I programa
1 1 i i M ' i n 1 .cj;un el lipo ile intervencin social . 47 4.7.2. I I '.r.lrm.i .Ir- ini|ilriiii'iil.ii ion

2.5. El proceso de intervencin social - 49

PAO i i II
Capitulo 3. Procedimientos d i a g n s t i c o s - 53
LVAHW K'LN M ' . I I M A I K A I >! I ( I\ I 1 K X . I I A M A 5

Conceptos clave 54 DE INTERVENCION SOCIAL

3.1. La evaluacin de contexto dentro del proceso de intervencin social 55

3.2. Problemas sociales . 59
C a p t u l o 5. Evaluacin de proceso y seguimiento del programa I0I
3.3. Mtodos diagnsticos - 62
3.3.1. Evaluaciones proactivas - 62 Conceptos clave - '02
3.3.2. Anlisis de problemas .. _ _ 63 5.1. Seguimiento del programa... 103
3.3.3. Evaluacin de necesidades 64 5.2. Implementacin del programa - I07
3.3.4. Revisin de investigaciones _ 65 5.2.1. M a c r o i m p l e m e n t a c i n y m i c r o i m p l e m e n t a c i n 107
3.3.5. Revisin de las mejores prcticas (benchmarking) 65 5.2.2. Seguimiento, c o m p o s i c i n y factores de la implementacin I08
3.4. Seleccin de la poblacin objetivo. ..... 66 5.2.3. La evaluacin formativa de McCIintock - I09
3.4.1. Definicin - 66 5.3. Seguimiento de la participacin - II0
3.4.2. Conceptos 67 5.4. La evaluacin de la i m p l e m e n t a c i n dentro del proceso
3.5. Mtodos para identificar la poblacin objetivo del programa 69 de intervencin social - 112
3.5.1. Entrevistas con informantes clave 69 5.5. Evaluacin para el desarrollo organizacional _ I 16
3.5.2. Foro comunitario _ 69
3.5.3. ndices bajo tratamiento - 70 C a p t u l o 6. Estrategias para la evaluacin de resultados e impactos I 19
3.5.4. Indicadores sociales - - 70
3.5.5. Entrevistas _ 70 Conceptos clave - 120
3.5.6. T c n i c a s de encuesta 71 6.1. La evaluacin de resultados e impactos dentro del proceso
3.5.7. Registro de documentos o datos de archivo 71 de intervencin s o c i a l 120
3.5.8. Censos comunitarios 72 6.2. La e x p e r i m e n t a c i n social. - - - - 124
6.3. La emisin de juicios de valor _ 126
6.4. Criterios de valor y variables de resultado 128
Captulo 4. Evaluacin de entrarla y planificacin del programa - 73

Conceptos clave - 74 C a p t u l o 7. D i s e o s aleatorizados y no aleatorizados para las evaluaciones

4.1. Programas de intervencin social 75
4.2. El marco turbulento de las instituciones de servicios 78
4.1.1. C o n t e x t o social de los programas ; 78
4.1.2. Dificultades para la evaluacin 79
4.3. Objetivos de los programas 81
4.3.1. Misin y objetivos de los programas ._ 81
4.3.2. Definicin de los objetivos del programa 83
4.3.3. Elementos del programa 84
4.4. Planificacin y ajuste de las evaluaciones 85
4.5. La e v a l u a c i n de entrada dentro del proceso de intervencin social 87
4.6. Evaluacin de la evaluabilidad 90
de resultados e impactos - 131
Conceptos clave 132
7.1. D i s e o s aleatorizados. I33
7.1.1. Eleccin del d i s e o - 134
7.1.2. Ideas fundamentales- _ 136
7.2. D i s e o s no aleatorizados 139
7.3. D i s e o s cuasiexperimentales 140
7.4. D i s e o de grupos unitarios para la evaluacin de resultados
e impactos - - I46
 1 !
R A R T E III C a p t u l o 9. Anlisis coste-beneficio - - '
EVALUACIONES ECONMICAS 8 8
Conceptos clave '
9.1. Antecedentes del anlisis coste-beneficio..... - ' 89
Capitulo 8. Evaluacin de la eficiencia - - ISI 9 . 1 Marco analtico de referencia - - - '91
9.2.1. Definicin del programa. _ - '92
Conceptos clave... 152
9.2.1 Formulacin de objetivos y su t r a d u c c i n a declaraciones
8.1. Evaluacin de la eficiencia 153
de evaluacin - - ' 93
8.2. Aspectos esenciales en el ciclo de los programas o proyectos sociales 156
9.2.3. Descripcin de la poblacin objetivo '93
8.2.1. Estado de pre-inversin._.. 156 1
9.2.4. Identificacin de ahemativas 94
8.2.2. Estado de inversin 158
9.2.5. Diferenciacin del modelo de a n l i s i s 195
8.Z3. Estado de o p e r a c i n _. _ 159 1 9 7
9.3. r e a s sustantivas del ACB
8.3. Puntos de vista analticos - - 160
9.3.1. Estimacin de la magnitud de los impactos 197
8.4. Consideraciones diferenciales segn los grupos de personas afectadas..... 162
9.3.1 Valoracin e c o n m i c a de los impactos 198
8.4.1. La perspectiva del participante objetivo..... 163
9.3.3. Agregacin de costes y beneficios valorados 206
8.4.1 La perspectiva del patrocinador del programa 163
9.3.4. Estimacin de costes totales y promedio 209
8.4.3. La perspectiva de la sociedad en su conjunto 164 1
9.4. Puntos de vista analticos en el A C B - ~> 2
8 5 . Identificacin y estimacin del valor de los componentes 164
9.4.1. U n ejemplo de clculo de coste-beneficio 215
8.6. Categorizacin de costes _ - 165
9.4.1 Sensibilidad de los resultados del A C B 217
8.6.1. Monetarios y no monetarios 166
9.5. Consideraciones de i n t e r s en la estimacin.... 2 19
8.6.1 D e capital y de o p e r a c i n . . . 166 2
9.5.1. Duracin del programa. 19
8.6.3. Recurrentes y no recurrentes _ - 167
9 5 . 1 Compras de c a p i t a l . - - 219
8.6.4. Manifiestos y escondidos 167
9.5.3. Funcionamiento en efectivo y funcionamiento de base acumulativa.... 220
8.6.5. Fijos y variables _ - 167
95.4. Cambios incurridos en los costes. - 221
8.6.6. A a d i d o s y consumidos 167
9.55. Prctica e s t n d a r de presupuesto.- 221
8.6.7. Directos e indirectos - - 168
9.6. C o m p a r a c i n de costes y beneficios 222
8.6.8. Medios y marginales - - 168
9.6.1. Valor neto actual - - 22-
8.7. Algunas cuestiones de inters analtico - 169
9.6.1 Tasa interna de r e t o m o 223
8.7.1. Escala del p r o y e c t o - - - 169
9.6.3. Relacin coste-beneficio. - 224
8.7.2. Unidades del anlisis 171
9.7. El tiempo en los anlisis de la eficiencia 225
8.7.3. Estimacin ajustada de c o s t e s - 172
9.8. Aspectos distributrvos y t i c o s . . . ._ - 227
8.7.4. Estimacin de beneficios y costes futuros.. _ _ _. 173
9.9. Ventajas e inconvenientes del ACB 229
8.7.5. Destinatarios de costes y beneficios 173
8.8. Crticas a los anlisis de la e f i c i e n c i a 175
8.8.1. Beneficios psicolgicos _. 175 Capitulo 10. Anlisis coste-efectividad 235
8.8.1 Valor de la vida humana 176
Conceptos clave - 236
8.8.3. D e g r a d a c i n de la vida humana ..- _ _. 176 10.1. Antecedentes del anlisis coste-efectividad. 237
8.8.4. Requerimiento de asunciones y estimaciones- 177
10.2. Aplicacin del ACE - - 240
8.8.5. Falta de completitud . 177
10.3. La cuantificacin de beneficios en los programas sociales ~ 243
8.9. P r e s e n t a c i n e i n t e r p r e t a c i n de resultados.- 179
10.4. Metodologa del ACE exante - 246
8.9.1. La demanda de informacin '. 179 10.4.1. Primera fase. Definicin del problema 247
8.9.1 El informe de evaluacin 180 10.4.2. Segunda fase. Diagnstico de la situacin .- - 248
8.10. Papel del evaluador en los anlisis de la eficiencia.... _ 182 10.4.3. Tercera fase. Planteamiento de alternativas de solucin 250
10.4.4. Cuarta fase. Seleccin de la mejor alternativa - 252
/
Evaluacin de programas de intervencin soda/

10.4.5. Quinta fase. Elaboracin del proyecto definitivo. _ 252 11 4 4. Evaluacin de cuarta g e n e r a c i n
10.4.6. Sexta fase. Incertidumbre y tests de sensibilidad ._ 253 11.4.5. Evaluacin d e m o c r t i c a deliberativa.
10.4.7. Sptima fase. Enmarque de los provectos y programas I 1.5. Crrtenos de calidad de las evaluaciones cualitativas 299
en las prioridades sectoriales _ - 254
10.5. Metodologa del ACE expost _ 255 C a p t u l o 12. El uso de los resultados evaluativos.- _ - 303
10.5 I . Primera fase. Identificacin precisa de los objetivos del programa 256
10.5.2. Segunda fase. Traduccin de objetivos a indicadores y dimensiones Conceptos clave -*04
257 12.1. Elconcepto de uso ~ - 305
cuantificables -
10.5.3. Tercera fase. Descripcin de sujetos posiblemente afectados 12.2. Tipologa de los usos. - 307
12.3. La utilidad c o m o cnterio de calidad de las evaluaciones 309
por el programa _ 258
10.5.4. Cuarta fase. Establecimiento de las alternativas a evaluar 259 12.4. El problema del u s o . - 31 I
12.4.1. Problemas del uso en la fase diagnstica - 312
10.5.5. Quinta fase. Medicin de los recursos afectados en valores
I 2 4.2. Problemas del uso en la fase de planificacin 31 3
monetarios 260
12.4.3. Problemas del uso en la fase de intervencin _ 313
10.5.6. Sexta fase. Valoracin comparativa de las alternativas... 260
17 4 4. Problemas del uso en la fase de evaluacin de resultados 314
10.6. La matriz de costes 261
1145, Problemas del uso en la fase de utilizacin de los resultados 314
10.6.1. Costes totales _ 262
12 4 6. Problemas del ambiente p o l t i c o - 316
10.6.2. Servicios anuales prestados (SAP) y oferta total anual ( O T A ) . 265
12.5. Teoria de la influencia de las evaluaciones... - - - 317
10.6.3. Coste por unidad de servicio (CUS) y coste p o r unidad
12.6. Estrategias para aumentar el uso - 321
de producto (CUP)... 266
12.6.1. El factor personal- - - - 321
10.6.4. Expresin final de la matriz 267
12.6.2. C m o potenciar el uso poltico de las evaluaciones - 322
10.7. Anlisis integrado coste-efectividad 269
12.6.3. L a difusin de resultados. - - 322
10.7.1. Efectividad en el logro de los objetivos ( E L O ) . 269
12.6.4. Los informes de evaluacin.. 324
10.7.2. Peso relativo asignado a cada objetivo ( W ) 271
12.6.5. El problema de las recomendaciones - 324
10.7.3. Relaciones coste-efectividad o coste-impacto (CUE) 271
12 6.6. Evaluaciones internas de alto impacto - 325
10.7.4. Diferencias en valores absolutos y en valores relativos 272
10.7.5. Relaciones coste-efectividad de los sistemas. 274
10.8. Ventajas e inconvenientes del ACE _ _ 275 C a p t u l o 13. Factores clave para aumentar el uso 327
10.9. El anlisis coste-utilidad '. 278
Conceptos clave -
13.1. Factores humanos.. - - 328
13.1.1. Caractersticas del evaluador - 329
PARTE I V
13.1.2. Caractersticas del usuario 334
PROBLEMAS P R C T I C O S Y C A U O A D D E LAS EVALUACIONES
13.2. Factores c o n t e x t a l e s ~ 340
13.2.1. Compromisos de evaluacin preexistentes - - - 340
C a p t u l o 11. El m o v i m i e n t o cualitativo en evaluacin 281 13.2.1 Hechos organizacionales ~ - - 342
13.2.3. Caractersticas del programa 345
Conceptos clave _. 282
13.3. Factores de evaluacin... - 346
11.1. El debate cuarrtitativo-cualrtativo 283
13.3.1. Procedimientos de evaluacin - - 346
11.2. Situacin actual del debate ._ 285
13.3.2. Dilogo informativo 349
11.3. M t o d o s combinados en evaluacin 287
13.3.3. Naturaleza de la informacin evaluativa - 350
11.4. Evaluaciones cualitativas 290
13.3.4. Informe de evaluacin 352
11.4.1. Evaluacin respondente ._ 291
J J

11.4.2. Evaluacin centrada en el uso 293 13.4. Conclusin - - - -

11.4.3. Evaluacin de caso nico _ _ _. 295
 1
j Lvohocin de programas de intervencin social
C a p t u l o 14. C o n c e p t o , p r o c e d i m i e n t o y criterios de m e t a e v a l u a c i n
Conceptos clave..
14.1. Concepto de metaevaluacin
14.2. Funciones de la metaevaluacin
14.3. Tipos de metaevaluacin.... __
14.4. El proceso de metaevaluacin
14.5. Criterios de metaevaluacin
14.5.1. Criterios de calidad cientfica
14.5.2. Normas profesionales
14.5.3. Principios ticos de los evaluadores
14.5.4. La lista de control de Scriven
14.5.5. Criterios para evaluaciones sistemticas
14.5.6. Criterios para evaluaciones d e m o c r t i c a s y emancipadoras
C a p t u l o 15. El c o n t e x t o social de las evaluaciones
Conceptos clave ~ -
15.1. El ambiente poltico de las evaluaciones
15.2. Relaciones del evaluador con los d e m s grupos..
15.11. Relaciones del evaluador con los equipos gestores
15.12. El miedo a ser evaluado - -
15.3. La posicin tica de los evaluadores.... - -
15.4. Roles del evaluador. _.
155. Evaluaciones de p e q u e a escala
15.6. La profesin de evaluador
Bibliografa
-
357
35B
- - - 359
360
_ 363
- 363 Introduccin
365
366
_ 369
370
371
E l campo de la e v a l u a c i n tiene una p o s i c i n especial d e n t r o de las ciencias sociales.
E n l han confluido profesionales y a c a d m i c o s de muchas disciplinas, algunas tan
. _ 375
alejadas que parece imposible que hayan encontrado intereses comunes. Es u n cam-
- - 376 p o aplicado, en el sentido absolutamente real del t r m i n o . L a demanda profesional
377 es e n o r m e , y los a c a d m i c o s casi tenemos que pedir disculpas cuando debatimos con
- 380 los colegas que viven de la p r c t i c a , pues somos "los de los l i b r o s " , tal es la i m p r e s i n
381 de que la disciplina se ha construido en la p r c t i c a y n o en la academia. Sin desmere-
382 cer su enorme vala, debemos contradecirles. E n el c a m p o de la e v a l u a c i n e s t n re-
.- 383 presentadas todas las grandes t e o r a s y p o l m i c a s de las ciencias sociales de las lti-
388 mas d c a d a s , i n c l u y e n d o las grandes disputas e p i s t e m o l g i c a s y las promesas de
- 391 f u t u r o . E l trabajo que hay p o r delante de nosotros es inmenso, y slo en campos co-
393 m o el nuestro es posible que t o d o t i p o de profesionales tenga cabida y llegue a la
c o n f r o n t a c i n y a la c o n s t r u c c i n c o m p a r t i d a del c o n o c i m i e n t o .
E n t r e las opciones disponibles, h e m o s d e c i d i d o e s tru c tu ra r el l i b r o siguiendo el
399 esquema raciona] m a r c a d o p o r los m o d e l o s de e v a l u a c i n s i s t e m t i c a , especial-
m e n t e el de Rossi y F r e e m a n (1989), c u y o m a n u a l ha c o n o c i d o siete ediciones y es
el m o d e l o de e v a l u a c i n p o r a n t o n o m a s i a . C o n H o w a r d E . F r e e m a n tenemos i n -
cluso una deuda especial, pues fue el m e n t o r del p r i m e r o de los autores de este l i -
b r o e n su i n i c i a c i n a la m a t e r i a de la e v a l u a c i n de programas. L o s modelos siste-
m t i c o s , desde que K u r t L e w i n marcara l a senda en los r e m o t o s a o s cuarenta, son
aquellos que d i v i d e n el proceso de i n t e r v e n c i n y e v a l u a c i n e n tres grandes fases:
el d i s e o d e l progra m a , la i m p l e m e n t a c i n y la v a l o r a c i n de sus resultados. N o s o -
t r o s p r o p o n e m o s una v a r i a c i n p r o p i a , t a l c o m o se muestra en varios de los c a p t u -
los iniciales del l i b r o , sobre t o d o e n el segundo. T a m b i n debemos reconocer una
d e u d a con los trabajos y manuales de M i c h a e l Scriven, D a n i e l L . Stufflebeam y Ca-
r o l H . Weiss, a s c o m o c o n m l t i p l e s autores cuya lectura ha o c u p a d o u n elevado
n m e r o de horas de n u e s t r o t i e m p o , y a quienes d e b e m o s una gran c a n t i d a d de
ideas que han inspirado las que a q u e x p o n e m o s al l e c t o r en lengua e s p a o l a .
L a primera parte del manual est compuesta por cuatro c a p t u l o s . D e s p u s de i n -
t r o d u c i r los conceptos b s i c o s de la materia, sobre t o d o en l o relativo a la definicin y
i 14 Evaluacin de programas de intervencin social

las funciones de la e v a l u a c i n , trazamos una p a n o r m i c a general sobre las distintas

actividades de e v a l u a c i n , y presentamos el m o d e l o que sirve para estructurar nuestra
propuesta s i s t e m t i c a . A c o n t i n u a c i n , exponemos los procedimientos para realizar el
d i a g n s t i c o de los problemas y las necesidades sociales, a s como distintas cuestiones
clave para la definicin de programas y proyectos de i n t e r v e n c i n social.
L a segunda parte es c e n t r a l p a r a el d i s e o de las evaluaciones de corte siste-
m t i c o . A u n q u e es una c o n t i n u a c i n d i r e c t a d e l c a p t u l o anterior, entendemos que
las evaluaciones que analizan el p r o c e s o y los resultados de la i n t e r v e n c i n f o r m a n
el n c l e o de las actividades que u s u a l m e n t e se d e m a n d a n en la f u n c i n de evalua-
Parte I
c i n . L a c u e s t i n de la v a l o r a c i n de resultados e impactos se trata en dos de los Diseo de polticas
c a p t u l o s , c o n el n i m o de c u b r i r s u f i c i e n t e m e n t e la d i v e r s i d a d de p l a n t e a m i e n t o s
encontrados en esta a c t i v i d a d e s p e c f i c a , c o n c e d i e n d o al d i s e o de estudios expe- y programas de intervencin social
rimentales y cuasiexperimentales el p a p e l q u e o c u p a p o r su uso e x t e n d i d o t o d a v a
e n t r e m u c h o s evaluadores de corte c o n v e n c i o n a l .
L a tercera p a r t e e s t dedicada a las evaluaciones e c o n m i c a s . Sin ser n u e s t r o
c a m p o de e s p e c i a l i z a c i n , hemos c o n s i d e r a d o necesario n o dejar sin c u b r i r t a n i m -
p o r t a n t e r e a de t r a b a j o . Tras u n p r i m e r o de p r e s e n t a c i n genera], otros dos ex-
tensos c a p t u l o s se d e d i c a n a los a n l i s i s de coste-beneficio y de coste-efectividad.
Q u i z para m u c h o s lectores sea u n a p r i m e r a o c a s i n para f a m i l i a r i z a r s e c o n el
lenguaje y algunas cuestiones relevantes-en este t i p o d e actividades evaluativas.
A l igual q u e e n o t r o s r e c o n o c i d o s manuales, h a y una serie de temas colatera-
les q u e d e s p i e r t a n g r a n i n t e r s a c a d m i c o y p r o f e s i o n a l entre los evaluadores, y
que hemos r e u n i d o d e n t r o de la c u a r t a y l t i m a p a r t e d e l l i b r o bajo la e t i q u e t a de
" P r o b l e m a s p r c t i c o s y c a l i d a d d e las e v a l u a c i o n e s " . A l l e n c o n t r a r el l e c t o r una
i n t r o d u c c i n a las propuestas d e l m o v i m i e n t o c u a l i t a t i v o en n u e s t r o campo, e n au-
ge en estas l t i m a s d c a d a s , u n c a p t u l o sobre los p r o c e d i m i e n t o s de m e t a e v a l u a -
c i n , dos m s sobre el d e n o m i n a d o p r o b l e m a d e l uso, d o n d e i n c l u i m o s diversas
estrategias p a r a m e j o r a r el i m p a c t o de los estudios de e v a l u a c i n , y el c a p t u l o fi-
nal, d o n d e t r a t a m o s sobre el c o n t e x t o social y p r o f e s i o n a l de l a e v a l u a c i n .
Para c o n c l u i r , todos aquellos q u e de a l g n m o d o a y u d a r o n a dar f o r m a al l i b r o
o c o n t r i b u y e r o n , directa o i n d i r e c t a m e n t e a las r e f l e x i o n e s que i n c l u y e , dense p o r
agradecidos c o n la m a y o r c o r d i a l i d a d y c a r i o p o r nuestra parte. D u r a n t e a o s he-
m o s t r a t a d o de a c o m p a a r n o s de l o m i s n u t r i d o de n u e s t r o c a m p o de t r a b a j o e i n -
v e s t i g a c i n . M u c h o s colegas de b r i l l a n t e y r e c o n o c i d a t r a y e c t o r i a h a n pasado p o r
nuestras aulas c o m o visitantes e i n v i t a d o s , y de t o d o s ellos hemos i d o t o m a n d o
ideas, i n q u i e t u d e s intelectuales, p r e o c u p a c i o n e s h u m a n a s y buenos m o m e n t o s de
c o n v e r s a c i n . G r a c i a s a t o d o s , y u n r e c u e r d o especial para aquellos que m u c h a s
veces son citados en este m a n u a l y ya n o se e n c u e n t r a n entre nosotros.
Q u e d e p a r a e l l e c t o r l a tarea de estudiar, r e f l e x i o n a r y p o n e r en p r c t i c a l o
que de a q u aprovechare.
 Polticas, programas y evaluaciones

D e unos a o s a esta parte ta d e m a n d a de profesionales y actividades de evalua-

c i n n o ha dejado de crecer a nuestro alrededor, y la e v a l u a c i n se ha c o n v e r t i d o
en u n o de los campos de i n v e s t i g a c i n c o n m a y o r p r o y e c c i n a c a d m i c a y p r o f e -
s i o n a l . C o m o saber e m i n e n t e m e n t e p r c t i c o , la e v a l u a c i n c o m p a r t e ios p r o b l e -
mas de la ciencia social aplicada, c o n la necesidad d e utilizar d i s e o s flexibles, m -
t o d o s e c l c t i c o s y u n r o l m s cercano a l a c o n s u l t o r f a . L o s clientes de la e v a l u a c i n
y las personas que t i e n e n intereses en los p r o g r a m a s (los stakeholders) se h a n c o n -
v e r t i d o en el c r i t e r i o f u n d a m e n t a l para d e t e r m i n a r el x i t o de la e v a l u a c i n , t o d a
vez q u e la m e j o r a social, o b j e t i v o l t i m o de la empresa evaluativa, pasa p o r l o g r a r
q u e los participantes en el proceso de i n t e r v e n c i n y e v a l u a c i n hagan uso de sus
resultados y recomendaciones.
L a e v a l u a c i n es una a c t i v i d a d f u e r t e m e n t e r e l a c i o n a d a con el c a m p o de las
p o l t i c a s sociales y c o m b i n a los p r o p s i t o s de a y u d a r a la m e j o r a de las i n t e r v e n -
ciones y a p o r t a r i n f o r m a c i n para el d e b a t e p b l i c o sobre el b u e n uso de los f o n -
dos destinados a los p r o g r a m a s . E v a l u a r i m p l i c a l a e m i s i n de j u i c i o s de v a l o r so-
b r e e l c o r r e c t o f u n c i o n a m i e n t o de las a c t i v i d a d e s , la c a l i d a d de los p l a n e s de
t r a b a j o o las consecuencias positivas d e l p r o g r a m a e n la m e j o r a de las condiciones
sociales.
L a e v a l u a c i n n o es una empresa sencilla, n i u n a a c t i v i d a d que se ejecuta de
m a n e r a p u n t u a l p o r u n c o n j u n t o r e d u c i d o de investigadores. L a e v a l u a c i n es una
empresa c o m p l e j a q u e r e q u i e r e u n esfuerzo s i s t e m t i c o , e i m p l i c a la p a r t i c i p a c i n
d e u n a m p l i o n m e r o de personas y la i n v e r s i n d e u n a considerable c a n t i d a d de
recursos que d e b e n ser d e t r a d o s de los presupuestos de la i n t e r v e n c i n . E l anill
sis de los p r o g r a m a s s e a l a las d i f i c u l t a d e s que e n t r a a trabajar con grupos dlvci
1 , 1
sos d e personas que t i e n e n intereses diferentes y a veces a n t a g n i c o s , v q u i
m a n d a n a c t i v i d a d e s e v a l u a t i v a s q u e c o b r a n s i g n i f i c a d o s diversos en un m i dio
 Porte /. D i s e o de polticas y programos de intervencin social
f u n d a m e n t a l m e n t e p o l t i c o . Esta c o m p l e j i d a d , a s c o m o la v a r i e d a d de opciones
conceptuales, t e r i c a s y m e t o d o l g i c a s , y l a c r e c i e n t e d e m a n d a c o n v i e r t e n a l a
e v a l u a c i n en u n r e t o de gran a t r a c t i v o para los investigadores interesados en una
ciencia social d i r e c t a m e n t e c o m p r o m e t i d a con l a m e j o r a y la s o l u c i n de los p r o -
blemas sociales.
Conceptos clave
Ciencia social aplicada. P a r t e d e las
ciencias s o c i a l e s q u e t i e n e c o m o
objetivo p r i o r i t a r i o la a p l i c a c i n
del c o n o c i m i e n t o y los m t o d o s de
la ciencia social para resolver p r o -
blemas sociales. T r a d i c i o n a l m e n t e
se c o n t r a p o n e c o n l a idea de c i e n -
cia b s i c a , a u n q u e la d i s t i n c i n es
confusa y m u c h o s la rechazan.
Intervencin social. Esfuerzo s i s t e m t i -
c o y r a c i o n a l p a r a m o d i f i c a r las
condiciones sociales o el c o m p o r t a -
m i e n t o de las personas con el obje-
t i v o p r i o r i t a r i o de la m e j o r a social.
Poltica social. C o n j u n t o de p r e s c r i p -
ciones y l n e a s de i n t e r v e n c i n q u e
reflejan los esfuerzos d e l g o b i e r n o
para resolver los p r o b l e m a s socia-
les o gestionar los asuntos d e i n t e -
r s de l a c o m u n i d a d en r e l a c i n
c o n temas c o m o s a l u d , v i v i e n d a ,
igualdad, i n t e g r a c i n , etc.
Programas. E n m u c h o s casos es s i n -
n i m o de i n t e r v e n c i n social, a u n -
que comprende t o d o c o n j u n t de
actividades planificadas e i m p l e -
mentadas d e f o r m a r a c i o n a l p a r a
lograr a l g n p r o p s i t o especfico
(intervencin social, programa
e d u c a t i v o , p r o c e s o de trabajo,
etc.).
Implementacin. Puesta en p r c t i c a de
las a c t i v i d a d e s de u n p r o g r a m a .
E x i g e una p l a n i f i c a c i n especfica
p r e v i a e n r e l a c i n c o n la p r e v i s i n
y d i s t r i b u c i n de los recursos nece-
sarios para el desarrollo de las acti-
vidades.
Funcin de evaluacin. Es u n o de los
e l e m e n t o s centrales del proceso de
i n t e r v e n c i n s o c i a l , j u n t o c o n la
p l a n i f i c a c i n y la i m p l e m e n t a c i n
d e las actividades. L a i n f o r m a c i n
e v a l u a t i v a es v i t a l para m e j o r a r la
t o m a d e d e c i s i o n e s s o b r e el p r o -
g r a m a de m a n e r a i n m e d i a t a , a m e -
dio o a largo plazo.
Valoracin y juicios de valor. Evaluar
consiste e n e m i t i r j u i c i o s de v a l o r
sobre la calidad de a l g n objeto
( p r o g r a m a , proceso, e l e m e n t o , o r -
g a n i z a c i n , persona, etc.). E l j u i c i o
d e v a l o r r e q u i e r e de l a e x i s t e n c i a
d e c r i t e r i o s de v a l o r q u e p u e d a n
ser contrastados c o n los datos e m -
pricos sobre el funcionamiento y
los resultados d e l p r o g r a m a .
Efectividad, eficacia y eficiencia. Son
tres conceptos e s t r e c h a m e n t e r e l a -
c i o n a d o s q u e p u e d e n ser utiliza-
dos c o m o c r i t e r i o s de v a l o r para l a
e m i s i n de juicios. U n p r o g r a m a
Captulo l: fotiucas, progromuj y c r w u u u v M
es e f e c t i v o c u a n d o consigue r e s u l - m a n e r a i n t e g r a l el p r o c e s o de \
tados, eficaz c u a n d o c o n s i g u e los i n t e r v e n c i n social, incluyendo e
resultados esperados y eficiente c o n t e x t o p r e v i o de la e v a l u a c i n ,
c u a n d o l o l o g r a a u n coste r a z o n a - la p l a n i f i c a c i n d e l p r o g r a m a , la
ble. i m p l e m e n t a c i n de las actividades
y l a p r o d u c c i n de r e s u l t a d o s d i -
Usos de la evaluacin. L a u t i l i d a d de versos.
los resultados e v a l u a t i v o s e s t de-
t e r m i n a d a p o r la c a p a c i d a d de las Stakeholders. L i t e r a l m e n t e significa
personas o grupos i m p l i c a d o s en el " a q u e l l o s que t i e n e u n i n t e r s de-
p r o g r a m a para e x t r a e r consecuen- p o s i t a d o " , es decir, aquellas perso-
cias, p l a n i f i c a r mejoras y, en gene- nas o g r u p o s q u e t i e n e n a l g o que
r a l , hacer uso de las conclusiones ganar o q u e p e r d e r con el x i t o del
de la e v a l u a c i n . H a y d i s t i n t o s t i - programa.
pos posibles de uso y es i m p o r t a n -
te ser consciente de q u e debe ha- Audiencias. Es u n c o n c e p t o p r x i m o al
ber u n esfuerzo i n t e n c i o n a d o para anterior, que intenta identificar a
lograr la u t i l i z a c i n . t o d o s los g r u p o s de personas que
se c o n s t i t u y e n en usuarios p o t e n -
Evaluacin sistemtica. Es u n t i p o de ciales de la e v a l u a c i n y destinata-
e v a l u a c i n q u e i n t e n t a analizar de rios de la i n f o r m a c i n evaluativa.
I . I . Q u es la i n v e s t i g a c i n de e v a l u a c i n
L a s definiciones son variadas d e p e n d i e n d o de la o r i e n t a c i n d e l a u t o r q u e las for-
m u l e , del n f a s i s en u n o u o t r o de los o b j e t i v o s de la e v a l u a c i n , o de la descrip-
c i n en la p r c t i c a d e l proceso o de a l g u n o de sus elementos c o m p o n e n t e s . Glass y
EHet (1980) d i s t i n g u i e r o n o c h o conceptos, y p o s i b l e m e n t e la lista n o es e n m o d o
a l g u n o exhaustiva ( v a s e c u a d r o 1.1).
L a i n v e s t i g a c i n de e v a l u a c i n es la a p l i c a c i n s i s t e m t i c a de los m t o d o s de
la ciencia social p a r a investigar la e f e c t i v i d a d de los p r o g r a m a s de i n t e r v e n c i n so-
cial (Rossi y F r e e m a n , 1989; Rossi, L i p s e y y F r e e m a n , 2004), u n a a d a p t a c i n de
los m t o d o s de i n v e s t i g a c i n social a la tarea de estudiar la i n t e r v e n c i n social en
sus circunstancias p o l t i c a s y organizacionales de m o d o que p u e d a n obtenerse j u i -
cios f u n d a m e n t a d o s sobre la necesidad de realizar una i n t e r v e n c i n , a s c o m o so-
b r e el d i s e o , i m p l e m e n t a c i n , i m p a c t o y eficiencia de los p r o g r a m a s que se cen-
t r a n en esa necesidad. Se defiende una p o s i c i n q u e se i d e n t i f i c a p l e n a m e n t e con
la a p l i c a c i n de las ciencias sociales a la r e s o l u c i n de los p r o b l e m a s . E n esta l-
nea, R e b o l l o s o y R e b o l l o s o (1998a: 223) escriben: " n u e s t r o i n t e r s se centra n o en
cualquier t i p o de e v a l u a c i n , sino s l o en a q u l l a que garantice c i e n t f i c a m e n t e la

validez de las conclusiones que p o r t a l p r c t i c a hayan sido obtenidas". Da tod
dos, n o es necesario restringir el campo de la e v a l u a c i n a la a p l i c a c i n e x c l u s i v i i son las cosas, no cmo
las t c n i c a s y m t o d o s de i n v e s t i g a c i n social, y es fcil s e a l a r ejemplos d e n
d o n e s desarrolladas en o t r o s m b i t o s de i n t e r s ( i n v e s t i g a c i n de mercado, u4|||
del consumidor, g e s t i n o r g a n i z a r i o n a l ) . U n a d e f i n i c i n cientifista de este t i p o M IV
obstante suficientemente a m p l i a c o m o para dar cabida a m l t i p l e s intereses, pan
pectivas y m e t o d o l o g a s de trabajo, si b i e n la m a y o r p a r t e de los especialistas r n
e v a l u a c i n han r e c i b i d o f o r m a c i n y p r o v i e n e n d e l c a m p o general de las ciencias so
cales.
L a e v a l u a c i n y la i n v e s t i g a c i n social c o n v e n c i o n a l c o i n c i d e n en su i n t e n c i n
d e alcanzar c o n o c i m i e n t o s v l i d o s m e d i a n t e l a a p l i c a c i n de m t o d o s similares.
Sin e m b a r g o , l a e v a l u a c i n suele encuadrarse d e n t r o de la c a t e g o r a de investiga
c i n aplicada, p o r c o n t r a p o s i c i n c o n u n t i p o de i n v e s t i g a c i n bsica desarrollada
en contextos c o n t r o l a d o s y f u e r t e m e n t e o r i e n t a d a al d e s a r r o l l o t e r i c o . L a distin-
c i n e n t r e ciencia b s i c a y aplicada es t i l p a r a a p r o x i m a r s e a dos t i p o s de investi-
g a c i n d i f e r e n c i a d o s p o r sus i n t e n c i o n e s y los c o n d i c i o n a n t e s d e l c o n t e x t o d e estu-
d i o . N o obstante, su v a l o r c o n c e p t u a l es m u y l i m i t a d o p o r q u e l a l g i c a q u e sigue
la i n v e s t i g a c i n es m u y s i m i l a r e n ambos casos. Q u e d a c l a r o q u e la d i s t i n c i n en-
t r e ambas e s t superada desde hace a o s , y r e s u l t a confusa p a r a analizar el p r o -
b l e m a de c m o d e s a r r o l l a r u n c o n o c i m i e n t o v l i d o y s o c i a l m e n t e r e l e v a n t e ( B l a n -
c o , F e r n n d e z - D o l s , H u i c i y M o r a l e s , 1985; R e b o l l o s o , F e r n n d e z - R a m r e z y
C a n t n , 2003).
1.2. E v a l u a c i n e i n v e s t i g a c i n social
L a e v a l u a c i n d e b e d i s t i n g u i r s e de la i n v e s t i g a c i n social t r a d i c i o n a l ( R e b o l l o s o y
M o r a l e s , 1996). A m b a s actividades se g u a n p o r los c n o n e s c i e n t f i c o s , p e r o la
e v a l u a c i n debe a d e m s o b l i g a t o r i a m e n t e resultar til e n la s o l u c i n de los p r o -
b l e m a s ( C r o n b a c h y asoc., 1980; C h e l i m s k y , 1983). E n c o n c r e t o , la a c t i v i d a d eva-
l u a t i v a es d i f e r e n t e p o r q u e (Weiss, 1990): e s t destinada al uso; d e r i v a sus p r e g u n -
tas de los p r o b l e m a s que interesan a los responsables y los usuarios d e l p r o g r a m a ;
persigue realizar u n j u i c i o c o m p a r a t i v o e n t r e a l t e r n a t i v a s d e a c c i n ; se d e s a r r o l l a
d e n t r o d e l p r o g r a m a , p o r l o q u e debe a t e n d e r especialmente las d i m e n s i o n e s p o -
l t i c a s y estructurales de l a o r g a n i z a c i n de servicios; d e b e r e s o l v e r los c o n f l i c t o s
de r o l que surgen c o n los evaluados; a u n q u e la d i f u s i n de l a i n v e s t i g a c i n es ne-
cesaria para c o n t r i b u i r al avance de la d i s c i p l i n a , es m s difcil p o r los p r o b l e m a s
de reserva y c o n f i d e n c i a l i d a d de los datos, las d i f i c u l t a d e s t e m p o r a l e s d e l e s t u d i o y
los p r o b l e m a s de g e n e r a l i z a b i l i d a d ; p o r l t i m o , el e v a l u a d o r e s t c o m p r o m e t i d o
con el c o n o c i m i e n t o social, p e r o t a m b i n c o n l a a p l i c a c i n d e l c o n o c i m i e n t o para
la m e j o r a y en su caso c o n la o r g a n i z a c i n q u e paga y necesita el e s t u d i o .
E l i n v e s t i g a d o r c o n v e n c i o n a l defiende la o b j e t i v i d a d c o m o u n v a l o r i m p r e s c i n -
d i b l e , e v i t a n d o asumir u n a f u n c i n v a l o r a t i v a t e m e r o s o de q u e sus valores e i d e o -
Coprt/o /: Polticas, programas y evouociones I 21
logias sesguen los resultados d e l estudio. Su o b j e t i v o es describir y explicar cmo
deberan ser. P o r su p a r t e , el evaluador rechaza la idea de
ciencia l i b r e de valores, a s u m i e n d o q u e e l p r i n c i p a l o b j e t i v o de su trabajo es la
e m i s i n de juicios, para l o cual tiene que t r a t a r c o n los valores de m l t i p l e s grupos
implicados, sin q u e se vea m e r m a d a la c a l i d a d c i e n t f i c a de sus resultados. E l con-
tacto con la r e a l i d a d es m a y o r en el evaluador, el c u a l reconoce el c a r c t e r aplica-
d o de su trabajo y es consciente de q u e debe c o m p a g i n a r los factores p o l t i c o s e
i d e o l g i c o s c o n la c a l i d a d c i e n t f i c a . C o m o i n v e s t i g a d o r a p l i c a d o , el e v a l u a d o r
muestra una m a y o r p r o x i m i d a d a c o n t e x t o s profesionales en d o n d e debe dar res-
puesta a demandas y p r o b l e m a s e s p e c f i c o s , u t i l i z a n d o los recursos m e t o d o l g i c o s
y conceptuales de q u e dispone, s e g n sea su u t i l i d a d para el caso, y p r e s i o n a d o
p o r la urgencia de los costes, el t i e m p o o e l p r e s t i g i o p r o f e s i o n a l . E l r o l profesio-
nal ha p r o m o v i d o l a a m p l i a c i n de los c r i t e r i o s de validez de la i n v e s t i g a c i n , re-
c u p e r a n d o el v a l o r de la u t i l i d a d aplicada de la i n v e s t i g a c i n ( C r o n b a c h y a s o c ,
1980; G u b a y L i n c o l n , 1989). N o obstante, m u c h o s evaluadores t r a t a n de c o m p a g i -
n a r y aprovecharse de t o d a s las p o s i b i l i d a d e s d e - a c t u a c i n , si ello es til para
afrontar cada p r o b l e m a de i n v e s t i g a c i n p a r t i c u l a r .
U n a s n t e s i s de las diferencias e n t r e i n v e s t i g a c i n social b s i c a y aplicada debe-
r a incluir el p r o b l e m a de la audiencia a q u i e n se d i r i g e los resultados del i n f o r m e ,
el e n f r e n t a m i e n t o entre " m t o d o s suficientemente b u e n o s " frente a " m t o d o s me-
j o r e s " , la i n t e r d i s c i p l i n a r i e d a d e i n v e s t i g a c i n m u l t i m t o d o frente a la especializa-
c i n , y los asuntos p r c t i c o s frente a los t e r i c o s ( v a s e t a m b i n el cuadro 1.1).
A u n q u e todas las actividades de e v a l u a c i n t i e n e n l g i c a m e n t e u n c a r c t e r aplica-
do, n o siempre su r e l a c i n c o n l o t e r i c o e s t b i e n d e l i m i t a d a . S e g n Rossi y Free-
m a n (1989), existen diferencias cualitativas entre ellas. L a i n v e s t i g a c i n b s i c a sue-
le iniciarse c o n el p r o p s i t o de satisfacer la c u r i o s i d a d intelectual del investigador,
q u i e n aspira a c o n t r i b u i r c o n su t r a b a j o al c o n o c i m i e n t o de base del r e a sustantiva
de la ciencia o b j e t o de su i n t e r s . E n c o n t r a p o s i c i n , la i n v e s t i g a c i n aplicada tiene
su o r i g e n en l a necesidad de resolver u n p r o b l e m a p r c t i c o y responder a la d e m a n -
da de distintos grupos de personas y grupos afectados por un d e t e r m i n a d o p r o b l e -
ma social. A s , pues, queda c l a r o q u e el p r i m e r i m p e r a t i v o para el evaluador es
c o m p r e n d e r la " e c o l o g a social" d e l c a m p o en q u e va a desarrollar su trabajo.
L a segunda diferencia tiene que ver c o n la regla de o r o que rige el m o d o p r a g -
m t i c o de ejecutar la e v a l u a c i n , de m a n e r a que sea l o "suficientemente buena"
p a r a r e s p o n d e r a d e c u a d a m e n t e a las cuestiones b a j o e s t u d i o . E s t o c o n l l e v a la
a s u n c i n de que existen grados de justeza y a d e c u a c i n de la e v a l u a c i n a los o b -
j e t i v o s que persiguen los c n o n e s de la i n v e s t i g a c i n c i e n t f i c a . G e n e r a l m e n t e los
investigadores b s i c o s poseen una f o r m a c i n de a c u e r d o c o n una singular o r i e n t a -
c i n d i s c i p l i n a r i a a la que p e r m a n e c e n fieles d u r a n t e el d e s a r r o l l o de toda su ca-
r r e r a p r o f e s i o n a l , y una firme a d h e s i n a un m a r c o c o n c r e t o de p r o c e d i m i e n t o s
m e t o d o l g i c o s . Su c a m p o de c o n o c i m i e n t o y de e s t u d i o e s t l i m i t a d o a u n deter-
m i n a d o d o m i n i o de la ciencia. P o r e j e m p l o , el e c o n o m i s t a q u e hace de los costes
del c u i d a d o sanitario su c a m p o de i n v e s t i g a c i n y aplica consistentemente mode-

2 2 j Porte I: D i s e o de policas y programas de intervencin social
los e c o n o m t r i c o s . D e f o r m a semejante, e l p s i c l o g o social o el s o c i l o g o q u e ha-
cen de la o b s e r v a c i n p a r t i c i p a n t e el p r i n c i p a l m t o d o de estudio en los procesos
de e n s e a n z a y aprendizaje. P o r el c o n t r a r i o , los evaluadores g e n e r a l m e n t e se d i -
versifican en su t r a b a j o i n t e n t a n d o dar respuestas a cuestiones q u e exigen f a m i l i a -
ridad con u n a m p l i o a b a n i c o de t e o r a s y m t o d o s de i n v e s t i g a c i n . Esta d i f e r e n -
cia c o n e l i n v e s t i g a d o r b s i c o o c a s i o n a p r o b l e m a s a la h o r a de d e c i d i r q u
perspectivas t e r i c a s y m e t o d o l g i c a s d e b e r a n ser la base de l a f o r m a c i n y d e l
ejercicio p r o f e s i o n a l de los evaluadores (Shadish y R e i c h a r d t , 1987).
Cuadro I . I . Consideraciones de tipo pragmtico y de tipo cientfico
Uno de los artculos mis influyentes en evaluacin ha sido, sin duda, el que escribiera Donald Camp-
bell en 1969. Aqu subraya su posicin ideolgica de que la poltica y las decisiones sobre los programas
deben emerger de la comprobacin continua de las formas de mejorar las condiciones sociales, y que los
esfuerzos de cambio social que realiza la sociedad deben estar enraizados en la eioperimentan social. La
comunidad y la nacin, si no el mundo entero, deberan ser considerados como un laboratorio de experi-
mentacin social Tanto l como sus coUbciradores promovieron esta posicin y se dedicaron a perfeccio-
nar la metodologa de la investigacin social, afinde convertir la sociedad en una sociedad que experimen-
ta (por ejemplo. Cook y Campbell. 1979).
En consecuencia, Campbell persigue imponer d modelo experimental en la investigacin de evalua-
cin, tal y como se practica en la psicologa social Aunque atemperada en escritos posteriores (Campbell,
196-4). su posicin se caracteriza por ajustar la investigacin de evaluacin al paradgma de investigacin so-
cial cientfica.
En contraste con esta visin, otro gigante de la evaluacin. I ee J Cronbach (1982). estadstico e inves-
tigador, an reconociendo que tanto la nvestigaan cientfica como la evaluacin pueden usar la misma l-
gica de indagacin y los mismos procedimientos de investigacin, considera que los propsitos e rrtentos
son diferentes (Cronbach, 1982). La evaluacin es un arte, y cada evaluacin representa un esfuerzo idio-
sincrsico por satisfacer las necesidades de los patroanadores y stokehoters de los programas. La investiga-
cin cientfica persgue ajustarse y satisfacer un conjunto de estndares de la investigacin formulados pea-
Ios pares-, mientras que las evaluaciones necesitan disearse e implenieritarse de forma que reconozcan los
intereses de los polticos y patrocinadores y que proporcionen una informacin til para bs que toman de-
cisiones, dadas las usualesrestriccionesy condicionamientos de tos recursos disponibles y las circunstancias
polticas del programa En palabras del mismo Cronbach (1982.1 -2):
El propsito central de la evaluacin difiere del de la investigacin social bsica en que las evaluaciones se
ajustan a diferentes contextos reLionales y polticos. La estrategia de la investigacin evaluativa por Unto re-
quiere especial consideracin La lgica es necesariamente la misma que la de la rvdagadn cientfica, pero la
traduccin de la lgica a un procedimiento debera depender del contexto, propsito y resurtido esperado.
Muchas recomendaoonel apropiadas para los programas a largo plazo de la investigacin cientfica se ajustan
bastante mal a la evaluacin. Por tanto, los tratados generales sobre el rise/to y el mtodo dentco no resurtan
pertinentes para guiar al evaluador las recomendaciones generales para la evaluacin tambin pueden levar a
confusin: las evaluaciones no deberanfraguarseen un soto molde. Para cualquier evaluacin se pueden pro-
poner dseftos muy buenos, peno no perfectos
Algunas veces, pueden emprenderse evaluaciones y se puede entender que son lo "suficientemente
buenas' para responder a cuestiones relevantes polticas o de programas, aunque desde el punto de vista
cientfico no sean representativas de los mejores diseo; las evaluaciones pueden alejarse de los diseos
ideales cientficos. No obstante, una visin pragmtica debe entender tambin que la evaluacin est enrai-
zada en la metodologa cientfica, a pesar de ser sensible a los corKkkjramientos de los recursos, necesida-
des y propsitos de las personas que apoyan los programas, y a ta naturaleza del contexto de la evaluacin.
Capitulo I: Polticas, programas y evaluaciones
O t r a gran diferencia descansa en el t i p o de audiencia y en el c r i t e r i o para v a l o -
rar la u t i l i z a c i n d e l t r a b a j o aplicado. L a a u d i e n c i a d e l investigador b s i c o es l a fa-
milia '!<" colegas o pares q u e p e r t e n e c e n a su m i s m o c a m p o de e s p e c i a l i z a c i n , y la
u t i l i z a c i n se juzga por el uso de sus d e s c u b r i m i e n t o s en la l i t e r a t u r a cientfica y el
grado r n ipi< B l l i m u l a n el t r a b a j o de o t r o s . P o r su p a r t e , los investigadores aplica-
dos se juzgan a :\ mismos o son juzgados p o r los p a t r o c i n a d o r e s y destinatarios de
sus trabajos, y la u t i l i z a c i n se v a l o r a p o r el g r a d o de c o n t r i b u c i n a la i m p l e m e n -
t a c i n y d c s a n o l l o ile p o l t i c a s y p r o g r a m a s y, en d e f i n i t i v a , a la s o l u c i n de los
p r o b l e m a s sociales
R e s u m i e n d o , In e v a l u a c i n es p r e p o s i t i v a , i n v e s t i g a c i n social a p l i c a d a . E n
contraste c o n la i n v e s t i g a c i n b s i c a , la e v a l u a c i n t i e n e c o m o o b j e t i v o resolver
p r o b l e m a s p r c t i c o s Su-, pi ai In antes d e b e n estar f a m i l i a r i z a d o s y t r a t a r con d i f e -
rentes m t o d o s de varias disciplinas sociales y ser capaces de aplicarlas a d i f e r e n -
tes tipos de p r o b l e m a s . A d e m s , los c r i t e r i o s p a r a j u z g a r el t r a b a j o i n c l u y e n su u t i -
l i z a c i n y p o r t a n t o su i m p a c t o en los p r o g r a m a s y en l a c o n d i c i n h u m a n a . Las
diferencias entre e v a l u a c i n e i n v e s t i g a c i n no llegan a d i s o c i a r ambas a c t i v i d a -
des. A u n q u e a veces se considere la e v a l u a c i n c o m o u n m o d o " i n f e r i o r " e n c o m -
p a r a c i n c o n la i n v e s t i g a c i n b s i c a , r e q u i e r e c o n o c i m i e n t o s y destrezas m s a m -
plias y una f o r m a c i n c o n c e p t u a l y m e t o d o l g i c a v a r i a d a , para superar l a m e n o r
capacidad de c o n t r o l sobre el estudio (Weiss, 1990).
Respecto a la s i t u a c i n disciplinar de la e v a l u a c i n , las interpretaciones de su
estatus son variadas:
Es una m s de las derivaciones de las Ciencias sociales aplicadas ( R e b o l l o -
so, 1987,1994a; R i e c k e n y B o r u c h , 1974; Rossi y F r e e m a n , 1989).
Es una m u l t i d i s c i p l i n a q u e p r o v i e n e de m u c h o s campos y disciplinas (Per-
loff, P e r l o f f y Sussna, 1976).
N o es r e a l m e n t e u n c a m p o de i n v e s t i g a c i n , p o r q u e n o existe u n c u e r p o
a c u m u l a d o de c o n o c i m i e n t o y la i n v e s t i g a c i n e s t dispersa (Sechrest y F i -
gueredo, 1993).
A l v i r a (1998) le a t r i b u y e u n c a r c t e r i n t e r d i s c i p l i n a r , p o r q u e efectivamente
ha e m e r g i d o de campos distintos, p e r o n i los m o d e l o s t e r i c o s n i las m e t o -
d o l o g a s q u e se e m p l e a n llegan a ser e s t r i c t a m e n t e distintas o alternativas.
Para Scriven (1994) a d q u i e r e u n c a r c t e r transdisciplinar, presente en m l -
tiples disciplinas c o m o una a c t i v i d a d c o m n .
1.3. D e s a r r o l l o h i s t r i c o d e l a i n v e s t i g a c i n d e e v a l u a c i n
E l uso s i s t e m t i c o de la e v a l u a c i n para la m e j o r a social es u n f e n m e n o r e l a t i v a -
m e n t e m o d e r n o , en el q u e d e s e m p e a u n i m p o r t a n t e p a p e l la e x t e n s i n de las
ciencias sociales en las universidades y el a p o y o p o l t i c o a la i n v e s t i g a c i n social
( R e b o l l o s o y R e b o l l o s o , 1998b). D u r a n t e d c a d a s se enmarca en el c o n t e x t o p o l i -
 t | Porte ': Diseo de polticas y programas de intervencin social
tico de los Estados U n i d o s . S l o m u y r e c i e n t e m e n t e c o b r a i m p o r t a n c i a y t e ex-
t i e n d e p o r E u r o p a y algunos otros p a s e s a s i t i c o s , africanos o suramericanos. n i
donde, n o obstante, las actividades de e v a l u a c i n responden a la i m p l e m e n t a c i n di
programas p r o m o v i d o s p o r instituciones estadounidenses ( W . K . K e l l o g F o l l a d at i 011,
Rockefeller F o u n d a t i o n , Fao, Unicef, etc.).
L a h i s t o r i a de la e v a l u a c i n c o r r e paralela a la de los esfuerzos p o r ere ai OTO
gramas bajo el a m p a r o estatal d i r i g i d o s a c u b r i r las necesidades sociales. L o s anos
t r e i n t a m a r c a n el i n i c i o de este t i p o de p r o g r a m a s e n distintos m b i t o s de aplica
c i n (Rossi y F r e e m a n , 1989), c o m o p o r e j e m p l o e n los campos de la e d u c a c i n
(Tyler, D e w e y ) , la salud p b l i c a y la a c c i n c o m u n i t a r i a . E n p s i c o l o g a , el desarro-
l l o m e t o d o l g i c o en la m e d i c i n de las actitudes ( B o g a r d u s , 1925; K a t z y Braly,
1933; L i k e r t , 1932; T h u r s t o n e , 1928) y e n la e x p e r i m e n t a c i n social ( A l l p o r t , 1924;
L e w i n , 1946; M a y o , 1933) suponen u n avance c o n s i d e r a b l e . D u r a n t e la Segunda
G u e r r a M u n d i a l son destacables los trabajos sobre p r o p a g a n d a , m o r a l y liderazgo
e n el e j r c i t o n o r t e a m e r i c a n o ( D o o b , 1935; Stouffer, S u c h m a n , D e V i n n e y et al.,
1949; H o v l a n d et al, 1949, 1953). L o s c i e n t f i c o s sociales t u v i e r o n o p o r t u n i d a d de
a p l i c a r y p o n e r a p r u e b a su c o n o c i m i e n t o para analizar y m e j o r a r el f u n c i o n a -
m i e n t o de la a d m i n i s t r a c i n p b l i c a n o r t e a m e r i c a n a . I n i c i a l m e n t e , su i n t e r s fue
m e r a m e n t e a c a d m i c o , p e r o una vez q u e los p r o g r a m a s sociales se f u e r o n hacien-
d o m s c o m p l e j o s , se necesitaron profesionales especializados en distintas ciencias
sociales p a r a c u b r i r los puestos m e d i o s y t c n i c o s d e g e s t i n de los p r o g r a m a s
( t e e n c r a t a s , especialistas e n a d m i n i s t r a c i n p b l i c a ) .
K u r t L e w i n es e l c r e a d o r d e l a i n v e s t i g a c i n - a c c i n ( L e w i n , 1946), p o r la
c u a l m u c h o s le c o n s i d e r a n f u n d a d o r d e l a i n t e r v e n c i n s o c i a l e i n c l u s o de la
e v a l u a c i n t a l c o m o h o y l a c o n o c e m o s ( M o r a l e s , 1998; M o r a l e s y R e b o l l o s o ,
1996; R o s s i y F r e e m a n , 1989). L e w i n era u n a r d u o d e f e n s o r de l a e x p e r i m e n t a -
c i n d e n t r o de los sistemas sociales n a t u r a l e s e n q u e se p r e t e n d e el c a m b i o y, de
h e c h o , l a m e t o d o l o g a d e i n v e s t i g a c i n - a c c i n se e s t r u c t u r a de f o r m a s i m i l a r a
un e x p e r i m e n t o tradicional ( m a r c o t e r i c o , h i p t e s i s de trabajo, i n t e r v e n c i n
c o n t r o l a d a , recogida de datos, v a l o r a c i n de los cambios p r o d u c i d o s ) . L e w i n
a n t i c i p a en su a r t c u l o d e 1946 l a c o n v e n i e n c i a d e r e a l i z a r las a c t i v i d a d e s de
e v a l u a c i n de necesidades, e v a l u a c i n d e l d e s a r r o l l o d e l p r o g r a m a , e v a l u a c i n
d e l a eficacia o d e r e s u l t a d o s y e v a l u a c i n i n t e r n a o s e g u i m i e n t o desde d e n t r o .
T a m b i n e n su o b r a s o b r e l a t e o r a de c a m p o , L e w i n ( 1 9 5 2 ) d e s c r i b e , m s o m e -
nos e x p l c i t a m e n t e , a c t i v i d a d e s i m p r e s c i n d i b l e s p a r a l a i n t e r v e n c i n s o c i a l , co-
m o l a e v a l u a c i n de c o n t e x t o y d e e n t r a d a , c o n e l o b j e t i v o de d e s c r i b i r e l c o n -
t e x t o n o p s i c o l g i c o q u e e n m a r c a l a r e a l i d a d p s i c o l g i c a de personas y g r u p o s .
I g u a l m e n t e , p l a n t e a l a necesidad de c o n v e n c e r a los responsables p o l t i c o s y o b -
t e n e r l a c o o p e r a c i n a c t i v a de los p a r t i c i p a n t e s e n l a i n t e r v e n c i n m e d i a n t e u n
p r o c e s o de f o r m a c i n y e d u c a c i n , en e l q u e el i n v e s t i g a d o r a s u m e el p a p e l de
asistente.
Para finales de los a o s c i n c u e n t a , los c i e n t f i c o s sociales e s t n ya i n m e r s o s
e n m u l t i t u d de p r o g r a m a s d e i n t e r v e n c i n y e n u n a a m p l i a v a r i e d a d de c a m p o s
Captulo : Polticas, programas y evaluaciones 25'
de a p l i c a c i n . E l d e s a r r o l l o m s a m p l i o de la e v a l u a c i n de p r o g r a m a s se p r o -
duce d u r a n t e las a d m i n i s t r a c i o n e s d e los p r e s i d e n t e s K e n n e d y y J o h n s o n (War
on Poverty, The Great Society), v i n c u l a d o s c o n l a r e a l i z a c i n de " d e m o s t r a c i o -
nes" y de " p r o g r a m a s i n n o v a d o r e s " . Es i m p o r t a n t e el p a p e l d e l C o n g r e s o n o r -
t e a m e r i c a n o en el c o n t r o l d e las i n t e r v e n c i o n e s sociales, en respuesta a las n o -
ticias sobre fraudes y d e r r o c h e s , y a la s e n s i b i l i d a d social c o n t r a la l e g i t i m i d a d
de las i n v e r s i o n e s p b l i c a s ( S h a d i s h , C o o k y L e v i t n , i 9 9 1 ) . L a e v a l u a c i n era
r e q u e r i d a p a r a d e m o s t r a r q u e se l o g r a b a n g a n a n c i a s e n las c o n d i c i o n e s socia-
les de v i d a gracias a los p r o g r a m a s y q u e se e v i t a b a n a s efectos n o deseados.
I g u a l m e n t e , era r e q u e r i d a p a r a a p o y a r la i m p l e m e n t a c i n c o r r e c t a de los p r o -
gramas a n i v e l l o c a l .
D u r a n t e los a o s sesenta y setenta a p a r e c e n m u l t i t u d de p u b l i c a c i o n e s pe-
r i d i c a s y m a n u a l e s de e v a l u a c i n ( S u c h m a n , C a m p b e l l , Weiss, Rossi y F r e e -
m a n , G u t t e n t a g y S t r u e n i n g , e t c . ) . R o s s i y F r e e m a n ( 1 9 8 9 ) o p i n a n q u e la e x p a n -
s i n se d e b i f u n d a m e n t a l m e n t e a l a d e m a n d a d e m t o d o s s o f i s t i c a d o s y al
avance en el d e s a r r o l l o de m t o d o s de i n v e s t i g a c i n y c l c u l o e s t a d s t i c o . A f i -
nales de este p e r o d o ya se constata u n c a m b i o c u a l i t a t i v o r e l a c i o n a d o c o n la
cada vez m a y o r i m p l i c a c i n de los i n t e r e s a d o s d e n t r o d e l proceso de e v a l u a c i n
( u s u a r i o s , gestores, p o l t i c o s ) . M s a l l de u n a m e r a a p l i c a c i n de m t o d o s , la
e v a l u a c i n se c o n s i d e r a p l e n a m e n t e c o m o u n a a c t i v i d a d p o l t i c a y de g e s t i n ,
p a r t e i n t e g r a l d e l a p o l t i c a social. L o s gestores n e c e s i t a b a n d a t o s e v a l u a t i v o s
p a r a a d m i n i s t r a r m e j o r y r e s p o n d e r a las p e t i c i o n e s de i n f o r m a c i n d e l C o n g r e -
so y de o t r o s interesados ( W h o l e y , 1983). Pocos p r o f e s i o n a l e s estaban capacita-
dos p a r a r e s p o n d e r a las necesidades de e v a l u a c i n , y los f u n c i o n a r i o s p b l i c o s
c a r e c a n de h a b i l i d a d e s p r c t i c a s p a r a e l a n l i s i s d e los p r o g r a m a s sociales. A
p a r t i r de los a o s sesenta a p a r e c e n c u r r c u l o s a c a d m i c o s r e l a c i o n a d o s c o n es-
tas necesidades y se i n c r e m e n t a l a p r o d u c c i n c i e n t f i c a . L a p r o f e s i o n a l i z a c i n
de la d i s c i p l i n a f u e r a d e l m u n d o a c a d m i c o se hace casi i n e v i t a b l e , t o d a vez que
los f o n d o s d i s p o n i b l e s para i n v e s t i g a c i n de e v a l u a c i n son l o s u f i c i e n t e m e n t e
g r a n d e s p a r a d a r t r a b a j o a t o d a u n a t r o p a de p r o f e s i o n a l e s ( S h a d i s h , C o o k y
L e v i t n , 1991).
L a f a l t a de r e s u l t a d o s q u e d e m o s t r a s e n la u t i l i d a d de los estudios e v a l u a t i -
vos y la l l e g a d a al p o d e r de los p o l t i c o s c o n s e r v a d o r e s d e r i v a r o n a finales de la
d c a d a de los s e t e n t a en una d r s t i c a r e d u c c i n d e las i n v e r s i o n e s n o r t e a m e r i -
canas e n p r o g r a m a s sociales. E l f o c o de a t e n c i n d e los e v a l u a d o r e s c a m b i p a -
r a o c u p a r s e de las r e l a c i o n e s e n t r e costes y b e n e f i c i o s , la r e s p o n s a b i l i d a d fiscal
y l a eficacia de la g e s t i n . E s e j e m p l a r el caso d e l a era R e a g a n , e n la q u e se
a p r o v e c h a r o n l o s r e c o r t e s d e la i n v e r s i n p b l i c a p a r a r e d u c i r l a i n f l a c i n y el
d f i c i t d e l gasto p b l i c o . P a r a d j i c a m e n t e , la m e n o r i n v e r s i n en acciones so-
ciales n o s u p u s o u n r e t r o c e s o de l a e v a l u a c i n , si b i e n su c r e c i m i e n t o n o fue tan
espectacular c o m o en el p e r i o d o a n t e r i o r , y se p r o d u j o u n p e r o d o de estabiliza
c i n y a f i a n z a m i e n t o de la e v a l u a c i n c o m o a c t i v i d a d a c a d m i c a y p t o f c s i o n . i l
 26 Pone I: Diseo de polticos y propomas de intervencin social
1.4. S i t u a c i n a c t u a l d e l a i n v e s t i g a c i n d e e v a l u a c i n
D e s d e los a o s ochenta y n o v e n t a , los g o b i e r n o s r e p u b l i c a n o s n o r t e a m e r i c a n o s
h a n d e f e n d i d o el r e c o r t e de los presupuestos dedicados a la a p l i c a c i n masiva de
grandes programas sociales. Sin e m b a r g o , c o n l a a p a r i c i n de nuevos p r o b l e m a s
sociales (homeless, S i d a ) , se asiste a u n i n c r e m e n t o e n el n m e r o de estudios reali-
zados, a pesar de la a b u n d a n c i a de c r t i c a s m u c h a s veces establecidas en u n t e r r e -
n o i d e o l g i c o . I g u a l m e n t e , la i n c o r p o r a c i n de n u e v o s contextos g e o g r f i c o s d e n -
t r o d e l f e n m e n o de g l o b a l i z a c i n y l i b e r a l i z a c i n de los mercados m u n d i a l e s ha
p r o p i c i a d o l a e x p o r t a c i n de la e v a l u a c i n fuera de las fronteras norteamericanas,
y su p r c t i c a ha alcanzado a casi todos los g o b i e r n o s occidentales y a los p r o g r a -
mas de c o o p e r a c i n i n t e r n a c i o n a l ( C h e l i m s k y y Shadish, 1997). E n m u c h o s luga-
res, las tareas evaluativas se han e x t e n d i d o y a s u m e n las actividades de a u d i t o r a ,
m e d i d a de la e j e c u c i n o g e s t i n de la c a l i d a d , hasta t a l p u n t o q u e en m u c h o s p a -
ses los centros d e e v a l u a c i n ofrecen u n s e r v i c i o m i x t o q u e n o d i s t i n g u e c l a r a m e n -
te entre estas actividades ( B r o o k s , 1997; W h o l e y , 1997).
-> Se asiste a d e m s al d e s a r r o l l o de u n a t e o r a de l a e v a l u a c i n q u e i n t e n t a su-
p e r a r la f r a g m e n t a c i n d e r i v a d a de las m l t i p l e s p r o c e d e n c i a s de los i n v e s t i g a -
d o r e s y d e l c a r c t e r r e a c t i v o d e l d e s a r r o l l o c o n c e p t u a l y m e t o d o l g i c o en res-
p u e s t a a p r o b l e m a s e s p e c f i c o s de l a p r c t i c a e v a l u a t i v a ( S h a d i s h , C o o k y
L e v i t n , 1991). L a t e o r a p r o v i e n e de l a i n t e r a c c i n e n t r e los p r o b l e m a s que se
e n c u e n t r a n en la p r c t i c a , las t r a d i c i o n e s a c a d m i c a s de cada i n v e s t i g a d o r y las
soluciones q u e i n t e n t a n ( C o o k y Shadish, 1986; Shadish y R e i c h a r d t , 1987). L a
t r a d i c i o n a l i n s a t i s f a c c i n c o n el i m p a c t o de las e v a l u a c i o n e s a g r a n escala en las
decisiones p o l t i c a s ha f a v o r e c i d o t a m b i n l a a p a r i c i n de nuevas o r i e n t a c i o n e s
m s p r x i m a s a los p r o b l e m a s de g e s t i n i n t e r n a d e los p r o g r a m a s y a la o r g a n i -
z a c i n de servicios. Sin d u d a , las a c t i v i d a d e s de e v a l u a c i n i n t e r n a son las q u e
h a n e x p e r i m e n t a d o u n m a y o r c r e c i m i e n t o e n e l c a m p o de l a e v a l u a c i n , y es
p r e v i s i b l e q u e c o n t i n e a s e n los p r x i m o s a o s ( L o v e , 1 9 9 1 ; S o n n i c h s e n , 2000).
A d e m s de s t a s , l a v i t a l i d a d de n u e s t r o c a m p o de i n v e s t i g a c i n se aprecia e n l a
a p a r i c i n r e c i e n t e de n u e v o s m t o d o s y p e r s p e c t i v a s , tales c o m o l a e v a l u a c i n
m u l t i m t o d o ( C a r a c e l l i y R i g g i n , 1994; D a t t a , 1 9 9 7 ) , e s t u d i o s de caso ( S t a k e ,
1995; T i n , 1994), e v a l u a c i n cluster ( W . K . K e l l o g F o u n d a t i o n , ' 1995), e v a l u a c i n
i n d e p e n d i e n t e ( N o r t h , 1997) o e v a l u a c i n p a r a el f o r t a l e c i m i e n t o ( F e t t e r m a n ,
1997). L a c u e s t i n n o es m e r a m e n t e el i n c r e m e n t o o r e d u c c i n d e los f o n d o s p -
b l i c o s , sino q u e el c a m b i o d e perspectivas r e q u i e r e u n c o n j u n t o d e p l a n t e a m i e n -
tos y p r e g u n t a s e v a l u a t i v a s diferentes ( F r e e m a n , 1983). E n g r a n m e d i d a la f u n -
c i n de e v a l u a c i n ha pasado a ser, e n las agencias de servicios y o r g a n i z a c i o n e s
q u e dispensan y g e s t i o n a n los p r o g r a m a s , u n a a c t i v i d a d a s u m i d a p o r l a p r o p i a
p l a n t i l l a p r o f e s i o n a l d e n t r o de las r u t i n a s y procesos d i a r i o s de t r a b a j o . L a eva-
l u a c i n i n t e r n a persigue o b t e n e r i n f o r m a c i n p a r a m e j o r a r el d e s e m p e o o r g a -
n i z a c i o n a l , p e r o t a m b i n el f o r t a l e c i m i e n t o (empowerment) de las personas q u e
p a r t i c i p a n en las a c t i v i d a d e s e v a l u a t i v a s , las cuales r e s u l t a n e n r i q u e c i d a s d u r a n -
Copitulo I: Polticas, programos y evaluaciones i
te el proceso desde d i f e r e n t e s p u n t o s de vista ( m a y o r s o f i s t i c a c i n c o n c e p t u
mejores relaciones sociales, i d e n t i d a d s o c i a l f o r t a l e c i d a , m e j o r e s perspectivas de
! , , | n ) ( H u e b n e r y B e t t s , 1999; F e t t e r m a n , 1997). Estas evaluaciones i n t e r -
; i s . i uando e s t n o r i e n t a d a s hacia la i n v e s t i g a c i n c u a l i t a t i v a , se d e s a r r o l l a n si-
g u l e o d o m o d e l o s p a r t i c i p a t i v o s , e n los q u e los v a l o r e s de n e g o c i a c i n y r e s p o n s i -
vi,l.ol son fundamentales ( R e b o l l o s o , F e r n n d e z - R a m r e z , C a n t n y Pozo,
2000)
I J I e v a l u a c i n en E u r o p a se ha i n c o r p o r a d o a la disciplina c o n u n fuerte e m -
pujc d t d c los a o s n o v e n t a . L a s r e u n i o n e s de l a European Evaluation Society,
la c r e a c i n de sociedades nacionales de e v a l u a c i n e n casi todos los p a s e s de la
U n i n I UTOpea y la a p a r i c i n de la revista Evaluation (editada c o n j u n t a m e n t e p o r
las prestigiosas Sage y T a v i s t o c k ) son los h i t o s q u i z fundamentales. E n E s p a a , la
r e a l i d a d de la e v a l u a c i n en n u e s t r o p a s era casi a n e c d t i c a hasta hace apenas
una d c a d a . M u y pocos i n v e s t i g a d o r e s y apenas a l g n p r o g r a m a de f o r m a c i n
eran el reflejo de la escasa d e m a n d a de actividades evaluativas. Sin e m b a r g o , la si-
t u a c i n actual ha c a m b i a d o de m a n e r a p r o m e t e d o r a ( F e r n n d e z - R a m r e z y R e b o -
l l o s o , 2006). Las presiones para la i n t e g r a c i n en las estructuras a d m i n i s t r a t i v a s y
e c o n m i c a s de la U n i n E u r o p e a ha g e n e r a l i z a d o la d e m a n d a en contextos m u y
diversos (sanidad, e d u c a c i n , justicia...). L a e v a l u a c i n f o r m a p a r t e de los m l t i -
ples procesos de a c r e d i t a c i n en q u e p a r t i c i p a n las instituciones p b l i c a s y o r g a n i -
zaciones privadas e s p a o l a s , c u m p l i e n d o u n d o b l e p r o p s i t o . P r i m e r o , u n a f u n -
c i n de p e r f e c c i o n a m i e n t o , centrada en la i m p l a n t a c i n de sistemas de r e c o g i d a
de i n f o r m a c i n q u e p e r m i t a n decisiones p o l t i c a s m e j o r fundamentadas y la crea-
c i n de planes e s t r a t g i c o s de m e j o r a . Segundo, u n a f u n c i n de r e s p o n s a b i l i d a d ,
c e n t r a d a en la a c r e d i t a c i n a t r a v s de la e v a l u a c i n de los sistemas de g e s t i n y
los resultados organizacionales en c o m p a r a c i n c o n los e s t n d a r e s y n o r m a s d e f i -
nidos por algn organismo externo, p b l i c o o privado.
L a escasez de p r o g r a m a s de f o r m a c i n y de publicaciones especializadas, j u n t o
a l a g r a n d e m a n d a de actividades de e v a l u a c i n , ha p r o p i c i a d o la a p a r i c i n de un
a m p l i o c o n j u n t o de profesionales de m u y diversos campos, q u e asumen l a realiza-
c i n de las actividades careciendo en m u c h o s casos de u n a f o r m a c i n adecuada.
L a r e a l i z a c i n de congresos y conferencias nacionales, o la c r e a c i n de la Sociedad
E s p a o l a de E v a l u a c i n , v i n c u l a d a a la European Evaluation Society, representan
esfuerzos notables p o r p a r t e de la c o m u n i d a d de evaluadores p o r d e f i n i r su p e r f i l
p r o f e s i o n a l y r e i v i n d i c a r u n c a m p o d e t r a b a j o q u e demasiadas veces se c o n f u n d e
con la p r c t i c a b u r o c r t i c a y a d m i n i s t r a t i v a , o l v i d a n d o el c a r c t e r c i e n t f i c o y es-
p e c i a l i z a d o de la e v a l u a c i n que se realiza en o t r o s p a s e s ( V l e z , 2003).
1.5. C a r a c t e r s t i c a s d e l p r o c e s o d e e v a l u a c i n
L a e v a l u a c i n es u n a a c t i v i d a d s o c i a l c o m p l e j a q u e exige l a p a r t i c i p a c i n de un
b u e n n m e r o de p e r s o n a s y la m o v i l i z a c i n de m l t i p l e s recursos. D a d o e l ca-
 -w | reine i: uiseno ae politKm y programas de intervencin socio/
r c t e r p o l t i c o de las o r g a n i z a c i o n e s r e s p o n s a b l e s de los p r o g r a m a s i i > i.ii.
signiGcado de la e v a l u a c i n c o b r a i m p o r t a n c i a p a r a l o g r a r q u e las e x p e c t a t i v a
de los i m p l i c a d o s sean realistas y q u e las r e l a c i o n e s e n t r e g r u p o s c o n t r i b u y a n ni
x i t o d e las a c t i v i d a d e s . Para R o s s i y F r e e m a n ( 1 9 8 9 ) , l a e v a l u a c i n se c a | i i
r i z a p o r ser e s e n c i a l m e n t e u n p r o c e s o s i s t e m t i c o , s i g n i f i c a t i v o y o r g a n i z a d o
e v a l u a c i n es e n m u c h a s o c a s i o n e s l l e v a d a a c a b o b a j o la f o r m a d e u n provee i .
o p r o g r a m a . A u n q u e la e v a l u a c i n p u e d e aplicarse a m l t i p l e s objetos ( p l
e j e m p l o , la e v a l u a c i n de personas, e s t u d i a n t e s , e t c . ) , a q u nos c e n t r a m o s p r i n
c i p a l m e n t e en la e v a l u a c i n de p r o g r a m a s o p r o y e c t o s c u y o d e s a r r o l l o t i e n e l u
g a r e n e n t i d a d e s u o r g a n i z a c i o n e s c o m o escuelas, h o s p i t a l e s , e n t i d a d e s banca
r i a s o agencias de s e r v i c i o s s o c i a l e s . Se e n t i e n d e p o r proyecto una empresa
organizada que generalmente r e q u i e r e una plantilla cuyos m i e m b r o s desempe
a n tareas y r e s p o n s a b i l i d a d e s d i s t i n t a s r e l a c i o n a d a s c o n la c o n s e c u c i n de m e
tas, o b j e t i v o s y a c t i v i d a d e s de los p r o g r a m a s q u e i m p l e m e n t a n . C o m o h e m o s
v i s t o a n t e r i o r m e n t e , se e n t i e n d e p o r p r o g r a m a u n c o n j u n t o de a c t i v i d a d e s p l a -
n i f i c a d a s e i m p l e m e n t a d a s de f o r m a r a c i o n a l para l o g r a r a l g n p r o p s i t o espe-
c f i c o , g e n e r a l m e n t e r e l a c i o n a d o c o n l a m e j o r a de las c o n d i c i o n e s sociales de
las p e r s o n a s .
U n p r o y e c t o p u e d e estar r e p r e s e n t a d o p o r u n d i s t r i t o escolar q u e i n t r o d u c e
u n p r o g r a m a de i n s t r u c c i n b i l i n g e p a r a e s t u d i a n t e s e x t r a n j e r o s ; o u n c e n t r o
m d i c o q u e lleva a cabo u n p r o g r a m a p a r a m e j o r a r las h a b i l i d a d e s d e los p r o f e -
sores de e n f e r m e r a e n el d e s a r r o l l o d e tests de c o m p e t e n c i a . E s t o s p r o y e c t o s
p u e d e n tener u n alcance r e l a t i v a m e n t e p e q u e o (empresa o i n s t i t u c i n l o c a l ) o
a m p l i o ( r e d de centros q u e i m p l a n t a n u n p r o g r a m a estatal de a y u d a a f a m i l i a s
c o n hijos d e p e n d i e n t e s ) . E n c u a l q u i e r caso, los d a t o s se r e c o g e n d e i n d i v i d u o s
q u e p a r t i c i p a n e n el p r o y e c t o , p e r o la e v a l u a c i n n o se c e n t r a e n e l l o s , s i n o en el
p r o y e c t o m i s m o ( e v a l u a c i n i n s t i t u c i o n a l ) o e n los p r o g r a m a s q u e d e s a r r o l l a
( e v a l u a c i n de p r o g r a m a s ) . Es decir, e l p r o y e c t o o el p r o g r a m a s o n el o b j e t o de
la e v a l u a c i n , l a e n t i d a d q u e se j u z g a , n o los i n d i v i d u o s q u e p a r t i c i p a n e n l y
q u e p r o p o r c i o n a n los d a t o s q u e m s t a r d e s e r n analizados.
E n l n e a s generales, c o n e l t r m i n o e v a l u a c i n se q u i e r e a l u d i r a u n p r o c e s o
s i s t e m t i c o de recoger, a n a l i z a r , v a l o r a r y d a r a c o n o c e r i n f o r m a c i n q u e p u e d e
ser u t i l i z a d a p a r a c u m p l i r c o n e l r e q u i s i t o d e l a r e s p o n s a b i l i d a d , a u m e n t a r el
c o n o c i m i e n t o d i s p o n i b l e sobre e l o b j e t o q u e va a ser e v a l u a d o , o m e j o r a r las
a c t i v i d a d e s u o p e r a c i o n e s d e las i n t e r v e n c i o n e s o p r o g r a m a s . C o n e l l o desea-
m o s i n d i c a r q u e la e v a l u a c i n i m p l i c a p l a n i f i c a c i n , y n o i m p r o v i s a c i n o q u e se
h a c e ad hoc o , d e a l g n m o d o , f o r z a d a p o r las c i r c u n s t a n c i a s . E l o b j e t i v o de l a
p l a n i f i c a c i n es o b t e n e r a q u e l l a clase de i n f o r m a c i n c a p a z de d a r respuesta a
las c u e s t i o n e s e s p e c f i c a s q u e p r e v i a m e n t e se h a y a n f o r m u l a d o . D e s p u s de la
r e c o g i d a y a n l i s i s d e los d a t o s , las c o n c l u s i o n e s p u e d e n u t i l i z a r s e p r i n c i p a l -
m e n t e d e dos m o d o s . U n o de l o usos i m p l i c a t o m a r decisiones r e s p e c t o a las
o p e r a c i o n e s d e l p r o g r a m a o i n c l u s o a su c o n t i n u a c i n en el t i e m p o ( u s o i n s t r u -
m e n t a l ) . Es decir, b a s n d o n o s e n los d a t o s se p u e d e d e c i d i r l l e v a r a c a b o ciertas
Capitulo I: Polticas, programas y evaluaciones | 29
m o d i f i c a c i o n e s respecto a la f o r m a e n q u e e! p r o g r a m a opera, o se p u e d e reco-
m e n d a r que se c o n t i n e c o n l o q u e se suspenda su r e a l i z a c i n . E l segundo de
los usos i n c l u y e el c a m b i o de creencias o a c t i t u d e s respecto al p r o g r a m a o su
e j e c u c i n (uso c o n c e p t u a l ) . Es decir, los r e s u l t a d o s de una e v a l u a c i n pueden
In i n f l u i r en las o p i n i o n e s sobre el p r o y e c t o y l a f o r m a en q u e opera. Tales c a m -
bios n o t i e n e n u n efecto i n m e d i a t o v i s i b l e , p e r o p u e d e n c a m b i a r o i n f l u i r en las
acciones a l a r g o p l a z o .
L a e v a l u a c i n es una a c t i v i d a d significativa, en el sentido de que debe tener un
significado c l a r o , sobre t o d o y m u y especialmente p a r a aquellos que e s t n i n v o l u -
crados en el proceso y t i e n e n que t o m a r decisiones sobre ella. A l m i s m o t i e m p o ,
t a m b i n ha de ser r e l e v a n t e y p r o p o s i t i v a : la relevancia i m p l i c a que las evaluacio-
nes son m s q u e meros escaparates de d i s e o y q u e c u m p l e n una f u n c i n i m p o r -
tante, necesaria, e v i t a n d o p r o d u c i r a b u r r i d o s i n f o r m e s que a nadie i m p o r t a n . L a
relevancia es u n aspecto de la e v a l u a c i n q u e se refleja en la e x a c t i t u d con que en-
frenta p r o b l e m a s t p i c o s y c r t i c o s que afectan a muchas personas, e n f o c n d o l o s y
t r a t n d o l o s de m a n e r a adecuada; la propositividad se traduce en i n t e n c i o n a l i d a d ,
finalidad. Si la e v a l u a c i n recoge, analiza y d i f u n d e la i n f o r m a c i n p r o d u c i d a es
con el p r o p s i t o p r i n c i p a l de que sea u t i l i z a d a e n la t o m a de decisiones respecto al
proyecto evaluado.
E n los e j e m p l o s m e n c i o n a d o s m s a r r i b a , la e v a l u a c i n p o d r a ser p e r t i n e n -
te e n las decisiones c o n c e r n i e n t e s a la m e j o r a de la e f i c i e n c i a de las o p e r a c i o n e s
del p r o y e c t o . A s , el p r o f e s o r a d o d e l p r o g r a m a escolar b i l i n g e n e c e s i t a r i n -
f o r m a c i n p a r a asegurarse q u e el p r o g r a m a l l e g a a las personas a p r o p i a d a s en
la f o r m a a d e c u a d a . Y a la u n i d a d de f o r m a c i n de los c e n t r o s m d i c o s le s e r
de u t i l i d a d c o n o c e r la a c t i t u d de los profesores de e n f e r m e r a hacia los test de
c o m p e t e n c i a o el x i t o q u e t i e n e e l p r o g r a m a d e f o r m a c i n e n t r e los m i s m o s
educadores. Estos e j e m p l o s m u e s t r a n c m o l a e v a l u a c i n p u e d e recoger d i s t i n -
tas clases de i n f o r m a c i n e n d i f e r e n t e s m o m e n t o s (antes de q u e un p r o y e c t o se
p o n g a en m a r c h a , d u r a n t e su r e a l i z a c i n , o al final d e l m i s m o ) y t a m b i n c m o
diversas personas p u e d e n estar i n v o l u c r a d a s t a n t o e n el p r o y e c t o c o m o en su
e v a l u a c i n . E l d i r e c t o r d e l p r o y e c t o o p r o g r a m a ha de i n c l u i r en sus p r o c e d i -
m i e n t o s o p e r a t i v o s el t r a t o c o n cada g r u p o de p a r t i c i p a n t e s (stakeholders) o
agencias q u e t e n g a n i n t e r s o e s t n i m p l i c a d a s e n el m i s m o . U n a f u n c i n i m -
p o r t a n t e de esta persona es t r a b a j a r en estrecha c o l a b o r a c i n con los e v a l u a d o -
res a l o l a r g o d e l p r o c e s o e n t e r o de e j e c u c i n , r e s p o n s a b i l i d a d a la que se une la
de p r o m o c i o n a r a c t i v a m e n t e el uso de los r e s u l t a d o s e i n f o r m e s de la e v a l u a -
c i n . S i g u i e n d o c o n los e j e m p l o s , en el d i s t r i t o escolar, el d i r e c t o r de e n s e a n z a
d e i d i o m a s es p r o b a b l e q u e sea t a m b i n e l a d m i n i s t r a d o r d e l p r o g r a m a de e d u -
c a c i n b i l i n g e . A u n q u e este a d m i n i s t r a d o r t e n g a q u e i n f o r m a r a o t r o s de m s
r a n g o , p o r e j e m p l o al responsable de e d u c a c i n c o m p e n s a t o r i a o al d i r e c t o r del
d i s t r i t o escolar, l es q u i e n asume la r e s p o n s a b i l i d a d sobre e l f u n c i o n a m i e n t o y
la e v a l u a c i n d e l p r o g r a m a . E n el c e n t r o m d i c o , e l d i r e c t o r de f o r m a c i n de
a u x i l i a r e s de e n f e r m e r a es p r o b a b l e q u e sea t a m b i n a d m i n i s t r a d o r d e l p r o g r a -
 30 Porte I: Diseo de polticas y programas de intervencin social Copitulo I: Polticos, programas y evaluaciones | i ,

m a de m e j o r a de h a b i l i d a d e s . A u n q u e d e b a i n f o r m a r a o t r o s cargos a d m i n i s t r a - r I ) i . , .i- |M i . m e n t e si la i n f o r m a c i n q u e p r o d u c e a y u d a a s a t i s f a c e !
t i v o s , en v i r t u d de su p o s i c i n y f o r m a c i n es el q u e e s t m e j o r e q u i p a d o p a r a | s d e m a n d a s . I r las | i r i s o m i s . p i e m s la n e c e s i t a n .
a

d e s e m p e a r e f i c i e n t e m e n t e l a f u n c i n de i d e n t i f i c a r r e a s q u e n e c e s i t a n eva-
luacin.
Para c o m p r e n d e r e n t o d o su alcance la d i m e n s i n significativa de la evalua- 1.6. D r l i . o i o n fm.il d e l c o n c e p t o d e evaluacin

c i n , hay que incluir, a d e m s de la p r o p o s i t i v i d a d y la r e l e v a n c i a , la c r e d i b i l i d a d y

la i m p l i c a c i n activa en e l proceso. E n l o c o n c e r n i e n t e a la credibilidad, hay dos R e b o l l o s o \ R| bollOM (1998a) p r o p o n e n u n c o n j u n t o de c a r a c t e r s t i c a s o e l e m e n -

aspectos que deben ser considerados. P r i m e r o , suficiente c r e d i b i l i d a d t c n i c a ( p o r tos c l a v e i | i i r < o i i l o n i ' I c o n c e p t o de e v a l u a c i n :

e j e m p l o , u n d i s e o v l i d o , i n s t r u m e n t o s b i e n c o n s t r u i d o s , a n l i s i s e s t a d s t i c o s ade-
cuados, etc.) p a r a hacer pensar que la i n f o r m a c i n ha sido o b t e n i d a o b j e t i v a m e n t e . ()ur un l o y .i l.i v.ili .i ni i o n , es decir, la e m i s i n de j u i c i o s de v a l o r sobre u n

y que, al m a r g e n de las p o l m i c a s m e t o d o l g i c a s , las conclusiones alcanzadas son o b j e t o , i " in m m e n l e l o b f l I t eficacia de los p r o g r a m a s de a c c i n social.

razonables y f c i l m e n t e generalizables. D e b e recordarse que en e v a l u a c i n es dif- . i in, i ii S | M . i . i l a t r m i o n a l a n l i s i s c i e n t f i c o de los p r o b l e m a s so-

cil aplicar u n b u e n d i s e o de i n v e s t i g a c i n y que c o n frecuencia hay que r e c u r r i r al
" m e j o r p o s i b l e " ( R e b o l l o s o , 1990a), l o que i m p o r t a es que se vea Ubre de insufi-
ciencias o de v i o l a c i o n e s t c n i c a s . E n segundo lugar, la e v a l u a c i n d e b e tener l a
c r e d i b i l i d a d p r o f e s i o n a l asegurada, de manera q u e los d i s t i n t o s grupos i m p l i c a d o s
tengan, a pesar de sus posibles diferentes intereses, confianza en el e v a l u a d o r y e n
dicha e v a l u a c i n . L a confianza debe llegar al p u n t o de estar dispuestos a seguir
sus recomendaciones y efectuar los cambios en la d i r e c c i n a p u n t a d a .
E n c u a n t o a la implicacin activa, si la e v a l u a c i n representa s o l a m e n t e una
c o n s i d e r a c i n m s e n t r e otras p r i o r i d a d e s m s acuciantes, entonces n o e x i s t i r e l
c o m p r o m i s o b s i c o que exige la i m p l i c a c i n n i e l i n t e r s p o r t o d o l o que e s t suce-
d i e n d o e n el proceso. E n r e s u m e n , c o m o a c t i v i d a d significativa, la e v a l u a c i n c o n -
lleva creer e n su p r o p s i t o , c o n f i a r e n sus procesos y resultados, y p a r t i c i p a r acti-
v a m e n t e en su d e s a r r o l l o . O b v i a m e n t e , t a l i m p l i c a c i n activa t e n d r e l efecto n o
s l o de hacer la e v a l u a c i n m s c o m p r e n s i v a al e v a l u a d o r sino t a m b i n a las per-
sonas que c o l a b o r a n en e l p r o y e c t o y e s t n asociadas a l .
E l concepto de e v a l u a c i n c o m o actividad significativa se c o m p l e m e n t a c o n la
n o c i n de actividad organizada. E n otras palabras, las evaluaciones d e b e n p l a n i f i -
carse cuidadosamente, ejecutarse adecuadamente y difundirse de m o d o efectivo en-
tre las personas que p o t e n c i a l m e n t e p u e d e n u t i l i z a r l a i n f o r m a c i n e v a l u a t i v a . E n
este p u n t o es d o n d e e l e v a l u a d o r o e l a d m i n i s t r a d o r d e l p r o g r a m a p u e d e n desem-
p e a r u n p a p e l crucial, c o n t r i b u y e n d o a o r g a n i z a r y dar f o r m a a la e v a l u a c i n , l o
cual les c o n v i e r t e en responsables l t i m o s de una e v a l u a c i n significativa. Durante
m u c h o t i e m p o la i n v e s t i g a c i n ha m o s t r a d o q u e l a presencia de una persona con
a u t o r i d a d q u e tiene u n i n t e r s p e r s o n a l en l a e v a l u a c i n es d e f i n i t i v o p a r a e l uso
que m s t a r d e se h a r de los resultados y c i e r t a m e n t e e l uso es e l p r i m e r i n d i c a d o r
de que la e v a l u a c i n es significativa ( C r o n b a c h y asoc., 1980; P a t t o n , 1997). Por
o t r a parte, p a r t i m o s de la base de q u e las personas que t i e n e n e n t r e sus c o m e t i d o s
actividades de e v a l u a c i n desean q u e f u n c i o n e n l o m e j o r y m s e f i c i e n t e m e n t e p o -
sible, l o c u a l se consigue si l a e v a l u a c i n es u t i l i z a d a c o m o h e r r a m i e n t a a d m i n i s -
t r a t i v a y c o m o s o p o r t e de la t o m a de decisiones. L a e v a l u a c i n p u e d e ayudarles
cialei.
Q u e e n l i i l i i r los |no< e s o s ile n e g o c i a c i n para d e f i n i r perspectivas c o m p a r -
tidas d r l | ti < if.i .una v s u s o b j e t i v o s .
Q u e sea til r n l a l o m a de decisiones y e n aspectos i n s t r u m e n t a l e s p a r a
conseguii u n a i i n i y o i elicai ia e n e l l o g r o de los fines.
Q u e e s t o r i e n t a d a a la excelencia o p e r f e c c i o n a m i e n t o , a d a p t n d o s e a las
necesidades i n f o r m a t i v a s de las audiencias.
Q u e e s t interesada en y p r o m u e v a el c a m b i o social.
P o r su p a r t e , Rossi y W r i g b t (1984) s e a l a n tres conceptos fundamentales para
la r e a l i z a c i n de evaluaciones de c o r t e s i s t e m t i c o : evaluacin de mximo alcance
(comprensiva), e n t e n d i d a c o m o una a c t i v i d a d h o l s t i c a d i r i g i d a a analizar de for-
m a g l o b a l la c o n c e p t u a l i z a c i n , la i m p l e m e n t a c i n y la u t i l i d a d de u n a i n t e r v e n -
c i n s o c i a l ; evaluacin "ajustada" (tailored evaluation), c u a n d o las a c t i v i d a d e s
e v a l u a t i v a s se ajustan al t i p o de p r o g r a m a d e i n t e r v e n c i n d e l que se t r a t e , en
f u n c i n de si es u n p r o g r a m a i n n o v a d o r , u n a m o d i f i c a c i n de u n p r o g r a m a exis-
t e n t e o u n a a c t i v i d a d p l e n a m e n t e e s t a b l e c i d a ; y evaluacin orientada por la
teora, cuando e s t construida por modelos t e r i c o s sobre el funcionamiento del
p r o g r a m a , t i l e s p a r a o r i e n t a r la f o r m u l a c i n de cuestiones de i n v e s t i g a c i n , re-
c o g i d a y a n l i s i s de datos.
L a m a y o r a de autores e s t n de a c u e r d o en q u e la a c t i v i d a d clave de la evalua-
c i n es la e m i s i n de j u i c i o s d e v a l o r ( S c r i v e n , 1991a; S t u f f l e b e a m y S h i n k f i e l d ,
1987; Weiss, 1990); se t r a t a de j u z g a r si u n o b j e t o es s u f i c i e n t e m e n t e b u e n o ( t i l ,
eficaz, a d e c u a d o , eficiente, e t c . ) . E l p r o c e d i m i e n t o m s e x t e n d i d o se identifica co-
m o la lgica de Scriven (Weiss, 1990), s e g n la cual se c o m p a r a e l o b j e t o de eva-
l u a c i n , en t r m i n o s de a l g n i n d i c a d o r o escala de m e d i d a , c o n u n c o n j u n t o de
c r i t e r i o s de v a l o r p r e v i a m e n t e i d e n t i f i c a d o s . S i n e m b a r g o , la f r m u l a n o d e b e en-
g a a r n o s c o n su aparente sencillez, dada la v a r i e d a d de c o n t e x t o s y m b i t o s de
a p l i c a c i n y las diversas c a r a c t e r s t i c a s , m t o d o s y o r i e n t a c i o n e s que d e f i n e n e l
c a m p o de la e v a l u a c i n y que o t o r g a n en cada caso u n significado d i f e r e n t e a la
escala de valor. C o n frecuencia, el v a l o r de u n p r o g r a m a se estima m e d i a n t e e l cal-
 32 forte /: Diseo de poffocas y programas de intervencin socio/
c u l o de la e f e c t i v i d a d y eficacia de las o p e r a c i o n e s , e n t e n d i d a s c o m o el p u n
q u e se l o g r a n l o s o b j e t i v o s p e r s e g u i d o s , q u e g e n e r a l m e n t e son espccifn :< l< . r n l .
p l a n i f i c a c i n i n i c i a l ( P r o v u s , 1 9 7 1 ; S m i t h y T y l e r , 1942; T y l e r , 1950). L a c v u l n i |i
se i n s e r t a y d e s c r i b e en este c o n t e x t o c o m o p a r t e d e l proceso d e la p o l t i c a
Cuadro 1.2. La volatilidad de los programas sociales
Una de las caractersticas principales del traba|0 evaluativo es la falta de estabilidad del medio en que
se desarrolla y de las actividades concretas que se le demandan Quizs el hecho ms distintivo de la mvrv
tigacin de evaluacin es que el evaluador tiene que realizar su trabajo en un ambiente de toma de in i
siones continuamente cambiante Rossi y Freeman (1989) sealan seis aspectos de la intervencin social
que producen este medio cambante. No todas las evaluaciones se ven afectadas de la misma manera por
cada uno de estos factores de cambio, aunque tos evaluadores debe estar preparados para reducir los re-
quisitos cientfficos ideales del plan de evaluacin previsto y acogerse a decisiones pragmticas
Primero, los cambios polticos, pues distintas ideologas o programas polticos determinan vanaciones
en la filosofa y objetivos de tos programas. Algunos de tos cambios estn asociados a los sesgos,
orientaciones, modas, oportunidad poltica (por ejemplo, en programas de planificacin familiar me-
diante el uso de anticonceptivos).
Segundo, el cambio de intereses de los distintos stofceho/dea de manera que la necesaria coopera-
cin con tos mismos puede verse afectada y afectar a la realizacin de la evaluacin. Por ejemplo, un
jefe de polica que acuerda proporcionar informacin a un programa y a sus evaluadores puede cam-
biar de opinin si la invasin de la privacidad por parte de la polica se vuelve un problema en los
medios de comunicacin
Tercero, los cambios de prioridades e rrteceses detosresponsables polfticos y de gestin del propio
programa (por ejemplo, perder inters en la iniciatrva ciudadana para aumentar la profesionalidad de
un servicio de mantenimiento y limpieza urbana).
Cuarto, los problemas inesperados que pueden aparecer en la inrplemerrtaan del programa, con la
consiguiente necesidad de modificar las actividades del programa y el plan de evaluacin (por ejem-
plo, un programa para reducir las ausencias de los estudiantes de bajo nivel econmico en la provi-
sin de cuidado mdico, se modific cuandotosdos tercios de estudiantes con alto ndice de ausen-
ciarehusarond cuidado mdico ofrecido).
Quinto,tosresultados parciales de un programa pueden indicar que el mismo debe ser modificado
antes de completar d proceso evaluativo en todas sus fases (por ejemplo, en un programa de reduc-
cin del alcoholismo la plantilla puede modificar la intervencin porque los participantes no estn re-
alizando correctamente las actividades programadas).
Sexto, la existencia de problemas no esperados en el propio desarrollo del plan de evaluacin, con
la consiguiente necesidad de mcxlrfkacin (por ejemplo, una compaa que patrocina un programa
de cuidado mdico atosancianos decide ampliarlo e implementarto en nuevas localidades que no
hayan sido patrocinadas, con lo que hay que revisar la estrategia de evaluacin dado que las com-
paraciones planificadas entre grupos subvencionados y no subvencionados no son posibles).
De manera resumida, dos son los elementos centrales de la ecologa social de las evaluaciones: la exis-
tencia de mltiples stokehoWers y el hecho de que la evaluacin forma parte de un proceso poltico (Rosa,
psey y Freeman. 2004). Existirn tensiones derivadas de la presin de distintos grupos de interesados, que
demandarn preguntas diferentes al evaluador y se vern afectados de distinta forma portosresultados,
generando dudas acerca de cmo proceder con d trabajo evaluativo y cmo comunicarse con grupos tan
diferentes. La dimensin poltica implica, entre otras cosas, un problema de ajuste entre los ritmos de las
dinmicas polticas y dd desarrollo de la evaluacin El evaluador no es un investigador acadmico conven-
cionaL sino que debe orientar su trabajo para que tenga una significacin dentro de los medios polfticos en
que se mueve.
Copitulo I: Polticas, programas y evoluociones
Algunos programas sociales y sus evaluaciones sufren estos y otros problemas relacionados (planes
de intervencin, cooperacin de proveedores de servicios, adhesin al diseo de evaluacin onginal. ale-
larse del diseo ideal, procedimientos de recogida de datos, grado de control del investigador). Una
consecuencia de estos compromisos con el ideal de la investigacin es la posible diferencia cualitativa
existente entre la investigacin de evaluacin y la investigacin cientfica convencional que hemos trata-
do a lo largo del captulo.
a p o r t a n d o i n f o r m a c i n p a r a la t o m a de decisiones s o b r e la c o n v e n i e n c i a de c o n t i -
nuar, m o d i f i c a r o i n t e r r u m p i r d e f i n i t i v a m e n t e u n p r o g r a m a en f u n c i n del x i t o
alcanzado.
E n t e n d i d a c o m o a p o y o a la e j e c u c i n , e l c a r c t e r u t i l i t a r i s t a de la e v a l u a c i n
ha sido c u e s t i o n a d o a l r e d u c i r l a a u n p r o c e s o de m e r a c o n s t a t a c i n de r e s u l t a d o s ,
q u e asume sin c u e s t i o n a m i e n t o q u e las o p e r a c i o n e s d e l p r o g r a m a e s t n b i e n d e f i -
nidas, son las m s adecuadas y se p o n e n e n p r c t i c a de m a n e r a h o m o g n e a en t o -
dos los centros locales d o n d e se i m p l e m e n t a . A pesar de las c r t i c a s , el c o n c e p t o
de e v a l u a c i n se ha e x t e n d i d o de este m o d o p a r a i n c l u i r e l s e g u i m i e n t o de la i m -
p l e m e n t a c i n , buscar la i n f o r m a c i n necesaria p a r a r e s o l v e r i n c e r t i d u m b r e s y a y u -
d a r en la t o m a d e decisiones a los responsables de la e j e c u c i n ( C r o n b a c h y a s o c ,
1980; W h o l e y , 1981).
Algunos, por l t i m o , prefieren definir modelos s i s t e m t i c o s y comprensivos
q u e p u e d a n r e u n i r d i s t i n t o s o b j e t i v o s y a c t i v i d a d e s d e n t r o de u n proceso g e n e r a l
de e v a l u a c i n ( C h e n , 1990; R e b o l l o s o y cois., 2003; R o s s i y F r e e m a n , 1989; Stuf-
f l e b e a m y S h i n k i f i e l d , 1987), a s u m i e n d o q u e t a n t o la e m i s i n de j u i c i o s sobre los
r e s u l t a d o s c o m o el a p o y o a la e j e c u c i n d e los p r o g r a m a s son p r o p s i t o s v l i d o s
p a r a la e v a l u a c i n . E n la p r c t i c a , se t r a t a d e r e s p o n d e r u n a serie de p r e g u n t a s de
i n v e s t i g a c i n sobre las distintas fases d e e l a b o r a c i n e i m p l a n t a c i n de u n p r o g r a -
ma d e i n t e r v e n c i n social d i r i g i d o a r e s o l v e r a l g u n a s i t u a c i n e n la q u e e s t en
j u e g o la c a l i d a d de v i d a de las personas; p o r e j e m p l o , c u l es la n a t u r a l e z a de los
p r o b l e m a s a r e s o l v e r ? , q u t i p o d e i n t e r v e n c i o n e s se p u e d e n r e a l i z a r ? , a q u i n e s
i r n d i r i g i d a s ? , q u p r o b l e m a s p r c t i c o s d e b e n r e s o l v e r s e en la implementacin?,
-j.se e s t n a l c a n z a n d o d e t e r m i n a d o s o b j e t i v o s d e m a n e r a e f i c i e n t e ? , etc.
L a d i v e r s i d a d c o n c e p t u a l resulta e n r i q u e c e d o r a y favorece una perspectiva prag-
m t i c a y e c l c t i c a , m s til en e l c o m p l e j o c a m p o de las organizaciones y los p r o g r a -
mas sociales ( v a s e c u a d r o 1.2) p o r q u e es difcil e n c o n t r a r situaciones d o n d e pueda
aplicarse una d e t e r m i n a d a o r i e n t a c i n de f o r m a h o m o g n e a ( A l v i r a , 1991; P a t t o n ,
1978). E n palabras de R e b o l l o s o y R e b o l l o s o (1998a: 225): " L a s mejores evaluacio-
nes se logran c u a n d o se reconoce la v a r i e d a d y la c o m p l e j i d a d del c a m p o y se tiene la
suficiente f l e x i b i l i d a d para c o m p r e n d e r q u t i p o d e d e f i n i c i n es apropiada y signifi-
cativa en u n c o n t e x t o p a r t i c u l a r y para una d e t e r m i n a d a clase de personas".
 Propsitos y actividades principales
del proceso evaluativo

Las evaluaciones |>crsigiien p r o p s i t o s m u y diferentes y utilizan estrategias y m t o -

dos adaptados a la etapa en la historia del programa siguiendo criterios contingentes.
L a e v a l u a c i n puede ayudar a la mejora c o n t i n u a d e l programa, aumentar el c o n o c i -
m i e n t o social o demostrar que los directores y operarios del programa han c u m p l i d o
su responsabilidad ante la sociedad, los patrocinadores y los usuarios del m i s m o .
E n los programas i n n o v a d o r e s se r e q u i e r e especialmente analizar su efectivi-
d a d , si alcanzan a la p o b l a c i n destinataria y si l o g r a n los resultados deseados. E n
ocasiones posteriores, es necesario analizar y v a l o r a r los c a m b i o s y m o d i f i c a c i o n e s
puntuales que se i n t r o d u c e n para r e t i n a r el p r o g r a m a . F i n a l m e n t e , los p r o g r a m a s
que se realizan d u r a n t e u n t i e m p o r e q u i e r e n i n f o r m a c i n p a r a d e t e r m i n a r q u e
c o n t i n a n siendo eficientes y q u e m e r e c e n seguir s i e n d o financiados y puestos en
prctica.
L a e v a l u a c i n es u n c o n j u n t o c o m p l e j o de actividades variadas que se desarro-
l l a n en p a r a l e l o c o n las distintas fases d e l p r o g r a m a . L a c o n c e p t u a l i z a c i n y d i s e o
d e l p r o g r a m a , l a i m p l e m e n t a c i n y la p r o d u c c i n de r e s u l t a d o s s o n m o m e n t o s
b i e n diferenciados que necesitan actividades evaluativas e s p e c f i c a s d e n t r o de un
proceso en el que l a e v a l u a c i n n o e s t r e s t r i n g i d a al c l c u l o de l a eficacia y la efi-
ciencia, sino que presta un a p o y o p e r m a n e n t e i n c l u s o e n las etapas previas a la p r o -
pia intervencin.

C o n c e p t o s clave

Propsito de la evaluacin. T o d a eva- i m p a c t o o sean u t i l i z a d o s p o r a l -

l u a c i n se r e a l i z a c o n e l o b j e t i v o g u i e n d e n t r o de u n proceso de t o -
d e q u e sus r e s u l t a d o s t e n g a n u n m a de decisiones. L o s p r o p s i t o s
 M T S ue poi/ucos y programas de intervencin social
i
son v a r i a d o s , a u n q u e siempre per-
m a n e c e u n c i e r t o i d e a l de m e j o r a
de las c o n d i c i o n e s sociales.
Objeto de evaluacin. L a e v a l u a c i n es
una actividad que se puede aplicar a
la v a l o r a c i n de objetos muy diferen-
tes sin que v a r e el m o d o general de
proceder. D e manera general se pue-
d e n evaluar programas, polticas, or-
ganizaciones, productos y personas.
Responsabilidad. Las personas q u e d i -
r i g e n y p o n e n en p r c t i c a u n p r o -
g r a m a a s u m e n u n c o m p r o m i s o so-
b r e e l b u e n uso de los recursos y el
esfuerzo p o r lograr los objetivos
p r e v i s t o s . L o s resultados e v a l u a t i -
vos a y u d a n a d e m o s t r a r q u e estas
personas h a n c u m p l i d o con su res-
p o n s a b i l i d a d ante los p a t r o c i n a d o -
res y d e s t i n a t a r i o s d e l p r o g r a m a o
la s o c i e d a d en g e n e r a l .
Desarrollo. L o s d i r e c t o r e s y responsa-
bles de p r o g r a m a s necesitan i n f o r -
m a c i n que les p e r m i t a resolver m e -
j o r los p r o b l e m a s y dudas que
surgen e n la p r c t i c a d i a r i a del p r o -
grama. L a i n f o r m a c i n evaluativa
a y u d a a l a m e j o r a y el d e s a r r o l l o
c o n t i n u o de las actividades, de la or-
g a n i z a c i n de servicios y de las per-
sonas que trabajan en el p r o g r a m a .
Diseo del programa. L a planificacin
del p r o g r a m a exige d i s e a r las
actividades que s e r n realizadas ( e l
s e r v i c i o ) y e l sistema de dispensa,
para l o c u a l se necesita, entre otras
c u e s t i o n e s , d e c i d i r c u l e s s o n los
o b j e t i v o s o p e r a t i v o s del p r o g r a m a ,
q u i n e s son los destinatarios, c m o
se a c c e d e r a los m i s m o s
r e a l i z a r n las actividades y i i n . .
d i s t r i b u i r n los recursos.
Diseo de la evaluacin. L a planifn .1
c i n de la e v a l u a c i n exige, l a t T
otras cuestiones, c o m p r e n d c i i|m<
nes son las personas interesadas r n
la m i s m a , c u l e s son las p r e g U B U l
de i n v e s t i g a c i n , q u m t o d o s se
e m p l e a r n , q u i n e s utilizarn los
resultados y de q u m a n e r a .
Innovaciones. Los programas innova-
d o r e s s o n a q u e l l o s q u e n u n c a se
h a n i n t e n t a d o antes, b i e n p o r q u e
responden a un diseo original o
p o r q u e nunca se h a b a n i m p l e m e n -
t a d o en u n a l o c a l i d a d o c o n un gru-
p o de usuarios c o n c r e t o . T a m b i n
se les d e n o m i n a demostraciones.
Programas establecidos. Son aquellos
q u e h a n sido ensayados, c o r r e g i d o s
e implementados en u n buen n -
m e r o de ocasiones, p o r l o q u e se
d i s p o n e de m u c h a i n f o r m a c i n so-
b r e c m o d e b e n ser d i s e a d o s e
i m p l e m e n t a d o s para t e n e r x i t o en
sus o b j e t i v o s .
Proceso de intervencin-evaluacin. La
i n t e r v e n c i n y la e v a l u a c i n son
dos actividades inseparables que se
c o m p l e m e n t a n d e n t r o d e l proceso
general de la i n t e r v e n c i n social.
L a e v a l u a c i n n o es algo que se r e -
alice n i c a m e n t e al f i n a l de l a i n -
t e r v e n c i n , sino u n c o n j u n t o de ac-
t i v i d a d e s planificadas q u e p r e s t a n
a p o y o i n f o r m a t i v o a la t o m a de de-
cisiones en m l t i p l e s m o m e n t o s de
la i n t e r v e n c i n .
Capitulo 2: Propsitos y actividades principales del proceso evoluavvo 37'
2.1. R a z o n e s o m o t i v o s p r i n c i p a l e s d e l a s e v a l u a c i o n e s
H a y muchos m o t i v o s o p r o p s i t o s que p u e d e n justificar la r e a l i z a c i n de evalua-
ciones. C h e l i m s k y (1978) d i s t i n g u a hace a o s e n t r e las evaluaciones que tienen
u n p r o p s i t o de g e s t i n y a d m i n i s t r a c i n , las q u e s i r v e n para valorar la a d e c u a c i n
de los c a m b i o s d e l p r o g r a m a , para buscar f o r m a s de m e j o r a r la dispensa de los
servicios, y las que p e r s i g u e n satisfacer los r e q u i s i t o s de r e s p o n s a b i l i d a d de los
grupos que las s u b v e n c i o n a n . E n t r e otras razones, evaluamos con p r o p s i t o s de
p l a n i f i c a c i n y p r o p s i t o s p o l t i c o s , p a r a i d e n t i f i c a r formas innovadoras de c m o
tratar los p r o b l e m a s h u m a n o s y c o m u n i t a r i o s , para d e c i d i r sobre el f u t u r o de un
p r o g r a m a ( c o n t i n u a r o a b a n d o n a r l o ) y para apoyar su defensa frente a otras alter-
nativas. Para todos los p r o p s i t o s el o b j e t i v o clave es d i s e a r e i m p l e m e n t a r una
e v a l u a c i n t a n o b j e t i v a c o m o sea p o s i b l e ; es decir, que p r o p o r c i o n e una v a l o r a -
c i n f i r m e , q u e n o c a m b i e si la e v a l u a c i n fuese repetida en las mismas condicio-
nes p o r los m i s m o s o p o r diferentes evaluadores.
Los p r o p s i t o s de la e v a l u a c i n p u e d e n describirse de un m o d o j e r r q u i c o si-
guiendo distintos niveles de c o n c r e c i n . E n el n i v e l m s general, toda e v a l u a c i n per-
sigue el aprendizaje a partir de la experiencia con el objetivo de mejorar en futuras
ocasiones (Eggers y Chelimsky, 1999). Todos los d e m s p r o p s i t o s especficos son
compatibles con el ideal de evaluar para aprender y aprender para mejorar. D e n t r o
de nuestro m b i t o de trabajo, el p r o p s i t o f u n d a m e n t a l es ayudar a d i s e a r y mejorar
los programas dirigidos a solucionar los p r o b l e m a s y necesidades sociales (Rossi y
Freeman, 1989), enriqueciendo las intervenciones, reduciendo el gasto p b l i c o y defi-
niendo objetivos m s realistas para la i n t e r v e n c i n . E n definitiva, se trata de lograr
que la i n t e r v e n c i n tenga efectos beneficiosos para a l g n sector o grupo social m i n o -
ritario o en desventaja. C o m o veremos en u n apartado posterior, el siguiente nivel se
concreta en tres tipos de p r o p s i t o s : responsabilidad, desarrollo y conocimiento. Es! a
d i s t i n c i n es fundamental, pues de ella dependen aspectos cruciales de la e v a l u a c i n ,
tales c o m o la perspectiva evaluativa y los m t o d o s de i n v e s t i g a c i n que se u t i l i z a r n ,
el r o l que a s u m i r n los evaluadores y las distintas personas relacionadas con la eva-
l u a c i n , a s c o m o las expectativas de u t i l i z a c i n de los resultados.
' L a p r i m e r a f u n c i n q u e c u b r i l a e v a l u a c i n t i e n e que ver con la d e m a n d a
masiva de evaluadores e n E E U U d u r a n t e los a o s sesenta: obtener i n f o r m a c i n
para d e m o s t r a r los resultados de los p r o g r a m a s , u t i l i z a b l e i n s t r u m e n t a l m e n t e para
d e c i d i r sobre la c o n t i n u i d a d , e x p a n s i n o finalizacin de las acciones e m p r e n d i -
das. Sin e m b a r g o , dada l a escasa i n f l u e n c i a p o l t i c a lograda en esta p o c a ( H o u s e ,
1972; L i n d b l o m y C o h n , 1979; Weiss, 1977), m u c h o s evaluadores d e f e n d i e r o n u n
m o d o de influencia difuso c e n t r a d o en e l a l u m b r a m i e n t o , es decir, que el p r o p s i -
to de la e v a l u a c i n s e r a crear nuevos conceptos y formas de pensar en t o r n o a los
p r o b l e m a s sociales ( J a n o w i t z , 1970). C r o n b a c h y asoc. (1980), p o r e j e m p l o , s e a -
lan q u e el o b j e t i v o es i n f l u i r en el p e n s a m i e n t o y la a c c i n social en r e l a c i n con
los programas de i n t e r v e n c i n . P a r t i e n d o de la c o n s t a t a c i n de los hechos o c u r r i -
dos en la a p l i c a c i n d e l p r o g r a m a , y o f r e c i e n d o una v i s i n i n t e g r a l y disciplinada,
 38 arte I: Diseo de porticoj y programas de intervencin social
la e v a l u a c i n e s t a r a destinada a aquellas personas que t i e n e n i n i c e s e ' , y i r s i x j n -
sabilidades y que son competentes p a r a entender y u t i l i z a r los resultados evaluati-
vos. E n t r e la influencia i n s t r u m e n t a l y l a influencia d i f e r i d a del a l u m b i a m i e n t o , se
e s t a b l e c i una tercera perspectiva de a p o y o d i r e c t o a las decisiones diarias de los
gestores de programas ( W h o l e y , 1979, 1986). E n este caso, la m i s i n de la evalua-
cin s e r a ayudar a establecer objetivos e i n d i c a d o r e s , v a l o r a r la e j e c u c i n , c o m u -
nicar los valores de las agencias de i m p l e m e n t a c i n a los responsables de las inver-
siones, y f u n d a m e n t a l m e n t e , e s t i m u l a r l a m e j o r a d e l a e j e c u c i n de las agencias y
programas sociales, en estrecha c o l a b o r a c i n c o n l o s responsables de la i m p l e -
m e n t a c i n y p r e s t a c i n de servicios ( W h o l e y , 1 9 8 6 , 1 9 9 7 ) .
A d e m s de estas t i e s funciones ttadicionalmente mencionadas, s e a l a r e m o s a
c o n t i n u a c i n algunas p o s i b i l i d a d e s q u e han sido apuntadas p o r distintos autores.
E n p r i m e r lugar, l a e v a l u a c i n se aplica en e l d i a g n s t i c o y e l a n l i s i s de los p r o -
blemas sociales, en l a r e v i s i n de los planes de i n t e r v e n c i n , en e l c o n t r o l de la i m -
p l e m e n t a c i n de los p r o g r a m a s y e n l a v a l o r a c i n de su i m p a c t o . Se c o n s t i t u y e a s
en u n e l e m e n t o i n f o r m a t i v o c e n t r a l p a r a e l proceso d e p l a n i f i c a c i n de las p o l t i -
cas y programas sociales (funcin planificadora; R o g , 1995). D e este m o d o , ayu-
d a n d o a la f u n d a m e n t a c i n t e r i c a y p r c t i c a , h a pasado d e ser u n m t o d o de
c o n s t a t a c i n de resultados p a r a e s t i m a r el m r i t o de los p r o g r a m a s , a ser una acti-
vidad i m p r e s c i n d i b l e p a r a la d e f i n i c i n de la p r o g r a m a c i n social.
La experiencia ha m o s t r a d o la dificultad para lograr estos p r o p s i t o s , sobre t o d o
cuando se plantean en t r m i n o s de m e j o r a de las condiciones de vida de la sociedad
(Patton, 1986; Rossi y F r e e m a n , 1989). L o s resultados evaluativos s l o son u n ele-
m e n t o m s de i n f o r m a c i n en los procesos de la p o l t i c a social, j u n t o a otras razones
de n d o l e e c o n m i c a , i d e o l g i c a , p o l t i c a o de costumbre (funcin informativa). Co-
m o afirman B e r k y Rossi (1976), l a e v a l u a c i n es una actividad p o l t i c a , p e r o n o sus-
tituye a la p o l t i c a , de tal m o d o que las decisiones siguen en manos de profesionales
de la poltica social, que e m i t e n juicios utilizando m l t i p l e s fuentes de i n f o r m a c i n
competitivas, entre las q u e los resultados evaluativos r a r a vez son la m s i m p o r t a n t e .
Patton (1990) sugiere la u t i l i d a d de u n t i p o e s p e c f i c o de evaluaciones orientadas
a proporcionar i n f o r m a c i n sobre el futuro, para que la o r g a n i z a c i n pueda antici-
parse a los cambios o las nuevas situaciones en que t e n d r q u e desenvolverse, con el
p r o p s i t o l t i m o de afectar los c o m p o r t a m i e n t o s actuales y reorientarlos hacia la si-
t u a c i n futura deseada (Juncin anticipatoria o prospectiva). L a construccin de esce-
narios es la t c n i c a m s c o m n e n este t i p o de i n v e s t i g a c i n p r o s p e c t i v a ( P a t t o n ,
1990; N u e z y Loscertales, 1996). Se trata de crear una i m a g e n descriptiva del futuro
o de los futuros posibles de u n g r u p o o u n sistema social, p o r ejemplo entrevistando a
personas relevantes para conocer sus expectativas, deseos o temores sobre e l p o r v e -
nir, y resumiendo los resultados e n u n conjunto r e d u c i d o de escenarios futuros alter-
nativos. Los participantes e n el estudio pueden entonces discutir sobre el resultado y
elegir el escenario hacia el que q u i e r e n orientar sus esfuerzos. L a sntesis de evalua-
ciones o del c o n o c i m i e n t o actual sobre u n p r o b l e m a disperso en distintos estudios
puede ser t a m b i n til para t o m a r decisiones m s ajustadas a la e v o l u c i n prevista de
Capitulo 2: Propsitos y actividades principales del proceso evolutivo 39
Cuadro 2.1. Qu objetos evaluamos
Antes de los aos v \ r i 1I.1 ...<-, mli/aba en mltiples contextos, aunque no se dispusiera
de un concepto ni unos inri, K 1.... n la evaluacin en la educacin es una actividad tradicional
centrada en la valoracin de alunnoi. profesores y centros, fundamentalmente con el objetrvo de la acre-
ditacin En la mdustna. la evaluacin se utriimtia como una funcin de apoyo en acciones variadas, tales
como la planificacin, la gestmii d r procesos y la gestin de recursos humanos, aunque no fuera realmen-
te considerada una actividad autriom* l a-, pandes evaluaciones de los aos sesenta se centraron en los
programas de intervendr! wnial y n , U: |>. 4ii ,r. |iHKas. generando por primera vez una comunidad
de evaluadores interesados en temtico y |i l i n i i . . 1 i o-, comunes (Rebolloso y Rebolloso, 1998b).
I loy en da disponerme i Ir ni i n .Ir 11 n i< x imientos y m t o d o s generales que permiten
oriental Id evaluacin r n (ulf|iiin !4m>< . i r a d n a n n Incluso la mayora estara fcilmente de
acuerdo con el concepto general de evaluar ion asociado a la idea de enjuiciamiento y al proceso
conocido 1 (uno la hy ,1 <u- '..M.M '.III r n it 1.11 jo, t At\ objeto de evaluacin tiene sus peculiarida-
des diferenciales, de tal modo que la evaluacin debe adaptarse en sus procedimientos y objetivos
para resultar til en cada caso. Un producto de consumo, por ejemplo, puede ser valorado me-
diantr un conjunto r . i u . ido . i r , menos sobre el que fcilmente alcancen acuerdos las partes in-
teresadas. Un programa es. un embargo, un objeto mucho ms complejo, implica una organiza-
cin de personas, e l menoi h o m o g n e o en su implantacin y es ms difcil que los grupos
interesados se pongan de ruerdo sobre los errtenos por los que debe ser juzgado (Cook. Levitn
y Shadish. I98S) De manera general. Owens y Rogers (1999) proponen distinguir cinco posibles
objetos de evaluacin:
Prugnxnm Annxie esin tradioonalmente vinculados a as polticas y servicios sociales, el concepto
de programa es ms amplio y puede abarcar todo tipo de intervenciones estructuradas en muy dis-
tintos mbitos (educativo, legal, mdustna!. onjanizaciona). El plan de trabajo y las actividades de im-
plantacin del plan son sus dos elementos esenciales. A grandes rasgos pueden establecerse tres r.
veles de responsabilidad. El nivel corporatrvo (mega) se identifica con los equipos de gobierno de
una institucin o los directivos de una organizacin, responsables de la pianriieacin general del pro-
grama El segundo rovd (marro) se sita en las secciones o departamentos responsables de a plani-
ficacin especifica El nivel micro corresponde a las unidades de trabajo o las personas encargadas
de poner en prctica las actividades dd programa o prestar un servicio. Las necesidades de informa-
cin y las cuestiones de mters son diferentes en estos niveles, por lo que la evaluacin debe adap-
tarse y escoger el modelo y los mtodos que sean ms tiles en cada caso. En general, a evaluacin
tratar de analizar el grado de ajuste entre lo planificado y b irnplementado. los factores relevantes
en el xito dd programa y tos resultados obtenidos.
Potocas. La poltica social es un concepto poksmico difiol de concretar. En ocasiones se identifica
con la defunon de objetivos o irrtericiones. con la creacin de guas de actuacin, estrategias para
resolver un problema o normas de cornportamiento producidas por las cpulas dd gobierno: en
otras ocasiones se entiende como d resultado dd trabajo de un conjunto amplio de nstancas bu-
rocrticasrelacionadascon la agenda de algn sector dd gobierno (Guba. 1984). En erto modo, la
poltica resume todos estos elementos, teniendo como base mnima un conjunto de enunciados
(guas) que intentan definir o enmarcar as futuras decisiones dd sistema. Es decr. propone una di-
reccin general para la a c o a aunque en s misma no prescribe ningn curso de accin concreto,
que ser objeto de planificacin en d nivd de los programas de actuacin.
Orgonizociones. Tambin este es un concepto amplio con el que se quieren expresar distintos
conceptos (desde un sistema social extenso a un grupo reducido de personas en una unidad de
trabajo). Se identifica con la evaluacin de instituciones, empresas, departamentos o cualquier
sub-grupo dentro de ellas. La evaluaon se centra en la mejora de los procesos y servicios, o
en el anlisis del impacto que estos tienen.
Productos. Los productos son cualquier objeto material que puede ser adquirido. La evalua-
cin de productos se utiliza para recoger datos comparativos en un conjunto reducido de cri-
tenos, con objeto de recomendar la mejor compra. Es el tipo de evaluacin que encontra-
 "ru | forte I: Diseo de polticas y programas de intervencin socio!
mos en las revistas del consumidor (por ejemplo, equipos informticos, alimmt.i.
mvil) (Scnven. 1994).
Personos. La eva'uadn de personas se ha evitado tradioonalmente. centrndose el inteiv ie
ferente en b s programas o procesos de trabajo, de tal modo que las personas no se llntlai >
observadas y no ocultaran informacin de inters por el miedo a las consecuencias negativas tic
ser evaluado. Sin embargo, la evaluacin del d e s e m p e o y de la ejecuon individual tiene pin
sentido dentro de procesos de acreditacin o seleccin, e incluso orientada a la mejora IIHIIVI
dual (De Quijano, 1992). Se considera adecuada para la evaluacin de programas cuando la In
formacin as obtenida se utiliza para tomar decisiones sobre el programa y no sobre las priv
as, en cuyo caso estamos hablando de los procesos de valoracin orientados a la promocior 11.
seleccin de personal propios de la gestin de recursos humanos.
los acontecimientos ( P a t t o n , 1990). O t r o m o d o de c o n s t r u c c i n de escenarios es d a d
d i r c u l e s son los factores o variables clave q u e a f e c t a r n a la e v o l u c i n , y d e s p u s
cruzarlas para definir los futuros posibles. P o r e j e m p l o , en el caso de introducir u n
n u e v o p r o g r a m a de a t e n c i n al cliente, las variables clave p o d r a n ser la disponibili
dad de recursos y la permanencia de la clientela clave.
Habr recursos Los recursos se agotarn
Los clientes permanecen 1. El programa funcionar tal 2. Los recursos existentes sern
como est previsto y se lograrn
insuficientes 0 inadecuados
clientes satisfechos para mantener el programa
Cambian ka dientes cave 3. U apancin de nuevos grupos 4. El programa no podr
de clientes har que el programa desarrollarse
resurte desajustado.
E n e l p r i m e r caso el p r o g r a m a debe m a n t e n e r s e para l o g r a r e l o b j e t i v o de sa-
tisfacer a la c l i e n t e l a clave. E n el segundo caso s e r a necesario t e n e r previstas ac-
ciones a l t e r n a t i v a s m e j o r ajustadas a los recursos previstos o anticiparse m e d i a n t e
actuaciones d i r i g i d a s a fidelizar a los clientes antes de q u e a b a n d o n e n el s e r v i c i o
p o r q u e se resienta su c a l i d a d . E n e l tercer escenario las acciones planificadas ya
n o son adecuadas y h a b r a q u e d i s p o n e r de a l t e r n a t i v a s que t e n g a n e n cuenta los
posibles nuevos clientes. F i n a l m e n t e , en e l l t i m o escenario el p r o g r a m a t e n d e r a
d e s a p a r e c e r y h a b r a q u e t e n e r p r e v i s t o p r o g r a m a s a l t e r n a t i v o s d i r i g i d o s a los
nuevos d i e n t e s potenciales.
L a s evaluaciones se r e a l i z a n e n c o n t e x t o s q u e t i e n e n una i m p o r t a n t e d i m e n -
s i n p o l t i c a , p o r l o q u e n o p u e d e n separarse de luchas y estrategias de g r u p o s
q u e i n t e n t a n alcanzar o m a n t e n e r cuotas d e poder. A u n q u e el p e l i g r o de sesgos
es e v i d e n t e , la e v a l u a c i n n o debe i g n o r a r esta r e a l i d a d o p e r d e r a su o p o r t u n i -
Capitulo 2: Pmpsitos y actividades principales del proceso evolutivo
dad de i n f l u i r en los m e d i o s p o l t i c o s y a d m i n i s t r a t i v o s {funcin estrategia; Ve-
d u n g , 1997). S t u f f l e b c a m ( 2 0 0 0 ) t i e n e u n a v a l o r a c i n en parte negativa de las
evaluaciones o r i e n t a d a s p o r fines e s t r a t g i c o s , a las cuales d e n o m i n a pseudo-eva-
luaciones. S u c h m a n (1967) d i s t i n g u a tres t i p o s : c u a n d o la e v a l u a c i n se u t i l i z a
para a a d i r u n t i n t e c i e n t f i c o y o b j e t i v o a decisiones d e l p r o g r a m a que ya han si-
d o tomadas; c u a n d o se p r o p o n e la r e a l i z a c i n de u n a e v a l u a c i n para retrasar
una d e c i s i n y esperar a q u e las c r t i c a s se suavicen c o n el t i e m p o ; o cuando se i n -
tenta m e j o r a r la i m a g e n p b l i c a d e l p r o g r a m a escogiendo s l o aquellos resulta-
dos q u e s i r v e n para j u s t i f i c a r l o . Se puede a a d i r el caso de que un g r u p o p o l t i c o
p r o p o n g a una e v a l u a c i n e n la q u e i n c l u y a a representantes de la o p o s i c i n , de
t a l m o d o q u e se c o m p a r t a ante la o p i n i n p b l i c a la responsabilidad p o r los re-
sultados negativos d e l p r o g r a m a . E n c u a l q u i e r caso, es p o c o realista considerar
que p o d e m o s realizar evaluaciones t i c a m e n t e p u r a s en el c o m p l e j o c a m p o de los
juegos de intereses. L o m x i m o que p u e d e hacerse es ser conscientes de que la
e v a l u a c i n s e r u t i l i z a d a c o n fines e s t r a t g i c o s , a n a l i z a n d o q u i n e s e s t n i n t e r e -
sados en la e v a l u a c i n y p o r q u , y t o m a n d o las m e d i d a s oportunas para no ser
p a r t c i p e s de n i n g n e n g a o .
N o obstante, d i s p o n e m o s de u n m o d e l o d i f e r e n t e de pensamiento e s t r a t g i c o ,
m u y v i n c u l a d o a enfoques c u a l i t a t i v o s y construccionistas, el cual carece de esta
v a l o r a c i n n e g a t i v a ( R e b o l l o s o , F e r n n d e z - R a m r e z y C a n t n , 2006). A c e p t a n d o
que la r e a l i d a d o r g a n i z a c i o n a l es r e a l i d a d social c o n s t r u i d a y que gran parte del
peso de la e v a l u a c i n recae en la p a r t i c i p a c i n de las personas y grupos organiza-
cionales, el o b j e t i v o de l a e v a l u a c i n n o s e r a descubrir n i n g u n a supuesta r e a l i d a d
o r g a n i z a c i o n a l , sino redefmirla y trazarse u n f u t u r o hacia el que la o r g a n i z a c i n
desee d i r i g i r s e . A t r a v s de su f u n c i n e s t r a t g i c a , la e v a l u a c i n se c o n v i e r t e en
una h e r r a m i e n t a i m p o r t a n t e p a r a el c a m b i o o r g a n i z a c i o n a l v o l u n t a r i o , o r i e n t a d o
en u n a d i r e c c i n q u e m a x i m i c e las o p o r t u n i d a d e s de a d q u i r i r ventaja respecto de
las d e m s o r g a n i z a c i o n e s d e l sector ( R e b o l l o s o , F e r n n d e z - R a m r e z y C a n t n ,
2007).
.l. P r o p s i t o s de la e v a l u a c i n
E n t r m i n o s a m p l i o s , los m l t i p l e s p r o p s i t o s de la e v a l u a c i n se c o n c r e t a n en
tres p r i n c i p a l e s ( C o o k , L e v i t n y Shadish, 1985; C h e l i m s k y , 1997a; Stufflebeam y-
S h i n k f i e l d , 1987; V e d u n g , 1997):
2.2.1. Evaluacin para la responsabilidad
Su finalidad es e m i t i r u n j u i c i o sobre el v a l o r r e l a t i v o d e l p r o g r a m a o de sus c o m -
ponentes, e n f a t i z a n d o la m e d i c i n de resultados, el l o g r o de objetivos y el c l c u l o
de la e f e c t i v i d a d y eficacia de las actividades, en c o m p a r a c i n c o n otras a l t e r n a n
 42 Porte /. Diseo de polticas y programas de intervencin social
vas. Para el a n l i s i s de las relaciones causales, e l m t o d o p r e f e r i d o p o r m u c h o s se-
r a el e s t u d i o e x p e r i m e n t a l c o n t r o l a d o y a l e a t o r i z a d o . L a idea de r e s p o n s a b i l i d a d
aparece c u a n d o e l agente de u n a a c c i n necesita d e m o s t r a r ante sus superiores
q u e ha c u m p l i d o c o n las d i r e c t i v a s recibidas, e n t e n d i e n d o los roles de agente y su-
p e r i o r de una m a n e r a a m p l i a p a r a d a r cabida a c u a l q u i e r persona o puesto d e n t r o
de la cadena de t o m a de decisiones y a c t u a c i n d e l p r o g r a m a . P o r e j e m p l o , e l p o l -
t i c o d e b e responder ante l a o p i n i n p b l i c a , los a d m i n i s t r a d o r e s d e l p r o g r a m a a n -
te la clase p o l t i c a , los agentes d e l p r o g r a m a ante los cargos d i r e c t i v o s , etc., t e n i e n -
d o e n cuenta que en todos estos casos cada persona o g r u p o de t r a b a j o ocupa u n
r o l d o b l e , s i e n d o a l m i s m o t i e m p o s u b o r d i n a d o y s u p e r i o r de a l g u i e n . U n caso es-
p e c i a l l o c o n s t i t u y e n los clientes o usuarios d e l sistema, que necesitan ser i n f o r m a -
dos sobe los resultados d e l p r o g r a m a , e l n i v e l de s a t i s f a c c i n de los servicios y la
i g u a l d a d en e l t r a t o a l c l i e n t e .
L a e v a l u a c i n de la r e s p o n s a b i l i d a d es t r a d i c i o n a l m e n t e difcil de i m p l a n t a r en
el m b i t o de las a d m i n i s t r a c i o n e s p b l i c a s , d e b i d o al e x t e n d i d o f e n m e n o d e l m i e -
d o a ser evaluado. Cada u n o t e n d e r a aportar i n f o r m a c i n que n o ponga en c u e s t i n
su puesto d e n t r o del programa. M s a n , toda i n f o r m a c i n disponible sobre la actua-
c i n de u n s u b o r d i n a d o puede ser inesperadamente utilizada para criticar la l a b o r de
u n superior. E n consecuencia, la e v a l u a c i n tiene u n efecto indeseado en la m e d i d a
en que cada cual a s u m i r una a c t i t u d cautelosa antes de t o m a r decisiones cruciales
que p u e d a n resultar c o m p r o m e t e d o r a s .
2.2.2. E v a l u a c i n para el d e s a r r o l l o
Persigue la m e j o r a de las a c t i v i d a d e s , e l f o r t a l e c i m i e n t o de la o r g a n i z a c i n y el
d e s a r r o l l o de las capacidades d e las personas q u e p a r t i c i p a n de d i s t i n t o m o d o en
los p r o g r a m a s sociales y en las o r g a n i z a c i o n e s de s e r v i c i o s . L a e v a l u a c i n es u n a
p a r t e m s de las tareas d i a r i a s de g e s t i n , c o m o u n p r o c e s o p a r a l e l o de segui-
m i e n t o o r e v i s i n o r i e n t a d o al a p r e n d i z a j e y la c o r r e c c i n d e e r r o r e s . L a e v a l u a -
c i n se p a r e c e m s a u n e s t u d i o de caso, s u b r a y a n d o la r e c o g i d a d e i n f o r m a c i n
c u a l i t a t i v a q u e p u e d a ser o b t e n i d a y u t i l i z a d a c o n r a p i d e z p a r a m e j o r a r e l d i s e o
d e los p r o g r a m a s , d i r i g i r los p r o y e c t o s en c u r s o o d e s c u b r i r c m o se s i e n t e n los
b e n e f i c i a r i o s d e l p r o g r a m a . L a s m l t i p l e s presiones y la u r g e n c i a d e r e s u l t a d o s
p u e d e n l l e v a r a r e a l i z a r estudios q u e se m u e v e n e n e l l m i t e de l o c i e n t f i c a m e n -
te v l i d o .
2.2.3. E v a l u a c i n para el c o n o c i m i e n t o
L a e v a l u a c i n persigue c o m p r e n d e r a m p l i a m e n t e l o s f e n m e n o s b a j o e s t u d i o ,
a n a l i z a n d o las causas de los p r o b l e m a s y los p o r o u s d e l f u n c i o n a m i e n t o de las
operaciones c o n el o b j e t i v o de a u m e n t a r o r e n a r el c o n o c i m i e n t o d i s p o n i b l e so-
Copitulo 2: Propsitos y actividades principales del proceso evolutivo I *\
l r i , , ' | i i o l . l e m a s y las p o s i b i l i d a d e s de i n t e r v e n c i n . L o s p r o b l e m a s se i n v e s t i g a n
m i l i / . i n ' l " ideas t e r i c a s que p u e d e n d e r i v a r s e de las ciencias sociales o de l o s
v l 1 , 1 , 1 , a , e s
pUOtM de 'as audiencias interesadas. Las ideas sobre el f u n c i o n a -
miento d r l | i i o ( ' i a m a tienen q u e v e r con las ciencias aplicadas a las o r g a n i z a c i o -
nes u M t i e v a l u a d o r q u i e n i m p o n e e l p l a n de i n v e s t i g a c i n , en f u n c i n de sus
,,itrn < ' " i ' m n o s o c o r p o r a t i v o s ; m s b i e n p o n e al servicio del p r o g r a m a sus
C O I H M imii-111(1'. v m t o d o s c i e n t f i c o s p a r a c o m p r e n d e r la r e a l i d a d de los p r o b l e -
n i . i . y ii( .. n i . n i | l a b i l i d a d e s de m e j o r a , i n t r o d u c i e n d o u n e l e m e n t o de r e f l e x i n
s i s t c m i i i a v * m u .i <n el discurso social. L a s n t e s i s de investigaciones es una es-
t r a t e g i u i i l p i n a i r - s u m u la i n f o r m a c i n s o b r e m l t i p l e s estudios y c o n c r e t a r l o
que se s a l i r ' . . ' l ' i r m i tipo d e t e r m i n a d o de p r o g r a m a s .
A u n q u e <isla u n a cierta b o r r o s i d a d y complementariedad (Chelimsky,
1997a), y s e a [Misililr s i n g r a n esfuerzo i d e a r u n p l a n t e a m i e n t o g l o b a l c o n t i n g e n t e
( C h e n , Vrnt. K r U . l i o s o , 1994a; S t u f f l e b e a m ef al., 1971), n o parece r e c o m e n d a b l e
desarroll.u m o d e l o s i | n e | K - i s i g a n alcanzar c o n u n m i s m o d i s e o t o d o t i p o de p r o -
p s i t o s u objetivos I s m s til apreciar los matices q u e se d e r i v a n de cada p r o p -
sito, p a r a e n i i q u c c e r el cam|K> de la d i s c i p l i n a y para estar m e j o r p r e p a r a d o s a n t e
c u a l q u i e r s i t u a c i n que se presente ( A l v i r a , 1998; R e b o l l o s o y R e b o l l o s o , 1998a).
E l e v a l u a d o r d e i u l n a p i n t o a sus clientes c u l e s s e r n los o b j e t i v o s p r i o r i t a r i o s de
la e v a l u a c i n , t r a t a n d o de q u e s e l o g i e u n n i v e l de r e s p o n s i v i d a d y u t i l i d a d eleva-
do sin que se reduzcan las p o s i b i l i d a d e s de l l e v a r el e s t u d i o a la p r c t i c a .
2.3. A c t i v i d a d e s g e n e r a l e s d e e v a l u a c i n
E l d i s e o y la i m p l e m e n t a c i n de las evaluaciones dependen de los p r o p s i t o s e s p e c -
ficos a los cuales sirven. Las evaluaciones difieren de acuerdo con el t i p o de c u e s t i n
que estudian, el estadio en que se encuentre el p r o g r a m a , si el programa es n u e v o o
establecido, y el t i p o de d e c i s i n que el e v a l u a d o r i n t e n t a informar. Siguiendo el es-
quema b i e n c o n o c i d o de Rossi y F r e e m a n (1989), la e v a l u a c i n s i s t e m t i c a c o m p r e n -
de una serie de actividades e s p e c f i c a s , siendo til distinguir tres clases diferentes de
e v a l u a c i n relacionadas con el anlisis de: la c o n c e p t u a l i z a r i n y el d i s e o de las i n -
tervenciones, la d i r e c c i n y responsabilidad en la i m p l e m e n t a c i n del p r o g r a m a , y la
v a l o r a c i n de la u t i l i d a d (efectividad y eficiencia del p r o g r a m a ) .
2.3.1. C o n c e p t u a l i z a c i n y d i s e o
D u r a n t e el p e r o d o de su c o n c e p t u a l i z a c i n y d i s e o , las intervenciones sociales pueden
ser consideradas c o m o respuestas o intentos de solucin a problemas comunes. E l o r i -
gen de un programa es siempre el reconocimiento de un p r o b l e m a social, entendido co-
m o conjunto diverso de defectos socialmente reconocidos en las condiciones sociales y
humanas. L a planificacin del programa implica u n conjunto de ideas sobre q u activi-
dades p o d r a n resolver el problema, y c m o llevarlas a la p r c t i c a p o r una o r g a n i z a c i n
 | Porte Diseo de polticas y programas de inte/vencin social
de servicios sociales o similar. Las principales cuestiones planteadas en la evaluai ion i .
la c o n c e p t u a l i z a c i n y el d i s e o de un programa son (Rossi y Freeman, 1989):
E s t adecuadamente conceptualizado?
C u l es l a l o c a l i z a c i n y el alcance d e l p r o b l e m a a resolver en la p o b l a c i n 11|
referencia?
E s t d i s e a d o p a r a alcanzar los o b j e t i v o s perseguidos?
H a y u n r a c i o n a l q u e l o apoye?
H a n sido raaximizadas las o p o r t u n i d a d e s de c o n c e s i n del servicio o activi-
dades d e l p r o g r a m a ? (es decir, e x i s t e n p o s i b i l i d a d e s de que su a p l i c a c i n
sea p t i m a ? ) .
C u l e s son los costes proyectados o existentes?" ( C u l es el presupuesto?)
C u l es l a r e l a c i n entre costes o presupuesto asignado y beneficios?
2.3.2. D i r e c c i n y responsabilidad en la i m p l e m e n t a c i n
H a y sobradas razones para que los responsables de la d i r e c c i n de u n p r o g r a m a
r e q u i e r a n supervisar su i m p l e m e n t a c i n y e j e c u c i n . P o r e j e m p l o , la g e s t i n y ad-
m i n i s t r a c i n de recursos h u m a n o s , la d i r e c c i n de actividades tan eficientemente
c o m o sea p o s i b l e o e v i t a r el uso i n a p r o p i a d o d e los recursos y otras formas de ac-
t u a c i n p o c o eficaces. L o s p a t r o c i n a d o r e s y g r u p o s interesados exigen evidencia
p a l p a b l e de q u e l o que se e s t i n v i r t i e n d o e n los p r o g r a m a s e s t j u s t i f i c a d o desde
diversos p u n t o s de vista. E n m u c h o s p r o g r a m a s , p a r t i c u l a r m e n t e los que respon-
d e n a inversiones p b l i c a s , el feedback de i n f o r m a c i n e v a l u a t i v a es u n a h e r r a -
m i e n t a p o d e r o s a p a r a d o c u m e n t a r la e f e c t i v i d a d o p e r a c i o n a l de l a o r g a n i z a c i n
q u e ofrece e l servicio, justificar e l trabajo de los profesionales, solicitar apoyos o
n u e v o s recursos y d e f e n d e r su v a l o r f r e n t e a las actuaciones q u e l l e v a n a cabo
o t r a s organizaciones e n el m i s m o sector social d e l p r o g r a m a .
N o hay f o r m a de c o m p r o b a r l a eficacia de u n p r o g r a m a a menos q u e se haya
l l e v a d o a efecto en la f o r m a adecuada p r o y e c t a d a en el d i s e o y p l a n i f i c a c i n o r i -
g i n a l . E n algunas ocasiones n o e s t d i s p o n i b l e el p e r s o n a l , otras veces las p l a n t i -
llas profesionales e s t n presionadas p o r g r u p o s p o l t i c o s o t i e n e n o b j e t i v o s p r o -
p i o s d i f c i l m e n t e c o m p a t i b l e s c o n e l p r o g r a m a ; e n a l g u n o s casos n o t i e n e n
m o t i v a c i n o s i m p l e m e n t e n o saben c m o realizar sus tareas; en otros, l a i n f l a c i n
o l a e s t i m a c i n e r r n e a d e l presupuesto l l e v a n a q u e la p l a n t i l l a m o d i f i q u e sus es-
fuerzos. T a m b i n hay ejemplos en los que n o existe u n n m e r o adecuado de p a r t i -
cipantes, n o e s t n b i e n i d e n t i f i c a d o s o s i m p l e m e n t e n o c o o p e r a n con el p r o g r a m a .
E l s e g u i m i e n t o de los p r o g r a m a s p u e d e a l e r t a r d e estos y o t r o s p r o b l e m a s p r o p o r -
c i o n a d o u n a v a l o r a c i n s i s t e m t i c a de las siguientes cuestiones:
A l c a n z a el p r o g r a m a a la p o b l a c i n o b j e t i v o de referencia?
S e llevan a cabo los esfuerzos de la i n t e r v e n c i n tal y c o m o f u e r o n especi-
ficados e n el d i s e o d e l p r o g r a m a ?
Capitulo 2: Propsitos y octividodes principales dd proceso evolutivo 45
^2.3 3- V a l o r a c i n de la utilidad del p r o g r a m a
Es crtico conocer el g r a d o en que u n p r o g r a m a p r o d u c e resultados deseados y
c u l e s han sido los beneficios en r e l a c i n a sus costes. E l p r i m e r p u n t o se refiere a
la eficacia del p r o g r a m a y el segundo a su eficiencia. L a eficiencia se valora res-
pectivamente a t r a v s de los a n l i s i s coste-beneficio y coste-efectividad, los cuales
constituyen c o n j u n t a m e n t e la u t i l i d a d d e l p r o g r a m a . A menos que los resultados o
la r e p e r c u s i n de u n p r o g r a m a sea d e m o s t r a b l e , es difcil defender su i m p l e m e n t a -
c i n y c o n t i n u a c i n . A d e m s , hay que contrastar la eficacia con los costes, es de-
cir, hay que ver si existe u n e q u i l i b r i o e n t r e el n i v e l de beneficio alcanzado y el
coste pagado p o r e l l o L a e s t i m a c i n de los resultados en r e l a c i n a los costes pue-
de ser e n g a o s a y c o n t r o v e r t i d a d e b i d o a que r e q u i e r e c o n frecuencia realizar
asunciones sobre el v a l o r m o n e t a r i o de las actividades relacionadas con el p r o g r a -
ma y el v a l o r m o n e t a r i o de los beneficios, m u y p r o b l e m t i c a s cuando se q u i e r e
traducir en d i n e r o el v a l o r de la salud p s i c o l g i c a o de la vida h u m a n a .
L a e v a l u a c i n de la eficacia m i d e el g r a d o en q u e u n p r o g r a m a causa u n cam-
b i o en la d i r e c c i n deseada. E l c o n c e p t o i m p l i c a la d e f i n i c i n de un c o n j u n t o de
objetivos (fsicos, conductuales, c o m u n i t a r i o s , etc.), especificados y definidos ope-
racionalmente, y la d e f i n i c i n de u n c o n j u n t o de c r i t e r i o s de x i t o . Para realizarla
el e v a l u a d o r necesita u n p l a n de r e c o g i d a de datos q u e p e r m i t a demostrar que los
cambios observados son f u n c i n de las actividades realizadas en el p r o g r a m a , y
que estos cambios no p u e d e n explicarse de o t r o m o d o . L a s estrategias b s i c a s de
a n l i s i s se d i s c u t i r n en c a p t u l o s posteriores ( e x p e r i m e n t o s aleatorizados, experi-
mentos n o aleatorizados, estudios cuasi-experimcntales). Las evaluaciones de la efi-
cacia son esenciales si se desea comparar diferentes programas o c o m p r o b a r la u t i l i -
dad de nuevos esfuerzos para m e j o r a r u n p r o b l e m a c o m u n i t a r i o particular. Por el
c o n t r a r i o , la e v a l u a c i n de l a eficiencia es d e m a n d a d a a consecuencia de la esca-
sez creciente de recursos para los p r o g r a m a s . Las i n t e r v e n c i o n e s c o m p i t e n en de-
t e r m i n a d o s foros (asociaciones, fundaciones i n t e r n a c i o n a l e s , y a varios niveles en
las agencias g u b e r n a m e n t a l e s ) . E n ocasiones, la e l e c c i n e n t r e dos alternativas de
a c t u a c i n tiene q u e ver c o n la c u e s t i n e c o n m i c a , e n f u n c i n de que p r o d u z c a n
los, suficientes beneficios c o n u n coste r a z o n a b l e c o m o para otorgarles una deter-
m i n a d a ayuda e c o n m i c a . L a s p r i n c i p a l e s cuestiones sobre la v a l o r a c i n de la u t i -
l i d a d d e l p r o g r a m a son:
S e muestra el p r o g r a m a efectivo en lograr sus metas u objetivos pretendidos?
P u e d e n explicarse los resultados d e l p r o g r a m a p o r a l g n proceso a l t e r n a t i -
v o n o i n c l u i d o o p r e v i s t o en d i c h o p r o g r a m a ?
T i e n e el p r o g r a m a efectos que no se p l a n i f i c a r o n ?
C u l e s son los costes de entrega de los servicios y beneficios de los p r o g r a -
mas que se o t o r g a n a los participantes?
H a c e el p r o g r a m a un uso eficiente de los recursos, en c o m p a r a c i n con los
usos alternativos de los mismos?
 46 finir I [)nr/io de tolitkos y programas de intervencin social
1.4. D i s e o d e l a e v a l u a c i n
D e un m o d o simplificado, se p o d r a e q u i p a r a r la e v a l u a c i n c o n u n p r o c e d i m i e n t o
de investigacin convencional en e l que t i e n e n i m p o r t a n c i a las cuestiones de objeti-
vos, d i s e o , recogida y anlisis de i n f o r m a c i n . U n a diferencia relevante es que las
preguntas de trabajo no se originan en el investigador, sino en las audiencias a las que
sirve. Toda la e v a l u a c i n se organiza en f u n c i n d e las necesidades de i n f o r m a c i n
de los grupos interesados, hasta e l p u n t o de q u e el m o d o en que los resultados se
presentan es una p r e o c u p a c i n c o n t i n u a d e l evaluador, e l cual persigue el o b j e t i v o
operativo de encontrar y presentar la i n f o r m a c i n de m a n e r a q u e logre u n m a y o r
impacto e influencia en las personas relacionadas.
2.4.1. Elementos de d e c i s i n
E n s n t e s i s , e l d i s e o de una e v a l u a c i n i m p l i c a t o m a r decisiones respecto de
los siguientes temas ( N e w c o m e r , H a t r y y W h o l e y , 1994):
a) E l diseo, en e l cual se d e b e n d e t e r m i n a r c u l e s son las preguntas de eva-
l u a c i n , q u t i p o de comparaciones se necesitan y c m o s e r u t i l i z a d a la i n -
f o r m a c i n . L a s m l t i p l e s preguntas posibles d e b e n ser p r i o r i z a d a s , f o r m u -
larse de m a n e r a c l a r a y t i l , y d e b e n ser p r e g u n t a s q u e p u e d a n o b t e n e r
respuesta ( p o r e j e m p l o , n o s o n adecuadas aquellas q u e i m p l i q u e n construc-
tos de i m p o s i b l e o p e r a t i v i z a c i n o d e m a s i a d o abstractas). P o r l t i m o , hay
q u e atender a los costes de l a e v a l u a c i n y es c o n v e n i e n t e realizar estudios
p i l o t o para p o n e r a p r u e b a e l e s t u d i o a p e q u e a escala.
b) L a recogida de datos, c o n c r e t a n d o las fuentes p r i n c i p a l e s de i n f o r m a c i n ,
los p r o c e d i m i e n t o s p a r a l a r e c o g i d a y los p r o b l e m a s d e l m u e s t r e o y de la
calidad de los datos. H a y q u e tener e n c u e n t a las posibles dificultades y ba-
rreras p o l t i c a s , b u r o c r t i c a s y t c n i c a s c o n e l o b j e t i v o de conseguir los da-
tos m s relevantes c o n e l m e n o r coste.
c) E l anlisis de datos, debiendo anticiparse los anlisis que p o d r n realizarse y la
t r a n s f o r m a c i n de los datos para que resulten m s t i l e s . L o s anlisis condi-
cionan el f o r m a t o de los datos que se espera recoger, y pueden ayudar a es-
tructurar la i n f o r m a c i n de resultado de f o r m a apropiada en r e l a c i n con las
preguntas de e v a l u a c i n y las audiencias a las que se dirigen los informes.
d) E l uso de la informacin, l o cual supone d e f i n i r q u datos se r e u n i r n p a r a
cada audiencia e s p e c f i c a , si se e l a b o r a r n r e c o m e n d a c i o n e s y c m o se ana-
l i z a r el i m p a r t o de estas. E l i m p a c t o de los resultados n o se r e d u c e a u n
p r o b l e m a de j u g a r c o n e l a t r a c t i v o de los i n f o r m e s . Para ganar i n f l u e n c i a , el
e v a l u a d o r utiliza los resultados de m a n e r a e s t r a t g i c a , p r e s e n t a n d o e v i d e n -
cias q u e avalen sus r e c o m e n d a c i o n e s p a r a el c a m b i o d e l p r o g r a m a . A pesar
de l o c u a l , N e w c o m e r , H a t r y y W h o l e y (1994) sugieren que la eficacia de-
Capitulo 2: Propsitos y actividades principales del proceso evolutivo 47
pende de que las evaluaciones se p l a n i f i q u e n , d i s e e n e i m p l e m e n t e n efi
c i e n t e m e n t e , y de que se p r o d u z c a n r e s u l t a d o s c r e b l e s y relevantes p a r a
e s t i m u l a r la m c j o i a del p r o g r a m a .
2.4.2. D i s e o s e g n el t i p o de i n t e r v e n c i n social
E l d i s e o de las evaluaciones debe tener en c u e n t a la clase de i n t e r v e n c i n
que e s t siendo o b j e t o de estudio N u e v a m e n t e c o n Rossi y F r e e m a n (1989), las
clases i m p o r t a n t e s de i n t e r v e n c i o n e s i n c l u y e n : i n t e r v e n c i o n e s i n n o v a d o r a s , en el
sentido de que no lian sido intentadas con a n t e r i o r i d a d ; modificaciones de p r o g r a -
mas existentes; y programas existentes (o r s t a b l e c i d o s ) .
ri) Evaluaciones dr intervenciones innovadoras. L a m a y o r a de los p r o g r a m a s
que se p i e s e n t a n c o m o " n u e v o s " o " i n n o v a d o r e s " son modificaciones m s
o menos m a q u i l l a d a s de i n t e r v e n c i o n e s ya existentes. Se entiende p o r n o -
vedoso que las actividades de que consta el p r o g r a m a n o h a y a n sido aplica-
das alguna vez a la p o b l a c i n de referencia o al c a m p o de i n t e r v e n c i n q u e
se p r e t e n d e evaluar. E n c o n c r e t o , e l p r o g r a m a es i n n o v a d o r si no ha estado
sujeto a i m p l e m e n t a c i n y v a l o r a c i n , b i e n p o r q u e :
1. L a i n t e r v e n c i n e n s m i s m a es a n u n c a m p o e m e r g e n t e de i n v e s t i g a -
c i n y d e s a r r o l l o ; es decir, n o h a y e v i d e n c i a ( o e s t m u y l i m i t a d a ) de
q u e t e n g a u n i m p a c t o a t r a v s de p r o g r a m a s b i e n e s t a b l e c i d o s . P o r
e j e m p l o , los p r o g r a m a s de d e s a r r o l l o l o c a l a t r a v s de estrategias de
autoempleo.
2. E l sistema de dispensa d e l p r o g r a m a , o p a r t e s d e l sistema, t o d a v a n o
han sido adecuadamente c o m p r o b a d a s . P o r e j e m p l o , u n p r o g r a m a q u e
i n c l u y e la idea a n n o c o m p r o b a d a c o n u n a e v a l u a c i n f o r m a l de u t i l i z a r
estudiantes u n i v e r s i t a r i o s para p r o p o r c i o n a r a p o y o en casa a las personas
de la tercera edad.
3. L o s o b j e t i v o s de los p r o g r a m a s s o n nuevos o m u y a m p l i o s ! P o r e j e m p l o ,
la actual r e f o r m a d e l sistema u n i v e r s i t a r i o p a r a i n t r o d u c i r nuevos m t o -
dos docentes en todas las t i t u l a c i o n e s i m p a r t i d a s en E s p a a .
4. U n p r o g r a m a o r i g i n a l m e n t e ejecutado en respuesta a u n o b j e t i v o se c o n -
t i n u a o e x p a n d e p o r q u e t i e n e i m p a c t o en o t r o o b j e t i v o d i f e r e n t e . P o r
e j e m p l o , u n p r o g r a m a de a t e n c i n a a las v c t i m a s d e l m a l t r a t o d o m s t i -
co que se r e f o r m u l a para d i r i g i r s e a los hijos de f a m i l i a r c o n p r o b l e m a s
p o r q u e se ha o b s e r v a d o q u e el p r o g r a m a i n i c i a l t e n a u n i m p a c t o n e g a t i -
vo sobre los n i o s .
b) Evaluaciones de programas perfeccionados o refinados. U n a vez puesto en
m a r c h a u n p r o g r a m a es interesante c o m p r o b a r las f o r m a s en que o p e r a . Y
 48 I Porte /: Diseo de polticas y programas de intervencin socio/
la r a z n de m a y o r peso para hacer esto es q u e s l o asf p i n Ir m i . ni
1
m e j o r a r su eficacia o eficiencia; en o t r a s palabras, para mejorat m i l m | i i
o p a r a conseguir el m i s m o a m e n o r coste p o r u n i d a d de i m p a c t o 11 , ,
supuesto otras razones para efectuar evaluaciones mejoradas. U n a M |..
el p r o g r a m a ofrezca servicios j u s t o s (equitativos), es decir, que se . l i . p .
los servicios a la p o b l a c i n de r e f e r e n c i a de la misma f o r m a que 11 K m . ,
con la p o b l a c i n general. Se hace h i n c a p i en la d i f i c u l t a d de separa i pTQ
gramas i n n o v a d o r e s y p r o g r a m a s r e f o r m a d o s (algunas veces llamados Ir
p u r a d o s ) , p o r q u e a veces los c a m b i o s son m e n o r e s y c l a r a m e n t e m o d i f i c a
bles. O t r a s veces son costosos y p u e d e n t e n e r i m p o r t a n t e s r a m i f i c a c i o n r
en las redes de servicios h u m a n o s . P o r e j e m p l o , Rossi y F r e e m a n (1989)
m e n c i o n a n el caso de los p r o g r a m a s de s a l u d c o m u n i t a r i a que i n t e g r a n u n
t r o s de s a l u d c o n hospitales u n i v e r s i t a r i o s . E l o b j e t i v o b s i c o de o f r e t r i
c u i d a d o s m d i c o s a personas de baja r e n t a n o c a m b i a en este caso, poro
p u e d e n a u m e n t a r los costes a n i v e l n a c i o n a l y verse alterada la calidad d r l
servicio ofrecido.
c) Evaluaciones de programas establecidos. Son programas que han venido
i m p l e m e n t n d o s e d u r a n t e u n c i e r t o n m e r o de a o s en localidades dife-
r e n t e s , q u e c u e n t a n c o n u n a e s t r u c t u r a de f u n c i o n a m i e n t o y financiacin
estable. L a e v a l u a c i n es aconsejable p o r u n a serie de razones. E n p r i n c i -
p i o , p u e d e n h a b e r s i d o c o n s t i t u i d o s p o r u n c o m p l e j o c o n j u n t o de razones
externas o p o l t i c a s , y es i m p o r t a n t e t e n e r d a t o s de su i m p a c t o y de la ra-
z n c o s t e / b e n e f i c i o e n o r d e n a j u s t i f i c a r l a d e c i s i n de c o n t i n u a r , expan-
d i r l o s o t e r m i n a r l o s . L a s a c t i v i d a d e s e v a l u a t i v a s p u e d e n estar p r o v o c a d a s
p o r c a m b i o s e n l o s recursos d i s p o n i b l e s , d i s e o s p o l t i c o s , p r i o r i d a d e s de
los m i e m b r o s c o m u n i t a r i o s , a s c o m o c a m b i o s observados en las p o b l a c i o -
nes de r e f e r e n c i a . Q u i z s l o mas i m p o r t a n t e al e s t i m u l a r evaluaciones de
p r o g r a m a s ya establecidos es l a e v i d e n c i a o sospecha de q u e el p r o g r a m a
ya n o es e f i c i e n t e . A d e m s , u n p r o g r a m a p u e d e estar sujeto a r e v i s i o n e s
l e g i s l a t i v a s q u e p r o p o r c i o n a n d a t o s p a r a la t e r m i n a c i n a u t o m t i c a si
p i e r d e e f i c a c i a y fracasa e n d e m o s t r a r su u t i l i d a d . L a s e v a l u a c i o n e s de
p r o g r a m a s establecidos se c e n t r a n g e n e r a l m e n t e e n evaluaciones de i m -
p a c t o y e n a n l i s i s c o s t e / b e n e f i c i o , l i m i t a d a s c o n frecuencia a e x a m i n a r
la dispensa de los s e r v i c i o s . E n tales casos, se c e n t r a n e n las cuestiones
del control, seguimiento y direccin del programa ( m o n i t o r i z a c i n ) . Los
servicios sociales son m u y v u l n e r a b l e s al c u e s t i o n a m i e n t o s e r i o y r e s p o n -
sable de c m o se e f e c t a l a e j e c u c i n , a s c o m o a los ataques p o l t i c o s o
r e l a c i o n a d o s c o n los m e d i o s d e c o m u n i c a c i n . L o s resultados de l a eva-
l u a c i n , t a n t o de l a m o n i t o r i z a c i n de l a i m p l e m e n t a c i n d e l p r o g r a m a
c o m o de las v a l o r a c i o n e s d e l i m p a c t o y de la e f i c i e n c i a , p u e d e n i n f l u i r las
decisiones sobre el d e s t i n o de los p r o g r a m a s y de las o r g a n i z a c i o n e s res-
ponsables.
Capitulo 2: Propsitos y actividades principales del proceso evolutivo j 4 9 '
2.5. E l p r o c e s o d e i n t e r v e n c i n s o c i a l
La i n t e r v e n c i n social es una a c c i n i n t e n c i o n a l s i s t e m t i c a dirigida a resolver al-
g n p r o b l e m a social, desarrollada p o r organizaciones con capacidad para m o v i l i -
n zar recursos muchas veces considerables (los o r g a n i s m o s de la a d m i n i s t r a c i n p -
blica, por e j e m p l o , o diversas fundaciones y O N G ) . L a i n t e r v e n c i n se ajusta a la
e v o l u c i n de los p r o b l e m a s sociales q u e t r a t a de resolver. E n general, e s t n i m p l i -
cados d i s t i n t o t i p o de agentes y grupos de i n t e r s (afectados, beneficiarios, t c n i -
cos, etc.) que t o m a n decisiones relevantes e n u n a d i m e n s i n t e m p o r a l , en f u n c i n
de c m o e v o l u c i o n a n los p r o b l e m a s sociales que se e n f r e n t a n y las condiciones so-
ciales, e c o n m i c a s y p o l t i c a s que f o r m a n su c o n t e x t o . L a i n t e r v e n c i n , p o r t a n t o ,
es un proceso que se ajusta siguiendo una perspectiva c o n t i n g e n t e .
E n el m b i t o de las a d m i n i s t r a c i o n e s p b l i c a s y los servicios sociales, la i n t e r -
v e n c i n se identifica c o n l a idea de p r o g r a m a . E n r e a l i d a d , p r o g r a m a es un c o n -
cepto flexible q u e p u e d e aplicarse a u n c o n j u n t o m u y a m p l i o de acciones que se
desarrollan en contextos de i n t e r v e n c i n m u y diferentes (empresariales, educati-
vos, sanitarios, entre o t r o s ) . L a siguiente d e f i n i c i n de R e b o l l o s o (1994a: 237), sin-
tetiza c o n c l a r i d a d sus e l e m e n t o s b s i c o s : " a s u m i m o s que el significado de un p r o -
grama de i n t e r v e n c i n social es b s i c a m e n t e u n c o n j u n t o de recursos organizados
y aciones d i r i g i d a s a o b j e t i v o s comunes y q u e l a e j e c u c i n de ese p r o g r a m a i n c l u y e
los recursos d e l p r o g r a m a , las actividades y los resultados de estas actividades". L a
p l a n i f i c a c i n r a c i o n a l , e l c o n t r o l de la i m p l e m e n t a c i n y el c l c u l o de la eficacia
son claves d e n t r o de la c o n c e p c i n de p r o g r a m a m s e x t e n d i d a entre los especia-
listas (Rossi y F r e e m a n , 1989).
L a i n t e r v e n c i n t o m a c o m o p u n t o de p a r t i d a la existencia de un p r o b l e m a so-
cial r e l e v a n t e , generalmente cuando, p o r su i m p o r t a n c i a o p o r las c a r a c t e r s t i c a s
de los grupos i m p l i c a d o s , se inserta d e n t r o d e l discurso de los grupos p o l t i c o s que
caracterizan la d i n m i c a de los servicios sociales. E l a n l i s i s d i a g n s t i c o del p r o -
b l e m a da lugar a la p l a n i f i c a c i n de una a c c i n s i s t e m t i c a ( u n p r o g r a m a ) que tie-
ne c o m o elementos fundamentales el e s t a b l e c i m i e n t o de una serie de metas y ob-
j e t i v o s d e t r a b a j o ( l a n u e v a s i t u a c i n s o c i a l q u e se d e s e a a l c a n z a r ) , u n a
e x p l i c a c i n de c m o las actividades planificadas r e s o l v e r n el p r o b l e m a ( t e o r a
del p r o g r a m a ) y u n c o n j u n t o de decisiones sobre la e s t r u c t u r a , recursos y funcio-
nes de las organizaciones de servicios q u e p o n d r n en .marcha el p r o g r a m a ( t e o r a
de la i m p l e m e n t a c i n ) (Scbeirer, 1987). E n u n paso p o s t e r i o r el p r o g r a m a se lleva
a la p r c t i c a ( i m p l e m e n t a c i n ) , siendo relevantes u n c o n j u n t o de actividades eva-
luativas q u e aseguran el c o r r e c t o d e s a r r o l l o de la i n t e r v e n c i n y la v a l o r a c i n de
los resultados obtenidos. E n el m o d e l o t r a d i c i o n a l de i n t e r v e n c i n , la e v a l u a c i n
ocupa u n lugar bien d e f i n i d o en r e l a c i n c o n tres actividades clave: la v a l o r a c i n de
necesidades ( e s t a b l e c i m i e n t o de p r i o r i d a d e s y urgencias), el s e g u i m i e n t o (evalua-
c i n del ajuste de la i n t e r v e n c i n respecto del p l a n de t r a b a j o ) y la v a l o r a c i n de
resultados ( e v a l u a c i n de resultados e i m p a c t o s ) .
 50 Porte i: Diseo de polticos y programen de intervencin soool
M s a l l de los conceptos t r a d i c i o n a l e s , R e b o l l o s o , F e r n n d e z - R a m r e z y C a n -
t n (2003) p r o p o n e n u n m o d e l o s i s t e m t i c o y c o n t i n g e n t e en el que las actividades
de e v a l u a c i n se e x t i e n d e n p a r a s e r v i l c o m o g u a de actuaciones a l o l a r g o d e l
proceso c o m p l e t o de i n t e r v e n c i n . L a figura 2.1 muestra el proceso i n t e g r a d o de
i n t e r v e n c i n - e v a l u a c i n , i n c l u y e n d o las correspondientes fases de la i n t e r v e n c i n
y las actividades evaluativas m s adecuadas e n cada m o m e n t o . E l m o d e l o tiene u n
a l t o valor h e u r s t i c o p o r cuanto sugiere, siguiendo u n c r i t e r i o contingente, q u activi-
dades de e v a l u a c i n p u e d e n realizarse e n el m o m e n t o e n que se requieren los servi-
cios del evaluador, teniendo c o m o referencia la s i t u a c i n en la que se encuentra el
proceso de i n t e r v e n c i n . I g u a l m e n t e , d a cabida a los tres grandes p r o p s i t o s de la
e v a l u a c i n . A l definirse c o m o u n a a c t i v i d a d subsidiaria de la i n t e r v e n c i n , los r e -
sultados evaluativos s i r v e n para afinar, m e j o r a r o a p o r t a r la i n f o r m a c i n necesaria
para t o m a r decisiones f u n d a m e n t a d a s sobre la m a r c h a d e l p r o g r a m a ( e v a l u a c i n
o r i e n t a d a al d e s a r r o l l o ) ; al enfatizar e l e s t u d i o de las relaciones causales e n t r e dis-
t i n t o s factores i m p l i c a d o s e n la i n t e r v e n c i n , s i r v e p a r a alcanzar c o n o c i m i e n t o s
v l i d o s sobre la s o l u c i n de p r o b l e m a s sociales y la c r e a c i n d e programas de i n -
t e r v e n c i n ( e v a l u a c i n o r i e n t a d a al c o n o c i m i e n t o ) ; p o r l t i m o , al i n c l u i r u n a n l i -
sis de t o d o t i p o de resultados e i m p a c t o s d e l p r o g r a m a , sirve para i n f o r m a r a los
grupos interesados acerca d e l x i t o y las consecuencias de la i n t e r v e n c i n (evalua-
c i n o r i e n t a d a a la r e s p o n s a b i l i d a d ) . Cada fase de la i n t e r v e n c i n Ueva asociada
una a c t i v i d a d general de e v a l u a c i n , f a c i l i t a n d o q u e el e v a l u a d o r sepa q u accio-
nes debe e m p r e n d e r en cada m o m e n t o d e l proceso. N o es necesario ejecutar t o d o
el b l o q u e de acciones de u n m o d o m o n o l t i c o , l o c u a l s u p o n d r a una i n v e r s i n i m -
p o r t a n t e en esfuerzo y recursos, sino que debe decidirse la t a r e a a realizar d e p e n -
d i e n d o de los intereses existentes y de los o b j e t i v o s y p r o p s i t o s q u e se hayan es-
tablecido (Chen, 1 9 % ) .
E l m o d e l o se estructura s e g n dos ejes. E n e l eje h o r i z o n t a l se describen las
actividades del proceso a l o l a r g o de u n ciclo t e m p o r a l , c o n la p e c u l i a r i d a d de q u e
es factible r e t o r n a r a actividades y a finalizadas e n caso de q u e fuera necesario. E l
eje v e r t i c a l describe cada m o m e n t o d e l proceso a t r a v s de seis niveles de a n l i s i s
que t r a t a n de agotar las c a r a c t e r s t i c a s o p a r m e t r o s fundamentales d e l proceso de
i n t e r v e n c i n - e v a l u a c i n . L a d e s c r i p c i n de cada fase d e l proceso se d e t a l l a r en
cada u n o de los c a p t u l o s correspondientes a l o l a r g o d e l l i b r o , u t i l i z a n d o dichos
niveles t a l c o m o se aclara a c o n t i n u a c i n .
a) Nivel de intervencin social. L a i n t e r v e n c i n p u e d e realizarse en d i s t i n t o s
m o m e n t o s de la e v o l u c i n d e l p r o b l e m a social y de sus consecuencias. D i s -
t i n g u i m o s tres t i p o s : p u e d e d i r i g i r s e a atajar las causas de los p r o b l e m a s
( i n t e r v e n c i n p r i m a r i a ) , a r e t a r d a r su d e s a r r o l l o y r e d u c i r sus efectos (se-
c u n d a r i a ) , o a i m p e d i r que se c r o n i f i q u e n y aparezcan secuelas ( t e r c i a r i a ) .
L a i n t e r v e n c i n secundaria es la que supone la v e r d a d e r a a p l i c a c i n de u n
programa.
(apiiuhi 1 Propsitos y actividades principles del proceso evolutivo ] i .
I>) Nivel dr u ,,;, n. E n cada u n o de los t i p o s anteriores se aplica u n a n l i -
ii i l i l c i r n t c , del c u a l se d e r i v a n los e l e m e n t o s que l a i n t e r v e n c i n
h a b r de I c n e r en cuenta. A s , existe u n a fase t e r i c a de e x p l i c a c i n d e l
pi n b l i m i ' ial antes de la i n t e r v e n c i n p r o p i a m e n t e dicha ( q u antece-
ili n i ausan q u p r o b l e m a s ) , u n a fase de e x p l i c a c i n del p r o g r a m a ( q u
.n i i v i i l i u l r " . l o g r a r n q u resultados) y u n a t e r c e r a fase de e x p l i c a c i n de
los iinp.ii ios de la i n t e r v e n c i n ( q u resultados d e l p r o g r a m a causan q u
i IIIISI i ni ni i.is de segundo o r d e n ) . E l a n l i s i s t e r i c o es til para d e t e r m i -
ii.ii las v.ulilbics causales y de r e s u l t a d o relevantes en cada m o m e n t o del
p i n - s o i i i . n u l o (.ida una de estas variables se traduce en indicadores o p e -
r a c i n n a l e i , te e s t en d i s p o s i c i n de recoger los datos necesarios para r e a l i -
zar la e v a l u a c i n .
i) Nivel le investan ion I s el n i v e l c e n t r a l d e l m o d e l o , e l q u e sirve c o m o
j ' i n . i p . u . i l o m a i decisiones en los restantes niveles ( p a r t e superior de la fi-
rma I ) A s , q u t i p o de i n t e r v e n c i n , q u t e o r a , q u a c t i v i d a d o q u m -
t o d o de e v a l u a c i n se a p l i c a r n , d e p e n d e en cada m o m e n t o de la fase p o r
la que t r a n s c u n a la i n v e s t i g a c i n . E n el g r f i c o se i n c l u y e n la e v o l u c i n d e l
p i o b l e m a y de los esfuerzos realizados para su s o l u c i n a t r a v s del p r o g r a -
m a o i n t e r v e n c i n social. D e m a n e r a e s q u e m t i c a , la idea es que aparece
u n p r o b l e m a social, se p l a n i f i c a u n a i n t e r v e n c i n , se p o n e e n m a r c h a e l
programa, l o g r a n d o u n c o n j u n t o d e efectos, los cuales a su vez p r o d u c e n u n
c o n j u n t o de i m p a c t o s . F i n a l m e n t e , u n a vez c o n c l u i d o el ciclo, h a y q u e t o -
m a r decisiones sobre el f u t u r o a p a r t i r de l o que se ha a p r e n d i d o d u r a n t e e l
proceso.
d) Nivel de evaluacin. Recoge los seis t i p o s generales de e v a l u a c i n , acordes
c o n cada fase del proceso: evaluaciones de c o n t e x t o , de entrada, de p r o c e -
so, de r e s u l t a d o s , de i m p a c t o y c o m p a r a t i v a . E n p a r a l e l o se establece el
p r o c e s o de r e t r o a l i m e n t a c i n , es decir, aquellos m o m e n t o s formales en q u e
el e v a l u a d o r d i s p o n e de i n f o r m a c i n e x h a u s t i v a sobre alguna fase d e t e r m i -
nada, que s e r v i r p a r a que los responsables d e l p r o g r a m a t o m e n decisiones
sobre la a p l i c a c i n d e l m i s m o . A u n q u e l a c o m u n i c a c i n e n t r e el e v a l u a d o r
y las distintas audiencias puede y d e b e o c u r r i r en c u a l q u i e r m o m e n t o q u e
sea c o n v e n i e n t e , c o m o m n i m o el e v a l u a d o r i n f o r m a r c u a n d o disponga de
datos sobre la i m p l e m e n t a c i n c o r r e c t a del p r o g r a m a ( f u n c i n f o r m a t i v a ) ,
sus resultados e i m p a c t o s ( f u n c i n s u m a t i v a ) y sobre la eficacia del p r o c e s o
en c o m p a r a c i n c o n o t r o s casos o i n t e r v e n c i o n e s similares ( f u n c i n p o l t i c a
o administrativa).
e) Nivel de actividades evaluativas. Se c o n c r e t a q u actividades e s p e c f i c a s de
e v a l u a c i n se p u e d e n realizar p a r a d a r c u m p l i d a cuenta de cada u n o de l o s
t i p o s generales de e v a l u a c i n descritos en e l n i v e l anterior. Las actividades
recogidas son s l o u n a muestra o r i e n t a t i v a de las m l t i p l e s p o s i b i l i d a d e s de
las que d i s p o n e el e v a l u a d o r para su t r a b a j o .
 Capitulo 2: Propsitos y actividades principales del proceso evolutivo

f) Nivel de metodologa. E l l t i m o n i v e l a p o r t a i n f o r m a c i n sobre algunos

m t o d o s que se p u e d e n aplicar en c o r r e s p o n d e n c i a con cada actividad de
e v a l u a c i n . C o m o en el caso a n t e r i o r , son s l o una muestra de las m l t i p l e s
opciones disponibles, y en n i n g n caso d e b e r a n coartar la l i b e r t a d , la i m a -
g i n a c i n y l a p o s i c i n e p i s t e m o l g i c a del e v a l u a d o r para utilizar el m t o d o
que resulte m s adecuado, til o ventajoso en cada m o m e n t o .

E n c o n c l u s i n , e l m o d e l o es til p a r a analizar e v o l u t i v a m e n t e la realidad so-

cial y los esfuerzos p l a n i f i c a d o s para i n t e r v e n i r en la misma. Desde u n p u n t o de
vista s i s t m i c o , el sistema p o l t i c o y a d m i n i s t r a t i v o responsable de la i n t e r v e n c i n ,
se i n t r o d u c e o se i m b r i c a en el sistema social en q u e se describe el p r o b l e m a . E n
paralelo, los evaluadores se c o n s t i t u y e n en u n tercer sistema de c o n t r o l i n t e r r e l a -
cionado con los anteriores, e n t e n d i d o el c o n t r o l c o m o u n concepto a m p l i o que i n -
cluye las ideas de r e v i s i n , m o n i t o r i z a c i n y v a l o r a c i n . L o s evaluadores asumen
as u n r o l e x t e m o , u n sistema d e vigilancia q u e analiza c o n t i n u a m e n t e q u decisio-
nes se e s t n t o m a n d o y a p o r t a i n f o r m a c i n e v a l u a t i v a para mejorarlas.
 Procedimientos diagnsticos

I iv. pn H < (liMiicnios d i a g n s t i c o s tienen c o m o o b j e t i v o d e t e n n i n a r la existencia y al-

cance de los problemas sociales que las polticas y programas p b l i c o s t r a t a r n de so-
lucionan < liceo un c o n j u n t o de m t o d o s y prescripciones de o r i e n t a c i n cientfica
paia esta l a i c a , l e n l e al desarrollo de programas muchas veces con base i d e o l g i c a o
electoialista |x>r parte de los partidos p o l t i c o s , o iniciados p o r las denuncias escasa-
mente contrastadas que puedan realizar los medios de c o m u n i c a c i n o los grupos i n -
teresados. I i i d e f i n i t i v a , responde a la exigencia de q u e la i n t e r v e n c i n social se
oriente a la s o l u c i n de problemas debidamente c o m p r o b a d o s .
Es esencial tener i n f o r m a c i n precisa y fiable sobre los p r o b l e m a s sociales y el
c o n t e x t o en que la i n t e r v e n c i n opera, antes de q u e el p r o g r a m a sea d i s e a d o e i m -
p l e m e n t a d o . A l g u n o s autores i n c l u y e n el d i a g n s t i c o d e n t r o de las d e n o m i n a d a s
evaluaciones de c o n t e x t o (Stufflebeam, p o r e j e m p l o , o nosotros m i s m o s ) , y q u i z
s e r a interesante t r a t a r de distinguirlas, siendo el o b j e t i v o de esta l t i m a analizar y
v a l o r a r el c o n t e x t o social a m p l i o p r e v i o a l a i n t e r v e n c i n . E l d i a g n s t i c o es una ac-
t i v i d a d c o m p l e j a que i m p l i c a tareas e s p e c f i c a s tales c o m o identificar necesidades,
p r o b l e m a s y o p o r t u n i d a d e s de m e j o r a , realizar u n p r o n s t i c o de la s i t u a c i n , i d e n -
t i f i c a r recursos, d e t e r m i n a r p r i o r i d a d e s , establecer c o n t i n g e n c i a s , etc. ( A g u i l a r ,
1998; A g u i l a r y A n d e r - E g g , 1992). E l d i a g n s t i c o es u n a a c t i v i d a d diferente de la
i n v e s t i g a c i n t r a d i c i o n a l sobre u n p r o b l e m a social c o n c r e t o . T a m p o c o se identifica
con el a n l i s i s de necesidades, aunque s t e f o r m e p a r t e d e l d i a g n s t i c o .
i E s i m p o r t a n t e a p r e c i a r q u e los p r o b l e m a s sociales s o n c o n s t r u c c i o n e s q u e
r e s p o n d e n a procesos p e c u l i a r e s d e n t r o de la d i n m i c a de la i n t e r a c c i n e n t r e
los g r u p o s sociales. G e n e r a l m e n t e , la i n t u i c i n de u n p r o b l e m a h a r m e l l a e n la
o p i n i n de los m e d i o s d e c o m u n i c a c i n y e n los c r c u l o s p o l t i c o s , p l a n t e n d o s e
en consecuencia la necesidad d e i n i c i a r los esfuerzos de i n t e r v e n c i n . L a p a r t i c i -
p a c i n d e l e v a l u a d o r en esta fase asegura e l d i s p o n e r de u n c o n o c i m i e n t o m s
 56 J Pone I: Diseo de polticas y programas de intervencin social
e x a c t o y f i a b l e sobre las c a r a c t e r s t i c a s d e l m i s m o , las situaciones en <|u
a p a r e c i e n d o y las p e r s o n a s q u e se v e n a f e c t a d a s . D e este m o d o , m e d i a n i l , I
d i a g n s t i c o se c l a r i f i c a la p o b l a c i n o b j e t i v o y se o b t i e n e una i n f o r m a c i n clave
p a r a o r i e n t a r las a c t i v i d a d e s del p r o g r a m a .
C o n c e p t o s clave
Evaluacin de contexto. Fase i n i c i a l
d e l p r o c e s o de i n t e r v e n c i n - e v a -
l u a c i n en la q u e se describen y va-
l o r a n las c o n d i c i o n e s sociales a m -
plias que enmarcan el p r o b l e m a
social y l a p r o p i a i n t e r v e n c i n . E n -
t r e o t r a s , i n c l u y e las t r a d i c i o n a l e s
actividades de e v a l u a c i n de nece-
sidades y e v a l u a c i o n e s diagnsti-
cas.
T e o r a del problema. H i p t e s i s c o n la
c u a l se i n t e n t a e x p l i c a r e l o r i g e n
del p r o b l e m a . L a posterior inter-
v e n c i n i r d i r i g i d a a frenar, e l i m i -
nar o c o n t r o l a r los factores que te-
r i c a m e n t e causan el p r o b l e m a .
Problema social. L o s p r o b l e m a s so-
ciales s o n a q u e l l o s q u e e s t n sien-
do percibidos o vividos como pro-
blema por un grupo importante
de la p o b l a c i n , y son d e f i n i d o s
m e d i a n t e u n proceso d e construc-
c i n social e n t r e los d i s t i n t o s acto-
res y g r u p o s i m p l i c a d o s o r e l a c i o -
n a d o s c o n la s i t u a c i n en que
aparece.
Poblacin objetivo. Sector o g r u p o de
la p o b l a c i n a la que e s t dirigido
e l p r o g r a m a y q u e son c o n s i d e r a -
dos u s u a r i o s p o t e n c i a l e s d e l m i s -
mo.
Poblacin de riesgo. Sector o g r u p o de
la p o b l a c i n cuyas c a r a c t e r s t i c a s o
c o n d i c i o n e s de vida i n d i c a n que
e x i s t e u n a g r a n p r o b a b i l i d a d de
q u e r e s u l t e n afectados p o r a l g n
p r o b l e m a o s i t u a c i n n o deseable.
Necesidad. Es un juicio de valor que re-
sulta de la c o m p a r a c i n entre la si-
t u a c i n actual de un grupo y una si-
t u a c i n ideal que se desea conseguir.
Evaluacin de necesidades. Actividad
e v a l u a t i v a c u y o o b j e t i v o es descri-
b i r y v a l o r a r o p r i o r i z a r las necesi-
dades de un g r u p o .
Sensibilidad. L o s programas deben de-
s a r r o l l a r p r o c e d i m i e n t o s p a r a de-
terminar q u i n e s pueden partici-
p a r c o m o usuarios. L a sensibilidad
es l a capacidad para detectar casos
q u e c u m p l e n las condiciones esta-
b l e c i d a s p a r a ser i n c l u i d o s e n e l
programa
Informantes clave. L o s m i e m b r o s de
u n g r u p o q u e , p o r su p o s i c i n o su
e x p e r i e n c i a , d i s p o n e n de i n f o r m a -
c i n e x h a u s t i v a y v e r a z s o b r e los
r e s t a n t e s m i e m b r o s , las necesida-
des, v a l o r e s , d i n m i c a s y otras
cuestiones del g r u p o relevantes pa-
r a la e v a l u a c i n .
Captulo 3: Procedimientos diagnsticos 57
Entrevista. T c n i c a de recogida de i n - Encuesta. T c n i c a de recogida de i n -
f o r m a c i n basada en el d i l o g o d i - f o r m a c i n masiva en la que el t o t a l
recto entre el i n v e s t i g a d o r y cada de las personas seleccionadas para
una de las personas seleccionadas el e s t u d i o r e s p o n d e n por escrito a
para el estudio, u t i l i z a n d o u n u n c o n j u n t o de cuestiones p r e v i a -
guin m s o menos estructurado m e n t e e l a b o r a d a s p o r los i n v e s t i -
en f u n c i n de l o s o b j e t i v o s de l a gadores en f u n c i n de los intereses
investigacin. de la i n v e s t i g a c i n .
3.1. L a e v a l u a c i n d e c o n t e x t o d e n t r o d e l p r o c e s o d e i n t e r v e n c i n s o c i a l
K u r t L e w i n parece ser el p r i m e r o en p r o p o n e r q u e la i n t e r v e n c i n social debe
seguir u n m o d e l o s i s t e m t i c o , r e p r e s e n t a d o p o r las fases de p l a n i f i c a c i n , i n t e r -
v e n c i n y e v a l u a c i n ( v a s e cuadro 3.1), d e f i n i e n d o un proceso diagnstico
p r e v i o e n r e l a c i n c o n e l a n l i s i s y d e s c r i p c i n de la s i t u a c i n problemtica.
D u r a n t e esta fase es i n t e r e s a n t e c o n o c e r e l e s t a d o de l a c u e s t i n q u e r e s u l t a
p r o b l e m t i c a , las necesidades de a l g n sector de la p o b l a c i n o de u n g r u p o o r -
g a n i z a c i o n a l , y e n g e n e r a l r e a l i z a r u n d i a g n s t i c o q u e p e r m i t a p l a n i f i c a r una i n -
t e r v e n c i n d i r i g i d a a s o l u c i o n a r l o s p r o b l e m a s d e t e c t a d o s . L a s actividades d i a g -
n s t i c a s e s t n descritas t a m b i n p o r R o s s i y F r e e m a n ( 1 9 8 9 ) c o m o p a r t e de la
fase de diseo y conceptualizacin del programa, e n la c u a l se estima la e x t e n -
s i n y g r a v e d a d de los p r o b l e m a s sociales, c o n e l fin de d i s e a r p r o g r a m a s para
a m i n o r a r l o s . D e f o r m a s i m i l a r , S t u f f l e b e a r a ( 1 9 6 6 ; S t u f f l e b e a m y cois., 1971)
i d e n t i f i c a una fase i n i c i a l d e estas c a r a c t e r s t i c a s d e n t r o d e l m o d e l o C I P P (Con-
text, Input, Process, Product) y, e n g e n e r a l , e n t o d o s los d e n o m i n a d o s m o d e l o s
s i s t e m t i c o s d e e v a l u a c i n , las a c t i v i d a d e s d i a g n s t i c a s o c u p a n u n a p o s i c i n
clara d e n t r o d e l p r o c e s o g e n e r a l de i n t e r v e n c i n , a pesar de q u e sean recogidas
con e t i q u e t a s d i f e r e n t e s .
E n el c a p t u l o a n t e r i o r p r e s e n t a m o s los e l e m e n t o s d e l m o d e l o s i s t e m t i c o y
contingente de R e b o l l o s o y cois. (2003), caracterizado p o r considerar cada a c t i v i -
dad evaluativa c o m o una a c c i n q u e se debe d e s a r r o l l a r de f o r m a integrada d e n -
t r o d e l proceso de i n t e r v e n c i n social, e n p a r a l e l o c o n la c o r r e s p o n d i e n t e fase de
la i n t e r v e n c i n p r o p i a m e n t e d i c h a . E n la figura 2 . 1 , i n c l u i d a en el c a p t u l o segun-
do, se mostraba el proceso i n t e g r a d o de i n t e r v e n c i n social j u n t o a las actividades
evaluativas adecuadas a cada fase. E n el caso de las evaluaciones de c o n t e x t o ,
d e n t r o de las cuales se e n m a r c a n los p r o c e d i m i e n t o s d i a g n s t i c o s , el m o d e l o a n a l i -
za una serie de p a r m e t r o s de i n t e r s que resultan t i l e s p a r a el m e j o r d e s a r r o l l o
de la e v a l u a c i n . L a figura 3.1 describe de f o r m a m s detallada la fase de e v a l u a c i n
de contexto. L a c o l u m n a de la izquierda indica los distintos niveles de anlisis u t i l i -
zados por R e b o l l o s o y cois. (2003) para describir el m o d e l o . A c o n t i n u a c i n c o m e n -
taremos b r e v e m e n t e cada u n o de ellos.
 Capitulo 3: Procedimientos diagnsticos | -
58 Porte /. D i s e o de polticas y piogromas de intervencin social

Cuadro 3.1. Papel del diagnostico en el ocio de investigacin-accin de K l rwm o c u p a , e l p r o g r a m a de i n t e r v e n c i n c o m o t a l n o ha s i d o d i s e a d o t o d a v a .

Sin e m b a r g o , es el m o m e n t o en q u e se e m p i e z a a d e t e c t a r el p r o b l e m a so-

Kurt Lewin analiza la importancia de la actividad diagnstica en su conocido artculo de 1946 (re- c i a l , y y a se d e b e r a i n t e r v e n i r c o n v e l o c i d a d p a r a e v i t a r que se e x t e n d i e r a
producido en castellano en la Revisto de Psicologa Social 1988. vol. 3: 229-240). En su opMdn, para o se asentase. L a i n t e r v e n c i n p r i m a r i a a c t a d i r e c t a m e n t e s o b r e las causas
que el esfuerzo profesional y comunrtano se convierta en accin organizada y eficiente. r \ necesario y los factores de riesgo q u e o r i g i n a n e l p r o b l e m a p a r a e v i t a r su a p a r i c i n .
resolver tres cuestiones especificas: cul es la situacin actual?, cules son los peligros? y. lo ms im-
b) Teora del problema. E n la fase de d i a g n s t i c o es i m p o r t a n t e d e s a r r o l l a r
portante, /qu hacer? Es decir, necesitamos saber cules son los problemas que requieren solucin,
qu actividades podemos implantar para resolverlos y cules son las dificultades que puede irnjiedir el m o d e l o s t e r i c o s a l t e r n a t i v o s que e x p l i q u e n c o n la m a y o r e x a c t i t u d p o s i b l e
xito de la intervencin. c u l es el p r o b l e m a y p o r q u sucede. T o d a i n t e r v e n c i n se f u n d a m e n t a en
La actividad cientfica convencional no basta para resolver estas cuestiones. El propsito del cien- u n c o n j u n t o de ideas p i c v u s o suposiciones que a y u d a n a e x p l i c a r y c o m -
tfico es definir leyes generales para comprender y explicar por igual todo tipo de situaciones Sin em-
p r e n d e r c m o f u n c i o n a el p r o b l e m a . D e h e c h o , l a m e r a f o r m u l a c i n del
bargo, de cara a la intervencin social, no es suficiente conocer las leyes generales sobre un fenme-
p r o b l e m a c o n l l e v a i m p l c i t a m e n t e una h i p t e s i s sobre su o c u r r e n c i a y ca-
no, ano que es necesano determinar las caractersticas peculiares de la situacin especifica donde se
quiere intervenir. Una cosa es saber por qu ocurre un problema, y otra diferente saber cmo resol- ractersticas, a p a r t i r de la cual se p o d r d e s a r r o l l a r el m o d e l o t e r i c o q u e
verlo. Lewin est proponiendo de este modo dos objetivos de investigacin, igualmente imprescindi- o r i e n t e y d f u n d a m e n t o al p r o g r a m a de i n t e r v e n c i n . I g u a l m e n t e , la t e o r a
bles, que deben afrontarse de manera coordinada: d e l p r o b l e m a a y u d a i a l o i n a i decisiones p r e v e n t i v a s d e n t r o de u n m a r c o
"El conocimiento de las leyes puede servir de guia para el logro de dertos objetivos bajo ciertas
condiciones. Para actuar correctamente no basta, sin embargo, que el ingeniero o el cirujano conoz-
can las leyes generales de la fsica o la fisiologa. Tienen que conocer tambin d carcter especfico de
la situacin presente Este carcter e n e determinado por una recogida cientfica de datos que se lla-
INtlIMNON Prrnaria
ma diagnstico. En cualquier campo de accin son necesarios ambos tipos de investigacin cientfica" (<S{nos(irprTvervJon)
(Lewin. 1946/1988: 231).
Tampoco los procedimientos de diagnstico son suficientes por s solos para definir la interven- TEOIUZACJN
cin. Enrealidad,forman parte del cido global de la invesbgadn-accin, en el cual deben ser com-
plementados con estudios comparativos de la eficacia de las diversas posibilidades de intervencin
disponibles. Una vez que d investigador dispone de conocimientos generales y de un diagnstico
adecuado de la situacin, d proceso de planificacin sigue los siguientes pasos:

INVESTIGACION
I. Disear d plan general para alcanzar d objeto de cambio.
2 Poner en prctica el pnmer paso dd plan general.
3. Recoger datos que demuestren d nivd de logro esperado micialmente, dando a los planifica-
dores una oportunidad para aprender, planificar d siguiente paso y modificar d plan general.
4. Iniciar un nuevo ocio de planificacin, ejecucin y reconodmiento.
EVALUACIN

"La gestin social racional, por tanto, procede en espiral de forma que cada paso se compone de
un ciclo de planificacin, accin y recogida de datos sobre el resultado de la accin" (Lewin,
1946/1988:233). ACTIVIDADES EstLX&o de la aakKn
En resumen, la investigacin accin es una prctica de investigacin social que se ocupa tanto de de l A u a o s

las leyes generales como del diagnstico de situaciones especficas. En relacin con d proceso racio- Anlois de condioone
nal de toma de decisiones, la investigacin en accin es un proceso reiterativo que parte de un obje- (loicas, econmicas. - )
tivo general a conseguir, y se compone de las etapas de diagnstico, planificacin, accin y reconoci- loentifcan de audiencias
miento, de tal modo que cada ocio aumenta los conocimientos y experiencias sobre el problema y la
Iderruficaan del problema
intervencin, por lo que grficamente es pertinente unafiguraen espiral (Alonso Amo. 1988; Argyris,
(causas)
I980-, Kemmis, 1981).
METODOLOGIA ruestionano
Lrrtrevsta
Tcnicas jrupales (Ddphu.)
Definionde problemas sociales

a) Intervencin primaria. T r a d i c i o n a l m e n t e se d i s t i n g u e n t r e s t i p o s de i n t e r -
v e n c i n social, e n r e l a c i n c o n diversos m o m e n t o s e n la e v o l u c i n d e l p r o -
Figura 3.1. Elementos de la evaluacin de contexto.
b l e m a que se p r e t e n d e r e s o l v e r ( S n c h e z V i d a l , 1996). E n e l caso q u e n o s
 60 I Parle I: Diseo de polticas y programas de intervencin social
de i n t e r v e n c i n p r i m a r i a . E n este p u n t o es i m p o r t a n t e d i s t i n g u ! r u i n i.
t e o r a d e l p r o b l e m a , que i n d i c a los factores q u e crean una siiu.it Ion I d 11|
indeseada, y la p o s t e r i o r t e o r a d e l p r o g r a m a , que explica p o r q u d t t i m i l
nadas actividades t e n d r n c o m o consecuencia los resultados que drs<
( e n este caso, la m e j o r a o d e s a p a r i c i n d e l p r o b l e m a social).
c) Investigacin sobre el problema. L a i n t e r v e n c i n es una actividad que se i n i I
ta y p r o c e d e de f o r m a integrada d e n t r o de la realidad sociaJ y poltica r n UM
se desarrolla el p r o b l e m a . E n este sentido, los c i e n t f i c o s se constituyen r n
u n o m s d e los grupos que e s t n i m p l i c a d o s , d e b i d o precisamente a su proal
m i d a d c o n el p r o b l e m a ( R e b o l l o s o , 1990a). E l g r u p o de los cientficos entTI
en r e l a c i n con el p r o b l e m a m e d i a n t e u n p r i m e r a n l i s i s de la realidad social
(la e v a l u a c i n de c o n t e x t o ) , q u e supone t a m b i n u n p r i m e r contacto con el
resto de grupos de stakeholders. N u e s t r a idea de la realidad social responde a
una o r i e n t a c i n : multicausal, en la que m l t i p l e s factores e s t n determinando
los distintos aspectos o situaciones que venimos a identificar c o m o " e l proble-
m a " ; construccionista, en la m e d i d a en que t o d a r e a l i d a d social es f r u t o de un
proceso de c o n s t r u c c i n social e n el q u e cada g r u p o d e interesados discute,
analiza y da sentido al p r o b l e m a c o m o una realidad " o b j e t i v a " ; y contexta! u 4. L o c a l i z a c i n de las causas del p r o b l e m a . U n a vez identificados los l m i -
holstica, s e g n la cual el p r o b l e m a n o p u e d e ser analizado i g n o r a n d o el con-
t e x t o social en que se p r o d u c e , c o n t o d o l o que esto i m p l i c a en cuanto a un
m a y o r n m e r o de factores relevantes a tener en cuenta.
d) Evaluacin de contexto. Las actividades evaluativas q u e se p u e d e n llevar a
c a b o e n esta fase e s t n e s t r e c h a m e n t e r e l a c i o n a d a s c o n la i n v e s t i g a c i n i n i -
cial s o b r e el p r o b l e m a , y en g e n e r a l se o r i e n t a n a d e t e r m i n a r las c o n d i c i o -
nes p r e v i a s y el c o n t e x t o del p r o b l e m a . E n otras palabras, se p r e t e n d e ana-
lizar, c o m p r e n d e r y p r i o r i z a r las "necesidades" d e la p o b l a c i n ( e v a l u a c i n
de necesidades) y las c o n d i c i o n e s s o c i o e c o n m i c a s y p o l t i c a s q u e enmarca-
r n al p r o g r a m a , para f a c i l i t a r la c o m p r e n s i n de los p r o b l e m a s sociales a
los q u e se p r e t e n d e d a r respuesta, y o r i e n t a r a s la p l a n i f i c a c i n d e l p r o g r a -
m a de i n t e r v e n c i n .
e) Algunas actividades evaluativas especificas. Para c o m p l e t a r c o n x i t o la eva-
l u a c i n de c o n t e x t o se p u e d e n p o n e r en p r c t i c a u n a serie de actividades
e s p e c f i c a s , e n t r e las cuales se i n c l u y e n los p r o c e d i m i e n t o s d i a g n s t i c o s . L a
e l e c c i n d e q u a c t i v i d a d d e s a r r o l l a r d e p e n d e r de c r i t e r i o s funcionales, de
eficacia, eficiencia, u t i l i d a d , o c u a l q u i e r o t r o q u e resulte de i n t e r s , m a n t e -
n i e n d o u n a n i m o f l e x i b l e y e c l c t i c o , t e n i e n d o e n c u e n t a que son las a c t i -
vidades t c n i c a s las q u e d e b e n adaptarse a la r e a l i d a d social, y n o al c o n t r a -
rio, para m e j o r a r nuestra c o m p r e n s i n de los p r o b l e m a s . R e b o l l o s o y cois.
(2003) s u g i e r e n las siguientes p o s i b i l i d a d e s :
1. E s t u d i o de la s a t i s f a c c i n d e usuarios. Se e n t i e n d e usuarios de u n m o d o
a m p l i o c o m o todas aquellas personas q u e r e c i b e n u n servicio p o r parte
de l o s c e n t r o s d e servicios sociales o de c u a l q u i e r o t r a i n s t i t u c i n . L a
Capitulo 3: Procedimientos diagnsticos j 61 '
c u e s t i n es d e t e r m i n a r las r e a s en que los usuarios e s t n r e c i b i e n d o u n
servicio defectuoso, con vistas a plantear i n t e r v e n c i o n e s en consecuencia
( R e b o l l o s o , F e r n n d e z - R a m r e z y C a n t n , 2001).
2. A n l i s i s de las condiciones en que se e n m a r c a el p r o b l e m a , i n c l u y e n d o
los aspectos sociales, e c o n m i c o s , a m b i e n t a l e s , p o l t i c o s , legales, o cua-
lesquiera o t r o s q u e resulten pertinentes p a r a c o m p r e n d e r el p r o b l e m a
d e n t r o d e l c o n t e x t o social en q u e se p r o d u c e .
3. I d e n t i f i c a c i n de las audiencias o stakeholders. Se entiende por stakehol-
ders todos aquellos grupos de personas que e s t n afectadas positiva o ne-
g a t i v a m e n t e p o r e l p r o b l e m a . Esta a c t i v i d a d es i m p o r t a n t e al menos p o r
dos razones. E n p r i m e r lugar, p o r q u e la d e f i n i c i n del p r o b l e m a depen-
de d e l significado y la perspectiva q u e asuma cada g r u p o de i n t e r s y a
p r i o r i n o es p o s i b l e d e t e r m i n a r c u l de ellas s e r la m s adecuada para
e n t e n d e r y resolver el p r o b l e m a . E n s e g u n d o lugar, p o r q u e t a n t o el p r o -
b l e m a c o m o la p r o p i a i n t e r v e n c i n se e n t i e n d e n c o m o un c o n j u n t o de
supuestos y actividades q u e son definidas c o n s t r u c t i v a m e n t e mediante
procesos de n e g o c i a c i n entre las audiencias.
tes y las c a r a c t e r s t i c a s m n i m a s del p r o b l e m a , es necesario d e t e r m i n a r
c u l e s son los factores que l o generan y los mecanismos que e x p l i c a n su
a p a r i c i n . L a t e o r a d e l p r o b l e m a p u e d e ser desarrollada a p a r t i r de los
c o n o c i m i e n t o s disponibles en las distintas disciplinas c i e n t f i c a s , a p a r t i r
de las explicaciones q u e los p r o p i o s interesados hayan desarrollado en su
i n t e r a c c i n c o n e l p r o b l e m a , o i n t e n t a n d o una c o m b i n a c i n entre ambas
( C h e n , 1996; L e v i t n , 1994).
f) Mtodos de investigacin tiles para la evaluacin de contexto. Existe una a m -
plia variedad de posibles m t o d o s aplicables en esta clase de e v a l u a c i n , y es
posible c o m b i n a r de f o r m a v l i d a estrategias de n d o l e cuantitativa y cualitati-
va. Por ejemplo, las entrevistas en p r o f u n d i d a d y las t c n i c a s grupales ( D e l p -
h i , grupos de d i s c u s i n , grupos nominales, f r u m c o m u n i t a r i o , etc.; N e z y
' Loscertales, 1996) p r o p o r c i o n a n i n f o r m a c i n provechosa y de p r i m e r a m a n o
acerca del p r o b l e m a y de los factores que l o o r i g i n a n , y acerca de la perspecti-
va, actitudes o experiencia de los grupos interesados. L a o b s e r v a c i n de la?
condiciones ambientales, sociales y e c o n m i c a s , j u n t o a la r e v i s i n de la legis-
l a c i n vigente y el anlisis de contenidos de t o d o t i p o de documentos servir-
an para completar el enmarque del p r o b l e m a y del f u t u r o programa.
3.2. P r o b l e m a s sociales
L o s p r o b l e m a s sociales n o son f e n m e n o s que r e s p o n d a n a una r e a l i d a d c o m p l e -
t a m e n t e o b j e t i v a , sino "construcciones sociales" q u e e m e r g e n de los intereses y
 62 Parte /: Diseo de potrcas y programas de intervencin socio/
v a l o r e s de la sociedad y de las personas q u e t i e n e n i n t e r s en ellos. Sin e m b a r g o ,
e n el caso de los esfuerzos para t r a t a r c o n la m a y o r a de los p r o b l e m a s sociales, se
r e q u i e r e c o n o c i m i e n t o sobre e l p r o b l e m a y los hechos d e l pasado que h a n i n c i d i d o
e n l . Se precisa u n a i n f o r m a c i n e v a l u a t i v a de g a r a n t a ( v l i d a y fiable) c o m o ba-
se sobre la cual se c o n s t r u y a n las i n t e r v e n c i o n e s . T o m e m o s e l caso de la i n m i g r a -
c i n . L a i n m i g r a c i n n o es en s m i s m a u n p r o b l e m a , sino u n f e n m e n o s o c i o d e -
m o g r f i c o , u n flujo de personas que traslada su residencia y su p r o y e c t o v i t a l a u n
l u g a r lejano. L o s i n m i g r a n t e s suelen quejarse de ser r e c i b i d o s c o n actitudes nega-
tivas y c o m p o r t a m i e n t o s d i s c r i m i n a t o r i o s p o r p a r t e de la p o b l a c i n a u t c t o n a . E l
p r o b l e m a es, p o r t a n t o , q u e existe p r e j u i c i o o r a c i s m o . Sin e m b a r g o , la p o b l a c i n
a u t c t o n a se q u e j a a m e n u d o de q u e los i n m i g r a d o s t r a e n costumbres e x t r a a s y
n o respetan los valores y n o r m a s de c o m p o r t a m i e n t o d e l lugar. E l p r o b l e m a es e n -
tonces que n o r e a l i z a n u n esfuerzo suficiente p o r integrarse. E n d e f i n i t i v a , cada
g r u p o construye su p r o p i a v e r s i n d e l p r o b l e m a .
P a r a considerar la existencia de u n p r o b l e m a s o c i a l , es necesario a t e n d e r a u n a
serie de c a r a c t e r s t i c a s ( S u l l i v a n et al., 1980): consenso e l e v a d o sobre c u l es e l
p r o b l e m a ; i d e n t i f i c a c i n de los g r u p o s sociales c o n intereses en l a d e f i n i c i n y e n
la s o l u c i n d e l p r o b l e m a , i m p l i c a c i n de los valores sociales q u e d e t e r m i n a n l a r e -
l e v a n c i a de la c u e s t i n y u n c a r c t e r p b l i c o , e x t e n s o , fuera de la r b i t a de l o p r i -
v a d o e i n d i v i d u a l . L a d e f i n i c i n d e l p r o b l e m a social nace d e l c o n f l i c t o de i n t e r e -
ses, p o l t i c o p o r n a t u r a l e z a , y s l o l l e g a a expresarse c u a n d o u n o s c o n v e n c e n a
o t r o s de la existencia de c o n d i c i o n e s p r o b l e m t i c a s o injustas. S l o a s e l p r o b l e m a
l l e g a r a e n t r a r en las agendas p o l t i c a s ( G e m e n t e , 1992). Por t a n t o , la c a p a c i d a d
p a r a d e f i n i r la existencia de u n p r o b l e m a social t i e n e q u e ver c o n la a u t o r i d a d que
o b t e n g a u n g r u p o de i n t e r s c o n c r e t o ( S u l l i v a n et al., 1980).
L a d e f i n i c i n d e l p r o b l e m a es el o r g a n i z a d o r p r i m a r i o de l a i n t e r v e n c i n , y t o -
das las fases que siguen en e l proceso p o l t i c o y e v a l u a d o r se e s t r u c t u r a r n , al me-
nos en p a r t e , e n f u n c i n de la m i s m a ( M a d i s o n , 2 0 0 0 ) . L a d e f i n i c i n t e n d r c o m o
base las presunciones acerca de las causas que p r o v o c a n y sustentan e l p r o b l e m a
( t e o r a d e l p r o b l e m a ) , s e a l a n d o q u c o m p o r t a m i e n t o s c o n c u r r e n y c u l e s necesi-
tan evitarse. E n e l e j e m p l o anterior, se d e s a r r o l l a r n p r o g r a m a s de r e d u c c i n d e l
p r e j u i c i o ( c a m p a a s de i n f o r m a c i n , c o n v i v e n c i a escolar, c a m b i o de a c t i t u d e s ) e n
el p r i m e r caso, o p r o g r a m a s p a r a acelerar la i n t e g r a c i n ( a p r e n d i z a j e d e l i d i o m a ,
las costumbres o las leyes locales) en e l segundo. A u n q u e el a c i e r t o e n las p r e s u n -
ciones es d u d o s o (puesto q u e n o r e s p o n d e a n i n g n a n l i s i s e x h a u s t i v o y desinte-
resado de l a s i t u a c i n , sino a la v i s i n de u n a de las p a r t e s ) , a p o r t a s e g u r i d a d co-
m o d e f i n i c i n o f i c i a l m a n t e n i d a p o r e l g r u p o y s i n t e t i z a los intereses que t i e n e
t a n t o en la r e d u c c i n c o m o en la c o n t i n u a c i n d e l p r o b l e m a .
E n muchas ocasiones las i n t e r v e n c i o n e s p r o c e d e n c m o si se c o m p r e n d i e r a
b i e n c u l es el p r o b l e m a y c u l e s son sus soluciones. I n c l u s o se llega a d e f i n i r i n -
c o r r e c t a m e n t e el p r o b l e m a e n t r m i n o s de soluciones. Por e j e m p l o , m u c h o s p r o -
cesos de a n l i s i s o r g a n i z a c i o n a l c o n c l u y e n que e l p r o b l e m a es l a falta de recursos,
l o que e n r e a l i d a d s e r a u n a posible s o l u c i n para u n p r o b l e m a que queda sin d e f i -
Capruilo 3: Procedimientos diagnsticos
,,,, a x p l f c i l a m e n t e . E l a u m e n t o de recursos se c o n v i e r t e a s en la s o l u c i n para t o -
d M l o s |>ioblemas, y los responsables de los p r o g r a m a s de m e j o r a se centran ex-
, luMviimente en l o g r a r l a c o n t i n u i d a d de la s i t u a c i n p r o b l e m t i c a a t r a v s de la
a m p l i a c i n de los f o n d o s , r e f o r z a n d o e l statu q u o y l i m i t a n d o las o p o r t u n i d a d e s
realizar c a m b i o s sustanciales. Para e v i t a r esta p r c t i c a , K e t t n e r , M o r o n e y y
M . i i t i n ( l ' ? ) ' ) ) sugieren q u e e l a n l i s i s d e l p r o b l e m a d e b e r a centrarse en la c o m -
p i c n s i n del m i s m o , y n o en las soluciones, e i n t r o d u c i r nuevas perspectivas l i b r e s
,lt .iMiin es previas sobre el f u n c i o n a m i e n t o de los p r o g r a m a s existentes.
I I a n l i s i s d e l o s p r o b l e m a s sociales c o m o c o n s t r u c c i n r e q u i e r e asumir, al
menos i o i n o o b j e t i v o o p e r a t i v o , u n e n f o q u e c o n s t r u c c i o n i s t a . Esta perspectiva es
mu i I I . M I V . I al c l s i c o p a r a d i g m a p o s i t i v i s t a respecto a tres asunciones bsicas
((tilia y L i n c o l n , 1989):
N o r m s t r n ir.ib,lacles o b j e t i v a s ( p o s i t i v a s ) , s i n o construcciones m e n t a l e s ,
un l i n d a s las supuestas leyes que p r e t e n d e l a c i e n c i a .
I a m i , '.tti'.u i o n emerge y es u n p r o d u c t o de la i n t e r a c c i n entre investiga-
d o i r i n v e s t i g a d o , y n o tiene sentido la d i s t i n c i n sujeto-objeto, pues e l " b -
lelo ,le la u i v r s i i g i i i i o n es u n " s u j e t o " que p a r t i c i p a activamente en el p r o -
c e s o ile i o i i .ti mi e l [ e s t i l l a d o c i e n t f i c o .
F r e n t e al m t o d o e x p e r i m e n t a l , se i n t e n t a a p r o v e c h a r la i n t e r a c c i n p a r a
crear nuevas construcciones m s sofisticadas y acertadas. E n c i e r t o m o d o ,
la e v a l u a c i n crea o c o n s t r u y e la r e a l i d a d en l u g a r de m e r a m e n t e descu-
b r i r l a . Las d i s t i n t a s construcciones ( p u n t o s de v i s t a ) de cada g r u p o d e p e n -
de de sus valores e intereses, de t a l m o d o q u e e l r e s u l t a d o de la e v a l u a c i n
d e p e n d e r de q u valores se c o n s e n s e n d u r a n t e e l proceso de investiga-
c i n , c o n v e r t i d o en u n p r o c e s o de n e g o c i a c i n , m s q u e de d e s c u b r i m i e n t o .
E n los m e d i o s p o l t i c o s , p o r e j e m p l o , se u t i l i z a e l c o n c e p t o de calidad de v i d a
c o m o u n o b j e t i v o deseable, a p a r t i r d e l cual se p u e d e n d e t e r m i n a r las necesidades
y logros comunitarios. Sin embargo, existen p r o b l e m a s sobre el significado del
c o n c e p t o y la i m p o r t a n c i a r e l a t i v a de las d i m e n s i o n e s o b j e t i v a y subjetiva asocia-
das al m i s m o ( B l a n c o , 1985; Casas, 1990). L a i n v e s t i g a c i n psicosocial m u e s t r a c -
m o , en c o n d i c i o n e s a p r i o r i rechazables, las personas son capaces de adaptarse y
apreciarlas c o m o m e j o r e s de l o que p u d i e r a n parecer. N o obstante, esto n o d e b e
i n d u c i r n o s a e n g a o y hacernos caer en u n r e l a t i v i s m o e x t r e m o que l e g i t i m e c u a l -
q u i e r s i t u a c i n ; s e r a deseable satisfacer ciertos c r i t e r i o s o b j e t i v o s m n i m o s , a par-
t i r de los cuales c o n s i d e r a r e l c o n c e p t o de c a l i d a d de v i d a en t r m i n o s estricta-
m e n t e subjetivos ( B l a n c o , 1985).
L a i d e n t i f i c a c i n de los stakeholders es una tarea inicial f u n d a m e n t a l del proceso
de i n t e r v e n c i n y e v a l u a c i n , pues los objetivos y actividades d e l p r o g r a m a y de la
e v a l u a c i n se d i r i g e n a resolver sus quejas, intereses o p r o b l e m a s de i n f o r m a c i n .
G u b a y L i n c o l n (1989) asignan al evaluador el r o l de elicitar y c o n f r o n t a r el discurso
sobre e l p r o b l e m a social de los distintos tipos de stakeholders, generando consensos
 64 Porte /: Diseo de potincas y programos de intervencin social
negociados. G e n e r a l m e n t e , los primeros que identifican los problemas sociales M U
los lderes morales y p o l t i c o s y otras personas que tienen intereses en los p i o g m i n -.
(stakeholders), p e r o los evaluadores tienen u n r o l esencial a la hora de definu In un
turaleza, t a m a o y d i s t r i b u c i n del p r o b l e m a a t r a v s d e l uso de procedimiento!
d i a g n s t i c o s s i s t e m t i c o s y reproducibles. G u b a y L i n c o l n (1981) distinguen t i c . | |
pos de grupos interesados en la e v a l u a c i n : los responsables de planificar e Impli
mentar el programa, los beneficiarios, o personas q u e sacan a l g n provecho del pro
grama, y las v c t i m a s , o personas que se v e n afectadas de alguna m a n e r a poi 11
objeto, i n c l u y e n d o aquellos grupos que quedan relegados en la i n t e r v e n c i n , que su
fren efectos colaterales negativos, o que p i e r d e n o p o r t u n i d a d e s en t m n o s de a u n
petencia. C o o k (1984) distingue entre cinco tipos de stakeholders, cada u n o de Irw
cuales tiene intereses p r o p i o s y peculiares en el p r o b l e m a y en el programa: poliii i |
y administradores del p r o g r a m a , gestores de los programas, trabajadores (practh lo
ners), clientes del p r o y e c t o y a c a d m i c o s . T a n t o los p o l t i c o s c o m o los evaluadores
forman en s mismos dos grupos de stakeholders que t i e n e n intereses concretos en I H
f o r m a c i n , m a n t e n i m i e n t o y s o l u c i n de los p r o b l e m a s (la c o n t i n u i d a d de su r o l en la
a d m i n i s t r a c i n p o l t i c a depende de la existencia de problemas sociales que resolver),
de tal m o d o que su o p i n i n sobre los p r o b l e m a s sociales o b j e t o de la i n t e r v e n c i n
t a m b i n puede ser sospechosa de parcialidad. P o r ello, es recomendable incluir en el
anlisis d i a g n s t i c o ( y en otras fases del proceso e v a l u a t i v o ) la o p i n i n y los valores
de m l t i p l e s grupos de stakeholders, f u n d a m e n t a l m e n t e los m i e m b r o s de la c o m u n i -
dad en desventaja (Casas, 1990). D e este m o d o , se asegura que la poltica social se
formula para solucionar problemas e s p e c f i c o s , y n o c o m o parte de un j u e g o de inte-
reses p o l t i c o s o de i n v e s t i g a c i n .
3.3. M t o d o s d i a g n s t i c o s
Para identificar y d e f i n i r los p r o b l e m a s sociales se u t i l i z a n u n a v a r i e d a d de proce-
d i m i e n t o s . L o s i n d i c a d o r e s sociales d i s p o n i b l e s p u e d e n p r o p o r c i o n a r i n f o r m a c i n
sobre tendencias h i s t r i c a s relevantes para la i n v e s t i g a c i n . L a s encuestas c o n i n -
formantes clave, e l e s t u d i o de los registros de las agencias, encuestas, censos co-
m u n i t a r i o s y las evaluaciones de necesidades s o n f o r m a s c o m u n e s de a p r o x i m a -
c i n a l a i d e n t i f i c a c i n d e u n p r o b l e m a s o c i a l . V e a m o s a c o n t i n u a c i n algunos
m t o d o s d i a g n s t i c o s interesantes.
3.3.1. Evaluaciones proactivas
Se d e n o m i n a a s a u n t i p o de evaluaciones o r i e n t a d a s a buscar i n f o r m a c i n q u e
sirva para la c r e a c i n de u n n u e v o p r o g r a m a o p a r a la m o d i f i c a c i n r a d i c a l de un
p r o g r a m a existente ( O w e n y R o g c r s , 1999). L a a t e n c i n d e l estudio se centra en el
contexto e n el que se d e s a r r o l l a r el p r o g r a m a o en c o n t e x t o s similares en o t r o s
Capitulo 3: Procedimientos diagnsticos 65
lugares. A d e m s de d e t e r m i n a r y p r i o r i z a r las necesidades del programa, los resul-
tados ayudan a establecer p r i o r i d a d e s entre los potenciales beneficiarios, a f o r m a r
y distribuir al personal, a elegir la m e j o r l o c a l i z a c i n para la i m p l e m e n t a c i n o a
distribuir los recursos d i s p o n i b l e s . L o s destinatarios de la i n f o r m a c i n son las per-
sonas que p a r t i c i p a r n en la p l a n i f i c a c i n del p r o g r a m a .
3.3.2. Anlisis de problemas
E n ocasiones se confunde el p r o b l e m a con las condiciones sociales en que aparece.
C o m o vimos en u n e j e m p l o anterior, la i n m i g r a c i n n o es un p r o b l e m a sino una
c o n d i c i n o u n f e n m e n o social. Se vuelve un p r o b l e m a c u a n d o a l g n g r u p o inte-
resado l o define c o m o n e g a t i v o o perjudicial, r a z n p o r la cual es especialmente
i m p o r t a n t e darse cuenta de c u l es el g r u p o que e s t d e f e n d i e n d o l o que resulta
p r o b l e m t i c o . K e t t n e r , M o r o n e y y M a r t i n (1999) p r o p o n e n u n sencillo esquema de
trabajo para realizar el a n l i s i s de u n p r o b l e m a social. Se trata de una lista de nue-
ve preguntas t i l e s para o b t e n e r una d e s c r i p c i n exhaustiva de las c a r a c t e r s t i c a s ,
el c o n t e x t o , los grupos i m p l i c a d o s y las causas del p r o b l e m a . Las preguntas son:
C u l es la naturaleza de la s i t u a c i n o c o n d i c i n social, t e n i e n d o en cuenta
los p u n t o s de vista de todos los gTupos posibles?
C m o se e s t n d e f i n i e n d o los t r m i n o s d e l p r o b l e m a , e v i t a n d o que las pa-
labras s i g n i f i q u e n cosas distintas para diferentes g r u p o s de personas?
C u l e s son las c a r a c t e r s t i c a s de las personas que v i v e n la s i t u a c i n o con-
d i c i n social? A s , t o d o s los grupos i m p l i c a d o s p u e d e n ser i d e n t i f i c a d o s y
tenidos en c u e n t a en la p l a n i f i c a c i n de una p o s i b l e i n t e r v e n c i n .
C u l es la m a g n i t u d y la d i s t r i b u c i n de l a s i t u a c i n ? , es decir, c u n t a s
personas e s t n afectadas y c u l es su d i s t r i b u c i n g e o g r f i c a ?
Q u valores sociales e s t n siendo amenazados p o r la existencia de l a c o n -
d i c i n social descrita? Se t r a t a de saber c m o r e a c c i o n a r a n las personas an-
te la existencia de la c o n d i c i n . Son especialmente relevantes las o p i n i o n e s
de la c o m u n i d a d , de sus l d e r e s , de los m e d i o s de c o m u n i c a c i n y de otros
grupos que t e n g a n u n a especial i m p l i c a c i n .
H a s t a q u p u n t o se reconoce la existencia de l a s i t u a c i n ? D e este m o d o ,
se puede estimar el a p o y o p o t e n c i a l con q u e c o n t a r a u n a e v e n t u a l i n t e r v e n -
c i n , d e s a r r o l l a n d o c a m p a a s de c o n c i e n c i a c i n en caso necesario.
Q u i n define la c o n d i c i n social c o m o u n p r o b l e m a ? C o m o m n i m o son de
esperar tres p o s i c i o n e s : el g r u p o o g r u p o s q u e d e f i n e n la s i t u a c i n c o m o
p r o b l e m t i c a , los q u e n o t i e n e n una o p i n i n f o r m a d a al respecto y los q u e
se o p o n e n a las iniciativas p a r a c a m b i a r la s i t u a c i n .
C u l es la e t i o l o g a del problema? L o s problemas sociales son multicausales y,
por l o tanto, difciles de explicar, si bien la posible i n t e r v e n c i n requiere nece-
sariamente contar con una idea sobre los factores causales m s relevantes.
t 66 Porte /. Dueo de polhkas y programas de intervencin social Cop/tulo 3: Procedimientos diagnsticos \ ..

E x i s t e n consideraciones t i c a s o de g n e r o ? Su i m p o r t a n c i a p r o v i e n e de la | o | !,,,,,, la < i r a c i n de servicios e s p e c f i c o s ( K e t t n e r , M o r o n e y y

especial sensibilidad actual hacia los g r u p o s sociales i n c l u i d o s en estas cate- Multa , l f H ) . , . .
g o r a s , l o cual r e c o m i e n d a ser c o n s i d e r a d o y e v i t a r que la i n t e r v e n c i n so- I ,, | | . i lli l , la e v a l u a c i n de necesidades tiene tres fases, similares a las de
r

cial pueda afectarles o ser ella m i s m a afectada de f o r m a negativa. , ! , ! , proyi Iti di I n v e s t i g a c i n de e v a l u a c i n . L a fase inicial de p l a n i f i c a c i n
(

,1, | , i i u d l n i I( finii un p l a n de t r a b a j o q u e incluya la definicin de los obje-

V 1 1 . y ||a Ii ii . 1 . K los m t o d o s de i n v e s t i g a c i n q u e se u t i l i z a r n y los usos
3.3.3. E v a l u a c i n de necesidades
_o, , id lo ., ..liados. E n la siguiente fase se recoge la i n f o r m a c i n necesa-
,,, i |o d i o b l e n e i datos sobre el estado actual y la s i t u a c i n deseada. E n la
L a e v a l u a c i n de necesidades es u n a f o r m a de i n v e s t i g a c i n social aplicada q u e tie-
,,,,, , ,i, . < p n o i i / a i i las necesidades detectadas y. en su caso, se d i s e a
ne p o r o b j e t o identificar y p r i o r i z a r las necesidades existentes e n u n m b i t o deter-
,,., , i , | . . i i i i reducirlas. A l g u n o s de los siguientes errores o c u r r e n c o n
m i n a d o , o r i e n t n d o s e a l a t o m a de decisiones en r e l a c i n a la d i s t r i b u c i n de recur-
l , , ,,,,,
r Upo de estudios ( O w e n s y R o g e r s , 1999; W i t k i n y A l t s c h u l d ,
sos, la p l a n i f i c a c i n y el d i s e o de i n t e r v e n c i o n e s ( M c K i l l i p , 1987, 1998; R e v i e r e
1995) , i . . ... . ...Lides c o n soluciones, n o concretar el estado que se q u i e r e
et aL, 1996; W i t k i n y A l t s c h u l d , 1995). E x i s t e u n t o t a l acuerdo a la h o r a de d e f i n i r l a
, l , , , din ( i . l a de i n f o r m a c i n a u n solo m t o d o de i n v e s t i g a c i n ,
e v a l u a c i n de necesidades t o m a n d o c o m o r e f e r e n c i a el proceso d e e v a l u a c i n e
,1, l i n i i ii in IIIIIH un I-, necesidades o negar asistencia a los grupos que necesi-
i n t e r v e n c i n social c o m o u n a de sus fases, m o m e n t o s o tareas iniciales, p r e v i a s al
tan la i n l e i v r i n i o n d r maneta m s urgente.
d i s e o y d e s a r r o l l o de las i n t e r v e n c i o n e s ( R o s s i y F r e e m a n , 1989; S t u f f l e b e a m y
S h i n k f i e l d , 1987). Su p r i n c i p a l p r o p s i t o es r e c o p i l a r i n f o r m a c i n acerca de las ne-
cesidades existentes c o n o b j e t o de d e c i d i r c u l e s v a n a ser o b j e t o de i n t e r v e n c i n 3.3.4. HeviMi'.fi d r invrstli;,it iones
p r i o r i t a r i a . Por t a n t o , n o se l i m i t a a d e s c r i b i r los p r o b l e m a s existentes, s i n o que
i m p l i c a a d e m s v a l o r a r su i m p o r t a n c i a o g r a v e d a d a t r a v s d e l e s t a b l e c i m i e n t o de Se t r a a di iprOVI I h U I M nMUitldOI de investigaciones previas relevantes para el
p r i o r i d a d e s ( W i t k i n , 1994), d e t e r m i n a n d o a s i m i s m o los p r o b l e m a s de s o l a p a m i e n - proMomi dk I Itudlo v qUI M am u r n t r a n publicadas e n diversos medios de d i f u -
tos, conflictos p o l t i c o s o dificultades de c o o r d i n a c i n e n t r e agencias q u e ofrecen sin (COOptr, 1904; N e i i i n i i n , l ' W V ) I ' idea b s i c a es que el c o n o c i m i e n t o d i s p o -
s e r v i c i o s r e l a c i o n a d o s c o n la m i s m a n e c e s i d a d . M c K i l l i p ( 1 9 9 8 ) s u b r a y a los si- nible a p a i l u de i n v r M i g >nrs l i g u i o s a s se a p i o v e c h e en la e l a b o r a c i n de p o l t i -
guientes aspectos: la e v a l u a c i n de necesidades se centra en el a n l i s i s de los p r o - cas y pioi'.iainas d r i n t e i v e n i i o n E l i n l o d o de t r a b a j o es la r e v i s i n de l i t e r a t u r a ,
b l e m a s q u e afectan a d e t e r m i n a d o g r u p o o p o b l a c i n , es decir, e n las necesidades aunque la b s q u e d a no d e b f redui use a los i n f o r m e s aparecidos en revistas c i e n t -
sociales frente a las de c a r c t e r i n d i v i d u a l ; p u e d e ser d e f i n i d a c o m o una f o r m a de ficas. Las bases de dalos disponibles en la r e d y en f o r m a t o s e l e c t r n i c o s son una
i n v e s t i g a c i n social aplicada, ya q u e u t i l i z a la m e t o d o l o g a de las ciencias sociales ayuda Indispensable. L a r e v i s i n se inicia c o n la d e m a r c a c i n del r e a de b s q u e -
c o m o base para la i d e n t i f i c a c i n y p r i o r i z a c i n de los p r o b l e m a s existentes en e l da (palabras c l a v e ) , sigue c o n la v a l o r a c i n de la c a l i d a d de cada t r a b a j o , la i n t e r -
m b i t o analizado; y p o r l t i m o , el p r o p s i t o de este t i p o de e v a l u a c i n es p r o p o r - p r e t a c i n e i n t e g r a c i n de resultados y finaliza c o n l a e l a b o r a c i n de u n i n f o r m e
c i o n a r i n f o r m a c i n t i l p a r a la p l a n i f i c a c i n de p o l t i c a s sociales y p r o g r a m a s de que ofrezca una d e s c r i p c i n e i n t e r p r e t a c i n r a z o n a d a d e l campo de estudio r e v i -
i n t e r v e n c i n que i n c i d a n sobre las necesidades p r i o r i t a r i a s identificadas y p r o m u e - sado. S m a l l w o o d y H u r w o r t h (1998) r e c o m i e n d a n q u e el revisor sea f l e x i b l e al va-
v a n cambios sociales. l o r a r la c o n t r i b u c i n p o t e n c i a l de cada t r a b a j o , u t i l i z a r estudios de m e t a - a n l i s i s ,
s n t e s i s de investigaciones y b i b l i o g r a f a s anotadas, consultar fuentes de i n f o r m a -
Las necesidades son conceptos n o r m a t i v o s q u e v a r a n e n f u n c i n d e l c o n t e x t o
c i n variadas ( p o r e j e m p l o , i n f o r m e s n o p u b l i c a d o s , debates p o l t i c o s ) y d e f i n i r
social, p o l t i c o y e c o n m i c o . P o r e j e m p l o , las necesidades de asistencia sanitaria
criterios para d e t e r m i n a r la calidad de los trabajos encontrados. A d e m s d e l resu-
e n la p o b l a c i n h a n v a r i a d o s e g n se d e s a r r o l l a b a el c o n c e p t o de salud a l o l a r g o
m e n de los p r i n c i p a l e s c o n o c i m i e n t o s , el i n f o r m e de r e v i s i n d e b e r a i n c l u i r una
d e l siglo pasado. Las necesidades p u e d e n d e f i n i r s e de m a n e r a j e r r q u i c a , aten-
d e s c r i p c i n c r t i c a d e l estado de l a i n v e s t i g a c i n , sin dejar de s e a l a r aquellas r e -
d i e n d o a las p r i o r i d a d e s , deseos o expectativas q u e aparecen c u a n d o las personas
as concretas de i n t e r s en las q u e la l i t e r a t u r a n o tenga nada que decir.
h a n superado d e t e r m i n a d o n i v e l de v i d a , o a p a r t i r d e u n n i v e l de exigencias b s i -
cas deseables e n c u a l q u i e r r e a de i n t e r s v i t a l ( s a l u d , s i t u a c i n social, e m o c i o n a l ,
etc.) ( M a s l o w , 1954). L o i m p o r t a n t e es su p a p e l i n t e r m e d i o d e n t r o d e l proceso de
3.3.5. R e v i s i n de las mejores p r c t i c a s (benchmarking)
p l a n i f i c a c i n , e n t r e la d e f i n i c i n d e l p r o b l e m a social y l a puesta en m a r c h a de u n
servicio o una i n t e r v e n c i n . S i r v e n p a r a t r a d u c i r el p r o b l e m a social a unos t r m i - E l benchmarking se define c o m o un proceso c o n t i n u o de medida y c o m p a r a c i n que
nos relevantes para l a v i d a de las personas, y o r i e n t a n a s l n e a s de a c t u a c i n de utilizan las organizaciones para adoptar las p r c t i c a s que se consideran excelentes en

68 J Porte /; Diseo de polticas y programas de nterverrcn socio/
su sector de a c t u a c i n , p o r ejemplo las que desarrollan las organizaac >m c llden
sector (Cross e I q b a l , 1994; Sharp, 1994). E l proceso se d i v i d e en dos fases difi
das: el e s u b l e d m i e n t o de benchmarks y la a p l i c a c i n de los mismos para oriaoUl |
proceso de c a m b i o y m e j o r a . E n p r i m e r lugar se localizan los casos de p r c t i c a s r x i r
lentes, aplicando m t o d o s i n d u c t i v o s para d e t e r m i n a r sus c a r a c t e r s t i c a s conum.
los principios de a c c i n subyacentes. Estos elementos centrales se operativizan r n un
conjunto de indicadores (benchmarks) que sirven para d e f i n i r planes de a c t u a c i n y
registrar los resultados o b t e n i d o s en su i m p l a n t a c i n . D e este m o d o , la organi/.i. lfl
establece sus objetivos d e mejora y p u e d e analizar el progreso hacia los mismos COffl
p a r n d o s e c o n l o que se considera la p r c t i c a excelente. L o s benchmarks son las va
riables de c o m p a r a c i n , y sus niveles son los hitos que se espera conseguir en el pro
ceso de m e j o r a . E v i d e n t e m e n t e , el x i t o de esta a c t i v i d a d depende de la capacidad
para t r a d u c i r las buenas p r c t i c a s en indicadores significativos c o m o mecanismo di-
g e s t i n d e n t r o de la o r g a n i z a c i n ( O w e n y Rogers, 1999).
3.4. S e l e c c i n d e l a p o b l a c i n objetivo
M u c h o s p r o b l e m a s en la i m p l e m e n t a c i n de u n p r o g r a m a se deben a dificultades pa
r a d i r i g i r l o a la p o b l a c i n realmente necesitada, m s que a problemas para entender
c m o p o n e r l o en p r c t i c a ( B i c k m a n , 1987a). C o h n y F r a n c o (1993) d e f i n e n la po-
b l a c i n o b j e t i v o c o m o e l c o n j u n t o de las personas que t i e n e n en c o m n a l g n atribu-
t o , carencia o p o t e n c i a l i d a d que se p r e t e n d e r e m e d i a r o p o t e n c i a r con la interven-
c i n . E n t o d o e l proceso de i n t e r v e n c i n son cruciales las definiciones precisas y
adecuadas de los p r o b l e m a s y de las poblaciones de referencia, desde la p l a n i f i c a c i n
inicial en todas las fases de la i m p l e m e n t a c i n del p r o g r a m a . L o s objetivos pueden
ser personas, grupos, r e a s g e o g r f i c a s , o unidades fsicas, y p u e d e n estar definidos
c o m o objetos directos o indirectos de l a i n t e r v e n c i n . L a s e l e c c i n de la p o b l a c i n de
referencia i m p l i c a : una d e f i n i c i n clara de las unidades o b j e t i v o , decidir si los objeti-
vos han de alcanzarse d i r e c t a o indirectamente, estimar el t a m a o ( n m e r o ) y distri-
b u c i n de los objetivos, establecer las reglas de i n c l u s i n y e x c l u s i n c o m o parte de la
d e f i n i c i n d e l o b j e t i v o y c o m p r e n d e r las necesidades desde varias perspectivas.
3.4.1. D e f i n i c i n
E n ocasiones, la d e f i n i c i n de la p o b l a c i n o b j e t i v o se p l a n t e a en t r m i n o s vagos y
a m p l i o s p a r a ganar en f l e x i b i l i d a d y n o r e s t r i n g i r innecesariamente e l t i p o de per-
sonas q u e p u e d e n s o l i c i t a r servicios d e l p r o g r a m a . A d e m s existen una serie de
p r o b l e m a s ( F r e e m a n y S h e r w o o d , 1970) de t i p o t i c o , c o m o el asociado a la d e f i n i -
c i n de l a p o b l a c i n en t r m i n o s de severidad d e l p r o b l e m a , dejando fuera a perso-
nas q u e n o alcanzan c i e r t o g r a d o de severidad y sin e m b a r g o p u e d e n necesitar ayu-
da; o p r o b l e m a s a d m i n i s t r a t i v o s , c o m o los relacionados c o n la t o m a de decisiones
Copitulo 3: Procedimientos diagnsticos
I | que realiza la p l a n t i l l a que atiende d i r e c t a m e n t e a la p o b l a c i n que solicita ayuda.
E n cualquier caso, puede ser c o n v e n i e n t e r e d e f i n i r la p o b l a c i n o b j e t i v o una vez
iniciado el p r o g r a m a , c o n vistas a alcanzar a u n m a y o r n m e r o de personas. L a co-
rrecta e s p e c i f i c a c i n de los o b j e t i v o s e s t a b l e c e r fronteras apropiadas, de manera
I que la i n t e r v e n c i n alcance c o r r e c t a m e n t e la p o b l a c i n de referencia y sean facti-
bles de aplicarse. L o s planificadores del p r o g r a m a d e b e r a n seleccionar la pobla-
cin de referencia de f o r m a que m a x i m i z a r a la sensibilidad y especificidad. Se de-
b e r a n hacer esfuerzos para e v i t a r la s o b r e i n c l u s i n y la i n f r a i n c l u s i n , t r a t a n d o de
que los recursos i n v e r t i d o s en el p r o g r a m a se ajusten al n m e r o de personas a las
que va d i r i g i d o y a sus necesidades. E n general se distingue e n t r e las personas que
r e s u l t a r n beneficiadas d i r e c t a e i n d i r e c t a m e n t e p o r el p r o g r a m a . E n t r e los benefi-
ciarios i n d i r e c t o s se d i s t i n g u e n a d e m s los l e g t i m o s de los i l e g t i m o s ( C o h n y
Franco, 1993), en c u a n t o q u e n o son beneficiarios directos de la i n t e r v e n c i n , p e r o
su i n c l u s i n concuerda con e l e s p r i t u de la m i s m a , frente a quienes se benefician a
pesar de que n o sufren una s i t u a c i n de desventaja. T a m b i n incluyen el concepto
de "beneficio p b l i c o " , en c u a n t o que la nueva s i t u a c i n que p r o m u e v e la inter-
v e n c i n supone a l g n b e n e f i c i o e s p e c f i c o para la sociedad en su c o n j u n t o .
3.4.1 Conceptos
E n t r e los conceptos i m p o r t a n t e s u t i l i z a d o s para seleccionar los objetivos del
p r o g r a m a figuran ( R o s s i y F r e e m a n , 1989):
a) Incidencia y prevalencia. L a incidencia se refiere a la cantidad de casos nuevos
que aparecen c o n u n p r o b l e m a particular en u n r e a y d u r a n t e u n p e r o d o es-
p e c f i c o . L a prevalencia es u n concepto m s general, d e f i n i d o c o m o el n m e r o
t o t a l de casos del p r o b l e m a q u e existen e n u n r e a y durante u n p e r o d o espe-
cfico. L a prevalencia indica la e x t e n s i n del p r o b l e m a antes de que el progra-
m a comience. A n t e p r o b l e m a s sociales diferentes i n t e r e s a r definir la pobla-
c i n o b j e t i v o en f u n c i n de u n o y o t r o de los conceptos.
b) Poblacin de riesgo. E l c o n c e p t o hace referencia a las personas que t i e n e n
p r o b a b i l i d a d de c o m e n z a r a sufrir a l g n p r o b l e m a o c o n d i c i n n o deseada.
E v i d e n t e m e n t e , n o t o d o s d e s a r r o l l a r n e l p r o b l e m a , p o r l o que la d e f i n i -
c i n de la p o b l a c i n o b j e t i v o en t r m i n o s de riesgo i m p l i c a i n c l u i r a perso-
nas que nunca n e c e s i t a r n e l t r a t a m i e n t o .
c) Sensibilidad y especificidad. Son dos conceptos inversamente relacionados en-
tre s, vinculados c o n la i d e n t i f i c a c i n corTecta de los usuarios potenciales del
programa (Rossi y F r e e m a n , 1989). L a sensibilidad es la capacidad para de-
tectar casos que c u m p l e n las condiciones establecidas para ser incluidos en el
p r o g r a m a ( p o r e j e m p l o , v i v i r en condiciones de infravivienda en r e l a c i n ron
u n programa de r e a l o j a m i e n t o ) , mientras que la especificidad es la capacidad
para rechazar los casos q u e n o c u m p l e n dichas condiciones. Generalmente
 70 Porte /: Diseo de polticas y programas de intervencin social
Capitulo 3: Procedimientos diagnsticos j 71

debe tomarse una d e c i s i n sobre c u l de las dos medidas prcfieri Optimizarse, 3.S. M t o d o s p a r a i d e n t i f i c a r l a p o b l a c i n o b j e t i v o d e l p r o g r a m a
p o r q u e en ocasiones es m s i m p o r t a n t e acertar a localizar el m x i m o de per-
sonas que sufren una c o n d i c i n p r o b l e m t i c a , a n a costa de i | u r reciban e l Para especificar e l L u n a d o y la d i s t r i b u c i n de u n p r o b l e m a , los evaluadores deben
p r o g r a m a u n n m e r o elevado de personas q u e en realidad no l o necesitan, recoger y analizar d a l o s ,.1... r . l i u l e s d e muchas fuentes. Puesto que con frecuencia
p o r e j e m p l o cuando se trata de salvar vidas humanas. la i n f o r m a c i n n e c e a n < st .I -.j ble d i r e c t a m e n t e , es frecuente que e m p r e n -
d) Necesidad y demanda. E l t r m i n o "necesidad" es generalmente d e f i n i d o co- dan o c o n t r a t e n s u p m p i . i i n v e s t i g a c i n social, i n c l u i d a s las entrevistas c o n i n f o r -
m o " u n j u i c i o de v a l o r acerca de la existencia de un problema que afecta a mantes clave-., estudios d r i r g i s i r o s de la agencia, encuestas y censos, evaluaciones
un g r u p o d e t e n n i n a d o y puede ser r e s u e l t o " ( M c K i l l i p , 1WH: 263), e implica de necesidades y evaluai nuil s i militiitivas d e necesidades. Cada una de estas fuen-
la c o n s t a t a c i n de u n a discrepancia e n t r e la s i t u a c i n actual del g r u p o y una tes tiene s u s u s o s v l u m i a , iones |><>i r j e m p l o , las entrevistas con informantes clave
s i t u a c i n i d e a l deseable ( K a u f m a n e E n g l i s h , 197'); W i i k i n y A l t s c h u l d , pueden ser i r l a i i v a m e n i i b a i a t a s v de l n l e j e c u c i n , p e r o son de dudosa fiabilidad;
1995). E n f u n c i n de q u g r u p o define las necesidades y el c r i t e r i o de compa-
las eviiluac i o n e s i ii.iln.tiiv.i-. ,lc nc i c s u l . i c l r s p u e d e n p r o p o r c i o n a r intuiciones de los
r a c i n , es posible diferenciar c u a t r o tipos de necesidades (Bradshaw, 1972):
mecanismos snbyac e n t e s n los problemas sociales, p e r o necesitan ser c o m p l e m e n t a -
las necesidades n o r m a t i v a s son las establecidas p o r profesionales y expertos
das con m e d i d a s i uanlilattvas ya q u e r l d i s e o y la i m p l e m e n t a c i n del p r o g r a m a
en u n r e a especfica de intereses; las necesidades peicibidas son las i d e n t i f i -
demandan i n f o r m a c i n m s precisa. A l g u n a s t c n i c a s t i l e s en la e s t i m a c i n del o b -
cadas p o r los p r o p i o s afectados, las necesidades expresadas son las que se ma-
jetivo se i n ogeii en los a p a i t a d o s siguientes (Rossi y F r e e m a n , 1989).
nifiestan mediante la a c c i n ( p o r ejemplo, a t r a v s de la u t i l i z a c i n o d e m a n -
da de programas y servicios) y las necesidades relativas son las definidas p o r
c o m p a r a c i n con otras poblaciones de c a r a c t e r s t i c a s similares. E n contextos
3.5.1. Entrevistas c o n i n f o r m a n t e s clave
p o l t i c o s , a d m i n i s t r a t i v o s y empresariales es f r e c u e n t e el uso de t r m i n o s
que, aunque son p r x i m o s al c o n c e p t o de necesidad, n o deben ser empleados
I o iiilorrnantes clave son aquellas personas que, p o r su p o s i c i n o estatus d e n t r o del
de u n m o d o i n d i s t i n t o , ya que hacen referencia a realidades claramente dife-
supo, pueden facilitar i n f o r m a c i n clave para identificar o criticar la d e f i n i c i n d e l
renciadas. Es el caso, p o r e j e m p l o , d e l c o n c e p t o de " d e m a n d a " , c o n e l que
problema, la necesidad o la p o b l a c i n necesitada. Se espera obtener i n f o r m a c i n de
suele denominarse a la p e t i c i n expresa de acciones orientadas a la satisfac-
primera m a n o y de forma sencilla y r p i d a , siempre q u e tengan realmente una v i s i n
c i n de una necesidad o u n deseo. A u n q u e algunas necesidades son expresa-
acertada y n o sesgada del p r o b l e m a . Se r e q u i e r e del i n f o r m a n t e que conozca bien a
das a t r a v s de demandas, n o siempre existe una t o t a l equivalencia e n t r e a m -
la comunidad y que tenga c a r a c t e r s t i c a s para convertirse p o t e n d a l m e n t e en l d e r de la
bas. N o todas las necesidades son percibidas p o r los p r o p i o s i n d i v i d u o s que
m i s m a . Por e j e m p l o , en u n estudio con p o b l a c i n i n m i g r a n t e , R e b o l l o s o y H e r n n -
las presentan (necesidades n o expresadas o latentes), n i todas las necesida-
dez (2003) entrevistaron a un n m e r o r e d u c i d o de representantes d e l colectivo m a -
des percibidas son manifestadas c o m o d e m a n d a s ( C h a c n , 1989; C h a c n ,
g r e b , buenos conocedores t a n t o de las necesidades d e l colectivo como de los recur-
B a r r n y L o z a n o , 1988). P o r o t r o l a d o , t a m p o c o t o d a s las d e m a n d a s se
sos disponibles a t r a v s de la r e d de servicios sociales. E l o b j e t i v o era analizar las
o r i e n t a n a la cobertura de necesidades, buscando en ocasiones la s a t i s f a c c i n
necesidades y las redes de a p o y o de la p o b l a c i n m a g r e b . Para asegurar la validez de
de deseos que se e n c u e n t r a n m s all d e l n i v e l adecuado o satisfactorio al
los datos u t i l i z a r o n otros m t o d o s de i n v e s t i g a c i n de m a n e r a combinada.
que hace referencia este l t i m o concepto. L a d i f e r e n c i a c i n y c o r r e c t o uso
de ambos t r m i n o s es, p o r t a n t o , i m p r e s c i n d i b l e para su a p r o p i a d a identifica-
cin y evaluacin.
3.5.2. F o r o c o m u n i t a r i o
e) Estimaciones. G u a r d a n r e l a c i n c o n la necesidad de d e m o s t r a r que la exis-
tencia de u n p r o b l e m a r e a l m e n t e merece e l esfuerzo de i n v e r s i n q u e su- Es una r e u n i n a b i e r t a a la q u e se i n v i t a a p a r t i c i p a r a la c o m u n i d a d p a r a t r a t a r
p o n e la c r e a c i n de u n p r o g r a m a de i n t e r v e n c i n social; p o r e j e m p l o , a n a l i - sobre m u y diversas cuestiones posibles ( e v a l u a c i n de necesidades, x i t o de l a i n -
z a n d o la e x t e n s i n d e l p r o b l e m a en f u n c i n de diferentes g r u p o s sociales t e r v e n c i n , etc.). Se r e q u i e r e q u e e l g r u p o de asistentes sea r e p r e s e n t a t i v o de l a
( p o r rangos de edad, g n e r o , n i v e l de ingresos, residencia, etc.), de t a l m o - c o m u n i d a d y q u e sientan l i b e r t a d para expresar sus p u n t o s de vista, a u n q u e a ve-
d o q u e se puede e s t i m a r m s ajustadamente q u i n e s s e r n los d e s t i n a t a r i o s ces la presencia de o t r o s p u e d a c o a r t a r l a e x p r e s i n . P o r e j e m p l o , las r e u n i o n e s
de una p o t e n c i a l i n t e r v e n c i n . E v i d e n t e m e n t e , la c u e s t i n p u e d e p l a n t e a r - plenarias de los Consejos escolares en los centros p b l i c o s de e n s e a n z a e s p a o l e s
se en t r m i n o s de coste-beneficio, en la m e d i d a en que el p r o b l e m a social se u t i l i z a n , e n t r e otras cuestiones, p a r a d e f i n i r y p r i o r i z a r las necesidades de la co-
sea suficientemente grave o extenso p a r a iniciar el p r o g r a m a . m u n i d a d escolar ( R e b o l l o s o , C a n t n y F e r n n d e z - R a m r e z , 2004). L a s r e u n i o n e s
 72 Porte /: Diseo de poHtkas y programas de intervencin socio/
cuentan con la p a r t i c i p a c i n de representantes de todos los colectivos Iroplll d o i v
p r o c e d e n con m t o d o s d e m o c r t i c o s p a r a la t o m a de decisiones. E l b u e n i .
n a m i e n t o de los foros c o m u n i t a r i o s r e q u i e r e u n p e r i o d o p r e v i o de reunioDM pal
d a l e s y una p r e p a r a c i n exhaustiva de la agenda de l a r e u n i n plenaria (NAl I v
Loscertales, 1 9 % )
3.5.3. Indices bajo tratamiento
Supone recoger i n f o r m a d n a t r a v s de las personas q u e h a n r e c i b i d o t r a t a m i c n
to, consideradas c o m o u n segmento significativo de la p o b l a d n con p r o b l e m a s
E x i s t e u n posible sesgo c u a n d o el acceso a los servicios del p r o g r a m a n o son posi-
bles o e q u i t a t i v o s para todos los subgrupos de la p o b l a d n o b j e t i v o t o t a l .
3.5.4. Indicadores sociales
L o s i n d i c a d o r e s son c o n j u n t o s de datos q u e recoge p e r i d i c a m e n t e una agencia
o f i d a l y q u e hacen referencia a variables, c a r a c t e r s t i c a s y aspectos variados r e a
d o n a d o s c o n el p r o b l e m a y e l p r o g r a m a de i n t e r v e n d n . L o s indicadores son t i -
les p a r a analizar l a e v o l u d n t e m p o r a l de las c o n d i d o n e s de v i d a o del estado de
u n p r o b l e m a s o d a l . P o r e j e m p l o , los responsables de la D i r e c d n G e n e r a l de T r -
fico u t i l i z a n i n d i c a d o r e s generales ( n m e r o g l o b a l de accidentes, n m e r o de h e r i -
dos, n m e r o de m u e r t e s , etc.) para d e t e r m i n a r el x i t o de las intervenciones que
se r e a l i z a n a n u a l m e n t e para r e d u c i r la m o r t a l i d a d en las carreteras e s p a o l a s . U n
p r o b l e m a es la d i f i c u l t a d p a r a s e a l a r el i m p a c t o d i r e c t o de las i n t e r v e n d o n e s , a s
que es necesario c o m p l e t a r los datos c o n e s t a d s t i c a s s o b r e e l t i p o de a c d d e n t e s y
sobre o t r o s factores de especial i n d d e n d a e n e l n m e r o d e a c d d e n t e s r e g i s t r a d o
(estado de las carreteras, c l i m a t o l o g a , etc.).
3.5.5. Entrevistas
P u e d e ser d e f i n i d a c o m o u n a c o n v e r s a c i n , g e n e r a l m e n t e e n t r e dos personas,
guiada p o r u n e n t r e v i s t a d o r c o n el p r o p s i t o de r e c o p i l a r datos acerca d e l t e m a i n -
vestigado ( A n d e r - E g g , 1995; C a n n e l l y K a h n , 1992; q e m e n t e , 1992). T e n i e n d o e n
cuenta el g r a d o de e s t r u c t u r a d n y la n a t u r a l e z a de l a i n f o r m a d n que esta t c n i -
ca p r o p o r d o n a , es p o s i b l e diferenciar e n t r e l a e n t r e v i s t a estructurada y la e n t r e -
vista a b i e r t a o en p r o f u n d i d a d ( B i s a u t a , 1989). L a e n t r e v i s t a estructurada y estan-
darizada, d e t i p o c u a n t i t a t i v o , se realiza sobre la base d e u n g u i n de preguntas
cerradas q u e se p l a n t e a n s i e m p r e en el m i s m o o r d e n y e n i d n t i c o s t r m i n o s , c o n
respuestas ajustables a c a t e g o r a s definidas a p r i o r i y c o n r e g i s t r o m e c n i c o de los
datos. Su p r i n d p a l o b j e t i v o es recoger l a m x i m a c a n t i d a d p o s i b l e de i n f o r m a d n
Capitulo 3: Procedimientos diagnsticos 73'
que pueda p r o p o r c i o n a r la persona entrevistada acerca del tema o b j e t o de estudio
( G o n z l e z , 1997). E n c u a n t o a l a entrevista abierta, de t i p o cualitativo, posee las
mismas c a r a c t e r s t i c a s que la a n t e r i o r a e x c e p d n de l o r e f e r i d o a sus objetivos,
estructura y aspectos formales. Su p r i n d p a l p r o p s i t o es recoger el discurso de un
sujeto, p e r m i t i n d o l e h a b l a r l i b r e m e n t e , c o n la n i c a r e s t r i c c i n de un g u i n no
d i r e c t i v o que c o n t e m p l a las r e a s o temas d e i n t e r s sobre los que interesa recoger
i n f o r m a d n d u r a n t e la entrevista, sin establecer n i n g n o r d e n rgido a la hora de
plantear las cuestiones ( P a t t o n , 1990; R o d r g u e z , G i l y G a r c a , 1996; T a y l o r y B o g -
dam, 1984; Valles, 1997).
3.5.6. T c n i c a s de encuesta
Las t c n i c a s de encuesta son las m s utilizadas para e l d i a g n s t i c o de los p r o b l e -
mas y necesidades sociales ( M c K i l l i p , 1998; W i t k i n , 1994). Se trata de u n p r o c e d i -
m i e n t o consistente e n f o r m u l a r una serie de preguntas a un n m e r o d e t e r m i n a d o
de i n d i v i d u o s representativos de u n c o l e c t i v o m s a m p l i o - g e n e r a l m e n t e un g r u p o
de p o b l a d n , los usuarios de u n servicio, los proveedores del m i s m o , etc.- con o b -
j e t o de recoger i n f o r m a d n acerca de sus actitudes, o p i n i o n e s , creencias, prefe-
rencias, percepciones y c o m p o r t a m i e n t o s en r e l a d n a la s i t u a c i n o p r o b l e m a
analizado y a los servicios q u e se ofrecen e n u n r e a e s p e c f i c a . Se trata, p o r t a n t o ,
de u n m t o d o Dexible q u e p e r m i t e a b o r d a r una gran v a r i e d a d de temas, e i m p l i c a
u n c o n t a c t o d i r e c t o c o n l a p o b l a c i n cuya s i t u a c i n va a ser evaluada, p r o m o v i e n -
d o l a c o n d e n d a c i n acerca de los p r o b l e m a s existentes entre los m i e m b r o s de la
c o m u n i d a d , y f a d l i t a n d o su p a r t i d p a d n activa en los p r o g r a m a s y acciones e m -
p r e n d i d a s para su s o l u c i n . Sin e m b a r g o , t a m b i n p u e d e n crear la falsa expectati-
va de q u e se v a n a a d o p t a r medidas para la m e j o r a de la s i t u a c i n en base a los r e -
sultados d e l estudio, l o cual n o siempre sucede ( M c K i l l i p , 1998). E n t r e las t c n i c a s
de encuesta m s conocidas y empleadas c o m o p r o c e d i m i e n t o s de d i a g n s t i c o des-
tacan el c u e s t i o n a r i o y la e n t r e v i s t a estructurada. L o s ejemplos son abundantes.
Por c i t a r u n o , R e b o l l o s o , F e r n n d e z - R a m r e z y Pozo (2000) u t i l i z a n un cuestiona-
rio e s t r u c t u r a d o para diagnosticar los p r o b l e m a s de s a t i s f a c c i n del personal p r o -
f e s i o n a l de u n s e r v i c i o de a d m i n i s t r a c i n u n i v e r s i t a r i a . E l c u e s t i o n a r i o e s t u v o
o r i e n t a d o p o r u n m o d e l o t e r i c o e x h a u s t i v o y se u t i l i z en el m a r c o de una eva-
l u a c i n de la c a l i d a d d e las p r c t i c a s de g e s t i n .
3.5.7. Registro de d o c u m e n t o s o datos de archivo
Consiste en r e c o p i l a r i n f o r m a d n de naturaleza c u a n t i t a t i v a d i s p o n i b l e en d i v e r -
sas i n s t i t u c i o n e s ( p o l t i c a s , sociales, educativas, sanitarias, etc.) acerca de la p o b l a -
d n o p r o b l e m t i c a analizada. D e n t r o de esta c a t e g o r a p u e d e n incluirse los cen-
sos, los registros i n s t i t u c i o n a l e s y los datos acerca de la u t i l i z a d n de programas y
 74 Porte I: Diseo de polticos y programos de intervencin social
servicios ( M c K i l l i p , 1998). Esta i n f o r m a c i n suele encontrarse d i s p o n i b l e en i n f o r -
mes escritos, bases de datos y, m s r e c i e n t e m e n t e , ha c o m e n z a d o a ser d i f u n d i d a a
t r a v s de I n t e r n e t . E l p r i n c i p a l uso de este t i p o d e p r o c e d i m i e n t o s suele ser la des-
c r i p c i n de las c a r a c t e r s t i c a s de la p o b l a c i n o b j e t o de estudio, en t r m i n o s de datos
s o c i o d e m o g r f i c o s tales c o m o edad, sexo, n i v e l de ingresos, nivel de estudios, lugar
de residencia, etc. E n cuanto a la u t i l i z a c i n de servicios, la d e s c r i p c i n de las carac-
t e r s t i c a s de los usuarios de los programas suele p r o p o r c i o n a r i n f o r m a c i n t i l para
la d e t e c c i n de grupos que n o e s t n r e c i b i e n d o l a i n t e r v e n c i n , a pesar de p e r t e -
necer a la p o b l a c i n o b j e t i v o d e l p r o g r a m a , y de usuarios que no necesitan r e a l -
m e n t e el servicio, p e r m i t i e n d o identificar las posibles barreras q u e i m p i d e n o l i m i -
tan el acceso a los p r o g r a m a s .
3.5.8. Censos c o m u n i t a r i o s
L o s censos s o n u n a m o d a l i d a d d e d a t o s d e a r c h i v o , d e c a r c t e r e s t a d s t i c o - d e s -
c r i p t i v o , acerca de una p o b l a c i n d e t e r m i n a d a ( A n d e r - E g g , 1995; A n g e l y Freed-
man, 1992). Se trata, por t a n t o , de una t c n i c a de recogida de i n f o r m a c i n de natura-
leza c u a n t i t a t i v a . M i e n t r a s q u e l o s d a t o s de e n t r e v i s t a s o n e l r e s u l t a d o d e u n
proceso c o n s t r u c t i v o de i n t e r a c c i n social entre e l investigador y el sujeto e n t r e -
vistado, e l a n l i s i s de censos n o i m p l i c a n i n g n t i p o de r e l a c i n c o m u n i c a t i v a , l i -
m i t n d o s e a la r e c o p i l a c i n de datos ya existentes acerca de la p o b l a c i n o b j e t o de
estudio. A l g u n a s universidades, p o r e j e m p l o , h a n i m p l a n t a d o r e c i e n t e m e n t e siste-
mas de g e s t i n de la i n f o r m a c i n que a y u d a n a crear u n a base de datos p e r m a n e n -
te, a m p l i a y r e n o v a d a a n u a l m e n t e sobre m u l t i t u d de cuestiones de i n t e r s . C u a l -
q u i e r investigador, c o n e l p e r m i s o adecuado, puede acceder a d e t e r m i n a d o s
sectores de la base de datos para extraer i n f o r m a c i n til para sus investigaciones.
Evaluacin de entrada
y planificacin del programa
l a lase d r i l a i n l i i ai i.'>n d r l p r o g i a m a r s d r especial trascendencia para el x i t o de
la inte i VMli i o n v r x i i - e In < o l a b o r a c i n estrecha e n t r e los evaluadores y los r e s p o n -
s a b l e s d e l p i o g i . u u a ( i l n r i U n e s , a d m i n i s t r a d o r e s y personal t c n i c o ) . Las o r g a n i -
zaciones di si vi s o n s e n s i b l e s a los c a m b i o s y las influencias p o l t i c a s , de t a l
m o d o i | u r la v i a b i l i d a d d r l a i n t e r v e n c i n d e p e n d e de q u e se m a n t e n g a n las c o n d i -
c i o n e s i d n e a s de p a r t i d a y se c o n t r a r r e s t e n las posibles barreras o d i f i c u l t a d e s
que p u e d e n aparecer.
L a p l a n i f i c a c i n del p r o g r a m a es una a c t i v i d a d r a c i o n a l que i m p l i c a la e l e c c i n
de las mejores opciones de i n t e r v e n c i n y la d e f i n i c i n de u n sistema de i m p l e -
m e n t a c i n adecuado que sea capaz de alcanzar a l a p o b l a c i n o b j e t i v o y prestar-
le los servicios esperados. L a coherencia i n t e r n a del p r o g r a m a tiene q u e ver con la
correcta d e f i n i c i n de las metas, objetivos y actividades de l a i n t e r v e n c i n ( t e o r a
del p r o g r a m a ) , que son o b j e t o de anlisis de la e v a l u a c i n de la e v a l u a b i l i d a d o de
la e v a l u a c i n o r i e n t a d a p o r l a t e o r a . E n sucesivas ocasiones de i m p l e m e n t a c i n ,
los p r o g r a m a s p o d r n ser refinados o ajustados t e n i e n d o e n cuenta la e x p e r i e n c i a
previa.
F r e n t e a la v i s i n c o n v e n c i o n a l q u e i d e n t i f i c a l a e v a l u a c i n c o m o una a c t i v i -
dad q u e se realiza al final de la i n t e r v e n c i n , c u a n d o se ha l o g r a d o a l g n t i p o de
r e s u l t a d o , l a e v a l u a c i n de e n t r a d a enfatiza la necesidad de revisar y m e j o r a r la
p r o p i a d e f i n i c i n d e l p r o g r a m a , i n c l u y e n d o t a n t o su base l g i c a c o m o p r a g m t i c a .
Es decir, p o r q u se espera q u e determinadas actividades produzcan los cambios de-
seados en la p o b l a c i n objetivo, y c m o se e s t r u c t u r a r el f u n c i o n a m i e n t o de l a orga-
n i z a c i n de servicios responsable del p r o g r a m a para localizar y trabajar con la p o b l a -
cin objetivo.