Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
EVALUACION
DE
PROYECTOS SOCIALES
APUNTES DE CLASE
FERNANDO SALAMANCA O. JOSE REINALDO SAEZ M.
INDICE
Pgina
RESUMEN
PRESENTACIN
I. MARCO GENERAL
I.1.
I.2.
Programas y proyectos
El ciclo de proyectos
6
8
11
11
16
18
19
20
21
Control financiero
Control tcnico
21
24
25
26
28
28
28
29
30
30
30
32
34
34
34
37
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
63
RESUMEN
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
PRESENTACIN
Tanto
las polticas pblicas como las iniciativas de la sociedad civil tienen como
herramientas operacionales a programas o proyectos. Los problemas o necesidades sociales
se traducen en estas herramientas operativas, especialmente agrupadas por sectores sociales.
La formacin de profesionales en programacin y evaluacin social implica la capacidad de
formular y evaluar proyectos, en el marco de la necesidad de optimizar, mediante programas
y proyectos, los recursos pblicos en una ptica de eficacia, eficiencia, equidad y
participacin social.
Estos apuntes se enmarcan en la necesidad ms general de formacin de recursos humanos
en polticas, programas y proyectos en la amplia gama de necesidades sociales. Su utilidad
reside en constituir un apoyo a la docencia, as como un instrumento permanente de
asistencia para los profesionales que trabajan en proyectos tan variados como promocin de
la salud, educacin, desarrollo comunitario, comunicacin, capacitacin y empleo y
construccin y mantencin de infraestructura social. Su utilidad es extensiva a programas y
proyectos en el mbito comunal y regional en el sector pblico, as como organismos
gubernamentales relacionados con la agenda social.
El documento se inicia con los componentes del diagnstico de la situacin problema y las
metodologas en uso para la deteccin de necesidades. Posteriormente se extiende en las
caractersticas de la estrategia de intervencin, su operacionalizacin y marco lgico. Detalla
adems los elementos constitutivos del presupuesto y cronograma de trabajo.
Se releva la gestin participativa en los proyectos, recogiendo el acento puesto por diversos
organismos multilaterales en incorporar a beneficiarios/as, y en general a actores de la
sociedad civil, en la formulacin, gestin y evaluacin de proyectos de desarrollo.
Dentro de la evaluacin se distingue entre evaluacin de eficiencia y de impacto. En la
primera opcin se destacan las tcnicas costo-beneficio y costo-efectividad y en la segunda,
las variantes del diseo experimental y las estrategias cualitativas.
Por ltimo, los apuntes precisan la aplicabilidad de los diseos evaluativos en los sectores
sociales ms usualmente asociados a respuestas estatales a necesidades bsicas de la
poblacin.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
INTRODUCCIN
Estos apuntes han sido diseados como material de apoyo a las clases lectivas y talleres de
cursos de Formulacin como de Evaluacin de proyectos sociales, dictados en diversos
centros acadmicos y organismos pblicos.
En ellos se enfatizan en los conceptos asociados a las herramientas operativas en
planificacin, y se remarca la nocin de proyecto asociado tanto a la formulacin e
implementacin de proyectos como de los programas, calificando la diferencia entre ambos
niveles cuando sea pertinente.
Los apuntes se ordenan en un Captulo introductorio sobre marco general y los Captulos
subsiguientes en secciones correlativas segn el ciclo del proyecto (Captulo II):
antecedentes y situacin problema en el Captulo III, la estrategia de intervencin en el
Captulo IV; presupuesto, administracin y gestin de proyectos en el Captulo V; el Captulo
VI se refiere a supervisin de proyectos y el Captulo VI a evaluacin de proyectos sociales.
Se sintetizan los conceptos usuales en el diseo, implementacin y evaluacin de proyectos
sociales y se agregan referencias a proyectos productivos de carcter local y con
externalidades sociales. Se hace referencia, como evidencia emprica, tanto a investigaciones
aplicadas como a proyectos evaluados o en desarrollo.
Los apuntes recogen valiosas observaciones y crticas formuladas por alumnos de diversos
cursos, pero las opiniones emitidas sobre las intervenciones sociales analizadas slo
comprometen a los autores.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
I. MARCO GENERAL
I.1.
Programas y proyectos
Las
Diagrama 1.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
Cuadro 1
EJES PARA EL DISEO Y EVALUACIN DE POLTICAS PROGRAMAS Y
PROYECTOS
EJES
Integralidad
Equidad
Cobertura
Participacin
Transferencia monetaria
Financiamiento
Eficiencia
Eficacia
TEMAS EMERGENTES
PROBLEMAS O TPICOS
Capacidad intersectorial.
Niveles de integralidad (nacional, regional, local)
Focalizacin.
Territorializacin.
Sectores vulnerables
Magnitud de dficit.
Priorizacin.
Seleccin de usuarios
Implementacin y sus obstculos.
Escala.
Replicabilidad.
Inferencia.
Insercin en la institucionalidad estatal
Dificultad de cuantificacin.
Estimacin de niveles mnimos.
Accesibilidad a subsidios
Directo.
Tributacin o indirecto
Tarifas.
Autofinanciamiento
Costos administrativos.
Uso de Infraestructura y equipamiento. Retencin de
beneficiarios o clientes
Medicin en base a insumos o resultados.
Externalidades.
Sustentabilidad.
Metodologas efectivamente aplicables
PROBLEMAS O TPICOS
Medio ambiente
Genero
Identidad cultural
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
El ciclo de proyectos
Diagrama 2.
CICLO DE VIDA DE LOS PROYECTOS
Evaluacin
de
impacto
Diseo
NECESIDADES
Evaluacin
Ex ante
Resultados
APRENDIZAJES
Ejecucin
Evaluacin
de
procesos
Seguimiento
En Amrica Latina los proyectos se enmarcan, en forma creciente, en un ciclo decisional que
establece criterios formales para la asignacin de recursos hacia los sectores sociales. Este
ciclo se inicia usualmente en los niveles ms desagregados del aparato pblico, o sea, en el
gobierno local o en el regional. Eventualmente, las organizaciones comunitarias pueden ser
generadoras de ideas o perfiles de proyectos, con el respaldo de los gobiernos locales.
De esta manera, el proyecto social inicia un proceso progresivo de jerarquizacin y
compatibilizacin con lneas programticas preexistentes, salvo cuando cumple la funcin de
innovar dentro de programas sectoriales tradicionales.
Independientemente de los rasgos especficos de cada sector social (salud, vivienda,
educacin, etc.), los proyectos responden a un formato comn de diseo en su formulacin,
en que destacan como elementos centrales la deteccin del problema y la magnitud de la
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
10
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
11
elaboracin de diagnsticos ad hoc, los que son poco frecuentes por el costo y la
complejidad de los instrumentos de recoleccin de la informacin requerida.
El concepto de grupo en riesgo se deriva del enfoque de la intervencin temprana en salud
pblica, y que adquiere creciente importancia en la programacin social (OPS, 1986). En
este caso, los programas y proyectos se orientan principalmente hacia grupos vulnerables,
como los menores de seis aos y las madres embarazadas. El concepto de grupo de riesgo
busca incentivar programas preventivos dirigidos a poblacin vulnerable, como en
problemas de conducta irregular y drogadiccin juvenil.
Un uso de estadsticas sociales es la medicin de necesidades bsicas insatisfechas (NBI)
con fines de focalizacin. La medicin de NBI se apoya en indicadores estadstico
compuestos de nivel socioeconmico que se derivan de una reelaboracin de los datos
censales y de encuestas de hogares y se basas en indicadores habitacionales. En Amrica
Latina se desarrollan registros de NBI, desagregables para el nivel nacional, regional y,
eventualmente en el mbito local. Algunos pases disponen de instrumentos especficos de
medicin de carencias que permiten una mejor focalizacin dentro de las personas o familias
pobres.
La focalizacin es til para comparar la secuencia temporal de programas, cuando entre
ellos hay una baja cobertura de bienes y servicios sociales a grupos en riesgo. En Chile, por
ejemplo, dentro de los grupos pobres, parte significativa de las demandas del grupo de edad
de 0-24 meses es atendida casi en su totalidad por el Programa Nacional de Alimentacin
Complementaria (PNAC). Lo mismo sucede con las del grupo de edad 7-14 aos, que son
atendidas por el programa de alimentacin escolar (PAE). Sin embargo, en el grupo entre 2 y
6 aos existe una brecha de baja cobertura en la educacin preescolar. Estas anomalas
ilustran la necesidad de establecer programas secuenciales con propsitos mltiples segn el
ciclo vital.
Los datos secundarios permiten la delimitacin de los grupos objetivos y de los beneficiarios
del proyecto y, en algunos casos particulares, deben complementarse con estudios de
carencias o diagnsticos ad hoc. En estos ltimos se utilizan cuestionarios estructurados o
datos secundarios de origen administrativo, en particular estadsticas vitales.
Un caso particular lo representan los diagnsticos sobre la estructura productiva y del
empleo sectorial. Los datos se extraen de los Censos nacionales de Poblacin y Vivienda y
Encuestas continuas de ocupacin. Ms all de los datos descriptivos sobre los sectores
productivos y de empleo predominantes, el desafo de las estadsticas de empleo es su
calidad de predictores adecuados de la demanda de oficios para formular proyectos de
capacitacin y de microempresas. De antemano se puede establecer que se trata de
estadsticas demasiado estticas y agregadas sectorial y geogrficamente que no
permiten su uso ptimo a nivel local y comunitario.
Sin embargo, estas fuentes administrativas permiten mejorar la calidad de los diagnsticos
para proyectos y programas sociales (ver Cuadro 2).
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
12
Cuadro 2
CARACTERSTICAS DE LAS FUENTES DE INFORMACIN SECUNDARIA
TIPO
Censos
COBERTURA
VENTAJAS
DESVENTAJAS
Poblacin
Educacin
Empleo
Familia
Vivienda
Calidad
Saneamiento
Equipamiento
comunitario
Desagregacin
Intracomunal
Existencia como
base de datos
Expedicin de
acceso
Nacional
Necenal
Metropolitana
Poblacin
Educacin
Empleo
Familia
Vivienda
Calidad
Saneamiento
Equipamiento
comunitario o
acceso a bienes y
servicios
Controles
Consultas,
Poblacin
escolarizada
Nmero de
viviendas
Flujos telefnicos
Encuestas de
hogares
Encuestas de
ocupacin
Encuesta de
presupuestos
familiares
Estadsticas
sectoriales
VARIABLES
Ciudades medias
Sectores:
Salud,
Educacin
Vivienda,
Comunicaciones.
Periodicidad
Flexibilidad
Series temporales
Factibilidad de
ndices
Perodo de
tiempo
Secreto
estadstico
Ausencia de
variables
psicosociales
Restriccin por
muestra
Acceso limitado
a la base de
datos
Inexistencia
como base de
datos.
Desagregacin
social y
territorial
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
13
organizaciones comunitarias o por entes descentralizados del Estado. Sus limitantes residen
en la falta de periodicidad y cobertura territorial de la informacin.
a) la entrevista semi-estructurada
La entrevista semi-estructurada es una tcnica adecuada para estimar la demanda cualitativa
cuando esta demanda se refiere a tpicos sociales complejos. La entrevista semi-estructurada
se dirige a informantes claves y es adecuada para estimar demanda en proyecto de pequea
escala y con referencia a valores, actitudes o comportamientos locales.
Las entrevistas semi-estructuradas pueden tener como informantes claves a Directores de
Escuelas, de Centros de Salud, dirigentes de organizaciones sociales, a los que se les solicita
informacin sobre antecedentes que configuran un problema social. Posteriormente se
analizan y sintetizan los distintos tipos de informacin, para establecer un patrn comn en
sus categoras de deteccin de necesidades.
b) entrevistas grupales
Tambin las entrevistas grupales sirven para identificar, ordenar y jerarquizar necesidades
bsicas de orden cualitativo. Las entrevistas grupales son tcnicas basadas en informantes
claves, como las entrevistas grupales. Las entrevistas grupales1 han demostrado su utilidad
como tcnica de recoleccin de informacin. Ellas entregan un gran caudal de informacin
interpretativa, dimensionamiento de carencias, para proyectos de difcil cuantificacin en sus
resultados.
Una variante pero en base a entrevistas paralelas para constituir un grupo virtual, son las
tcnicas Delphi (ILPES, 1994) en base a grupo de expertos o informantes claves. 2
1
2 O su variante mas predeterminada como los Focus groups
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
14
Cuadro 3
TECNICA DELPHI
Caractersticas y pasos de la Tcnica Delphi
Cuestionarios secuenciales aplicados a expertos
Recoleccin de informacin progresivamente especfica
til para obtener juicios subjetivos
Aplicabilidad:
Restricciones de costo, tiempo y recursos
Imposibilidad de interaccin cara a cara
Alto desacuerdo probable en los expertos
Pasos de aplicacin de la Tcnica Delphi
Deteccin y listado extenso de problemas
Jerarquizacin de problemas
Identificacin de soluciones
Jerarquizacin de soluciones
Las ONG han aportado una provechosa experiencia en tcnicas cualitativas de recoleccin
de informacin, en base a material de fcil comprensin y con tcnicas de animacin social.
Ello producto de la especializacin en la investigacin, sistematizacin y difusin de
material de educacin popular.
El diagnostico o recopilacin de antecedentes no puede ignorar que un proyecto responde a
criterios de elegibilidad fijados de antemano, de all que una preseleccin inicial de proyectos
ser la mera sujecin del proyecto a las lneas de prioridad gubernamentales o bases de
concurso de los fondos de inversin. Usualmente estas bases son: focalizacin de niveles
socioeconmicos, orientacin a grupos vulnerables o prioridades regionales. El diagnostico
debe contemplar adems la existencia de otras organizaciones que realizan proyectos
similares en el rea para lograr optimizar complementariedades, o al contrario, evitar
yuxtaposiciones de poblacin objetivo.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
15
II.3.
Son frecuentes los diagnsticos realizados con diferentes datos sociales y que se basan en
encuestas o estudios no continuos en el tiempo y preparados con otros fines, como tambin
con informacin primaria. Ambos tipos de informacin deben entenderse como
complementarios y necesarios para configurar un marco analtico para ordenar y sistematizar
la informacin.
Cabe citar, por ejemplo, diagnsticos realizados por equipos sanitarios en reas de salud,
diagnsticos en asentamientos precarios ejecutados por municipios, organizaciones no
gubernamentales (ONGs) o entidades acadmicas, monografas sobre empleo, tesis de grado
sobre pobreza en reas o sectores delimitados, etc. Estos diagnsticos, aunque carecen de la
cobertura y periodicidad de las estadsticas sociales, entregan antecedentes valiosos
-guardando los mrgenes de error o inferencia- para diagnsticos en reas de difcil
deteccin, como valores y conductas sexuales, relaciones intrafamiliares, expectativas
migratorias, etc. El paso siguiente es formalizarlos en una expresin metodolgica secuencia
y analtica cuya menor operacionalizacin es el rbol de Problemas.
Esta tcnica permite que los datos que permiten la identificacin del problema pueden ser
continuada con un proceso de anlisis de las causas que lo generan y los efectos que
produce el mismo problema
El rbol del problema es una tcnica que permite analizar y ordenar los diversos
factores que inciden en la gestacin de un problema.
Todo problema social tiene causas histricas o estructurales que lo generan en su origen,
como tambin causas o variables ms intermedias o contingentes, que son las
consecuencias de las causas histricas. A su vez, el propio problema suscita otras
consecuencias o efectos en el entorno social o geogrfico.3
Para la descripcin de un problema, el rbol ordena los factores que originan el problema
en una secuencia de relaciones de causas y efectos, que se presentan grficamente
identificando las causas estructurales en la base o abajo (las races) del rbol hasta
rematar en las consecuencias o arriba del rbol (las ramas), como se presenta en el
siguiente esquema:
3 En la situacin de ampliar el rbol de causas a las consecuencias derivadas del problema se puede hablar del
rbol de causas y efectos
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
16
Diagrama 3
RBOL DE PROBLEMAS O DE CAUSAS Y EFECTOS
Efectos
Efectos
Efectos
VARIABLE
DEPENDIENTE O
PROBLEMA
CENTRAL
Variables o
causas
intermedias
Variables o
causas
estructurales
Variables o
causas
intermedias
Variables o causas
estructurales
Variables o
causas
intermedias
Variables o
causas
estructurales
En sntesis, el rbol permite establecer la secuencia de causas, partiendo abajo con las ms
estructurales, pasando a otras derivadas de carcter intermedio, hasta rematar arriba en el
problema e identificando la secuencia de efectos que genera el propio problema.
Para la construccin del rbol se pueden utilizar fuentes de informacin cuantitativa como
cualitativa y ser desarrollado por el propio proponente de la iniciativa. Sin embargo, es
altamente recomendable para su desarrollo utilizar la tcnica cualitativa de la entrevista
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
17
focal o de grupo focal4. La tcnica del grupo ncleo o focal consiste en una entrevista
colectiva en grupos pre-seleccionados, los cuales usualmente entregan informacin de
calidad. En este caso vlida para el anlisis del problema.
Hay que considerar que el rbol del Problema con su capacidad de identificacin de causas,
ya sea expresada en variables estructurales o intermedias, no significa necesariamente una
posibilidad de intervencin sobre las mismas. Una adecuada identificacin de causas no
equivale mecnicamente a lograr una intervencin inmediata y exitosa por parte de
programas u proyectos sociales. Para ello se debe elaborar una derivacin del rbol de
Causas que es el paso precedente al rbol de Objetivos, que se describe mas adelante.
II.4.
Cobertura de beneficiarios
La cobertura se refiere a la capacidad del proyecto de cubrir el tipo de universo al cual est
dirigida la intervencin. La mayora de los programas universales o de cobertura total se han
demostrado como regresivos al invisibilizar desigualdades sociales internas de la poblacin.
En los proyectos, por su mismo carcter discontinuo, una cobertura amplia es difcil de
lograr, ya sea por escasez de recursos econmicos del proyecto, automarginacin, exceso de
dispersin de la poblacin, o por barreras culturales o psicolgicas que dificultan el acceso
del usuario.
En la formulacin de un proyecto existe la disyuntiva entre optimizar su cobertura (la mayor
cantidad posible de beneficiarios) o incrementar la calidad de la intervencin con un bajo
nmero de beneficiarios. La opcin ms generalizada es optar por una cobertura amplia, pero
en grupos focalizados de acuerdo a los criterios de extrema pobreza.
Si la falta de recursos imposibilita esta opcin, cabe seleccionar a un grupo de beneficiarios
pobres que presenten mayor vulnerabilidad o que tengan un buen pronstico en los
resultados de la intervencin.
A los beneficiarios directos se agregan comnmente beneficiarios indirectos, personas o
grupos que reciben parte de los beneficios o efectos del proyecto. Estos beneficiarios
indirectos, muchas veces son familias u organizaciones ligadas al proyecto. No es adecuado
sobre-estimar la relacin beneficiario directo-indirecto mas all de lo que indica la
experiencia previa en proyectos similares, ni menos aun utilizarla como recurso para
aumentar artificialmente el numero de beneficiarios de un proyecto.
Segn las lneas programticas de una poltica social puede interesar fijar una discriminacin
positiva para un tipo particular de beneficiarios como mujeres, etnias, adultos mayores, etc.;
condicin que debe ser considerada para flexibilizar modalidades de acceso al programa o
proyecto.
II.5.
Seleccin de beneficiarios
Con algunas variaciones los grupos focales, son asimilables a las entrevistas grupales, grupos de
discusin o focus groups.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
18
19
Localizacin
Todo programa o proyecto social est localizado espacialmente. Esa localizacin responde a
dos lgicas espaciales que son contradictorias. Por una parte, los programas sociales tienen
las ventajas de las mismas economas de escala porque los servicios sociales tienen fuertes
economas a medida que aumenta su volumen de entrega. Y externas porque se localizan en
un punto del espacio que es equidistante de sus insumos fundamentales y del mercado.
Luego, la localizacin de estos servicios es en puntos centrales que concentren una demanda
masiva y heterognea.
Un buen ejemplo de esta lgica sera la localizacin de un hospital de especialidades que
cubra una demanda nacional. Por el alto monto de la inversin, estos establecimientos se
localizan en un punto fijo, usualmente una metrpoli.
En un sentido contrario, el grupo objetivo o el usuario est interesado en obtener el servicio
con un costo mnimo de accesibilidad y en un punto ptimo, como el lugar donde desarrolla
sus actividades cotidianas, ya sea su vivienda o su lugar de trabajo.
Naturalmente, la localizacin real de un programa social es un compromiso entre ambas
lgicas, aunque en ciertas ocasiones el Estado subsidia algunos costos para lograr una mejor
accesibilidad geogrfica del proyecto. Algunos ejemplos estn en los proyectos rurales de
atencin primaria, educativos o de capacitacin.
5En algunos casos, los usuarios pueden convertirse en demandantes permanentes, marginando a otros posibles interesados.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
20
PERDIDA DE
IDENTIDAD
CULTURAL
REGIONAL
Baja
escolaridad
Escaso
asociacionismo
Consumismo
Pobreza
Migraciones
Escaso rol
del Estado
Baja inversin
cultural pblica
Concentracin
urbana
CAUSAS
En este rbol de problema se advierte que en relacin a las variables estructurales o
intermedias, no existe necesariamente una posibilidad de intervencin sobre las mismas.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
21
Sin embargo, hay muchos problemas sociales en que an no logra generar marcos
interpretativos validos sobre ciertos tipos de intervencin, como es el caso del SIDA, la salud
mental, adicciones, etc.6. Pero con una revisin y sistematizacin de experiencias anteriores
es posible deducir un nivel mnimo de acumulacin terica, que sirvan para identificar
alternativas de solucin. Este marco interpretativo debe permitir, adems, desprender
posibles alternativas de intervencin efectivas y eficientes.
La debilidad de marcos interpretativos explica la falta de correspondencia entre la situacin
problema y la solucin propuesta. Esta desproporcin es frecuente. en proyectos a pequea
escala entre la magnitud o complejidad de la situacin problema y la especificidad o
concrecin de la solucin propuesta.
III.2.
Alternativas de Solucin
En algunos proyecto de carcter piloto, no es necesario que una intervencin tenga anticipadamente un
marco terico;
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
22
Diagrama 5
rbol de objetivos
Incremento de
identidad
cultural
regional
Seminario de gestin
cultural con actores
regionales
Festival de msica
y canto
Conciencia de
deterioro de identidad
por actores
Actitud favorable a la
manutencin de la cultura
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
23
Por ejemplo, una alternativa de solucin basada en pocas charlas informativas no superara
un anlisis de prefactibilidad tcnica por ser una estrategia no pertinente para modificar
conductas asociadas a la prevencin de enfermedades de transmisin sexual. Una alternativa
basada en monitores juveniles podra superar el anlisis de prefactibilidad tcnica, pero
podra tener como ejecutor una ONG de escasa fortaleza institucional, luego no superara un
anlisis de prefactibilidad administrativa Luego el desafo para un proyecto social es lograr
el mximo posible de anlisis de prefactibilidad positivos para lograr un resultado eficaz en
un perodo reducido de tiempo,
El proceso de anlisis de prefactibilidad tiene cierta similitud con los anlisis de riesgo en los
que se determinan las probabilidades de xito de una combinacin de alternativas.
Cabe recordar la importancia que tiene, en las distintas prefactibilidades, una subdimensin
de la prefactibilidad social que es el empoderamiento o de capacidad de autonoma de
beneficiarios, evitando una solucin asistencial o dependiente de subsidios en la fase
posterior al proyecto.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
24
III.3.
Objetivos y metas
Los programas tienen objetivos generales basados en la estrategia o poltica social vigentes y
orientados a mejorar los dficit o carencias detectadas. Muchas veces hay falta de precisin
en los objetivos programticos, lo que dificulta su evaluacin posterior, y obliga al
programador a deducir ex post criterios de evaluacin de programas, generalmente basados
en indicadores nacionales y regionales de equidad, redistribucin y fortalecimiento
institucional.
Todo proyecto o programa tiene objetivos, ya sea implcito o explcito. La naturaleza del
objetivo puede ser de carcter fisiolgico (preservacin de la vida), cognoscitivo (entregar
conocimiento), afectivo (expresin emocional), conductual (cambio o logro de rutinas
conductuales, hbitos, etc.), organizacional y grupal.
Los medios para lograr estos objetivos consisten en bienes (vivienda, paquetes alimentarios,
vacunas, etc.) o en servicios (horas de capacitacin, prestaciones mdicas, etc.).
En relacin al grupo objetivo, es ms sencillo programar objetivos con unidades ms
identificables (generalmente el individuo, como es el caso de indicadores de rendimiento
individual en educacin). Los objetivos grupales u organizacionales se pueden considerar
como impactos u objetivos de desarrollo pero, dado que las tcnicas de investigacin social
registran generalmente respuestas a nivel individual, la evaluacin de esos objetivos es
compleja. Como alternativa se ha intentado utilizar tcnicas de investigacin organizacional
registradas externamente como observacin o entrevistas grupales. Aun as, estas tcnicas no
garantizan que efectivamente se estn registrando vlidamente objetivos basados en cambios
organizacionales.
Los objetivos deben cumplir una serie de requisitos como:
- ser secuenciales, estipulando los objetivos generales o de desarrollo, generalmente a largo
plazo, y luego los objetivos especficos o de corto plazo destacando dentro de ellos una
secuencia temporal de relacin causa-efecto.
- ser mensurables; o sea que se expresen en Metas que identifican mediante cifras o nmeros
absolutos, en unidades fsicas o de servicios, aunque en lo posible los objetivos especficos
deberan apuntar a fijar porcentajes de variacin (incremento o disminucin) en relacin a
un porcentaje que sirva de lnea base. Si no es factible la cuantificacin del objetivo, al
menos mencionar el listado empricamente verificable de Metas o logros esperados del
proyecto.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
25
III.4.
Indicadores
objetivamente
verificables
Objetivo de
desarrollo o
Participacin
FIN
Objetivos
inmediatos o
Propsito.
Metas
Acceso a mercados
Grado de desnutricin
Medios de
verificacin
Supuestos
Registros administrativos
Informacin de la
organizacin
Estabilidad
macroeconmica
Accesibilidad a la
informacin
Registros sectoriales
Aceptacin de usuarios
Nmeros de bienes y
servicios
Datos municipales
Organizacin
Porcentajes
Entrevistas
comunitaria
Nmeros de bienes y
servicios otorgados
Registros sectoriales
Estabilidad de la
intervencin
Mejorar
Aumentar
Disminuir
Resultados o
Productos
Capacitacin
Datos municipales
Entrevistas
Asistencia
tcnica
Informantes claves
Viabilidad de la evaluacin
Insumos
Centro comunitario
Disponibilidad de
Infraestructura
infraestructura,
Insumos
Existencia de registros
Recursos humanos
recursos humanos y
Acuerdos institucionales
Existencia de
financieros
Currculos
Equipos
organizaciones de apoyo
Instrumentos de
registro
Organigrama
Fuente: adaptado de CEPAL, Mujer y desarrollo: gua para la planificacin de programas y proyectos, 1984.
Santiago.
Actividades.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
26
La gran ventaja del Marco Lgico es que ordena jerrquicamente los diversos componentes
del proyecto desde su aporte a los niveles superiores del programa o proyecto, como los
objetivos de desarrollo (o fin en la terminologa de otros marcos lgicos) a los objetivos
inmediatos de los proyectos (o propsito en otras terminologas) como los resultados que son
sub-reas internas a los proyectos (o componentes segn otra nomenclatura. Otra ventaja es
que direcciona el diseo del proyecto a indicadores verificables, ms que afirmaciones vagas
o escasamente operacionales.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
27
Los
IV.1.1.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
28
PRESUPUESTO
Insumos
Equipamiento
Infraestructura
Personal
Administracin
Otros
Se evidencia una correspondencia directa entre los productos, los requerimientos y los
correspondientes rubros del presupuesto.
En programacin social se utilizan diferentes nomenclaturas para referirse a los
requerimientos. Considerando los trminos de uso frecuente, se pueden establecer las
siguientes distinciones:
- Insumos: se refieren a los bienes y servicios que son adquiridos para ser transformados en
otros productos a lo largo del proyecto; por ejemplo, leche, horas-instructor, y otros.
- Equipamiento: se refiere a los bienes que se adquieren para desarrollar el proyecto:
mobiliario, herramientas. Esos bienes experimentan desgaste y la consiguiente depreciacin,
con una duracin estimada en aproximadamente en ocho aos.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
29
Tipos de presupuesto
30
IV.1.4.
Flujo de caja
Etapas y actividades
Las etapas se derivan de los objetivos y metas y definen la duracin del proyecto. Con
relacin a la duracin de la intervencin hay que tener presente que la motivacin disminuye
a medida que se prolonga la intervencin, aumentando el nmero de desertores.
Para evitar estas deserciones habra que hacer un estudio de las causales y distinguir cules
de estas son manejables, para as fijar en futuros proyectos niveles razonables de desercin.
Una prolongada duracin de la intervencin puede llevar a intervenciones de menor calidad
por escasez de recursos. El nivel decisorio o poltico puede identificar erradamente los
proyectos de corta duracin con los de mayor impacto y marginar programas o
intervenciones que inevitablemente deben ser de larga duracin.
Para el control de las actividades del proyecto, la forma usual es su descripcin en un lapso
de tiempo. Una manera de preparar este calendario es utilizar un diagrama, carta o grfica de
Gantt, como se ilustra en el ejemplo siguiente:
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
31
Cuadro 6
CRONOGRAMA
Etapas y actividades (semanas)
Motivacin
Actividad 1
Actividad 2
Actividad 3
Etapa II
Organizacin
Actividad 1
Actividad 2
Actividad 3
Etapa
..
Actividad 1
Actividad ..
Etapa I
X
X
X
X
X
X
X
X
12
La carta Gantt es til para detectar superposicin de actividades que tienen una secuencia
lgica, o bien para coordinar actividades distintas que se implementan en un mismo perodo
de tiempo. En la fase de ejecucin, cada actividad puede subdividirse en tareas con fecha de
iniciacin y trmino, para definir plazos de cumplimiento. Se contemplan usualmente plazos
holgados, para evitar ajustes apresurados o de ltima hora.
Hay varios software de computacin que pueden ser herramientas de apoyo a una
programacin y que tienen la virtud de una visualizacin de la descripcin de tareas,
vinculacin de actividades, plazos de cumplimiento. Uno de ellos es el Microsoft Project,
que nos proporciona diagramas como el siguiente:
Diagrama 7 Carta Gantt
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
32
IV.3.
Modelo de gestin
9El modelo de gestin no puede evitar filtraciones en el caso de servicios pblicos, como programas de TV abierta o
radio.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
33
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
34
V. SUPERVISIN DE PROYECTOS
El paso siguiente al diseo del proyecto, incluyendo sus aspectos temporales y financieros,
es su aprobacin por la agencia financista y su implementacin. Actualmente es un lugar
comn afirmar que la implementacin de un proyecto es bastante ms que la proyeccin en el
tiempo de su diseo o formulacin. Para ello se ha planteado la supervisin de proyecto.
El proceso de supervisin tiene tres niveles cualitativamente diferentes: el control y financiero
y el monitoreo tcnico y de procesos interactivos vigentes en la ejecucin de la intervencin.
V.1.
Control financiero
Control tcnico
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
35
Cuadro 7
FICHA DE SEGUIMIENTO PROYECTOS (Ej. MINSAL-ONGs)
I. INFORMES Y EVALUACIONES
1. Informes tcnicos mensuales ONG-Departamento de Atencin Primaria (DAP).
% de cumplimiento
% de cumplimiento
Tipo de Destinatario
actividad
2. Actividades educativas
Tipo de Destinatario N
N
actividad
sesiones participantes
Recursos humanos
Tipo de actividad
N de
asistentes
Coordinado con
4. Actividades intersectoriales
5. Otras actividades: comunicacin,
participacin, etc.
6. Produccin de material didctico
7. Otros materiales
Obstculos
IV. FACILITADORES
LOGROS
V. SUPERVISIN MINSAL
Fecha
Nombre
Observaciones
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
36
Fecha real
Inicio/ Termino
Listado de verificacin
Planificacin y coordinacin
Avance del proyecto
Financiamiento
Ejecutor
Beneficiarios
Conclusin
Si
Financiamiento Fondo
Previsto/ Recibido
No
No aplicable
Comentarios
Uso Secretara
de
Planificacin
Por el ejecutor
CONTINUACIN
Por el Fondo
Por otros
TRMINO DE PROYECTO
Posiblemente esta estructura escalar (que de hecho es una dicotoma) deje en la penumbra la
evaluacin de procesos interactivos en el proyecto, propio de la dinmica de implementacin
de proyectos, los cuales se desarrollan en la Seccin siguiente.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
37
En un sentido estricto, la evaluacin iluminativa puede ser categorizada, segn sea el tipo
de programa evaluado, en los diferentes diseos mencionados en los puntos anteriores. Por lo
tanto, los programas o proyectos evaluados por este enfoque pueden ser de corte
experimental o no experimental pero tienden, por el uso generalizado de tcnicas
cualitativas, a aproximarse a los no experimentales. Ms aun, esta evaluacin implica
solamente un nfasis cualitativo en el registro e interpretacin de la informacin recogida en
el proceso evaluativo, pero sin diferencias epistemolgicas con las modalidades usuales de
evaluacin de eficacia, como se puede apreciar en el Cuadro siguiente.
Cuadro 9
CLASIFICACIN DE LOS MAYORES MODELOS EVALUATIVOS
CUALITATIVOS
MODELO
AUDIENCIAS
METODOLOGIA
RESULTADO
PREGUNTAS
TIPICAS
LIBRE DE
OBJETIVOS
CONSUMIDORES
ANALISIS
LOGICO
SISTEMATICO
UTILIDAD
SOCIAL
GLOBAL
EFECTOS
GENERALES DEL
PROGRAMA,
INCLUYE
EFECTOS
SECUNDARIOS
CRITICA
ARTISTICA
ESPECIALISTAS
CONSUMIDORES
REVISION
CRITICA
MEJORIA DE
ESTANDARES
APROBACION POR
CRITICOS
ESPECIALIZADOS
ACREDITACION
PROFESORES,
PUBLICO
PANELES
ACEPTACION
RANKING POR
PROFESIONALES
ADVERSARIO
JURADOS
SIMULACION
DE JUICIOS
FALLO DEL
PROGRAMA
ARGUMENTOS EN
PRO Y CONTRA
ESTUDIO DE
CASOS,
ENTREVISTAS.
OBSERVACION
INTERPRETACION,
DIVERSIDAD
PERCEPCIONES
DIFERENTES DE
TRANSACCIONAL CLIENTES,
PROFESIONALES
UN PROGRAMA
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
38
La evaluacin debe ser ms que el uso de criterios parciales como los mencionados en la
Seccin anterior, mediante la eleccin del diseo evaluativo mas valido segn el tipo de
programa y considerando adicionalmente sus costos.
En caso de una evaluacin participativa debe considerar una eventual identificacin o
parcializacin del grupo de beneficiarios con el proyecto, que podra limitar su objetividad
sobre los diversos resultados del proyecto. Por ejemplo, se podra estimar que una evaluacin
negativa del proyecto puede conducir a la cancelacin del mismo, con las perdidas respectivas
para la poblacin.
Usualmente, los diseos evaluativos se basan en indicadores de bienes fsicos, entrega de
servicios, monetarizacin de beneficios o patrones conductuales. Se pretende evaluar el
cambio estableciendo uno o mas variables independientes como variable de intervencin y
actuando con efectos positivos en el grupo beneficiario.
VI. 3.
La opcin por un instrumento determinado depender, entre otros factores de: el grado de
confiabilidad requerida (estabilidad en la medicin), la validez deseada (riqueza terica de la
medicin), los fondos financieros y el tiempo disponible, la posibilidad de aplicacin (puede
implicar destreza profesional o instrumental), las complejidades de procesamiento, la
necesidad de monetarizacin de beneficios, etc.
Los datos e instrumentos anteriores recogen informacin ya sea de medios o resultados de
programas. Para cada diseo evaluativo se necesitan datos diferentes, as por ejemplo, para la
evaluacin de una campaa de vacunacin se necesitan datos secundarios de tipo cuantitativo,
en tanto para evaluar un proyecto de desarrollo de imagen institucional, se requiere
informacin primaria cualitativa. Al respecto se puede disear la siguiente matriz de la
relacin entre datos, tipos de instrumento y tipo de diseo
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
39
CUADRO 10
DATOS CUANTITATIVOS, INSTRUMENTOS Y DISEO DE EVALUACION.
DATOS CUANTITATIVOS
DATOS
INSTRUMENTO
Primarios:
Test
Escalas
Cuestionarios
Secundarios:
Censos
TIPO DE DISEO
Diseos experimentales
Diseos experimentales
Diseos cuasi experimentales
Modelos de
Regresin
Series
Temporales
Estadsticas sectoriales
Modelos De
Regresin
Series
Temporales
Flujos de caja
Costo- efectividad
Costo-beneficio
Encuestas de hogares
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
40
CUADRO 11
DATOS CUALITATIVOS, TIPOS DE INSTRUMENTOS Y DISEO DE
EVALUACION
DATOS
PRIMARIOS:
SECUNDARIOS:
INSTRUMENTO
TIPO DE DISEO
Entrevista
Evaluacin Cualitativa
Observacin Participante
Evaluacin Cualitativa
Dinmica Grupal
Evaluacin Cualitativa
Anlisis de Contenido
Evaluacin Cualitativa
Biografas
Evaluacin Cualitativa
Documentos
Evaluacin Cualitativa
A nivel de datos cualitativos primarios estn las dinmicas o tcnicas grupales que describen
los procesos o resultados de un proyecto social. Las tcnicas grupales no entregan un patrn
evaluativo estandarizado, permiten intercambios de ideas, que resultan de una sntesis
evaluativa que puede aportar al informe final de proyecto.
Tambin datos cualitativos son aportados por entrevistas a beneficiarios, o a personas
particularmente interesadas en el proyecto. Ellas son los lderes locales que podran ser
beneficiarios desde el punto de vista de su status, poder o beneficio material. Estas
entrevistas a informantes comunitarios pueden tener el sesgo del rol de intermediacin que
ellos cumplen entre el grupo tcnico y los beneficiarios.
Un sesgo similar puede producirse con las entrevistas grupales como tcnica evaluativa, ya
que en ellas pueden presenta inicialmente el problema de la identificacin del grupo de
beneficiarios con el proyecto, pues este grupo recibe del proyecto beneficios como bienes o
servicios.
Aun as, estas tcnicas son indicadores evaluativos en una metodologa participativa,
siempre y cuando estas evaluaciones colectivas definan a priori indicadores de resultados
consensuados y se preste atencin a la tendencia al pensamiento grupal o a "efectos de
vagn de cola" estimulados por los opinantes ms importantes o prestigiados, usualmente
profesionales o lderes influyentes en la poblacin objetivo.
Las mismas precauciones son aplicables a las entrevistas que involucran slo a los usuarios
o al grupo tcnico.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
41
Algunas variantes ms formales de la entrevista como indicador evaluativo pueden ser los
grupos nominales, como grupos Delphi u otras variantes grupales de evaluacin de
intervenciones sociales.
Por otra parte, los diseos deben considerar la complejidad de evaluar resultados a niveles
conductuales y procesuales. Una evaluacin debe registrar cambios conductuales como
hbitos de higiene, rehabilitacin de conductas de riesgo, cambios en patrones de consumo,
retencin de mensajes, etc.
En estos ejemplos es obvio que los resultados pueden estar afectados por otros factores
intervinientes. La atribucin de resultados debe basarse en el conocimiento previo de una
relacin entre medios y fines, ya que la eficacia o impacto de un proyecto en la poblacin
objetivo depende de la probabilidad de xito estimada de la intervencin. Muchas veces,
estas probabilidades de xito son relativamente desconocidas o puede haber perdida de
eficiencia en los efectos de esta cadena medios-fines. Por ejemplo, el incremento de la
inversin en tecnologa comunicacional no se traduce necesariamente en incremento en
retencin de mensajes o contenidos sociales.
La evaluacin necesita asociarse tambin a la maduracin de resultados del corto plazo y a
impactos del mediano y largo plazo. Para ello se puede recurrir a indicadores con la calidad
de predictores conductuales por ejemplo, en el rea de extensin rural, tales predictores de
la conducta de los beneficiarios sera el uso de semillas seleccionadas en la cosecha
inmediata. En este sentido, es importante la necesidad de identificar estos indicadores
predictores, para evitar el alto costo o necesidad de evaluaciones de seguimiento de los
beneficiarios.
La identificacin de estos predictores es particularmente difcil en programas de salud
mental, rehabilitacin conductual, educacin popular, capacitacin, microempresas y, en
general, en todos aquellos en que la investigacin bsica an no permite una identificacin
precisa de impactos del largo plazo.
VI.4. Evaluacin en los sectores sociales.
Complementariamente a los diseos evaluativos ya descritos, es necesario destacar que la
evaluacin se aplica a intervenciones que, en la generalidad de los casos, estn insertas en
programas sectoriales. Luego, es importante hacer referencia a las exigencias especficas de
la evaluacin en relacin a diferentes sectores sociales.
La evaluacin en el sector educacin es la que posee la mayor cantidad y calidad de los
diseos evaluativos (Briones, 1991). El sector tiene una serie de ventajas para un mejor
desarrollo relativo de diseos evaluativos:
Una gran cantidad de beneficiarios con una base de datos demogrficos,
psicolgicos, sociales y econmicos que permite extraer muestras de las diferentes
variables que componen los programas sociales y utilizar estudios de impactos de carcter
multidimensional.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
42
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
43
44
Evaluacin ex ante.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
45
Diagrama 8
INTERACCIONES DE ROLES EN PROYECTOS SOCIALES
GRUPO TCNICO
(Estilo burocrtico o tecnocrtico, estereotipos
profesionales, conflicto de roles)
TOMADOR DE DECISIONES
(Toma de decisiones segn lgica
administrativa, poltica o profesional)
BENEFICIARIOS
(Expectativas sobredimensionadas,
clientelismo, apoyo)
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
46
Los tomadores de decisiones pueden adoptar diversos tipos de liderazgo: por eleccin, por
tradicin, por imposicin. La comunicacin es tambin de distinto tipo: formal, expedita,
abierta, etc. Tambin debe preverse que en algunos proyectos se pueden producir fuertes
conflictos (ideolgicos, de estilos de trabajo) entre los tomadores de decisiones Estos
patrones interactivos influyen en la ejecucin del proyecto pero su monitoreo, por razones
obvias, no resulta sencillo por la necesidad de tener indicadores confiables de estos
comportamientos.
Los grupos tcnicos definen un subsistema de interacciones sociales dentro de un proyecto.
En tal subsistema son frecuentes los conflictos profesionales, valorativos o simplemente
personales. En esta lnea es interesante observar las diferencias notables entre los equipos de
trabajo de proyectos nacionales, locales, gubernamentales, de organizaciones no
gubernamentales o los ejecutados directamente por organizaciones de base.
Los paradigmas o escuelas de pensamiento influyen en el grupo tcnico y sus destrezas
operacionales aplicadas a la estrategia de intervencin del proyecto. Por, ejemplo, la opcin
terico-metodolgica de un psiclogo institucional y la de uno clnico es significativamente
diferente de la de un comunitario o sistmico, y tal diferencia se reflejar en la intervencin
dentro del proyecto.
Entre el grupo tcnico y los beneficiarios se da el tpico conflicto entre la primaca de las
relaciones (primarias o secundarias) con el usuario. Se espera que ellas sean humanas y
afectuosas pero, simultneamente, la cantidad de demandantes y la formalizacin de la
intervencin implican una interaccin impersonal regida por estndares objetivos. En la
relacin primaria predomina el contacto cara a cara, casustico o teraputico, pero a veces
sesgado por afinidades de "clientela" o de compadrazgo.. En la relacin secundaria se
privilegia la masividad, la objetividad y la bsqueda de relaciones objetivas y neutras.
El monitoreo de procesos interactivos necesita de tcnicas cualitativas como grupos de
discusin o entrevistas en profundidad, aunque se pueden formalizar escalas de
comportamiento de roles, similares a las presentadas en la Seccin referida a
supervisin tcnica.
VI.7.
Una dificultad para implementar el monitoreo reside en que los datos administrativos no estn
integrados a un sistema de monitoreo, en este caso la informacin permanece concentrada en
la oficina de estadstica o control administrativo, sin ser procesada por una unidad especifica
de evaluacin, por lo tanto el sistema de monitoreo no es funcional a la toma de decisiones.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
47
Una segunda limitante proviene del hecho que inicialmente el montaje del sistema de
monitoreo es costoso y obliga a cambiar rutinas de control administrativo, afectando y
recargando costos de administracin y tensionando la estructura organizacional. Un tercer
problema se relaciona con la existencia de planes y sistemas administrativos obsoletos que se
traducen en falta de estandarizacin de la informacin, recoleccin discontinua, inexistencia
de manuales de procedimientos, precariedad de los recursos computacionales o a la baja o
inexistente calificacin del personal en manejo computacional.
Adicionalmente, la factibilidad de sistemas de monitoreo esta asociada a una voluntad poltica
de formular sistemas de generacin y control de programas sociales, voluntad no siempre
explcita, como se ha constatado en la creacin de sistemas similares en el rea de proyectos
de inversin. Para solucionar los problemas anteriores el monitoreo debe ajustarse a una serie
de requisitos para optimizar su utilidad como evaluacin de procesos. Los mas centrales son:
- Confiabilidad: la definicin de sistemas de monitoreo debera ser estable, de modo que
cualquier gestin administrativa obtenga una informacin similar.
- Oportunidad en el tiempo: los proyectos sociales tienen una secuencia de aplicacin que
exige que el monitoreo sea oportuno en relacin a la modalidad especifica de intervencin.
Por ejemplo, un programa de Televisin educacional necesita sistemas rpidos de monitoreo
para la autocorreccin del mismo.
Caso contrario, un programa en el nivel educacional bsico tendra una secuencia de
monitoreo mas distanciada y los puntos de registro tendran una secuencia semestral o anual.
- Cobertura: es importante que registre todo el mbito de seguimiento o monitoreo
(financiero, administrativo, interacciones del grupo tcnico, relaciones con los beneficiarios)
Dada la multidimensionalidad del monitoreo, para registrar todos estos atributos es necesario
utilizar tcnicas tanto cuantitativas como cualitativas.
- Informacin disponible en todos los niveles pertinentes. Lo mas probable es que los
indicadores de monitoreo sean registrados en el nivel inmediato de acceso al usuario, y no
sean derivados a los niveles intermedios o decisorios. Por otra parte, el nivel inmediato
carece de informacin de retroalimentacin en el caso que el monitoreo haya implicado un
cambio en la gestin del programa.
- Una adecuada relacin costo/efectividad, en tanto el funcionamiento del sistema de
monitoreo no implique un uso excesivo de recursos econmicos y humanos.
Los problemas de monitoreo son mas comunes en proyectos comunitarios, que en los de
rentabilidad privada, ya que estos ltimos disponen de sistemas gerenciales de gestin, con
soportes informticos e indicadores de desempeo.
VI.8.
Todo proyecto social busca modificar exitosamente la situacin problema que motiv la
intervencin. En la evaluacin ex post, se hace una distincin tpica entre resultado e
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
48
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
49
Evaluacin de eficiencia
El modelo costo-beneficio
%
9.192
31.904
3.536
1.488
46.120
14.1%
48.1%
5.4%
2.3%
70.7%
B. Costos de operacin
Remuneraciones
Consumos bsicos
Mantencin y reparacin
3.153
643
357
4.8
1.0
0.6
4.153
6.299
6.4
9.6
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
50
Salud preventiva
Salud asistencial
- Guardera para frgiles
- Servicio Social
- Terapia ocupacional
- Asistencia convalecientes
1.091
249
1.937
1.085
2.826
1.516
1.7
0.4
3.0
1.7
4.3
2.3
15.003
23.0
65.276
$
6.299
249
2.825
9.373
7.887
2.832
115
10.834
682
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
51
Colocacin laboral
Subtotal beneficios inmediatos
Beneficios diferidos
Ahorros por salud preventiva
Subtotal beneficios diferidos
Total beneficios
% del costo total:
1.564
2.246.
1.091
1.091
23.544
93.7
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
52
VI.9.2.
El modelo costo-efectividad.
De los ejemplos anteriores, se puede apreciar que la unidad de anlisis de costo puede estar
afectada por el tipo y comportamiento de la variable que se define como objetivo de
programa. Por ejemplo, cambiar el status de una persona de una situacin de cesanta a una
de empleo mnimo es relativamente fcil, pero hacerla ascender del empleo mnimo a un
estrato de ingreso superior es ms difcil, y ms lo ser en las etapas sucesivas de su
movilidad ocupacional ascendente.
En cuanto a los usos alternativos de la inversin, el costo de oportunidad refleja el hecho de
que el tiempo de una persona es parte del costo de todos los servicios humanos. Sin embargo,
el tiempo que una duea de casa espera en un consultorio, generalmente, no es considerado
un costo por el servicio de salud. Concretamente, una atencin de salud gratuita puede ser un
costo para el beneficiario(a) por la prdida de tiempo (dos, tres o ms horas) para obtenerla.
Si la persona necesitada de ayuda mdica no tiene empleo y dispone de tiempo libre
ilimitado, su costo de oportunidad sera igual a cero pero, en la prctica, habra privacin de
tiempo para sus actividades productivas u hogareas.
La evaluacin costo-efectividad implica reconocer que la efectividad va asociada a una
probabilidad de xito conocida en la intervencin; en caso contrario, la evaluacin pierde
todo sentido, y ello se ve claramente cuando se reduce el criterio de efectividad slo a
cobertura o a poblacin atendida, sin atender al impacto definitivo de la intervencin en la
poblacin beneficiaria. Un ejemplo caracterstico de una situacin de este tipo en
evaluacin costo-efectividad es la siguiente:
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
53
US$ 6.000
US$ 18.000
US$ 22.500
US$ 30.000
Evaluacin de eficacia.
VI .10.1.
El diseo experimental
MEDICIN 2
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
54
GRUPO
EXPERIMENTAL
Intervencin (programa o
proyecto)
GRUPO
EXPERIMENTAL
GRUPO DE CONTROL
Sin intervencin
GRUPO DE
CONTROL
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
55
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
56
En los programas de vivienda se han aplicado diseos cuasi experimentales para evaluar la
construccin de casetas sanitarias y viviendas. Se evalan como impacto de la caseta:
mejora en la higiene familiar, uso del agua potable, incidencia en enfermedades
gastrointestinales. Los resultados de estos estudios son poco concluyentes, ya que hay
interferencia en la recoleccin de datos y, en general, por que hay escasa confiabilidad en las
mediciones (en los grupos experimental y de comparacin).
Segn evaluaciones del Banco Mundial (Bamberger, 1982), los diseos evaluativos de tipo
cuasi experimental en relacin a lotes y servicios evidencian los siguientes resultados:
a)
Una mayor eficiencia en el grupo experimental, en tanto se lograra una mayor
reduccin de costos.
b)
Dificultades en el grupo experimental, por exceso de supervisin en los crditos de
construccin, que impiden la substitucin de materiales.
c)
Impacto potencial del programa para influenciar sobre las polticas habitacionales a
futuro.
d)
Dificultades de operacin en el grupo experimental, por rigideces de la forma en
que opera la autoconstruccin. Dos de estas dificultades: no es factible subcontratar y hay
familias no cooperadoras que no pueden (o no desean) construir aportando mano de obra
voluntaria.
Los diseos cuasi experimentales han resultado poco determinantes en el registro de
impactos en sectores productivos, que utiliza indicadores como empleo, ingreso o
comercializacin.
En el sector justicia (o de rehabilitacin social), las caractersticas del grupo objetivo facilitan
la aplicacin de diseos cuasi experimentales; este tipo de evaluacin se ha aplicado a
programas de estimulacin y tratamiento en ambiente libre, a intervenciones rehabilitadoras
en base a meditacin trascendental, etc. En general, este es el diseo evaluativo por
excelencia para programas pilotos de rehabilitacin conductual.
VI. 10.3.
Modelos de regresin.
Estos modelos son una variacin de los diseos cuasi experimentales. Necesitan un alto
grado de manipulacin de las variables e implican la simulacin de control de variables para
incrementar la potencia explicativa de algunas variables independientes, pero presuponen
una serie de requisitos:
a)
Necesitan una muy completa base de datos. Los programas reducidos de ndole
no gubernamental o proyectos tienen limitaciones en sus datos para la aplicacin de
modelos estadsticos.
b)
Implican un slido desarrollo terico previo de la estrategia de intervencin, para
conceptualizar el modelo interrelacionado de variables independientes e intervinientes y su
nexo con la dependiente.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
57
(c)
Este manejo estadstico debe tener un correlato con el manejo real. En caso
contrario, el modelo de regresin es meramente un ejercicio formal sin posibilidades
prcticas de ser utilizado como retroalimentacin en programas sociales.
VI.11.
Diseos semiformalizados.
VI. 11. 1.
Serie temporal
La serie temporal es un tipo de diseo cuasi experimental que tiene como objetivo describir
las tendencias seculares de un programa para poder compararlas con el comportamiento
tradicional o prognosis de las variables dependientes objeto de la intervencin programtica.
En este diseo debe tenerse evidencia emprica previa del comportamiento histrico de la o
las variables dependientes, para su comparacin con la diseada por la accin programtica.
Veamos un ejemplo: el comportamiento histrico de una tasa de mortalidad est afectado por
una serie de factores, que deben ser tomados en cuenta para juzgar el impacto de programas
de prevencin o control de la mortalidad infantil. Paradojalmente, resultara ms fcil bajar
significativamente en base a programas maternoinfantiles la tasa de mortalidad en
Africa Central que en los pases de Europa del Norte, dados los diferentes estadios de su
transicin demogrfica.
Un procedimiento similar se puede aplicar en el sector vivienda, en el cual es factible
describir una curva de demanda de soluciones habitacionales, constituida por el crecimiento
vegetativo de familias, a lo que se puede agregar la obsolescencia habitacional y el dficit de
arrastre de la demanda histrica no satisfecha. Frente a esta prognosis de la variable
dependiente (o curva de demanda) se contrasta la oferta habitacional y su grado de xito para
cubrir o reducir parcialmente el dficit.
Menos sencillo resulta pronosticar el comportamiento de una curva asociada a la variable
dependiente (el problema objeto de programa) en sectores para los cuales se dispone de
menos informacin, o donde no es factible expresar la magnitud del problema en series
estadsticas; tal es el caso de la salud mental, las conductas irregulares, la identidad cultural,
etc.
Por lo tanto, la funcin de comportamiento de los problemas sociales y su relacin con
insumos (recursos humanos o financieros) o con la oferta de bienes y servicios de los
programas sociales est en la base de las series temporales, pero conceptualmente tal relacin
es una interrogante slo parcialmente resuelta por la investigacin aplicada en el rea.
Otro problema de las series temporales es que no siempre es posible el seguimiento de los
resultados de un programa cuasi experimental despus del post-test. Por esto, la metodologa
sugerida es el trabajo con predictores confiables de la conducta futura como, por ejemplo,
predictores de reincidencia en reclusos que se encuentran en el medio libre. Aun as, el
impacto definitivo de la rehabilitacin derivada de programas de intervencin slo es
verificable con la disminucin de las tasas de reincidencia.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
58
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
59
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
60
Diseos cualitativos
Aunque en Amrica Latina solo se estn desarrollando recientemente, son de uso creciente en proyectos
del Banco Mundial (World Bank 1998)
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
61
62
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
63
BIBLIOGRAFA
Bamberger, Michael (1982), Evaluation of sites and services projects. World Bank Staff
Working Papers N 549. IBRD, Washington D.C.
Briones, Guillermo (1991), Evaluacin de programas sociales. Editorial Trillas, Bogot.
CEPAL (1984), Proyectos de desarrollo de la mujer. Santiago.
CIAPEP (1985), Costos nacionales diferenciales de localizacin de viviendas sociales
bsicas. Instituto de Economa, Universidad Catlica. Santiago.
FNUAP (1988), Directrices del FNUAP relativas a la formulacin y la evaluacin
preliminar de proyectos. Santiago.
FOSIS (1992), Gua para la formulacin de proyectos, Santiago.
ILPES (1993a), Bases metodolgicas para la programacin y administracin eficiente de la
administracin pblica. LC/IP/L 81, Santiago.
ILPES (1993b), Manual metodolgico de identificacin, preparacin y evaluacin de
proyectos ambientales. LC/IP/L88, Santiago.
ILPES (1994), Mtodos de anlisis prospectivo: resea y su utilidad en proyectos de
inversin, LC/IP/L91, Santiago.
OPS (1986), Manual sobre el enfoque de riesgo en la atencin maternoinfantil. Serie
PALTEX N 7. Washington D.C.
Richards, Howard (1985), Evaluation of cultural action. MacMillan, Londres.
Sann, Hctor (1995), Gua metodolgica general para la preparacin y evaluacin de
proyectos de inversin social. ILPES. LC/IP/L.114, Santiago.
Wurgaft, Jos (1993), Fondos de inversin social en Amrica Latina. PREALC, Santiago.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net
64