Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
..
..
..
..
Manual de Evaluacin
Participativa del
Programa
.
..
..
..
..
..
Manual de Evaluacin
Participativa del Programa
..
..
..
..
..
R E F A C I O
INTRODUCCION
Las evaluaciones representan una oportunidad para que los programas
o proyectos examinen la calidad de implementacin de sus actividades,
para medir el progreso logrado para obtener resultados y para formular
las lecciones aprendidas. Desde una perspectiva ms amplia las
evaluaciones representan una oportunidad para determinar si las
estrategias del programa funcionan o si realmente son las ms
apropiadas.
Si bien un evaluador externo puede ofrecer una nueva visin y
dimensin de la experiencia, una mejor manera de institucionalizar el
uso de los datos y de la informacin para mejorar el proyecto, es pedir
a la persona encargada de la evaluacin que acte como facilitador de
la misma. Esta persona puede involucrar y ensear tanto a los
encargados de implementar el programa como a otros actores acerca
del proceso de evaluacin, mientras que se beneficia de sus
observaciones y de su directa involucracin con el programa. Los
asocios se pueden fortalecer y los canales de comunicacin pueden
abrirse si los actores claves en todos los niveles del programa o
proyecto estn involucrados en un proceso participativo de evaluacin.
El proceso de estar involucrado se inicia con el diseo de las preguntas
a ser investigadas y contina con la recoleccin de datos, anlisis e
interpretacin que conllevan a la formulacin de lecciones aprendidas
y no termina hasta que se formula un plan de accin para acciones
futuras. A pesar de que este enfoque necesita de muchos recursos y
toma el tiempo de numerosos participantes, se ha demostrado que es
una experiencia de valor incalculable, si se realiza de forma
estructurada y si tiene como lder a un facilitador dinmico.
Un enfoque de evaluacin participativo y colaborativo brinda a los
socios y actores involucrados adems de una experiencia prctica, una
capacitacin basada en experiencia sobre tcnicas de monitoreo y
RECONOCIMIENTOS
La metodologa de evaluacin participativa presentada aqu, se apoya
en gran medida en el trabajo del educador norteamericano, Michael
Quinn Patton. Su conviccin respecto a que cualquier ejercicio de
evaluacin debe constituirse en una experiencia de aprendizaje para
aquellos a cargo de la implementacin de programas tiene repercusin
a nivel mundial. Varios de sus libros estn incluidos en la bibliografa
y recomendamos su lectura a todos los que necesiten ampliar sus
conocimientos sobre metodologas participativas y cualitativas. Una
segunda importante influencia en el desarrollo de la metodologa es el
trabajo de David Korten, especialista en manejo del desarrollo. Korten
argumenta que tanto las instituciones como los programas necesitan
desarrollar mecanismos que promocionen el "aprendizaje
organizacional" continuo. Esta metodologa de evaluacin que tiene
como meta desarrollar las destrezas de aquellos a cargo de
implementar programas para analizar y aprender de sus propios
programas, responde de alguna manera a los desafos de Korten.
Asimismo, la metodologa est influenciada por los recientes avances
en "Rapid Rural Appraisal" (RRA) y "Participatory Research for
Action" (PRA) ambos provenientes del rea de competencia del
desarrollo rural y por "Rapid Assessment Procedures" (RAP)
proveniente de las reas de competencia de la salud y la nutricin.
Estos avances en metodologas tratan de desarrollar enfoques para
recoleccin de datos que sean ms rpidos que los mtodos
convencionales de investigacin y que fomenten relaciones de tipo
ms horizontal e informal entre los evaluadores, aquellos a cargo de
implementar el proyecto y los miembros de la comunidad. Esta
metodologa de evaluacin toma en cuenta muchos de los conceptos
claves de RRA, PRA y RAP.
El manual tambin se basa en las experiencias que he obtenido
personalmente durante el transcurso de 10 aos usando la metodologa
participativa en evaluaciones de la comunidad y programas de salud en
distritos en diferentes pases. Dichas evaluaciones se llevaron a cabo
en Burkina Faso (AFRICARE), Gambia (GAFNA/CRS), Nigeria
(AFRICARE), Camern (ILO), Senegal (World Vision), Senegal
(ILO), India (CRS), Bangladesh (CARE) y Sierra Leona (CRS). Cada
una de esas experiencias contribuyeron al desarrollo de un enfoque
prctico, pero conceptualmente slido para evaluar programas con los
implementadores de los mismos.
..
..
..
..
..
C ONTENIDO
Prefacio
Reconocimientos
Captulo I:
Introduccin ...................................................................................1
A. Propsito de este manual ..................................................................................1
B. Organizacin del manual ...................................................................................3
C. Glosario de trminos ..........................................................................................4
Captulo II:
A.
B.
C.
D.
E.
Captulo III:
Fase III:
Captulo V:
Captulo VI:
A:
B:
C:
D:
E:
ii
..
..
..
..
..
A P T U L O
Introduccin
A. Propsito de este manual
Este manual tiene el propsito de constituir una herramienta para el personal
de las Organizaciones Privadas Voluntarias, OPVs, las Organizaciones no
Gubernamentales, ONGs, los co-voluntarios del gobierno y otros socios para
ser utilizado en la evaluacin de proyectos y programas de desarrollo. La
eleccin del procedimiento ms adecuado a utilizar depende en gran medida de
las metas y los objetivos de la evaluacin as como de la disponibilidad de
recursos humanos y materiales para las actividades.
El procedimiento de evaluacin presentado aqu es particularmente relevante a
la evaluacin de procesos donde el objetivo es evaluar el proceso de
implementacin del programa. Esta metodologa ha sido utilizada en la
evaluacin de programas en numerosos pases, resultando ser muy efectiva. La
metodologa de evaluacin se concentra en el anlisis de las actividades y
estrategias del programa implementadas, as como en el desarrollo de "las
lecciones aprendidas" que pueden ser aplicadas en el futuro. Considerando
estas pautas, la metodologa es particularmente til para ser aplicada en
evaluaciones de medio trmino de programas en plena ejecucin.
El concepto de "metodologa de evaluacin participativa", utilizada aqu,
implica que los implementadores del programa se encuentran activamente
involucrados en todas las etapas del proceso de evaluacin. Mientras que los
procedimientos participativos son actualmente muy populares en programas de
desarrollo, mi opinin es que la participacin es efectiva solo cuando el
objetivo de la participacin se encuentra claramente establecido y cuando el
proceso para estructurar y canalizar la participacin se encuentra claramente
definido. Este manual describe de una manera simple y directa la forma en que
los participantes del programa deben ser involucrados tanto en la planificacin
como en la realizacin de la evaluacin del mismo.
El xito de una evaluacin participativa depende en gran medida de la
experiencia y de la habilidades del coordinador de la evaluacin quin es
responsable del diseo y de la ejecucin de la tarea. Esta es una actividad muy
exigente y retadora, razn por la cual la persona que actuar como
..
..
..
..
..
A P T U L O
I I
Funciones de seguimiento y
evaluacin de programas
10
existentes entre ambos y la razn por la cual esta metodologa est basada en el
procedimiento del proceso de aprendizaje.
El Procedimiento del Plan Riguroso
En el procedimiento tradicional riguroso para la planificacin de programas,
los objetivos y las actividades del programa se definen dentro del marco de un
"patrn" que dictamina la manera en la cual el programa ser implementado.
En base a este patrn, se desarrolla un calendario de implementacin. El
seguimiento y la evaluacin del plan consisten bsicamente en determinar el
alcance en el que las actividades y objetivos han sido logrados oportunamente.
Se recolecta informacin cuantitativa principalmente para determinar el
nmero de actividades que han sido realizadas. Por ejemplo, se recolecta
informacin sobre el "nmero de trabajadores de salud que han sido
capacitados" y el "nmero de reuniones comunitarias realizadas" y se los
compara con los nmeros planificados inicialmente. En este procedimiento, no
se cuenta con un sistema estructurado para comprender porqu las actividades
fueron o no realizadas, o la forma en que fueron implementadas. El
procedimiento tampoco cuenta con un sistema para proporcionar
retroalimentacin a la planificacin del programa a fin de modificarlo en casos
en que los cambios puedan contribuir al mejorar el funcionamiento del
programa. Otra caracterstica de este mtodo es que los gerentes de programa
generalmente tienen responsabilidades importantes para asegurar el
seguimiento y la evaluacin del programa. Los resultados de estas actividades
les permite informar a sus superiores sobre el progreso logrado hacia las metas
planificadas rigurosamente.
El Procedimiento del Proceso de Aprendizaje
Un procedimiento alternativo para la planificacin e implementacin de
programas, que frecuentemente ha sido calificado como apropiado y efectivo
en programas de desarrollo, es el "procedimiento del proceso de aprendizaje".
En este mtodo al igual que en el mtodo del plan riguroso los objetivos y
actividades del proyecto se definen al inicio y se disea un calendario de
implementacin al comienzo. En este caso, el seguimiento y la evaluacin de
actividades no solo consideran el alcance en que las actividades planificadas
han sido realizadas, sino tambin la forma cmo fueron realizadas. En este
procedimiento se desarrollan mecanismos que ayudan al personal del programa
a aprender tanto de los xitos como de los problemas enfrentados en la
implementacin de las actividades, con la finalidad de mejorar el programa en
el futuro. Por ejemplo en una actividad de seguimiento o evaluacin es
importante saber no solo cuantas reuniones comunitarias se han realizado sino
tambin identificar tanto los aspectos exitosos como los problemticos
confrontados durante esas reuniones. Esto permitira al personal del programa
identificar alternativas para mejorar la realizacin de reuniones futuras. En este
11
12
Plan Riguroso
Proceso de Aprendizaje
Propsito de la
Evaluacin
- medir el progreso
relativo al plan del
programa
Enfoque de la
recoleccin de
informacin
- limitado nmero de
variables relacionadas
a las metas del plan
del programa
- anlisis holstico
Mtodos de
recoleccin de
informacin
- cuantitativa
- cualitativa y cuantitativa
- anlisis objetivo
- juicio subjetivo
Responsabilidad de
recoleccin de
informacin
- dimensiones y preguntas
adicionales emergen del
proceso iterativo de aprendizaje
13
14
15
16
17
..
..
..
..
..
A P T U L O
I I I
Reuniones de pre-planificacin
Fase II:
18
GAFNA es una
Paso 1:
Reuniones de preplanificacin
Paso 2:
(Grupo de Coordinacin
de la Evaluacin)
Paso 3:
Paso 4:
Paso 5:
Fase II:
Paso 6:
Taller de planificacin de
la evaluacin
Paso 7:
Paso 8:
Paso 9:
Paso 10:
Fase III:
Paso 11:
Trabajo de campo:
preparacin, recoleccin
y anlisis de informacin
Paso 12:
(Equipos de trabajo de
campo)
Paso 13:
Paso 14:
Fase IV:
Paso 15:
Taller de formulacin de
lecciones aprendidas
Paso 16:
Paso 17:
(Equipo de evaluacin)
(Equipo de evaluacin)
Fase V:
Resumen de resultados
(Grupo de
coordinacin)
19
Paso 18:
Fase VII:
Paso 19:
Conclusin, diseminacin
y discusin del informe
de la evaluacin
Paso 20:
Plan de Accin
(Participantes clave)
(Coordinador y Grupo de
Coordinacin de la
Evaluacin)
Aubel: 1999
20
21
Coordinador de la Evaluacin
Se debe tomar en cuenta que las entrevistas se realizarn durante tres das
enteros para organizar los Pasos 1-4 si se cuenta con un facilitador hbil para
que marchen las cosas. Por experiencias pasadas este proceso casi siempre ha
tomado ms tiempo. Los Pasos 1-3 deben ser discutidos y desarrollados por
lo menos un mes antes del Taller de Planificacin de la Evaluacin de tal
manera que varios aspectos logsticos, incluidos la eleccin e invitacin de los
miembros del equipo de evaluacin puedan ser realizadas con anticipacin. El
paso IV debe ser completado idealmente una semana antes de la realizacin del
Taller de Planificacin de la Fase II. Para el Paso 5 debe planificarse una
reunin de un da para proporcionar orientacin a los facilitadores de la
evaluacin.
Fase I: Reuniones De Pre-Planificacin
Paso 1: Definicin de metas y objetivos de la evaluacin
Paso 2: Identificacin de
(participantes)
los
miembros
del
equipo
de
evaluacin
22
23
24
Entre los miembros del equipo deben incluirse a gerentes del proyecto o
programa; personal de campo; colaboradores del gobierno o de ONGs; un
coordinador de logstica y un coordinador de la evaluacin. En algunos casos
resulta apropiado incluir funcionarios de otros ministerios o ONGs que no han
participado en las actividades del programa, pero que poseen experiencia en el
sector correspondiente al tema del programa.
Tabla 2: Composicin y Responsabilidades del Equipo de Evaluacin
Conocimientos/hab
ilidades requeridas
Experiencia
profunda con el
programa a evaluar
Quin es responsable?
Responsabilidades
Gerentes de programa
definir preguntas de
evaluacin
Colaboracin de
gobierno, ONGs
participar en recoleccin y
anlisis de informacin
contribuir en la redaccin
del informe
planificar y coordinar la
metodologa de la
evaluacin
participar y supervisar la
recoleccin de
informacin
desarrollar espritu de
colaboracin e
intercambio entre los
miembros del equipo
preparar el presupuesto
para capacitacin, trabajo
de campo y produccin
del informe
arreglar aspectos
logsticos del trabajo de
campo
Experiencia con
evaluacin de
proceso y mtdos de
recoleccin de
informacin
cualitativa
Coordinador de la
evaluacin
Habilidades de
desarrollo de equipo
y facilitacin de
grupos en
planificacin y
trabajo de grupo
Coordinador de la
evaluacin
Lderes de equipos de
campo
Planificacin y
administracin
logstica para trabajo
de campo y recursos
materiales para el
estudio
25
26
Coordinador de logstica
Uno o ms miembros del personal del programa deben ser seleccionados para
coordinar los aspectos logsticos tanto para la fase preparatoria como para el
trabajo de campo. Para esto se requiere a personas que conozcan la manera de
planificar actividades sistemticamente, estimar los recursos requeridos para
cada actividad, y asegurar que todos los recursos necesarios estn disponibles a
tiempo y en el lugar requerido. El coordinador de logstica debe estar
involucrado activamente en las reuniones iniciales de planificacin para
asegurar que tenga una buena percepcin acerca de los requerimientos de
logstica para las Fases II a VI.
Miembros del equipo de evaluacin
En Gambia el Equipo de Evaluacin estaba conformado por 22 individuos que
participaron activamente en la implementacin del programa a diferentes
niveles y otros colaboradores claves del programa.
Miembros del equipo de evaluacin GAFNA
Coordinador de la evaluacin
27
28
Recursos Necesarios
Fecha de Trmino
1 de junio
5 de junio
Secretaria
10 de junio
20 de junio
29
30
31
Meta:
Concepto:
Objetivos:
Investigar la efectividad de
diferentes mtodos de
comunicacin para difundir
educacin en nutricin
Promover un cambio positivo en el
conocimiento, actitudes y prcticas
de las madres con referencia a la
nutricin de madres embarazadas
y en periodo de lactancia y nios
pequeos a travs de la difusin
de tres mensajes
Familiarizar a Enfermeras de
Salud Comunitaria y
comunicadores basados en la
comunidad, en problemas
comunes relacionados a prcticas
de alimentacin materna e infantil
y sus posibles soluciones
Conceptos:
-
Actividades:
-
32
33
Paso 7:
Paso 8:
Paso 9:
Paso 10:
34
La Experiencia de GAFNA
Objetivos del taller de planificacin de la evaluacin
Objetivo general:
involucrar a los participantes del proyecto en el desarrollo de la metodologa de
evaluacin
Objetivos especficos:
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
35
Da 2
Da 3
Da 4
8:30 - 12:30
Introduccin
Educacin
nutricional
Desarrollo de
instrumentos para
la recoleccin de
informacin
Comunicacin
verbal y no verbal
para realizar
encuestas
Presentaciones
Principios y pasos
a seguir en
encuestas
detalladas
Meta y objetivos
del taller
Tipos de preguntas
Conceptos sobre
evaluacin de
programas
3 tipos de
36
Da 2
Da 3
Da 4
Procedimiento del
proceso de
aprendizaje en la
implementacin y
evaluacin de
programas
14:00 - 16:30
Evaluacin
participativa
Definicin de
fuentes y tcnicas
para la recoleccin
de informacin
Enfoque de RRA,
PRA y RAP
Desarrollo de
instrumentos para
la recoleccin de
informacin
Escucha activa:
Ejercicio en
pequeos grupos
Principios sobre la
toma de datos
Mtodos
cuantitativos y
cualitativos
Pasos a seguir en
la evaluacin
participativa
37
La Experiencia de GAFNA
"Evaluacin que no confunde" o "Qu estoy haciendo aqu?"
Al inicio del taller, muchos participantes se sintieron incmodos y confundidos sobre
su rol en el equipo de evaluacin. Asumieron que los "expertos" externos estaran
revisando sus trabajos y no comprendan el rol que podran jugar en la evaluacin.
Durante el taller de planificacin, se realizaron esfuerzos especiales para aclarar el
concepto de "evaluacin participativa" y para convencer a los participantes que tenan
un rol importante que jugar. Al finalizar el segundo da, se percibi que los
participantes se sentan ms cmodos y que tenan una idea ms clara de lo que se
esperaba del equipo y de cada miembro del equipo.
38
2)
3)
4)
capacitacin
Los miembros de los grupos de trabajo para realizar esta tarea, deben ser
seleccionados cuidadosamente. Resulta importante que para cualquiera de los
grupos, la mayora de los miembros se encuentre profundamente involucrados
en las actividades para las cuales se les pide que desarrollen preguntas de
evaluacin. Por ejemplo, los participantes a los que se les asign la tarea de
trabajar en el componente de capacitacin incluido en el proyecto, deben ser
individuos involucrados activamente en el desarrollo de actividades de
capacitacin. Su experiencia ser tomada en cuenta como la base para la toma
de decisiones acerca de lo que la evaluacin debe considerar en esta rea.
Otro elemento clave para la realizacin exitosa de esta tarea que requiere
tiempo pero que resulta crtica, es la seleccin de un buen facilitador de grupo.
Este actor debe poseer experiencia acerca de las actividades sobre las cuales el
grupo disear las preguntas. Durante el trabajo de grupo, el Coordinador de
la Evaluacin debe evaluar constantemente el trabajo de grupo y apoyar a los
facilitadores de los grupos cuando sea necesario, a fin de mantener el ritmo de
trabajo.
La tarea de cada uno de los grupos consiste en definir especficamente la
informacin que debe ser recolectada relativa al programa, as como la de
Manual de Evaluacin Participativa del Programa
39
ATENCION:
Resulta importante sealar que las "preguntas para la
evaluacin" diseadas en este paso, definen la informacin que la evaluacin
busca recolectar. Estas no son las "preguntas para las encuestas" que se pedir
a los actores del proyecto que respondan y que sern escritas en el Paso 9.
Esto resulta inevitablemente confuso para los participantes, como ocurri en el
caso en Gambia. Se debe estar preparado para proporcionar ejemplos variados
sobre preguntas para la evaluacin, antes que el grupo de trabajo comience a
funcionar; tambin se debe realizar seguimiento al trabajo de los grupos para
asegurar que stos no se encuentran diseando las "preguntas de las encuestas"
durante esta etapa. (Favor ver el recuadro presentado a continuacin que
contiene ejemplos del tipo de preguntas requeridas).
40
La Experiencia de GAFNA
Por ejemplo, una de las preguntas para la evaluacin de GAFNA era: "El contenido
de la capacitacin fue relevante y suficiente para las tareas que se espera que los
comunicadores tradicionales (CT) realicen?" Esta pregunta no fue planteada
directamente a los comunicadores tradicionales. En su lugar, se les habra podido
hacer la siguiente pregunta de encuesta:
a.
b.
c.
41
Mtodos cualitativos
Tamao de la muestra:
muestra grande
muestra pequea
Tipo de muestra:
muestreo al azar
muestreo especfico
la informacin recolectada es
clasificada en categoras, que se
identifican en las mismas respuestas
Tcnica de recoleccin de
informacin:
cuestionario a llenarse
individualmente
Anlisis de la informacin:
la informacin recolectada es
clasificada en categoras
predeterminadas
Relacionamiento entre el encuestador
y los encuestados:
informal, estructurada, distante
42
pedir a los participantes del taller que preparen un listado de las categoras
ms importantes de personas que quisieran entrevistar.
Cuando los grupos reducidos inician su trabajo, es importante recordar que las
fuentes de informacin no deben limitarse a individuos o grupos que se
encuentran al nivel comunitario. A pesar de que el programa a ser evaluado se
basa en la comunidad, ser indudablemente importante recolectar informacin
del personal organizacional (por ejemplo, de ministerios u ONGs) que se
relacionan con el programa de alguna manera. No se los debe olvidar.
Constituyen generalmente una fuente importante de informacin.
En la tabla que se presenta a continuacin, se muestran ejemplos del trabajo
realizado en el Taller de Planificacin de la Evaluacin en Gambia, relacionado
al componente de capacitacin del proyecto de educacin nutricional:
"La Experiencia de GAFNA"
Tabla de planificacin de la recoleccin de informacin
Componente del programa: Capacitacin
Fuentes de
informacin
(dnde o de
quin)
Tcnica de
recoleccin de
informacin
Preguntas para la
evaluacin
Cuantitativo y/o
cualitativo
1. Se desarroll un
plan de capacitacin
para cada actividad?
Cuantitativo
Archivos del
proyecto
Fuente
secundaria
2. Qu tipo de
orientacin fue
proporcionada a los
facilitadores para
cada evento de
capacitacin?
Cualitativa
Facilitadores
Gerentes del
proyecto
Entrevistas
individuales
3. Se prepar un
informe para cada
evento de
capacitacin?
Cuantitativa
Archivos del
proyecto
Gerentes del
proyecto
Fuente
secundaria
Entrevistas
4. En qu medida las
personas capacitadas
utilizan lo aprendido?
Cualitativa
Personas
capacitadas
Gerente del
proyecto
Entrevistas
individuales
43
44
45
2.
3.
4.
5.
6.
7.
8.
9.
46
Casi
adecuado
No
adecuado
Observaciones
Contenido de
los mensajes
Secuencia
Intervencin del
participante
Discusin
Rol
Canciones
Revisin
47
48
Enfermeras de
salud comunitaria
Madres
Comunicadores
tradicionales
Kerowan
2 (individual)
10 (2 grupos)
3 (1 grupo)
Benbara
1 (individual)
10 (2 grupos)
4 (1 grupo)
Winela
2 (individual)
10 (2 grupos)
3 (1 grupo)
Una vez que la hoja de trabajo ha sido debidamente llenada, deber prepararse
otra tabla que indique, para cada lugar, las fechas y el tiempo aproximado en
que cada tipo de grupo/individuos sern entrevistados u observados. A fin de
completar
este
cronograma
detallado
POR
FAVOR
LEA
CUIDADOSAMENTE la informacin presentada sobre "la planificacin para
entrevistas de grupo" presentada a continuacin, as como el "cronograma
diario de recoleccin de informacin" descrito en el Paso 11. Algunos equipos
anteriores no siguieron este consejo y casi murieron por el exceso de trabajo
durante el trabajo de campo. Como se discutir en el Paso 11, no olvide
agregar en su planificacin un da al final del trabajo de campo para realizar la
"sntesis del anlisis de la informacin" antes de dejar el ltimo lugar de
trabajo.
Planificacin de las entrevistas de grupo
El nmero de personas participantes en cada entrevista de grupo deber
limitarse de 6 a 10. Los grupos de este tamao son preferibles por dos
razones. En primer lugar, el grupo pequeo permite que todos los
participantes contribuyan con ideas a la discusin. En segundo lugar, resulta
ms fcil al entrevistador facilitar este grupo en comparacin con otros de ms
de 10 personas.
En base a las caractersticas definidas de cada tipo de personas a entrevistar, el
equipo decidir adoptar el mejor procedimiento para elegir a los miembros del
grupo especfico. Es importante que el responsable de la identificacin de las
personas a entrevistar entienda claramente las caractersticas definidas para
cada tipo de grupo, as como el nmero de personas a entrevistar por grupo.
La programacin de las entrevistas debe considerar el tiempo requerido para
llevarlas a cabo (aproximadamente 1 hora 1/2 por grupo). Generalmente un
equipo puede realizar un mximo de dos entrevistas de grupo o 3-4 entrevistas
individuales por da.
49
Paso 12:
Paso 13:
Paso 14:
Tcnicas de
50
51
Los miembros de los equipos deben tambin entender las expectaciones que
sus compaeros tienen durante la fase del trabajo de campo. Por ejemplo se
puede mencionar:
52
Conocimientos:
Habilidades:
escucha activa
toma de datos
alientan
los
53
El entrevistador
efectivo
54
Ejemplo:
Los trabajadores en salud comunitaria participaron
activamente en las sesiones de capacitacin y utilizan lo aprendido
luego de volver a sus lugares de origen?
Las guas para llevar a cabo las entrevistas para cada categora de personas a
entrevistar, constituyen las bases para realizar las entrevistas tanto de grupo
como individuales. Al contrario que en el caso de un cuestionario que debe
seguirse estrictamente, las guas para llevar a cabo entrevistas se utilizan de una
manera ms flexible. Si una persona entrevistada no entiende la pregunta que
se le formula, el entrevistador puede reformularla de la manera en que sta sea
comprensible para el encuestado. Con frecuencia, adems de las preguntas que
se encuentran en la gua, el encuestador formula preguntas aclaratorias o de
seguimiento para profundizar el tema y obtener as una informacin ms
precisa. El propsito de la formulacin de las preguntas es la obtencin de
informacin que ayudar a responder las preguntas formuladas por la
evaluacin. Las guas para realizar las entrevistas constituyen herramientas
que el entrevistador deber utilizar de manera flexible a fin de lograr los
objetivos trazados.
Principios de la toma de datos
Adems de conocer el tipo de preguntas que deben formularse, el entrevistador
deber ser capaz de tomar nota de manera efectiva del contenido de las
respuestas. Los siguientes principios acerca de la toma de datos puede servir
como una gua:
1. Las notas deben escribirse en primera persona
2. Debern anotarse las palabras e ideas clave
3. Las frases o dichos descriptivos especiales debern anotarse palabra por
palabra
4. La informacin debe registrarse tal como se la escucha y no modificarla en
base a las ideas o valores de los entrevistadores
55
bolgrafos
Recurdese que cada miembro del equipo requiere una copia de cada una de
las guas para realizar encuestas, as como una copia revisada de las preguntas
de la evaluacin.
Es preferible proporcionar a los miembros del equipo, bolgrafos en lugar de
lpices. Durante las noches, con una luz tenue, resultar muy difcil leer las
notas si stas se encuentran escritas a lpiz.
Paso 12: Llevar a cabo las entrevistas y las observaciones
Una vez que la sesin de orientacin a concluido, la fase de trabajo de campo
de la evaluacin puede comenzar. En los casos en que sea posible, es
recomendable dejar un da libre entre la conclusin de las sesiones de
orientacin y el da de viaje al primer lugar de trabajo en el campo. Esto
proporcionar a los miembros de la evaluacin, algo de descanso luego de una
semana de intensa actividad, as como tiempo libre para que puedan arreglar su
cuestiones personales. Sin embargo, es importante sealar que las sesiones de
orientacin sean realizadas inmediatamente antes de la fase de recoleccin de la
informacin, de manera que los conocimiento y el repaso sobre las habilidades
requeridas para el efecto, se mantengan frescas.
El cronograma diario de recoleccin de informacin
En muchos casos, la mayor parte de la recoleccin de la informacin se
realizar a travs de las encuestas. Existen varias consideraciones que deben
tomarse en cuenta el momento de planificar el cronograma.
56
57
58
59
60
ser facilitado por una persona que posea habilidades tanto en el manejo de
informacin cualitativa como en el manejo de grupos de trabajo. A este
respecto, el rol del lder del equipo como facilitador del proceso de anlisis de
la informacin resulta crtico y, por tanto, deber ser cuidadosamente
seleccionado y preparado para la tarea.
La tcnica para el anlisis de la informacin cualitativa es el anlisis de
contenido. A travs del anlisis de contenido de la informacin recolectada, se
podrn formular conclusiones para cada tipo de preguntas de la evaluacin. El
proceso de anlisis implica identificar las categoras de respuestas encontradas
en la informacin no procesada.
Procedimiento para el anlisis diario de la informacin
El proceso diario de anlisis de la informacin se estructura alrededor de las
preguntas de la entrevista, formuladas para cada categora de personas
entrevistadas. Por ejemplo, si un da el equipo realiza entrevistas individuales a
dos enfermeras y a un grupo de comunicadores tradicionales, los dos juegos de
informacin (enfermeras y comunicadores tradicionales) sern analizados
separadamente, en base a las preguntas incluidas en cada una de las guas.
Durante el anlisis, el equipo requerir consultar las preguntas de la
evaluacin para clarificar los objetivos de las preguntas de las entrevistas.
Todos los miembros del equipo de campo debern participar en las sesiones de
anlisis de la informacin. fin de analizar la informacin, se sugiere que se
utilice un procedimiento simplificado para realizar el anlisis de contenido
basado en 5 pasos. El proceso es similar para el anlisis de la informacin
recolectada a travs de observaciones y de fuentes secundarias.
Paso 1:
Paso 2:
Paso 3:
61
Paso 4:
62
63
La Experiencia GAFNA
Ejemplos de hallazgos de dos preguntas de evaluacin
Pregunta
Hallazgos
En qu medida contribuy la
comunidad al proyecto?
En qu medida el proyecto
fue ejecutado en colaboracin
con el Ministerio de Salud?
Los hallazgos para cada una de las preguntas de evaluacin debern imprimirse
idealmente junto con las preguntas. Para el taller de la fase IV debern
prepararse un juego completo de hallazgos y distribuirse copias a cada uno de
los miembros del equipo de evaluacin.
Fase IV: Taller para la formulacin de lecciones aprendidas
En la mayora de las evaluaciones de programas, los evaluadores externos son
los responsables de formular las recomendaciones en base a los hallazgos de la
evaluacin. Siguiendo con el concepto de evaluacin participativa, en esta
metodologa los miembros del equipo de evaluacin son los responsables de
estudiar los hallazgos y de formular las recomendaciones. La participacin del
equipo en esta tarea resulta crtica en relacin a desarrollar un sentido de
propiedad hacia las recomendaciones y su compromiso para implementarlas.
En esta fase el equipo de evaluacin tambin podr formular conclusiones con
relacin a la metodologa participativa.
64
Paso 16:
En la Fase IV, todos los miembros del equipo de evaluacin que participaron
en la Fase II, se vuelven a reunir por 2-3 das para desarrollar los pasos 15 y
16.
Paso 15: Formulacin de lecciones aprendidas para cada pregunta de la
evaluacin
Como se mencion anteriormente, en un procedimiento de proceso de
aprendizaje para la evaluacin de programas, la meta del ejercicio de la
evaluacin constituye en desarrollar lecciones que puedan ser aplicadas en el
futuro. En este caso, los miembros del equipo evaluador discuten los hallazgos
de los equipos de trabajo de campo y desarrollan un juego de lecciones
aprendidas. El rol del Coordinador de la Evaluacin como en las dems fases
del proceso se refiere tanto a estructurar la tarea para el grupo como contribuir
activamente al desarrollo de lecciones en base a percepciones obtenidas en el
trabajo de campo y a sus propias experiencias en otros programas.
Las lecciones desarrolladas por el equipo debern basarse no solamente en los
aspectos problemticos del programa identificados en la evaluacin sino
tambin en aspectos positivos y efectivos. Se pueden aprender importantes
lecciones no solo con lo que no funcion sino tambin con lo que funcion
bien y que puede ser utilizado en el futuro.
En las evaluaciones que utilizan esta metodologa, resulta tpico que la lista de
preguntas sea larga y por lo tanto la lista de hallazgos es tambin larga. Por
esta razn el proceso de grupo debe ser cuidadosamente estructurado para que
ste cumpla la tarea oportunamente. Se sugiere que para esta tarea los
participantes sean agrupados por componentes del programa, en los mismos
grupos en los que trabajaron en los pasos 7-9 en el taller de planificacin para
la evaluacin. De esta manera, los miembros del equipo que formularon las
preguntas de la evaluacin para un componente particular del programa,
analizarn los hallazgos y desarrollarn lecciones para ese mismo componente.
Cada uno de los participantes en el taller de evaluacin recibirn una lista de
los hallazgos relacionados a su componente. No es necesario que todos los
participantes reciban copias de todos los hallazgos puesto que no los
requerirn durante el trabajo en grupo reducido y no tendrn el tiempo
suficiente para estudiarlos durante el taller. Adems probablemente ser mejor
Manual de Evaluacin Participativa del Programa
65
66
Tabla 5:
Experiencia de GAFNA
Ejemplos de hallazgos de la evaluacin y lecciones aprendidas
Hallazgos
Capacitacin de comunicadores
tradicionales (CT)
La mayora de los CTs son locutores
de Mandika y gran parte de la
capacitacin se desarrollo en
Mandika. La capacitacin no fue
adaptada a las necesidades de
idioma de los locutores de Sarahule y
Wolof, quienes por lo tanto no
pudieron beneficiarse con la
capacitacin
Lecciones Aprendidas
El desarrollo de temas y mensajes para la
educacin en nutricin debe reflejar las
creencias y prcticas culturales del grupo
meta. Los estudios cualitativos detallados
son particularmente importantes como base
del desarrollo del contenido educativo.
67
68
Experiencia de GAFNA
En la evaluacin de GAFNA, los miembros del equipo completaron un cuestionario
individual por escrito sobre sus impresiones acerca del proceso de evaluacin. Aqu
se muestran algunas de sus respuestas:
Un forum para discutir
"La actividad de evaluacin cre un foro para los que intervinieron en la
implementacin del programa a diferentes niveles, a fin de revisar los esfuerzos
combinados y decidir juntos, la forma de mejorar la estrategia del programa".
(Josephy Jassey, Supervisor de Campo de GAFNA)
Fortalecimiento de la colaboracin en equipo
"La evaluacin me ayud a comprender que las creencias, ideas y pensamientos
individuales son muy importantes. Respetando el punto de vista de los otros
miembros del equipo, el relacionamiento con ellos se fortalece y as, todos trabajan
ms asduamente". (Baboucar Jobe, Asistente del Proyecto GAFNA)
Aprendiendo de otros
"Me benefici de los otros miembros del equipo quienes compartieron sus
conocimientos y experiencia conmigo". (Malang Fofana, Asistente de Nutricin)
Escuchando a la comunidad
"La evaluacin cre un foro para que escuchemos las opiniones, crticas y
sugerencias de la comunidad, para asegurar una planificacin ms realista y
apropiada para el futuro". (Muhamed Freeman, Supervisor de Campo de GAFNA)
Evaluacin libre de mistisismo
"La evaluacin a dejado de ser una palabra que tema, ya que ahora s como
planificar un ejercicio de evaluacin para que produzca resultados vlidos". (Kinday
Samba, Gerente del Proyecto GAFNA)
Lecciones prcticas para el futuro
"La evaluacin nos ayud a desarrollar lecciones comprensivas y prcticas para
programas futuros". (Saihou Sanyang, Gerente del Proyecto GAFNA)
Evaluaciones futuras
"No puedo dejar de enfatizar la necesidad de aplicar este tipo de metodologa
participativa en el futuro, para que nos ayude a mejorar nuestros programas de
nutricin". (Bintou Keita Kunju, Unidad de Alimentacin y Nutricin)
69
70
La Experiencia de GAFNA
71
72
73
un plan para definir la forma en que los hallazgos sean distribuidos y discutidos
con todos los colaboradores clave del programa.
Deben explorarse estrategias creativas para difundir los resultados del estudio
desde el nivel central hasta el nivel de la comunidad. Algunos mtodos que
han sido utilizados exitosamente son los siguientes:
74
..
..
..
..
..
A P I T U L O
I V
75
76
..
..
..
..
..
A P T U L O
77
Planificacin cuidadosa
Cada paso en el proceso de evaluacin debe ser cuidadosamente planificado
con relacin al tiempo, a los recursos humanos y materiales requeridos y a la
responsabilidad de las tareas en cada paso del proceso. Un paso preliminar de
la planificacin ya mencionado, es la lectura de este manual por parte de los
organizadores de la evaluacin a fin de que tengan una idea clara de lo que
implica desde el comienzo hasta el final. Solo entonces sern capaces de
comenzar la planificacin en detalle y organizar el proceso.
Facilitadores de la evaluacin
Un factor crtico para asegurar que la participacin sea canalizada y que resulte
productiva durante el proceso de evaluacin, es que los facilitadores del grupo
tengan suficiente experiencia y preparacin para la tarea. Una buena idea es
involucrar a varios colaboradores del programa como facilitadores en el
proceso de evaluacin; sin embargo, deben ser facilitadores hbiles y estar
adecuadamente orientados y supervisados al llevar a cabo estas tareas. La
responsabilidad de facilitar el grupo del equipo de evaluacin ampliado durante
las actividades del taller, debe reservarse para individuos con grandes
habilidades de facilitacin. Los participantes que no tengan habilidades de
facilitacin, generalmente crean desvos, la prdida de tiempo escaso y la
frustracin de todos.
Coordinacin de la logstica del trabajo de campo
Tal vez el aspecto ms complicado en la planificacin global, es aquel asociado
con la fase de trabajo de campo. La planificacin logstica para el trabajo de
campo debe comenzar temprano y anticipar una variedad de factores y
aspectos detallados en el manual. Tanto antes como durante la fase de trabajo
de campo la responsabilidad para la administracin logstica debe definirse
claramente.
Programacin de la recoleccin y anlisis de la informacin
Al elaborar los cronogramas diarios para la recoleccin de informacin en el
trabajo de campo, debe recordarse que el anlisis de la informacin cualitativa
toma mucho tiempo. Como una regla de oro el anlisis de un juego de
informacin de las entrevistas, tomar aproximadamente el doble del tiempo
que la conduccin de la propia entrevista. Se recomienda que el tiempo
programado para la recoleccin de informacin real, incluyendo el tiempo de
viaje sea limitado a medio da dejando lo que resta del mismo para el anlisis de
la informacin.
78
79
80
..
..
..
..
..
A P T U L O
V I
81
82
este manual y en segundo lugar se describirn formas alternativas que tienen las
comunidades para involucrarse en actividades de seguimiento y evaluacin en
programas en plena ejecucin.
Dada la forma en que lo principal de la metodologa de evaluacin participativa
ha sido diseada, existen cuatro razones por las cuales no resulta factible
involucrar a los miembros de la comunidad en todo el proceso.
Tiempo: El proceso de evaluacin de 7 fases toma entre 3 a 4 semanas para
realizarse. Este tiempo es relativamente largo para que los miembros de la
comunidad se alejen de sus responsabilidades comunitarias y familiares.
Requerimiento de formacin: El proceso de evaluacin depende en gran
medida de la habilidad de los participantes para leer y escribir. La participacin
de gente analfabeta o poco instruida en este proceso resultara sin duda
frustrante para ellos.
Tarea analtica intensa: El proceso de evaluacin de 3 a 4 semanas implica
un trabajo analtico intenso. Inclusive algunas personas que trabajan en
desarrollo, encuentran que varias tareas de la evaluacin resultan
intelectualmente pesadas. No resulta objetivo esperar que los miembros de la
comunidad, que no estn acostumbrados a participar en ejercicios largos e
intensos que implican "trabajo intelectual" participen activamente en el proceso
de evaluacin.
Panorama de la evaluacin: En el procedimiento holstico propuesto en la
metodologa de evaluacin, se examinan todas las facetas de la implementacin
del programa, incluyendo aspectos administrativos, logsticos y gerenciales.
Muchos de estos aspectos no son relevantes directamente a los miembros de la
comunidad, por lo que su participacin no resulta apropiada.
A causa de estas razones, en mi opinin no es aconsejable tratar de involucrar
a miembros de la comunidad como socios a tiempo completo en la
metodologa de evaluacin de 20 pasos. Ms bien se sugiere considerar
mtodos y formas alternativas para que las comunidades sean involucradas en
actividades de seguimiento y evaluacin de una forma ms continua.
La discusin que se presenta a continuacin, considera 3 aspectos relacionados
a la participacin de la comunidad en actividades de seguimiento y evaluacin:
83
varones
mujeres
jvenes
84
85
Mtodo
Responsabilidad
Requerimientos
de capacitacin y
seguimiento
Personas externas
con la ayuda de
miembros de la
comunidad
Capacitacin inicial
y seguimiento
continuo
Personas externas
coordinan la
recoleccin de
informacin,
analizan y
formulan
conclusiones.
Ninguna
86
Personas externas
facilitan el proceso.
Las comunidades
analizan su propia
informacin y
formulan sus
propias
conclusiones.
Ninguna
Facilitacin inicial y
apoyo
proporcionado por
externos. Los
miembros de la
comunidad
asumen
posteriormente la
total
responsabilidad de
recoleccin de
informacin y
anlisis.
Capacitacin
intensiva y
seguimiento
Autoevaluacin de las
comunidades
Los miembros de la comunidad
definen criterios para evaluar
actividades comunitarias. Recolectan
informacin, la analizan y formulan
sus propias conclusiones.
Aubel: 1999
87
mapeo comunitario:
para comprender las percepciones
comunitarias sobre su medio ambiente, recursos naturales y
humanos, problemas y recursos para su manejo
88
89
90
nunca
ocasionalmente
aveces
la mayor parte del tiempo y
siempre
91
92
..
..
..
..
..
A P T U L O
V I I
Otras referencias
93
94
95
Child Survival
Technical Support
ORC Macro
11785 Beltsville Drive
Calverton, MD 20705-3119
(301) 572-0823
csts@macroint.com