LIBRO:

EVALUACIN
POR
TRIANGULACI
N DE MTODOS

Prerrequisitos del Proc. De

Evaluacin por Triangulacin de
Mtodos
De orden prctico
Consiste en la exigencia de un equipo formado
por profesionales de varias reas.
Competencia disciplinaria de cada
componente del grupo
Es la seguridad disciplinaria la que permite la
profundizacin teorico-metodologica con
relacin al conocimiento del objeto

PASOS PRACTICOS DE LA EVALUACION

POR TRIANGULACION DE METODOS
Formulacin del objeto que guiara todo el proceso y planificacin general
de la evaluacin
Elaboracin de los indicadores
Eleccin de la bibliografa y delas fuentes de informacin
Construccin de los instrumentos
Organizacin y realizacin del trabajo de campo
Anlisis de las informaciones colectadas
Elaboracin del informe final
Entrega, devolucin y discusin

MTODOS,
TCNICAS Y
RELACIONES DE
TRIANGULACIN

En este captulo se buscar dar nfasis a dos puntos:

1. Abordaje disciplinario Cuantitativo.
2. Abordaje Disciplinario Cualitativo.

1. Abordaje Cuantitativo
Se pueden resumir las caractersticas del paradigma en:
Acta dentro de la filosofa positivista.
Usa mtodos estadsticos.
Trabaja con mensuracin controlada.
Tiene una perspectiva externa a los datos.
Est orientado a la verificacin y confirmacin de hiptesis y
a resultados.
Enfatiza datos confiable y replicables.
Considera la perspectiva de una realidad estable.

A. IMPORTANCIA:
Presentar los resultados que pueden ser contados y
expresados en nmeros, tasas, proporciones.
Conocer el alcance , la concentracin y la eficiencia de
programas, acciones e intervenciones.
Evaluar objetivos muy especficos.
Evaluar las diferencias de grado de un objeto que exige
una lgica de ms o de menos.
Establecer relaciones significativas entre variables.

B. DISEOS CUANTITATIVOS EXPERIMENTALES Y CASI

EXPERIMENTALES PARA LA INVESTIGACIN EVALUATIVA
Los de mayor poder analtico, dentro de la perspectiva
cuantitativa, son los de diseo experimental y casi
experimental, procurando medir el efecto de las
intervenciones.
a. El Modelo
Experimental.

La idea de experimento est asociada a las condiciones tpicas

de laboratorio, pero en el caso de la evaluacin social el
modelo es reinterpretado por las ciencias sociales.

Segn Cano(2002), en ciencias sociales hay tres condiciones

para considerar una investigacin como un experimento.
La introduccin de las causas, de la variable independiente
por el experimentador.
El control de la situacin, para evitar la interferencia de otros
fenmenos adems de los investigados.
La designacin aleatoria de las unidades para los grupos,
experimental y de control, con el fin de maximizar la
comparabilidad entre ambos.

Silvia (2004), seala unas desventajas o restricciones:

Rechazo total del paradigma y de sus races intelectuales
positivistas.
Crtica a su tecnicismo con propuesta de estrategias ms
adecuadas de aplicacin.
Pueden ser extremadamente largos y caros.
Hallan dificultades para mantener la adhesin de los
participantes tal como debera suceder.

b. Modelo Casi
Experimental

Es visto por los evaluadores que trabajan con abordajes

cuantitativos como alternativa a las limitaciones encontradas
en el modelo experimental.

Posavac y Carey (2003), la validez interna de este tipo de

mtodo puede aumentar cuando el investigador:
Observa a los participantes varias veces antes y despus del
programa.
Observa los grupos de control.
Utiliza diversas variables, sobre todo algunas que se espera
que sean afectadas por el programa y otras que no lo sean.

TIPOS DE TCNICAS USADAS EN EL MODELO

CASI EXPERIMENTAL

Diseo Pretest y Postest con muestras separadas.

Diseo con grupos de control no equivalentes.
Diseo con variables no equivalentes.
Diseo slo con Postest y prediccin de interacciones entre
subgrupos.
Diseo de tratamientos inversos.
Diseo de series temporales.
Diseo de las discontinuidades en la regresin.
Combinacin de diseos.

DEFINICIN MUESTRAL
Por la relevancia que el plano muestral tiene para una
investigacin evaluativa, se recomienda la lectura de textos
que abordan con profundidad la cuestin.

2. ABORDAJE CUALITATIVO
Tiene su raz en la creencia de que los programas sociales
tienden a desarrollar sus metas a medida que estn en marcha ,
lo cual hace difcil conocer sus beneficios evalundolos slo a
partir de procedimientos fijos y de metas inalterables.

MODELOS DE INVESTIGACIN EVALUATIVA CUALITATIVA

a. Estudios comprensivos usando el diseo de

tipo ideal
b. Diseo de cuo fenomenolgico
c. Diseo de cuo etnometodolgico
d. Diseo fundamento en el interaccionismo
simblico
e. Diseo de investigacin participante y de
investigacin-accin
f. Diseo hermenutico- dialectico

TECNICAS USUALES PARA LA EVALUACIN

CUALITATIVA

a. La entrevista
b. La tcnica Delphi
c. La tcnica de grupo focal
d. Brainstorming
e. Estudio de caso
f. La observacin

DEFINICIN MUESTRAL
Es necesario observar que el empleo de la expresin
muestra en este abordaje refleja una lgica diferenciada
de la usada en la perspectiva cuantitativa.
Bajo el punto de vista cualitativo, los principios de
definicin muestral se basan en la bsqueda de
profundizacin y de comprensin de un grupo social, de
una organizacin, de una institucin o de una
representacin.

DEFINICION DE OBJETIVOS Y
CONSTRUCCION DE INDICADORES
APUNTANDO
A LA TRIANGULACION
La formulacin
del

objetivo que guiara

todo el proceso de
evaluacin es un
elemento fundamental
para la calidad y
efectividad de la
evaluacin.

Tener claridad respecto al objetivo de la evaluacin orienta:

El diseo de la investigacin,
Posibilita la definicin de objetivos especficos
La construccin de indicadores y de los instrumentos de la
recoleccin de datos, elevando la posibilidad de xito del proceso
de anlisis

Los indicadores pueden ser construidos para medir o

revelar aspectos relacionados a los diversos planos en
observacin: en los niveles individual, colectivos,
asociativos, polticos, econmicos y culturales.
Los indicadores son parmetros cuantificados o
cualitativamente elaborados que sirven para detallar si
los objetivos de una prepuesta estn siendo
adecuadamente conducidos (evaluacin de proceso) o
fueron alcanzados (de resultados).

 Los

indicadores se refieren a los aspectos tangibles e

intangibles de la realidad.

Tangibles

son los elementos fcilmente observables

como ingresos, escolaridad, forma de organizacin y
gestin, legislacin, mecanismos de divulgacin.

Intangibles

son los elementos que solo pueden ser

captados indirectamente por medio de sus formas de
manifestacin, como es el caso de conciencia social,
autoestima, valores, actitudes, liderazgo.

La

eleccin de indicadores para evaluacin debe

estar hecha en funcin de los aspectos que se quiere
analizar, como eficiencia, eficacia, efectividad o
impacto.

 Es

la combinacin mas adecuada entre indicadores

cuantitativos y cualitativos, tangibles e intangibles,
directo o indirectos. Valarelli (2004) recomienda en el
caso de la evaluacin de proyectos sociales, que se
trabaje siempre con un sistema de indicadores que
tenga en cuenta:

concepciones
El contexto
El modo de gestin
Los recursos

CONSTRUCCION

DE INDICADORES

CUALITATIVOS

Construccin de indicadores cualitativos por

estrategias cualitativas, es importante asumir su
naturaleza hermenutica. Ello significa entender que
los actores sociales, al comunicarse sobre cualquier
tema del mundo de vida, interpretan y lo juzgan a
partir de un stock de referencias como clase, genero,
grupo de pertenencia, etnia, funcin social.

Los indicadores cualitativos son aquellos que

expresan la adopcin o rechazo de ciertas actitudes,
valores, estilos de comportamiento y conciencia.

 Minayo

(2004) y Demo (2002), es necesario invertir en

la objetivacin, por medio de varias estrategias, entre
ellas, el cuidado permanente y compartido de discusin
e intercambio sobre la pertinencia indicadores y
procedimientos con los pares, y de rigor teoricometodologico con relacin a la definicin del objeto, de
los presupuestos o hiptesis, de los instrumentos
conceptuales y de campo y anlisis del material
recolectado

Demo

(1981) seala que los criterios de coherencia,

consistencia, originalidad y de objetivacin son el
marco de la critica interna de cualquier investigacin
cientfica.

CONFIABILIDAD
EXTERNA
Es

necesario tener en cuenta que las investigaciones

cualitativas no buscan homogeneidad y si
diferenciaciones y especificadas. A ellas no se aplica
el criterio cualitativo de comparabilidad, cuya raz
epistemolgica es la observacin de las
regularidades en los fenmenos sociales, tpica del
modo positivista.

VALIDEZ EXTERNA

Pretendida

dentro de la perspectiva cualitativa es la

que se refiere a la posibilidad de generacin de
conocimiento que contribuyan a la elaboracin de
tipificaciones o de lgicas culturales.

CONFIABILIDAD
INTERNA
En

1.
2.

3.
4.
5.

la cual diferentes investigadores involucrados en

el mismo estudio estn de acuerdo entre si en su
anlisis, son privilegiadas algunas iniciativas:
constante intercambio de impresiones e
informaciones entre los investigadores
Chequeo de la adecuacin de las impresiones
obtenidas en el trabajo de campo con los sujetos
investigados
Descripcin de situaciones y relatos verbales sin
muchas interpretaciones
Anlisis en el cual se busque la lgica interna
Exposicin del producto final.

LA VALIDEZ DE LOS
ESTUDIOS CUALITATIVOS ES
CONCEBIDA NO COMO UN
DISPOSITIVO QUE REFLEJA
REALIDAD Y SI COMO UNA
PRODUCCION REFLEXIVA
EN EL CUAL EL OBSERVADOR
ES PARTE Y FRAGMENTO DEL
CONTEXTO Y DE LA CULTURA
QUE BUSCA ENTENDER Y
REPRESENTAR

CONSTRUCCION DE GUIAS
GUIA PARA ENTREVISTA ABIERTA

Durante la
Es la
entrevista
descripcin
permite
sucinta, breve
plantear
y al mismo
preguntas
tiempo
que ayuden
abarcadora
al
entrevistado

Permanece
guardado en
la memoria
del
investigador.

 GUIA PARA ENTREVISTA

SEMIESTRUCTURADA

La gua

Se
apoya

variables e
indicadores
Ser
organizados

Como
recordatorios

son

en tpicos
temticos

La forma de colocacin de un tems en la

lista
Contener solo algunos tems indispensables para el
delineamiento del objeto en relacin con la realidad
emprica
Cada pregunta de la gua debe hacerse
parte del delineamiento

La gua de investigacin cualitativa puede ser

modificada aun durante el proceso interactivo de
campo

 GUIA PARA GRUPO

FOCAL

2 CONDICIONES INDISPENSABLES
Provocar un debate
entusiasmado y
participativo

Promover condiciones de
profundizacin
Por esos motivos

Varios medios pueden ser utilizados:

a) Formulacin de una pregunta central acompaada de
tems.
b) Recurso movilizador(imgenes, relato pelcula, etc.)
c) Elaboracin de u texto episdico provoque discusin.

 GUIA PARA OBSERVACION

PARTICIPANTE

Es necesario observar:
Como los procesos estn siendo investigados
Como funcionan
Cuales son las incongruencias entre lo que es dicho
y lo que es hecho
Procesamiento de las relaciones jerrquicas.
Smbolos y seales significativos de los Proc.
Investigacin

GUIA PARA ANALISIS DOCUMENTAL

Frente a cada objeto de estudio y mediante

sus O. generales y especficos es
necesario decidir que documentos listar y
de que tipo (escritos, visuales, audiovisuales.)

CONSTRUCCION DEL CUESTIONARIO

Es necesario que estn bien definidos y de forma clara los
objetivos y los mtodos de anlisis que sern utilizados.
Operacionalizacin
de los objetivos de
informacin

Padronizacin del
cuestionario

Tipos de
preguntas

Tipos de
cuestionario

Validacin y
Consistencia del
cuestionario

OPERACIONALIZACIN DE LOS OBJETIVOS

DE INFORMACIN
Transformar los O. Generales y Especficos
en O. Operacionales

Porque son estos los que pueden ser

alcanzados a partir de los datos recolectados
en los cuestionarios
El investigador piensa en 2 cosas:
1.- Los tipos de preguntas
2.- En los mtodos de anlisis

TIPOS DE PREGUNTAS
Preguntas
Presentan

Cerradas

varias opciones
Deben de cubrir todas las respuestas posibles
Una alternativa debe ser incompatible totalmente
con las dems.

 Preguntas

Abiertas

Los respondientes son libre de usar sus propias

palabras
Son difcil de analizar
Existen 2 tipos:

Numricas

Ventaja: la objetividad,
facilidad de respuesta y
anlisis de sus resultados
Desventaja: los
respondientes no poseen la
informacin precisa y la
estiman.

Texto
VENTAJAS

DESVENTAJAS

Menor tiempo de elaboracin

Cuando son aplicadas en forma de

entrevista puede llevar a sesgos

Cubren puntos mas all de las

preguntas cerradas

Son mas trabajosas para responder

Pueden dar informacin para

interpretar y analizar las respuestas

Dan margen a la parcialidad del

entrevistador en la compilacin de
las respuestas

Se evita que el investigador deje de

incluir alguna alternativa significativa

Dificultad para codificacin

A veces posibilitan el surgimiento de

informacin inesperada

Son menos objetivas para cotejar

magnitud

Menor poder de influencia en los

respondientes

Demanda tiempo analizarlas.

 Preguntas

Mixtas

Tiene una serie de alternativas de respuesta

Siendo la ultima Otra opcin Cual?

Objetivo: garantiza el agotamiento de

todas las posibilidades frente al tema a

tratar

Mismas ventajas y desventajas de las

preguntas cerradas.

Tipos de Cuestionario
Por

Entrevista

El
investigador
completa el
cuestionario
con las
respuestas a
las preguntas
que va
formulando

Contacto
personal y
directo entre
el aplicador y
el
respondiente

Desventaja:
Mucho
tiempo y
costoso.

Cuestionario
Puede ser
aplicado con
o sin
presencia del
entrevistador

de auto-llenado
Ventaja:
Puede ser
aplicada a un
gran numero
de personas
y no es muy
costosa

Desventaja:
Baja tasa de
retorno.
No es
indicado
cuando las
preguntas
exigen
respuestas
detalladas.

Padronizacin

del Cuestionario

Caratula

Normalmente es la primera hoja

Las primeras impresiones influencian el la decisin de cooperar

Tener en cuenta algunos aspectos

Sobre la identificacin del respondiente
Sobre la presentacin de la investigacin
Sobre pedido de cooperacin
Sobre instrucciones para el llenado
Sobre anonimato
Sobre formas de contactar al investigador o equipo

Validacin y Consistencia del

Cuestionario
Algunos tems cuando son respondidos, establecen el
contexto de quien los respondi

Las opciones de las preguntas concretas deben tener

valores concretos, y as evitar ambigedades

Es posible , manipular la respuesta que ser dada a ciertas

preguntas. El investigador tiene q estar atento a eso

Pretest
Es un ensayo
general
debe estar planificada
e implementada
Las instrucciones deben estar en
la formulacin final y ser
obedecidas.
Incluye anlisis de las
Rpta no s

En caso que

El pre test

Nuevamente
testeado

Muchas
alteraciones

El cuestionario

Tiene que ser repetido tantas veces sea necesario,

hasta que quede refinado y listo.

TRABAJO DE
CAMPO:
CONSTRUCCIN DE
INFORMACIONES
CUALITATIVAS Y
CUANTITATIVAS

El trabajo de
campo
Permit
e

La obtencin
de
informaciones
y
conocimientos
acerca del
objeto de
estudio o
hiptesis de
investigacin.

La idea de ida a
campo

Significa ir a ver,
escuchar, observar
y comunicarse.

To esto nos va a
permitir la
produccin de
datos primarios y
la captacin de
otros materiales
que sirven de
parmetro para la
dimensin y el
sentido de las
actividades.

LA PREPARACIN DEL
TRABAJO DE CAMPO
El cualquiera hiptesis de
investigacin es
necesario:
Obtener permisos
oficiales para la
realizacin de la
investigacin
Seleccionar y capacitar
un equipo para el trabajo
de campo

Listar y preparar
todas las provisiones,
equipamiento e
instrumentos que
sern necesarios
Elaborar una agenda
y gua de actividades,
marcando entrevistas
, visitas, etc.

ENTRADA EN CAMPO Y CONSTRUCCIN

DE PAPELES SOCIALES
La entrada de
campo va a
depender de la
forma como el
investigador se
comporte, habr
consecuencias
positivas o
negativas.

Que facilitara o
dificultaran todo el
trabajo, por eso es
fundamental
construir la
aceptacin de
investigador y de su
estudio.

ENTREVISTAS
La entrevista instituye un
momento especial en la
construccin de los datos.

En la cual las informaciones

relatos, testimonios y opiniones
son profundamente influenciados
por el tipo de relacin que se
establece entre ambos.

LA EXPERIENCIA DE LOS
GRUPOS FOCALES
Lo que busca
exactamente la
cartografa de
las opiniones,
argumentos y
puntos de
vista,
concordantes o
conflictivos,
crticos o
resignados.

La dinmica de
un grupo focal
permite inferir
el tipo de
relaciones que
existe entre
sus
participantes.

Se requiere
estrategias
diferentes para
promover el
eslabn de
confianza y de
aproximacin
entre los
investigadores
y
interlocutores.

OBSERVACION: CIRCULAR, CONVERSAR,

LEER MURALES E IR AL BAO

La observacin
etnogrfica es
considerada un
recurso
metodolgico
privilegiado en la
investigacin
cualitativa

Segn la tipologa de Gold y Prez (2000):

La
observaci
n del
campo
lleva al
investiga
dor
asumir
papeles:

Participante total
el de participante
como observador
El de observador
como - participante
El de observador
total

Adler y Adler (1994):

Considera
las
categoras:

Miembro
perifrico
Miembro activo
Miembro
completo

APLICACIN DE
CUESTIONARIOS
Desde el punto de vista de la
triangulacin metodolgica, es
importante resaltar el provechoso
esfuerzo de formacin para las
actividades de campo, de un grupo

Que al mismo tiempo sea capaz de

aplicar cuestionarios, observaciones,
realizar entrevistas y dirigir grupos
focales.

ORGANIZACIN, PROCESAMIENTO,ANALISIS,E
INTERPRETACIN DE DATOS
EL DESAFO DE LA TRIANGULACIN

PRIMER MOVIMIENTO : ANALISIS INTERNO

DEL MATERIAL
1.

ORGANIZACON DE MATERIALES PARA LA

INTERPRETACION CUALITATIVA

.Clasificacin

a partir de las formas

como fueron construidos o
recolectados
.Organizar entrevistas , material de
observacin, el material preparado
.Conseguir una evaluacin de calidad
y anlisis de estructuras

PREPARACION Y REUNION DEL MATERIAL

Obtener transcripciones de buena calidad
cada entrevistado recibe un cdigo (anonimato)
testimonio escrito en su totalidad
Resaltar las ideas que se escuchan (diario de
campo)
Caractersticas paralingsticas del entrevistado
EVALUACION DEL MATERIAL DISPONIBLE
En

el aso de diario de campo se recomienda revisar

los registros ,verificando si faltan datos importantes
Si es necesario se aconseja volver al campo para
completar informaciones

ELABORACION DE ESTRUCTURAS DE
ANALISIS (cualitativo)
Se hacen aproximaciones sucesivas por medio
de propuestas de categorizacin, clasificacin
ACTORES : gerentes,
autoridades,estudiantes,familiares
GRUPOS : escuelas publicas y privadas
,municipios ,escuelas rurales ,urbanas
MATERIALES :entrevistas
individuales,grupales,diario de campo e
informes

2. ORGANIZACIN Y EL PROCESAMIENTO DE LOS

DATOS CUANTATIVOS
Sistematizacin de informacin con la
construccin de uno o mas bancos de datos se
necesita de :
CODIFICACION DEL CUESTIONARIO
Debe contar con un numero de profesionales
compatibles con la extensin de la muestra para una
buena organizacin y rapidez (tarjeta-respuesta)
DIGITACION DE LOS DATOS
Desarrollar una MASCARA ( espacios necesarios para
cada respuesta brindada y codificada en el
cuestionario, es construido por un software (Dbase
,Access ,Epi Info)

CORRECCION DE LOS DATOS

A travs de la DOBLE DIGITACIN

consiste en replicarla en el mismo
cuestionario
por
digitadores
distintos en momentos diversos para
confrontar fallas para ser corregidas

O a travs del muestreo aleatorio se

toma un 10% al azar de la muestra
permitindonos
conocer
la
probabilidad de algn error

PRESENTACION Y
DIVULGACION DE RESULTADOS
PRESENTACION DE RESULTADOS EN UNA
INVESTIGACION EVOLUTIVA
SOBRE

INFORMES : debe resaltar puntos

mas relevantes as como las facilidades y
dificultades enfrentadas

SUMARIOS

EJECUTIVOS :contiene
informaciones mas importantes que integran
la informe detallado destinado a gestores y
financiadores

SOBRE

PRESENTACON ORAL DE
RESULTADOS
Ya que las personas prestan mas atencin
a personas que a palabras sobre papel , las
presentaciones orales requieren de
habilidad y de sintona con los
interlocutores
SOBRE

COMUNICACIN ELECTRONICA
Se puede crear un homepage que
promueva la interaccin entre las
instituciones involucradas en la evaluacin ,
divulgue los datos y proporcione debates

PRECAUCIONES METODOLOGICAS EN LA
PRESENTACION DE CONCLUSIONES

Es necesario evaluar los resultados de los

investigadores
de las variables ,
conjuntamente ,bien como la solidez de la
teora que les sirvi de base.
Calcular el tamao del efecto causado,
comparar
resultados
obtenidos
por
programas de poblaciones distintas
Se recurre a mayores tamaos de la
muestra y a la certificacin de la
confiabilidad y de la validez de los
indicadores

QUIEN EVALUA A LOS EVALUADORES

Los

investigadores
se
someten
al
juzgamiento de los auspiciantes , de los
formuladores del programa, de los gestores
en diferentes niveles y de los actores

de otros investigadores que sirven de

mirada externa que observa y se contrapone