TEMA 4 RECOGIDA Y ANLISIS DE DATOS

Contenidos 1. La recogida de datos y las audiencias 2. Anlisis de documentos 3. Procedimientos verbales: cuantitativos y cualitativos 4. Observacin: cuantitativos y cualitativos 5. Anlisis de datos

1. LA RECOGIDA DE DATOS Y LAS AUDIENCIAS

De quien recabar datos

n La recogida de informacin requiere una perspectiva amplia n Audiencias distintas exigirn procedimientos distintos de recogida de datos
Tcnicas cuantitativas de recogida de datos
n n

Son tcnicas de medida de una determinada realidad social El objetivo que se persigue es la obtencin de un dato de calidad: preciso, vlido y fiable. Para ello, es preciso que se cubran muchos elementos metodolgicos: diseo, muestra seleccionada, competencia del evaluador y calidad metodolgica del instrumento. No se pueden utilizar procedimientos que, si bien cuentan con altas garantas cientficas, carecen de un referente claro con respecto a la realidad del programa. Si se construyen instrumentos especficos para el programa, es preciso probarlos en un estudio piloto.

Tcnicas cualitativas en la recogida de datos

n Su aparicin es posterior a la de las tcnicas cuantitativas

n Suponen una evaluacin naturalista, en la que se da importancia a la

descripcin de los contextos en los que se enmarca el programa.

n Las crticas acumuladas por determinados modelos evaluativos, produjeron

un mayor inters por la evaluacin formativa. Guba y Lincoln (1989) sealan lo siguiente

n La evalucin es un proceso emergente. n Es imposible disear una evaluacin salvo de forma general. n El proceso es sustancialmente impredecible. n Tanto el diseo, como las decisiones metodolgicas o el proceso de
identificacin slo puede ser especificado al trmino de la evaluacin.

2. ANLISIS DE DOCUMENTOS
Indicadores sociales, econmicos y de salud
n El indicador es una medida estadstica que da cuenta de una realidad social

desde un punto de vista diacrnico, para reflejar su evolucin y desarrollo.

n Hay de dos tipos: descriptivos y evaluativos. n Los indicadores evaluativos reflejan las relaciones producidas en el pasado

entre los elementos que la componen e intentan predecir si se producirn en el futuro

n Se pueden construir especficamente para el programa en cuestin o bien

pueden utilizarse otros recogidos por organismos externos al programa.

n Pueden ponderarse en funcin del estudio a realizar.

Fines de su empleo

n Herramienta bsica en el anlisis de necesidades n Como medio para contrastar el logro de los objetivos del programa n Para estimar el papel de posibles efectos no deseados
Requisitos que debe cumplir un buen sistema de indicadores

Independencia Verificabilidad Validez

Accesibilidad

Estn libres de sesgos pero son insuficientes como herramienta nica Datos de archivo 1. Informacin sobre los usuarios

n No siempre se cuenta con informacin sobre todos los usuarios n No obstante, cualquier informacin inicial es bsica para la determinacin de
eficacia y efectividad del programa.

n El evaluador selecciona los datos de inters, pudiendo registrarse y

codificarse por personal contratado al e fecto. 2. Documentacin escrita sobre el programa
n Todo programa debe constar de informacin relativa a las siguientes

cuestiones: Problema que lo ha originado Objetivos que se persiguen Acciones, personal, estructura y plazos de desarrollo.
n Suponen una informacin vital con respecto a la evaluabilidad del programa n Marcar el diseo de la evaluacin del programa. n Asociados a los objetivos, se determinan los indicadores, a ser posibles

cuantitativos, para informar de los logros obtenidos. El socioanlisis

n El objetivo que persigue es el conocimiento o anlisis sociolgico de grandes

grupos sociales.
n Es una informacin del mismo rango que los indicadores sociales n La herramienta fundamental es el analizador social, esto es, el fenmeno

cuya presencia y actuacin sirve de indicio para conocer el funcionamiento de las relaciones sociales en un grupo o en una cultura.
n Procedimiento: bsqueda de analizadores sociales. n La labor del evaluador consiste en un proceso de retroalimentacin continua

al grupo de la informacin obtenida a travs del analizador.

3. PROCEDIMIENTOS VERBALES
1. Cuantitativos Entrevista estructurada
n El grado de estructuracin depende del tipo de preguntas, del tipo de

respuestas, de la secuenciacin de las preguntas y del registro e interpretacin de la informacin.

n El objetivo que persigue es la obtencin del mximo de informacin til de la

persona entrevistada.
n En Evaluacin de Programas, la entrevista se realiza tras la consulta de datos

de archivo y de la documentacin escrita que haya sobre el programa

n Permite una recogida exhaustiva de informacin. n Es de utilizacin limitada, por las siguientes razones: es costosa y requiere de
un entrevistador experimentado.

n En Evaluacin de Programas su uso se limita a algunos grupos implicados

(responsables y gestores) que pueden ser abarcados en su totalidad. Es especialmente recomendable cuando:

n Se desea saber si hay coincidencia entre diversos implicados en la

evaluacin.

n Se quiere determinar la evaluabilidad del programa. n Para detectar objetivos encubiertos

n El manejo de la informacin formal supone la anatoma de la entrevista:

duracin de las verbalizaciones, latencia, interrupciones, contacto ocular.

n Las garantas cientficas que ha de cubrir son estabilidad, valor predictivo o

criterial, validez de contenido.

n La entrevista estructurada supone economa de tiempo y permite obtener

una mayor cantidad de informacin relevante.

n En la entrevista, el entrevistador adquiere una importancia mxima.

Habilidades que debe poseer el entrevistador

n Capacidad de hablar con la gente

n Dar impresin de inters, sinceridad y profesionalidad n Tener capacidad de escuchar.

Medidas de autoinforme
n

Su principal ventaja es que abarca a un gran nmero de individuos con menor coste La audiencia potencial para este tipo de recogida de informacin es la de los usuarios del programa. Pretende conocer indicadores subjetivos sobre temas fijados de antemano. Los sesgos ms importantes son:
Deseabilidad social. Se puede minimizar asegurando la confidencialidad y

n n

el anonimato.
Tendencia de respuesta, esto es, dar respuestas centrales o extremas. Se

evita mediante formatos pares de respuesta y procedimientos estadsticos.

n

Es fundamental el rigor en la construccin del cuestionario, el formato de respuesta, la codificacin y el anlisis.

2. Cualitativas Entrevista en profundidad

n El objetivo que persigue es la captacin sin cortapisas del discurso del

entrevistado.
n El entrevistador debe captar toda la informacin til, reconduciendo el

sentido de la entrevista en funcin de las respuestas que recibe.

n Los entrevistados pertenecen a casos extremos o a casos tpicos. n Es preciso contar con medios mecnicos para asegurar un registro fidedigno. n La transcripcin de las respuestas emitidas supone un posterior anlisis de

contenido

n Su objetivos son:
Descripcin de los resultados de la interaccin comunicativa Formulacin de inferencias para llegar a conclusiones.

n El marco terico del que se parte define las inferencias, el contenido y el

desarrollo o aspecto formal de la entrevista.

n Las unidades de registro las constituyen todo aquel elemento (textual o

extratextual) que pueda ser analizado de forma separada, debido a su relevancia.

n La codificacin requiere un sistema de categoras, cuyos requisitos son:

Contemplar los objetivos de la evaluacin. Exhaustivas, independientes y mutuamente excluyentes Atender a un nico criterio de clasificacin.

n No suele haber sistemas de categoras estndar. n La clasificacin de las unidades de registro en cada una de las categoras del
sistema exige un criterio de clasificacin.

n El anlisis puede ser verbal o grfico

Grupo de discusin

n El objetivo que persigue es la llegada a acuerdos entre los implicados en un

programa, provocando debates internos.

n Es una tcnica libre, por cuanto no tiene un plan prefijado ni coarta las
expresiones de los integrantes. Condiciones procedimentales
n Exige la presencia de un moderador, que debe dominar tcnicas de

animacin de grupos
n Debe estar compuesto por entre cinco y diez personas. n La duracin mxima no debe sobrepasar los 90 minutos n La seleccin de los participantes depender de los objetivos del trabajo

marcados con antelacin.

n Se debe desarrollar ms de un grupo de discusin con integrantes distintos

para cada objetivo de la investigacin. Momentos

Preparacin, donde se selecciona a los participantes y se preprar el tema de discusin.

Desarrollo: El moderador introduce el tema, plantea la confrontacin de los problemas, modera la discusin y busca cauces de consenso. Interpretacin y anlisis del discurso. No hay reglas de interpretacin y el nivel de inferencia es muy alto.

La tcnica Delphi
n

El objetivo que persigue es la determinacin consensuada de la asignacin de pesos a los diferentes elementos de un problema para establecer prioridades. Busca respuestas consensuales de un grupo de expertos a preguntas especficas. La seleccin de los participantes, el grupo de expertos, se realiza en funcin del conocimiento que tengan del problema que se est tratando. Problemas de la tcnica:
Efecto halo Falta de control por parte del evaluador (posibles contactos indebidos

entre los expertos)

n

Es un mtodo conciliador entre las posiciones cualitativas y cuantitativas. Determinar el problema de forma clara y especfica. Eleccin de los expertos Diseo del primer cuestionario. El objetivo es conseguir el mximo de informacin posible de los expertos. Se hacen preguntas abiertas que se remiten a los expertos, quienes lo rellenan de forma individual y confidencial. Se codifican y categorizan las respuestas para obtener el segundo cuestionario, donde, en formato abierto, se presentan las cuestiones sealadas por los expertos en el primer cuestionario, ms las categoras de respuesta surgida. La tarea del experto es expresar su grado de acuerdo o desacuerdo en la posibilidad de resolver el problema. Se remite el tercer cuestionario, que contiene informacin sobre el grado de consenso obtenido en cada alternativa.

Procedimiento
n n n

4. OBSERVACIN
1. Cuantitativa Observacin estructurada y/o sistemtica
n Tcnica que recoge informacin complementaria a la obtenida con otros

procedimientos.
n Es tarea del evaluador el diseo del formato de evaluacin y del cdigo a

utilizar.
n Los observadores, en el paradigma cuantitativo, suelen ser ajenos al

programa, expertos y no participantes.

n El contexto abarca un continuo bipolar entre natural y artificial n Es un procedimiento costoso en tiempo, tanto en la observacin en si misma

como en la transcripcin. Requiere

n Precisin del objetivo de informacin n Disponibilidad de medios tcnicos adecuados que garanticen la precisin. n Obtencin de datos cuantificables n Plausibilidad en la formulacin de las hiptesis
2. Cualitativa Observacin participante y etnografa
n Su objetivo es la observacin detallada de la implantacin del programa en

cada uno de los diferentes contextos en los que se aplica.

n Procedimiento: Observacin, registro y anlisis del comportamiento en el

contexto.
n El fin que se persigue es obtener descripciones de los sistemas sociales,

considerando las interrelaciones entre costumbres, ritos, creencias y valores, desde patrones amplios de cultura, estructura social y ambiente.
n Requiere la intervencin de un observador participante, denominado agente

de campo, cuyo fin es describir la dinmica del programa desde la perspectiva del implicado Problemas

n Delimitacin clara de funciones para no ser considerado espa.

n Necesidad de un lapso temporal mucho ms amplio que en cualquier otra

tcnica.

n Supone observacin sistematizada de grupos reales en su contexto real,

mediante tcnicas cualitativas.

n Es preciso proceder a una descodificacin del cdigo cultural del grupo en

que se integre, lo cual supone observacin de comportamientos y descripciones de cmo se experimenta.

n Tras la descripcin y definicin es preciso tener de nuevo otro proceso de

codificacin y anlisis. Restricciones en cuanto a las tcnicas a utilizar:

n Criterio de aplicabilidad n Criterio de rigor n Competencia tcnica del evaluador. n Conclusin: Es preferible guiarse en la recogida de datos por un criterio de
utilidad, evitando limitarse.

5. EL ANLISIS DE DATOS EN E.P.

n A lo largo de la evaluacin, hay diversas fases en las que ser preciso
analizar los datos, para interpretarlos y extraer conclusiones.

n Momento ms obvio: Comparaciones establecidas para determinar la eficacia

del programa, en diversos puntos del mismo. Funciones principales del anlisis de datos en la valoracin del impacto (Botella y Barriopedro, 1993)
n n

Describir de forma comprensiva conjunto de datos brutos. Ayudar a decidir si una relacin encontrada puede o no admitirse con confianza. Estimar magnitudes, en relacin a cambio o diferencias. Determinar si los efectos que aparecen alzancan un nivel relevante en el contexto del programa.

n n

Escalas de medida
n

Una escala de medida es un conjunto de modalidades distintas y de nmeros distintos relacionados biunvocamente. El tipo de escala condiciona el anlisis al que se puede someter los datos. Escala nominal. Una medida de este tipo slo permite establecer relaciones de igualdad o desigualdad. El emparejamiento entre nmeros y categoras es arbitrario. Escala ordinal. Una variable medida a nivel ordinal permite no slo establecer categoras, sino tambin ordenar la en orden creciente o decreciente. Escala de intervalo. Permite establecer diferencias equivalentes entre magnitudes. Se cuenta, por tanto, con una unidad de medida estable. Escala de razn. Se da cuando es posible establecer un cero absoluto en la escala

Estadstica descriptiva
n Estadstica:

Conjunto de conocimientos y tcnicas que posibilita la

adecuacin, descripcin e inferencia de un conjunto de datos.

n Estadstica descriptiva. Conjunto de normas y procedimientos que permiten

las siguientes funciones: Organizar los datos: Grficos y tablas de frecuencias. Establecimiento de ndices: Tendencia central, dispersin, posicin y forma. Medicin de relaciones entre variables: Determinacin del grado de asociacin entre variables. Transformaciones entre variables: tipificacin de variables Estadstica inferencial
n La estadstica inferencial pretende deducir consecuencias acerca de la

poblacin, partiendo de los datos obtenidos a partir de una muestra representativa de dicha poblacin.
n Los campos de actuacin de la estadstica inferencial son:

 Muestreo: Conjunto de normas matemticas para la seleccin de sujetos que componen la muestra de una poblacin dada. Estimacin de parmetros: Se infiere el valor que tendr un parmetro poblacional a partir de los datos obtenidos en una muestra. Hay dos tipos de estimacin de parmetros: puntual y de intervalo. Contraste de hiptesis. Permite determinar, dentro de son o no debidas al azar. Introduccin al anlisis multivariado
n Rama de la estadstica que incluye un conjunto de tcnicas descriptivas e

nivel de

probabilidad dado, si las discrepancias observadas en una comparacin

inferenciales para resumir, representar y analizar las observaciones o respuestas de varias variables aleatorias correlacionadas realizada sobre una o ms muestras de individuos (Camacho, 1986).
n Objetivo: La transformacin de una masa de observaciones en un nmero

menor de puntuaciones compuestas de manera que reflejen la mayor cantidad de informacin de las puntuaciones originales (Camacho, 1995) Supuestos (Camacho, 1986)
n

Cada variable dependiente (consecuente) es, potencialmente, una funcin de mltiples determinantes. Cualquier variable independiente (antecedente) tiene, potencialmente, mltiples consecuentes. El estudio de relaciones mltiples (antecedentes y consecuentes) provee un modelo til para la organizacin de sistemas complejos.

Desventajas del acercamiento univariado a datos complejos

n Redundancia, al ignorar la relacin entre variables n No produce un valor de probabilidad conjunta n Incrementa el error tipo I n Se reduce la replicabilidad del estudio

Ventajas del anlisis multivariado

n Economa

n Mayor consistencia estadstica de la inferencia n Creacin de conceptos ms adecuados con diseos representativos. n Incremento de la perspectiva y precisin conceptual

Eleccin de la tcnica ms adecuada

n

Medida del grado de relacin entre variables. Objetivo: Evaluar asociacin entre variables. Regresin mltiple. Correlacin cannica. Significacin de las diferencias entre grupos. Objetivo: Conocer si las diferencias de medias de las variables dependientes estn asociadas a pertenencia grupal. Anova y manova. Prediccin de pertenencia a grupo. Objetivo: Intentar la prediccin de la pertenencia a un grupo (asociacin natural de sujetos) a partir de un conjunto de variables. Anlisis discriminante. Reduccin de la dimensionalidad. Objetivo: Expresar la dimensin de los datos en unas pocas dimensiones. Anlisis factorial. Determinacin de la estructura. Objetivo: Obtener la estructura subyacente a un conjunto de variables. Ecuaciones estructurales. Agrupacin de los sujetos en grupos. Objetivo: Dividir los datos en grupos para detectar algn agrupamiento natural. Anlisis de conglomerados.

Generalizabilidad (Blanco, 1992)

n Grado por el cual podemos generalizar un resultado obtenido en unas

condiciones particulares a un valor terico buscado (Blanco, 1992). Faceta: Cada una de las caractersticas de la situacin de medida que es susceptible de ser modificada de una situacin a otra y que puede hacer variar el valor del resultado obtenido.
n n

Nivel de una faceta: Cada una de las manifestaciones posibles de una faceta. Faceta de diferenciacin: Aquel aspecto que se quiere generalizar, fuente de varianza verdadera. Facetas de generalizacin o de instrumentacin: Las posibles fuentes de error. Fluctuaciones aleatorias o varianza de error.

Coeficiente de generalizabilidad: Estimacin de la posibilidad de generalizar de la media observada en las condiciones dadas a la media de todas las observaciones posibles. Universo de generalizacin: Conjunto de condiciones a las que se quiere generalizar los resultados observados en estas condiciones particulares.

Fases
n

Plan de observacin: Eleccin de las variables que se desea estudiar y la interrelacin entre ellas. Plan de estimacin: Eleccin del modelo estadstico ms adecuado. Estudio de generalizabilidad: Comprobacin de la estimacin de la varianza de la faceta de diferenciacin con respecto a las de generalizacin (la primera debe ser lo suficientemente mayor) Estudio de optimizacin o decisin: El investigador decide, basndose en el paso 3, si reduce o aumenta el nmero de niveles de una faceta, para optimizar las posibilidades de generalizacin.

n n

Meta-anlisis
n

Es un anlisis de estudios de investigacin, interesado principalmente en inferir generalizaciones acerca de problemas sustantivos de una serie de estudios directamente sostenidos en los problemas mencionados. Medida de la efectividad del tratamiento TAMAO DEL EFECTO:
Razn entre la diferencia entre dos medias muestrales y una medida de

desviacin tpica
n

Al ser de escala libre, puede usarse para resumir y cuantificar los efectos del tratamiento de diferentes e studios que contrastan la misma hiptesis.

Objetivos
n Describir un cuerpo de estudios n Resumir en conjunto el efecto de un tratamiento particular n Identificar variables que influyan en la magnitud y direccin de estudios de

resultados
n Cuantificar la significacin y magnitud del efecto del tratamiento. n Permite investigar los efectos de variables extraas.