¿Cómo evaluar?

El
proceso metodológico
de la investigación
evaluativa.

Materia: Evaluación de los sistemas

educativos, instituciones y programas

Unidad temática N° 2

Licenciatura en Educación
MODALIDAD A DISTANCIA
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

Presentación

En esta Unidad Temática pondremos el foco en cómo realizar una evaluación.

Como trabajamos en la UT 1, una investigación evaluativa persigue al menos 4

objetivos:

1. Establecer el grado de pertinencia, idoneidad, eficacia y eficiencia de un conjunto

de acciones.

2. Determinar las razones de su éxito o fracaso.

3. Facilitar el proceso de toma de decisiones para mejorar o modificarlo realizado.

4. Establecer en qué grado se han producido otras consecuencias o efectos

imprevistos.

Para ello, es necesario desarrollar un proceso sistemático, planificado y con objetivos

claros, al que denominamos proceso metodológico. Y como todo proceso, tiene
momentos pautados con objetivos específicos y técnicas particulares que iremos
abordando particularmente.

2
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

Aproximación metodológica

Llamamos proceso metodológico a la sucesión concatenada de decisiones y acciones

que conducen desde la formulación de los objetivos de la evaluación hasta el análisis
de la información y la comunicación de los resultados.

En este sentido, una investigación evaluativa comporta a grandes rasgos un

momento de diseño, de implementación y de análisis y, de presentación de los
resultados.

Sin embargo, el proceso metodológico no debe ser considerado como una

sucesión de etapas que se concluyen o clausuran, permitiendo un avance lineal.

Por el contrario, una investigación evaluativa puede movilizar temores, resistencias,

“fantasmas” en la población destinataria; expectativas diversas en los actores
decisorios; imponderables, circunstancias no previstas por los investigadores para el
momento de recolección de información; efectos o resultados no tenidos en cuenta al
diseñar los objetivos; y la lista puede continuar…

Es decir, en un proceso de evaluación se involucra a una multiplicidad de actores

con intereses diversos que pueden converger o no, y que pueden utilizar sus
diferentes grados de poder para facilitar u obstaculizar el proceso.

Es importante tener esto siempre presente. Realizamos el trabajo evaluativo en una

realidad social que siempre es compleja, cambiante, contradictoria. Una parte
importante del éxito de nuestro trabajo dependerá de la pericia en conciliar
intereses, sumar apoyos y estar abiertos a reelaborar lo proyectado para
obtener con la mayor validez y fiabilidad posible la información necesaria para
sustentar nuestro análisis.

Antes de comenzar
Para desarrollar un diseño de evaluación primero es preciso contestar cuatro
preguntas de contexto que orientarán la formulación posterior. Las mismas significan
un momento de negociación y acuerdo con los actores solicitantes de la evaluación y
otros actores sociales relevantes por su control de información clave o posibilidad de
interferir en el proceso.

Los cuatro ejes a considerar son:

3
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

● ¿Qué se va a evaluar? Es una primera aproximación al objeto de evaluación,

describiendo de modo preciso sus características y objetivos, los aspectos
particulares que van a evaluarse, etc.

● ¿Para qué y por quién serán utilizados los resultados de la evaluación?

Esta pregunta refiere a caracterizar la “demanda” que nos interpela. Quiénes
quieren la evaluación y para contestar a qué interrogantes. Qué tipo de
información será más apropiada para esto. Qué destino, para qué fines serán
utilizados los resultados de nuestro trabajo. Conocer estas “necesidades” de los
demandantes de la evaluación nos permitirá ajustar el diseño de evaluación para
que resulte utilizable la información que arroje.

● ¿Con qué recursos se cuenta para esta evaluación? Involucrando tanto los
recursos financieros como los recursos humanos, así como el tiempo requerido
para la entrega de resultados.

● ¿Es viable su realización? Si bien involucra varios supuestos es central para

avanzar en un diseño. Implica considerar las posibilidades de acceso a la
información, la colaboración necesaria de los involucrados y el apoyo brindado al
proceso de trabajo por las autoridades pertinentes. Si bien es complejo inferirlo en
una primera aproximación al objeto de evaluación, es una apreciación importante
para avanzar en el diseño con ajuste a las posibilidades de implementación.

Conocer qué, para quién, para qué, con qué plazos, recursos y
apoyos se realizará la evaluación es un primer recorte que nos
permite ir vislumbrando las alternativas de diseño posible.

Responder a estas preguntas con claridad es crucial para que la evaluación mantenga
los atributos de oportunidad y utilidad.

Una evaluación que pretenda evaluar “todo” se convierte en demasiado costosa y

dilatada en el tiempo, perdiendo la capacidad de ser oportuna para la toma de
decisiones.

Una evaluación que no tiene en cuenta las preguntas e intereses del solicitante corre el
riesgo de perder utilidad y quedar archivada sin aplicarse el conocimiento
sistematizado ni las recomendaciones derivadas de este proceso.

4
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

Junto a estos atributos de carácter práctico, deben considerarse dos principios

derivados del método científico: la validez y la fiabilidad.

La validez, entendida como la capacidad que debe tener un diseño de evaluación de

estimar con rigor lo que se quiere comprobar, sin lugar a distorsiones sistemáticas. Y
la fiabilidad, entendida como la seguridad que aportan los instrumentos de
recolección de información al arrojar resultados estables o equivalentes, según sean
aplicados repetidamente en la misma situación o por actores diversos en situaciones
semejantes.

El diseño de la evaluación

Luego de una primera aproximación a las preguntas iniciales comienza la etapa de

diseño propiamente dicha.

Esta etapa involucra, a su vez, tres operaciones: la formulación del marco de

referencia; la selección de la estrategia metodológica y de las técnicas de
recolección de información; y la selección de variables y elaboración de
indicadores. Estas operaciones tienen por finalidad construir la estrategia para
capturar con la mayor precisión posible los aspectos a evaluar.

Si bien se presentan separadamente y en forma sucesiva para su comprensión, estos

momentos no son estancos, sino que se retroalimentan y condicionan mutuamente.

Formulación del marco de referencia

Recuperando los acuerdos alcanzados en la instancia previa, se trata de definir con

precisión el objetivo de la evaluación (qué se va a evaluar, con qué extensión y en
qué grado) y de realizar una delimitación conceptual de los aspectos del programa
que serán evaluados. Esto implica, asimismo, una definición sobre el tipo de evaluación
a realizar.

Al respecto, existen múltiples clasificaciones de los tipos de evaluación según los

aspectos que se consideren. En este recorrido teórico tomaremos la clasificación que
surge de combinar los momentos del programa en que la evaluación se realiza, con los
aspectos del programa que se tienen en cuenta para evaluar.

De este modo, la clasificación elegida arroja tres tipos principales de evaluación:

5
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

• Evaluación de diseño o conceptualización: centrada en considerar la

pertinencia formal y potencial de un programa. Este tipo de evaluación
considera aspectos previos a la realización de las acciones de un programa o
proyecto: la evaluación del diagnóstico, la evaluación del estudio –
investigación, y la evaluación del diseño y concepción del programa. En este
tipo de evaluaciones las preguntas centrales consideran la situación
problemática que motiva o da origen al programa y que por su medio se
pretende resolver. Es una evaluación fundamental en tanto que si la explicación
del problema (el diagnóstico) o las alternativas diseñadas para su abordaje no
son correctas, toda la implementación posterior resultará inadecuada.

El diagnóstico

Consideramos al diagnóstico como una actividad propia de la actividad de

planificación, en tanto estudio que permite especificar la situación problemática que
abordará la intervención.

La evaluación del diagnóstico considera los objetivos y las actividades del proceso
de diagnóstico; hay intervenciones que se formulan sin contar con un diagnóstico
apropiado y eso impide desarrollar actividades eficaces para el mejoramiento de la
situación problema identificada.

• Evaluación de la instrumentación o seguimiento (también denominada

monitoreo): centrada en cómo se están llevando a cabo las acciones. En
este sentido, considera la cobertura del programa y los aspectos técnicos de su
implementación, entre otros. Este tipo de evaluaciones permiten tener
información oportuna para modificar y corregir acciones que permitan el
alcance de los objetivos planificados.

• Evaluación de eficacia o eficiencia: centrada en estimar el alcance de los

objetivos propuestos. Puede basarse en la evaluación de los resultados
propiamente (evaluación de eficacia) o en la evaluación de la rentabilidad
económica de las acciones del programa (eficiencia). Este tipo de evaluaciones
son las más difundidas en tanto son las que otorgan el sentido central a un
programa o proyecto. En otras palabras, la valoración del éxito de un conjunto
de acciones planificadas se concentra en el alcance de los objetivos. De nada

6
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

sirve un proyecto con un diagnóstico acertado y una implementación adecuada,

si a la hora de modificar aspectos de la realidad considerados problemáticos no
arroja los resultados esperados.

Otras posibilidades de clasificación, son las que surgen de considerar la procedencia

de los evaluadores, dando lugar a tipo de evaluaciones internas, externa, mixtas
o autoevaluaciones.

Por último, es importante destacar la clasificación que sugiere Scriven si “desplazamos

a la evaluación desde los objetivos hasta las necesidades”. De este modo podemos
distinguir la evaluación formal de la evaluación sustantiva. La primera centrada en
la coherencia interna del programa y la consecución de los objetivos postulados. Y la
segunda, centrada en la pertinencia de la planificación respecto a las necesidades
“reales” de la población y la modificación de sus circunstancias concretas. Si bien esta
clasificación es discutida por diversos autores, busca destacar las implicancias éticas
de la formulación de un programa y el compromiso de programadores y
formuladores con la población destinataria de sus acciones.

Estos clasificaciones no son mutuamente excluyentes, si no que por el contrario,

combinarlas aporta a clarificar qué tipo de diseño evaluativo vamos a desarrollar. Por
ejemplo, una evaluación de conceptualización puede ser también interna y sustantiva.
O una evaluación de eficacia puede ser también externa y formal.

Selección de la estrategia metodológica y de las técnicas de recolección de

información

Esta etapa se centra en la toma de decisión sobre qué métodos y técnicas son más
adecuadas para abordar el objetivo propuesto, con el propósito de recabar
información en calidad y volumen suficiente para permitir comprender los
aspectos comprometidos en el objetivo del diseño.

Existe una antigua polémica entre los métodos cuantitativos y métodos

cualitativos, centrada en que los primeros resultarían más rigurosos y probatorios
dado que se asientan en variables directamente observables y escalas de medición. Por
otra parte, los segundos resultan más explicativos, aportando mayor nivel de detalle y
comprensión de los fenómenos.

7
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

En la actualidad es abundante la bibliografía que lo considera este antagonismo como

un falso dilema, dando lugar a una multiplicidad de abordajes mixtos que vuelven
estéril la disputa.

No obstante, es importante reflexionar sobre las concepciones que subyacen a esta

polémica, porque se vinculan a diferentes paradigmas epistemológicos sobre el
abordaje de los fenómenos sociales y su posibilidad de estudio y comprensión:

“(…) reitero una vez más mi opinión de que las ciencias sociales no deben
mirarse en el espejo de las físico-naturales, tomando a éstas como modelo,
pues la peculiaridad de su objeto se lo impide. Se trata, en efecto, de un
objeto en el que está incluido, lo quiera o no, el propio estudioso, con todo
lo que ello implica; y de un objeto, podríamos decir, subjetivo, en el sentido
de que posee subjetividad y reflexividad propias, volición y libertad, por
más que estas cualidades de los individuos sean relativas al conjunto social
del que forman parte. Conjunto social que no es natural, en el sentido de
que es el producto histórico del juego de las partes de que consta y de los
individuos que las componen, siendo éstos a su vez también producto
histórico del conjunto, y ello en una interacción inextricable de lo que el
animal humano tiene de herencia genética y de herencia cultural. Un objeto
de conocimiento, además, reactivo a la observación y al conocimiento, y
que utiliza a éste, o a lo que pasa por tal, de manera apasionada y con
arreglo a su peculiar concepción ética, limitaciones a las que tampoco
escapa el propio estudioso. Un objeto, en fin, de una complejidad
inimaginable (y para colmo de males compuesto de individuos que hablan,
de animales ladinos), que impone la penosa obligación de examinarlo por
arriba y por abajo, por dentro y por fuera, por el antes y por el después,
desde cerca y desde lejos; pesarlo, contarlo, medirlo, escucharlo,
entenderlo, comprenderlo, historiarlo, describirlo y explicarlo; sabiendo
además que quien mide, comprende, describe o explica lo hace
necesariamente, lo sepa o no, le guste o no, desde posiciones que no
tienen nada de neutras.” (BELTRÁN, Miguel. Cinco vías de acceso a la
realidad social. M. García, J. Ibáñez y F. Alvira (Comp.), El análisis de la
realidad social. Métodos y técnicas de investigación, 2000, p. 189-222.)

8
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

Sin embargo, resulta importante destacar que estos paradigmas epistemológicos no

tienen correspondencia lineal con los métodos, sino con una manera de entender “lo
real”. Es decir, el desarrollo de una evaluación que utilice metodologías cualitativas
también podría concebir su objeto de investigación y realizar un tratamiento de la
información de manera positivista.

Por ello, es importante conocer las tradiciones teóricas subyacentes

para no utilizar mecánicamente las técnicas y a considerar las
posibilidades y limitaciones de cada enfoque metodológico.

Entre la distinción de métodos posibles se diferencian al menos cinco:

● Métodos cuantitativos: se basan en la inducción probabilística del positivismo

lógico y en criterios de fiabilidad. Los datos que aportan son cuantificables y
facilitan la comparación y generalización de los resultados.
● Métodos cualitativos: se basan en la fenomenología y la comprensión, buscando
un abordaje holístico de los fenómenos. Los datos que aportan permiten abordar la
realidad en su dinamismo y captar aspectos no evidentes de la misma.
● Método histórico: se basa en percibir la historicidad de los fenómenos sociales,
con el fin de explicar y comprender la multicausalidad que los origina.
● Método comparativo: se basa en la comparación sistemática de fenómenos
diferentes, para obtener una visión enriquecedora
del fenómeno y/o articular una explicación que Para ampliar la información
sobre construcción de
convenga a fenómenos que trasciendan ámbitos instrumentos de recolección
o épocas concretos. de información, ver en
bibliografía ampliatoria
● Método crítico: se trata de la “consideración SOUZA, MINAYO, DESLANDES,
racional de los fines del hombre, lo que implica VEIGA. Construção dos
instrumentos qualitativos e
reclamar para la ciencia el ejercicio de la quantitativos. Capítulo IV
reflexión racional” frente a los fenómenos,
permitiendo “ir más allá de lo dado, penetrar en el mundo de los valores y de las
opciones morales, y en el necesario ejercicio de la crítica (...) Si las ciencias
sociales se confinan en la facticidad de lo empírico, aceptan como dadas las

9
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

relaciones de poder que no tienen más legitimidad que la de su existencia, siendo

así incapaces de demandar su abolición.”1

Estos métodos utilizan técnicas de recolección de información propias. Los métodos

cualitativos privilegian técnicas como: la entrevista en profundidad, utilización de
informante clave, estudio de caso, historia de vida, grupos de discusión, foro
comunitario, observación directa y observación participante, entre otras. Los
métodos cuantitativos utilizan técnicas como la entrevista estructurada, encuesta,
análisis estadístico, diseños experimentales, test y escalas de medición, entre
otras.

Asimismo, estas técnicas pueden distinguirse por el tipo de información que trabajan:
de fuente primaria o secundaria. Es decir, información recogida de primera mano
por el investigador, o información procesada previamente por otros actores.

Por último -como planteamos previamente- las técnicas y los métodos pueden
combinarse, e incluso este procedimiento puede favorecer el contraste y chequeo de
información haciendo más rigurosos los resultados alcanzados.

Al respecto es relevante el concepto de triangulación como estrategia para

complementar enfoques metodológicos. Esta estrategia supone “la utilización de
diferentes técnicas y fuentes para evaluar los mismos fenómenos o aspectos de la
realidad a través de operaciones convergentes, en el sentido de síntesis y
complementación metodológica. (…) Con ello se procura mayor confiabilidad de la
información obtenida, mayor entendimiento de los fenómenos bajo estudio, reducción
de sesgos propios de cada técnica, fuente y profesional, y la validación de las
apreciaciones evaluativas.”2

Según Aravena (Aravena, 2006), se pueden utilizar distintos tipos de triangulación:

• Triangulación de métodos y técnicas: consiste en el uso de múltiples

métodos o técnicas para estudiar un problema determinado (como, por

1
BELTRAN, Miguel. (2000). Cinco vías de acceso a la realidad social. M. García, J.
Ibáñez y F. Alvira (Comp.), El análisis de la realidad social. Métodos y técnicas de
investigación.

2
NIRENBERG, Olga; BRAWERMAN, Josette; RUIZ, Violeta. (2005) Evaluar para la
transformación. Innovaciones en la evaluación de programas y proyectos sociales.
Buenos Aires: Paidós. P. 95

10
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

ejemplo, el hacer un estudio con una encuesta, y después utilizar la

observación participativa o la técnica de entrevista);
• Triangulación de datos: en la cual se utiliza una variedad de datos para
realizar el estudio, provenientes de diferentes fuentes de información;
• Triangulación de investigadores: en la cual participan diferentes
investigadores o evaluadores, quizá con formación, profesión y experiencia
también diferentes;
• Triangulación de teorías: consiste en emplear varias perspectivas para
interpretar y darle estructura a un mismo conjunto de datos;
• Triangulación interdisciplinaria: con la cual se invocan múltiples disciplinas
a intervenir en el estudio o investigación en cuestión (por ejemplo, es frecuente
que en una investigación educativa, puedan confluir distintas disciplinas, tales
como: la psicología, la sociología, la historia, la antropología, etc.).

Selección de variables y elaboración de indicadores

Todo programa o proyecto tiene como propósito producir un “cambio” en algunos

aspectos de la realidad, y el objetivo de la evaluación es valorar en qué medida estos
se han realizado.

En algunas oportunidades estos cambios pueden ser observados y admiten un

tratamiento cuantitativo: puede ser registrado, medido, contabilizado y traducido en
términos estadísticos. Por ejemplo, la cantidad de libros de texto que efectivamente
llegaron a las escuelas, las jornadas institucionales realizadas, la cantidad de netbooks
repartidas, el índice de retención escolar de una escuela, las horas promedio de
capacitación docente.

Pero otros aspectos del cambio que intenta producir un proyecto o programa,
relacionados generalmente con cualidades y procesos, no son directamente
observables ni pueden captarse con facilidad. La comprobación de su logro puede
inferirse a partir de otras manifestaciones observables que debe construir
como aproximación el evaluador.

A este proceso de lo denomina operacionalización y consiste en definir con precisión

qué atributos de la realidad vamos a seleccionar para confirmar el logro de los
objetivos de un programa, por ejemplo. Estos atributos, denominados variables, se
modifican a través del tiempo o difieren de un lugar a otro o de un individuo a otro. De

11
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

cada variable, es preciso seleccionar indicadores, es decir, los datos observables que
podemos medir y que van sustentar nuestro análisis

Dicho en otros términos, el proceso de operacionalización es un modo de

aproximarnos al conocimiento de algo que no podemos captar directamente.

Por ejemplo, ¿Cómo evaluamos la calidad educativa? ¿Cómo podemos concluir que
mejoró o empeoró esta cualidad?

Es preciso primero definir qué entendemos por ella, qué variables la integran. Sin
intentar ser exhaustivos, resumamos la definición en “aprendizaje con inclusión”.
Aprendizaje e inclusión serían nuestras variables, los aspectos cuyo cambio nos
“habla” de la consecución del objetivo. Pero, podemos observar “el aprendizaje”
directamente? Y la “inclusión”? No. O no al menos de forma unívoca. Para ello
construimos indicadores, es decir, datos observables o medibles que nos hablen de
cómo se comportan estas variables. Una posibilidad para medir la inclusión será si se
ha modificado el índice de retención escolar, de abandono, de escolaridad en
determinada comunidad. Estos son nuestros indicadores, entre otros posibles. Es
decir, la evidencia de los cambios en la realidad.

Por lo dicho, en este proceso se involucran, al menos, 3 etapas sucesivas: 1) La

definición del concepto; 2) su descomposición en dimensiones y variables; 3)
la elección de indicadores representativos del comportamiento de las variables.

La cantidad de indicadores dependerá del acceso a la información que dispongamos, y

de la calidad y cantidad de ésta. Los indicadores no deben ser excesivos, pero sí deben
representar con la mayor eficiencia posible el fenómeno a observar. En este sentido,
son requisitos de los indicadores la independencia, verificabilidad, validez y
accesibilidad.

A continuación veamos un ejemplo de matriz de indicadores desarrollada para un

diseño de evaluación de un programa de prevención de consumo problemático de
sustancias en las escuelas. En ella se operacionaliza el programa en dimensiones,
variables e indicadores para cada una de ellas. Asimismo, cada variable se vincula con
una o varias técnicas de recolección de información.

12
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

Técnicas de
Objetivos Variables Indicadores
recolección
Alcance de los Existencia de una estrategia de difusión
procesos de difusión Análisis
Medios utilizados documental

Entrevistas a
Tipo de audiencias alcanzadas informantes clave

Eficacia de la Existencia de un proceso de sensibilización

convocatoria a
Pertinencia de la modalidad de inscripción Análisis
docentes
documental

Entrevistas a
Eficiencia Cantidad de docentes inscriptos informantes clave
de la
gestión
local Modalidad de envío
Análisis
Eficiencia en la Oportunidad de la recepción documental
entrega de
Cantidad de manuales entregados
materiales
Entrevistas a
Cantidad de cuadernillos entregados informantes clave

Asistencia de los referentes a las instancias de difusión

Acompañamiento
y convocatoria
de los referentes Entrevistas a
provinciales y/o informantes clave
locales Asistencia de los referentes en la capacitación docente

Alcance a nivel Áreas geográficas cubiertas

provincial
% de escuelas cubiertas
Análisis
% de docentes capacitados (total y por grado/año) documental

Entrevistas a
informantes clave
% de alumnos incorporados
Inserción
del
programa Incorporación en Existencia de orientaciones provinciales
en las instancias
Incorporación en la planificación anual
escuelas planificadas
Cumplimiento de la frecuencia programada de trabajo
Entrevistas a
en el aula
informantes clave

Programación de actividades con padres

13
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

El trabajo de campo o implementación

Este momento consiste básicamente en la recopilación de datos e información, de
acuerdo a la estrategia metodológica planteada previamente.

Conviene siempre realizar una prueba previa, denominada “piloto”, de los instrumentos
de recolección de información, con el propósito de hacer correcciones y comprobar su
correcta utilización por parte de las personas que los van a utilizar.

Este momento requiere de gran destreza por parte de los evaluadores para conciliar
intereses y transmitir con claridad los objetivos de la evaluación y el modo en que se
llevará a cabo a las personas/poblaciones consultadas. Como dijimos al comienzo de
esta UT, una evaluación muchas veces despierta temores y fantasmas, falta de interés
y motivación, o franca oposición, que puede obstaculizar el proceso y la adecuada
recolección de información.

Elaboración y presentación de resultados

Una vez finalizado el trabajo de campo, se inicia la etapa final del proceso: la
elaboración de la información; el análisis; y la devolución y difusión de los
resultados.

Elaboración de la información

La información obtenida en el trabajo de campo debe ser ordenada y clasificada para

que cobre sentido respecto al trabajo de evaluación que estamos realizando.

Este momento de elaboración de la información, así como el posterior análisis,

dependen de la estrategia metodológica elegida. No obstante, siempre útil es la
construcción de una matriz de datos.

La matriz de datos permite hacer visible la estructura tripartita de los datos. Es decir,
entender al dato como el valor que toma una variable en una unidad de
análisis.

La unidad de análisis es el objeto social sobre el que se busca información. Por

ejemplo, individuos, grupos sociales o productos de la acción humana. Sobre estos
elementos se estudia el comportamiento de las variables. Como dijimos previamente,
las variables son atributos que pueden asumir distintos valores. Estos valores son

14
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

alguna de las alternativas que presenta la variable y que adopta en la unidad de

análisis.

La matriz, es en resumen, un cuadro de doble entrada en el que cada fila corresponde

a una unidad de análisis, cada columna a una variable y en cada celda figura el valor
que cada unidad asume para cada variable.

Cuando abordamos este proceso desde enfoques cualitativos esta tarea se complejiza
por el carácter predominantemente verbal de los datos y su naturaleza polisémica.

Por ello, el objetivo principal de la elaboración de la información consiste en reducirla,

ordenarla y clasificarla. Es decir, iniciar la etapa de “reducción de datos” mediante dos
tareas sucesivas: la codificación y la categorización.

A grandes rasgos, consiste en segmentar, de todo el volumen de datos obtenidos,

aquellos que resulten significativos y relevantes. Los criterios que pueden resultar más
simples para esto son los criterios temáticos. Es decir, realizar un listado de temas,
conceptos, que hayan sido observados en una revisión inicial; para posteriormente
examinar cada unidad de datos (entrevistas, focus group, etc.) identificando los
fragmentos que puedan ser ubicados en una u otra clase temática. Este esquema
inicial puede ser complejizado a medida que se avanza en el examen minucioso de
cada unidad de análisis, añadiendo, suprimiendo o redefiniendo nuevas categorías.

A continuación, a modo de ejemplo, reproducimos un fragmento de matriz de

reducción de información:

Eje temático Respuestas Entrevistado

“El hospital es nuevo. Es un hospital que

cuenta, desde el punto de vista de la
infraestructura...Tiene seis quirófanos de
los cuales cuatro son activos, tiene un
centro obstétrico que también tiene DIRECTOR
quirófano propio, tiene consultorios
Problemas externos que trabajan desde la mañana y
edilicios/equipamiento tienen turnos matutinos y vespertinos. Con
respecto al material humano, estamos ahí
en el límite…”

“Sé que ediliciamente estamos hoy por hoy

con un edificio muy lindo, funcionando, JEFE
trabajando, podemos operar con aire
acondicionado con flujo laminar, podemos

15
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

operar con determinadas cosas que en

otros hospitales sé que no se dan, pero uno
le aporta mucho a esa historia para que
además siga funcionando.”

"El quirófano es general para todas las

patologías E: si, para todas” "los partos en MÉDICO 1
2014 fueron 3.500 (…) Y después ahora
bajaron a 2700. “

"El diagrama del centro obstétrico, el

diseño realmente es bueno. Si se podría
mejorar, sí, qué sé yo. El centro obstétrico
está hecho... ¿Viste que yo te mencioné MÉDICO 2
que ahí hacemos los partos? No te
mencioné que hagamos la cesárea porque
no las hacemos ahí, la hacemos en el
quirófano que está al lado”

"Si hay anestesiólogo, el primer problema

es el anestesiólogo a veces, que no MÉDICA 3
tenemos.”

“Por ahí tenemos una demanda insatisfecha

que hace que los turnos se estén dando a
tres meses, a dos meses y pico, que no la JEFE
podemos solucionar porque no tenemos
más personas y no tenemos estructura
física, ¿no?”
Problemas de gestión
“Acá tenemos un tomógrafo que no INSTRUCTOR
funciona“

"Si me preguntás sobre guardia, por ahí

conseguir profesionales para guardia que
por ahí por algún motivo no pueden venir, MÉDICO 3
es un tema siempre, es una cosa que se
repite"

Análisis de la información

Una vez concluida la organización de los datos, comienza la etapa de análisis

propiamente dicha que consistente en la interpretación de la información para dar
respuesta a los objetivos de la evaluación.

Se trata de observar las modificaciones en la situación problemática que motivo la

implementación del programa, encontrando explicaciones de su éxito o fracaso. Por
ello, la interpretación de los datos debe hacerse de acuerdo a los objetivos iniciales de
la evaluación y las preguntas iniciales que guiaron su diseño.

16
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

Devolución y difusión de los resultados

Del análisis realizado surgirán los primeros hallazgos y conclusiones que tendrán un
carácter preliminar, en tanto es necesario comunicarlos y discutirlos con los actores
que participaron del proceso evaluativo, lo que permitirá la incorporación de
sugerencias y correcciones a partir de su opinión.

Este momento suele denominarse devolución, y su importancia se sostiene en

motivos epistemológicos, éticos y pragmáticos. Los motivos epistemológicos
refieren a que cada actor tiene un conocimiento particular acerca de los factores que
inciden en los resultados de la acción y en la realidad que se procura modificar, de
modo que reunir estos saberes permitirá un conocimiento más amplio y profundo de
los hallazgos.

Los motivos éticos se vinculan con que todos los involucrados en el proceso tienen
derecho a debatir y opinar sobre lo producido, lo que enriquecerá el proceso de gestión
de la evaluación, así como la producción del conocimiento. En este proceso resulta
fundamental que los destinatarios de las acciones puedan explicitar sus demandas y
necesidades desde su perspectiva.

Los motivos pragmáticos atienden a la eficacia del proceso de evaluación, en tanto

aquellos que participaron en la discusión de los resultados y conclusiones estarán más
comprometidos en la realización de las acciones sugeridas.

Una vez concluido el momento de devolución, se procede a comunicar por diversos

medios y a las distintas audiencias el resultado final. Este momento se denomina
difusión y consiste en la redacción del informe final y las recomendaciones. Para ello
es importante utilizar un lenguaje sencillo, claro, concreto y con énfasis en las
recomendaciones.

17
 Evaluación de los sistemas educativos, instituciones y programas
Unidad temática N° 2

● Ander Egg, Ezequiel; Aguilar Idañez, María José. (1994) Evaluación de servicios
y programas sociales. Buenos Aires: Lumen.

● Aravena; Kimelman; Micheli; Torrealba; Zúñiga. (2006) Investigación educativa

I. Convenio Interintitucional: AFEFCE /Ecuador, Universidad ARCIS / Chile.

● Beltrán, Miguel. (2000). Cinco vías de acceso a la realidad social. M. García, J.

Ibáñez y F. Alvira (Comp.), El análisis de la realidad social. Métodos y técnicas
de investigación.

● Nirenberg, Olga (2010) Enfoques para la evaluación de políticas públicas.

● Nirenberg, Olga; Brawerman, Josette; Ruiz, Violeta. (2005) Evaluar para la

transformación. Innovaciones en la evaluación de programas y proyectos
sociales. Buenos Aires: Paidós.

18