Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Eje 4
Cmo evaluar el impacto
de la formacin?
Objetivos:
Al finalizar este eje el lector podr:
Identificar la importancia y caractersticas del uso de indicadores en la
evaluacin.
Cmo evaluar
el impacto de la
formacin?
37
Gua para la evaluacin de impacto de la formacin
Un indicador es una comparacin entre dos o ms tipos de datos que sirve para
elaborar una medida cuantitativa o una observacin cualitativa. Esta comparacin
arroja un valor, una magnitud o un criterio, que tiene significado para quien lo
analiza.
Los indicadores se utilizan en diversos mbitos. Un ejemplo bsico de indicador es el
porcentaje. Otros indicadores comunes pueden ser la tasa de empleo, la tasa de
desempleo, la tasa de actividad, la tasa de informalidad, por mencionar algunos.
38
Gua para la evaluacin de impacto de la formacin
Indicadores de gestin
Se utilizan para realizar el monitoreo de los procesos, de los insumos y de las actividades
que se ejecutan con el fin de lograr los productos especficos de una poltica o
programa36.
Ejemplos de indicadores de gestin:
EJE 4
Cupos antes
Variacin en diseos curriculares elaborados Nmero diseos despus nmero diseos antes
X 100
Nmero de diseos antes
Variacin en normas de competencia redactadas Nmero normas despus nmero normas antes
X 100
Nmero de normas antes
Variacin del nmero de docentes disponibles Nmero docentes despus nmero docentes antes
X 100
Nmero de docentes antes
Variacin del nmero de horas para formacin Nmero horas despus nmero horas antes
X 100
Nmero de horas antes
36 Los datos que se comparan en los indicadores cuantitativos reciben el nombre de variables
39
Gua para la evaluacin de impacto de la formacin
Indicadores de efecto
Se refieren a las consecuencias inmediatas de la formacin y desarrollo de
competencias sobre las personas, las empresas o la sociedad. Representan el
encuentro de las acciones formativas con la demanda de los participantes.
Algunos indicadores de efectos:
Indicadores de impacto
Representan el cambio esperado en la situacin de los participantes una vez que la
formacin se lleva a cabo. Usualmente se pueden medir en perodos de mediano o
largo plazo debido a que se requiere un lapso de tiempo para que se puedan medir
el mejoramiento de los ingresos, las condiciones de trabajo, la empleabilidad y los
dems impactos mencionados en el eje 1 Contexto.
Algunos indicadores de impacto:
Tasa de retorno global por unidad invertida Ingresos nuevos totales generados
X 100
Costo aprendizaje
40
Gua para la evaluacin de impacto de la formacin
Experimental
Mtodos Semi-experimental
cuantitativos
EJE 4
Evaluacin No experimental
de impacto
Estudio de casos
Mtodos
cualitativos
Anlisis contextual
37 Usualmente los indicadores se definen en herramientas de planificacin como el marco lgico muy utilizado en
el diseo de proyectos.
41
Gua para la evaluacin de impacto de la formacin
}
Con
formacin
Impactos
Sin
formacin
Situacin Situacin
inicial final
38 En ciencias sociales, un experimento implica una comparacin sistemtica de ciertos grupos con otros que son
similares en los aspectos ms relevantes, o con el mismo grupo en diferentes momentos del tiempo, con el objetivo
de determinar el efecto o influencia de algn evento o intervencin. Navarro. 2005.
42
Gua para la evaluacin de impacto de la formacin
Salario
}
Participantes
EJE 4
Impacto
Control
Lnea de
base
Antes Despus
43
Gua para la evaluacin de impacto de la formacin
44
Gua para la evaluacin de impacto de la formacin
EJE 4
4.2.3. Diseo no experimental
Este enfoque no utiliza grupos de control para evaluar los impactos de las acciones
implementadas; es decir, solo trabaja con la poblacin que particip en el proyecto.
El no utilizar grupos de control puede obedecer a que sencillamente no fue previsto
en la planificacin de la evaluacin o, a que en algunos casos, existen razones
tcnicas que impiden la construccin de los dos grupos. Es el caso de la evaluacin
de impacto de una poltica pblica nacional que debe cubrir a toda la poblacin
o a un sector importante de ella; la construccin de grupos de control por mtodos
experimentales supondra separar de los beneficios de las polticas a importantes
porciones de la poblacin.
Bajo este enfoque se realizan comparaciones en el tiempo denominadas diseos
seriados que cubren los momentos: antes-despus o slo despus. Se les llama
seriados por cubrir series de tiempo y se conocen como estudios longitudinales. Sus
caractersticas estarn determinadas por las variables a medir, el tipo de seguimiento
requerido y el acceso a datos confiables previos al desarrollo de las acciones.
45
Gua para la evaluacin de impacto de la formacin
Salario
}
Participantes
Impacto
Tendencia
observada
Antes Despus
Los diseos seriados son los ms rigurosos entre los no experimentales ya que, a pesar
de no trabajar con grupos de control, permiten calcular la tendencia del impacto
a analizar si no hubieran tenido lugar las acciones implementadas. Necesitan de la
existencia de una cantidad suficiente de observaciones anteriores al desarrollo de
las acciones para poder identificar la tendencia previa a la intervencin. En este
caso, se trabaja con un diseo antes despus evaluando el impacto mediante un
tratamiento estadstico del cambio observado en las variables.
Si bien, a partir de estos diseos, no se pueden aislar los efectos de factores ajenos a las
acciones previstas, se podra afirmar que las mismas han contribuido a los resultados
junto con otros factores no aislados.
Los diseos seriados son ms tiles cuando el objetivo de las acciones cubre a toda
una poblacin, por ejemplo todos los trabajadores jvenes que se inscriben en cursos
de aprendizaje.
La eleccin de un mtodo determinado para la implementacin de la evaluacin
de impacto supone un conjunto de aspectos polticos, metodolgicos y relativos a
la asignacin de recursos econmicos y humanos. Como se anot antes, existe una
relacin inversa entre la facilidad y practicidad de la aplicacin de estos diseos y la
confiabilidad estadstica de los resultados.
46
Gua para la evaluacin de impacto de la formacin
EJE 4
Creacin de autoempleo Conformacin empresas
Nmero de horas trabajadas Variacin antes-despus
Tasa de ocupacin Variacin
Tasa de participacin laboral Variacin
Cambio en la situacin laboral Empleo, desempleo, activo, inactivo
Cambio en el tipo de empleo Formal, informal, auto-empleo
Consumo total Variacin en moneda corriente
Aumento de la productividad laboral Desempeo laboral
Proteccin social Variacin aportes pagados
45 Existen diferentes mtodos de muestreo, entre ellos el aleatorio, el muestreo por conglomerados cuando se agru-
pan conjuntos afines de la poblacin y el muestreo por caractersticas particulares que atiende a variables como
edad, sexo, situacin econmica, entre otras.
47
Gua para la evaluacin de impacto de la formacin
Las variables que describen los impactos sociales de la formacin son de ms difcil
obtencin y cuantificacin, ello hace que las evaluaciones de impacto social sean
bastante escasas. En el anexo 8 se incluye un ejemplo de las variables que utiliza el
SENAI.
46 Generalmente se recolecta informacin de una muestra representativa de cada uno de los grupos
48
Gua para la evaluacin de impacto de la formacin
La media o promedio est definida por la suma de los datos observados dividida por
el nmero de observaciones, en este caso cinco. La diferencia de las dos medias es
el impacto en trminos absolutos: $272, un impacto positivo. Para darle un significado
se convierte en un indicador porcentual, as:
1230 - 958
% de impacto = X 100 = 28,39 %
958
EJE 4
Modelo de regresin en la evaluacin de impacto
Valores salario
Salario recogidos va
encuesta
Lnea de
regresin
} Impacto
49
Gua para la evaluacin de impacto de la formacin
50
Gua para la evaluacin de impacto de la formacin
describe las condiciones iniciales de los beneficiarios y luego identifica una serie
de eventos que ocurren en diferentes momentos y que conducen al resultado
o impacto;
asume una concepcin fsica de causalidad, que es la relacin entre dos
eventos en el mundo natural (por ejemplo: el joven particip en el programa
de formacin y como resultado ha mejorado sus ingresos) a diferencia de la
definicin de causalidad que utiliza el mtodo cuantitativo (el joven mejor
sus ingresos porque particip en el programa, de otra manera no lo hubiera
hecho);
en lugar de buscar aislar los factores externos a la intervencin, este mtodo los
incorpora para observar las interacciones que ocurren entre los participantes y
la formacin, en su contexto geogrfico, cultural, organizacional e histrico;
brinda la oportunidad de obtener evidencia de aquellos impactos que
no pudieron anticiparse al inicio del programa o la evaluacin (positivos y
negativos);
EJE 4
La utilizacin de los mtodos cualitativos es creciente y se les aplica tambin en forma
combinada con mtodos cuantitativos.
El estudio de casos51 es uno de los mtodos cualitativos ms empleados en acciones
de formacin dirigidas a colectivos de la economa informal y rural52. En el anexo 6 se
describe una experiencia de aplicacin de esta metodologa por el IDRC.53
El propsito de los estudios de casos es examinar el efecto del programa en los
beneficiarios para lo cual se describen y definen los beneficiarios del programa,
examinan sus necesidades y determinan hasta qu punto stas fueron satisfechas
efectivamente por la intervencin (Stufflebeam, 2000).
51
Gua para la evaluacin de impacto de la formacin
El evaluador debe conocer qu piensan los beneficiarios y cules son sus percepciones
acerca de sus necesidades y el impacto del programa54. Con este propsito, en un
estudio de caso, se utilizan mltiples tcnicas de recoleccin de informacin que
incluyen la observacin y el anlisis de documentos elaborados a partir de las
observaciones.
Otra tcnica utilizada es la del cambio ms significativo, una forma de seguimiento y
evaluacin participativa que involucra a los interesados en la accin evaluada, tanto
en el anlisis delos cambios, como en el de los datos recogidos.
Se produce durante todo el ciclo del programa y proporciona informacin para
ayudar a las personas a manejarlo. Proporciona datos sobre el impacto y los resultados
que se pueden utilizar para ayudar a evaluar el desempeo del programa en su
conjunto.
El proceso implica la recopilacin de cambios significativos que provienen de las
historias ocurridas en el terreno y la seleccin sistemtica de las ms importantes,
por grupos escogidos entre los interesados. El personal del equipo evaluador y los
interesados escogidos trabajan juntos en la bsqueda del impacto de la accin.
Una vez que los cambios han sido identificados, algunos grupos de personas debaten
en profundidad sobre el valor de estos cambios y seleccionan los ms importantes.
Cuando la tcnica se lleva a cabo con xito, todo el equipo puede estar de acuerdo
y centrar su atencin en el impacto ms significativo del programa55.
54 Una verdadera comprensin de un programa requiere de la interaccin del evaluador con los involucrados. IDRC.
Unidad de evaluacin (2003)
55 www.iodparc.com International Organization Development Ltd 2011
56 Navarro, H. Op. cit.
52
Gua para la evaluacin de impacto de la formacin
Por ello se sugiere que este tipo de categoras estn revisadas y validadas
estadsticamente de forma previa, lo que supone un perodo de experiencia y
adaptacin.
Una forma reciente de codificar informacin en la evaluacin cualitativa es hacerlo a
partir del material recolectado y con el apoyo de un software para procesamiento de
textos, que puede identificar los conceptos o palabras ms frecuentemente usadas y
de este modo facilitarlas como elementos de anlisis y comparacin.
Una aplicacin de este enfoque se puede realizar con la trascripcin a un procesador
de texto de las entrevistas a participantes o a interesados claves en el proyecto, o
mediante el uso de documentos que relaten los estudios de casos. Hoy en da se
encuentran disponibles herramientas informticas libres como el Wordle para crear
EJE 4
una nube de palabras cuyo tamao es proporcional a la frecuencia con que
aparecen en el texto57.
De modo complementario el anlisis relacional tambin recurre a la identificacin de
conceptos en los textos levantados del terreno, pero adems de la frecuencia, busca
determinar las relaciones existentes entre los conceptos seleccionados.
En el grfico siguiente se inserta la nube de palabras que resulta del texto sobre
indicadores incluido en el punto 4.1 de esta Gua. Se invita a analizar la nube como
ejemplo de aplicacin.
57 www.wordle.net
53
Gua para la evaluacin de impacto de la formacin
54
Gua para la evaluacin de impacto de la formacin
La eficacia de una accin est dada por el grado en que se cumplieron los objetivos
previstos en su diseo. Usualmente se recurre a una forma de planificacin como el
marco lgico, en la cual se establece la jerarqua de objetivos: general, inmediatos,
especficos, metas y actividades58.
Para cada uno de los objetivos previstos se analiza la eficacia de la accin que es
evaluada, obteniendo un ndice general de eficacia mediante una ponderacin59
de cada uno de los ndices por objetivo evaluado.
En el ejemplo a continuacin se muestra, en forma simplificada, el anlisis de eficacia
de un programa sectorial de formacin por competencias. El objetivo propuesto,
despus de cuatro aos, era desarrollar competencias laborales y facilitar el acceso
al empleo de expertos soldadores, en razn al crecimiento importante del sector
industrial en un pas.
EJE 4
1 75 60 15
2 80 55 25
3 85 65 20
4 70 70 0
58 Existen numerosos manuales de elaboracin del marco lgico para el diseo de proyectos. Una accin de forma-
cin bien diseada debera prever sus efectos utilizando el marco lgico.
59 La ponderacin es un promedio de diferentes datos observados en el que cada dato representa una proporcin
del total e interviene en la ponderacin de acuerdo con su peso especfico. Por ejemplo en una intervencin se
le puede otorgar un 60% al objetivo ingreso al empleo y 40% al objetivo de mejorar salarios.
55
Gua para la evaluacin de impacto de la formacin
Grupo de
Objetivos de la Grupo de control
participantes Impacto
accin de formacin
Acceso empleo 77.5 62.5 15.0
Incremento ingresos 35.0 15.5 19.5
Reduccin accidentes 85.0 60.0 25.0
La eficiencia analiza el volumen de recursos gastados para alcanzar las metas. Una
actividad eficiente hace un uso ptimo de los recursos y, por tanto, tiene el menor
costo posible.
Mientras que el indicador de eficacia es usualmente una tasa porcentual, en el anlisis
de eficiencia se utilizan indicadores de costo-beneficio o de costo-eficiencia.
60 Es un indicador definido por el nmero de personas que trabajan sobre el nmero total del grupo, se expresa en
porcentaje.
56
Gua para la evaluacin de impacto de la formacin
Anlisis costo-beneficio: se expresa como una relacin entre los beneficios obtenidos
y los costos incurridos y utiliza como unidad de medida el dinero. En general, en
este tipo de anlisis se busca una relacin beneficio-costo mayor a uno, justamente
cuando los beneficios son mayores que los costos61.
EJE 4
instalaciones y el de los dems insumos identificados. Como beneficios se toman
la disminucin de accidentes laborales, la reduccin de productos imperfectos, la
disminucin de accidentes laborales, la mejora en productividad.
Los beneficios y los costos son traducidos a un valor monetario por los interesados en
su medicin. Normalmente es fcil calcular estos valores, pero en algunos casos se
requiere acuerdo, por ejemplo, sobre cmo medir la variacin en la productividad y
sobre qu base valorarla.
61 Como el valor del dinero a travs del tiempo no es el mismo debido a los cambios de precios y la tasa de inters,
se utiliza el clculo del Valor Presente que consiste en hacer equivaler a moneda actual, un flujo de dinero (bene-
ficios o costos) futuro.
62 Del ingles Return on Investment. Phillips, J. Handbook of training evaluation and measurement methods. Houston:
Kogan Page. 1990.
57
Gua para la evaluacin de impacto de la formacin
Una vez sumados los valores de beneficios y costos se puede optar por compararlos
directamente o por calcular su valor presente neto si el tiempo de anlisis lo amerita.
El ROI se ha utilizado para medir el impacto de la capacitacin en experiencias de
aplicacin del Sistema Integral de Medicin y Avance de la Productividad SIMAPRO.
En el anexo 7 de este eje se incluye la descripcin de un caso.
Otro indicador que se suele utilizar es la Tasa Interna de Retorno (TIR) que define un
valor de referencia por encima del cual se considera rentable el programa. Esta tasa
hace que el valor presente de un flujo de beneficios y costos, sea igual a cero. La TIR
se compara con tasas de inters de otras inversiones alternativas; normalmente se
usa para decidir a favor de aqulla que ofrezca una tasa de retorno mayor.
Impactos
Relacin beneficio-efectividad = X 100
Valor presente de los costos
58
Gua para la evaluacin de impacto de la formacin
EJE 4
5. Evaluacin de impacto del programa jvenes
en accin. DNP-SENA. Colombia, 2008. de equidad. Fundacin Omar Dengo. Costa
Rica, 2002.
6. Evaluacin de impacto del programa jvenes
rurales emprendedores. SENA. Colombia, 5. Documento aportes metodolgicos a la
2010. comunidad virtual. MTEySS. Argentina,
2011.
7. Evaluacin de impacto de la formacin
profesional modalidades: habilitacin, 6. Instrumentos diseados para la evaluacin
complementacin y formacin continua en de la poltica de formacin continua.
centros. INFOTEP. Repblica Dominicana, MTEySS. Argentina, 2011.
2006. 7. Documento metodolgico contribucin de
8. Evaluacin de impacto del proyecto piloto SENAI. Brasil, 2011.
jvenes emprendedores rurales. Argentina, 8. Formulario para evaluacin de impacto de
2007. asistencia tcnica en empresas. INTECAP.
9. Programa de acompaamiento de egresos. Guatemala, 2011.
Evaluacin 2008-2010. SENAI. Brasil. 9. Formulario para evaluacin de impacto de la
10. Evaluacin de medio trmino. Programa formacin profesional. INTECAP. Guatemala,
educacin tcnica productiva. FAUTAPO. 2011.
Bolivia, 2010.
59