TRADUCIENDO LA INVESTIGACIN EN ACCIN

Impacto
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab

povertyactionlab.org

Pasos Claves en una Evaluacin

1.
2.
3.
4.
5.
6.
7.
8.

Entender el contexto.
Tener una pregunta.
Disear tratamientos.
Disear la evaluacin.
Implementar y evaluar procesos.
Levantar datos.
Medir Impacto.
Medir Costo-Efectividad.

1. Entender el Contexto
- Cmo mejorar la educacin en contextos
vulnerables?
- Es una de las preguntas de poltica pblica ms relevantes.
- Grandes esfuerzos en gasto pblico en Latinoamrica, con
escasas mejoras en resultados educacionales.

- Dos miradas:
1.
2.

Slo las intervenciones tempranas sirven.

Intervenciones tardas pueden funcionar.
Algo de evidencia hay a favor de ambas miradas.
Puede ser que ambas miradas sean correctas?

1. Entender el Contexto
- Esta evaluacin se mueve en la segunda de esas
miradas.
- De hecho, el Servicio Pas en Educacin (SPE):
-

Programa enfocado en 4 grado (~10 aos).

Duracin de 3 meses /15 sesiones.
Enfoque en mejorar niveles de lectura.
Durante el horario de clases (sustituye horas en el colegio)

TRADUCIENDO LA INVESTIGACIN EN ACCIN

La Pregunta
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab

povertyactionlab.org

2. La Pregunta
- Es clave:
1. Pensar qu se quiere contestar con la evaluacin.
2. Preguntarse sobre la relevancia de la pregunta.
3. Asegurar que la pregunta no haya sido contestada.

- Esta evaluacin se plantea 3 preguntas:

1. Puede el SPE mejorar las habilidades cognitivas y no
cognitivas relacionadas con la lectura?
2. Existe alguna relaciones entre estas habilidades?
3. Qu tan costo-efectivo es el programa?

TRADUCIENDO LA INVESTIGACIN EN ACCIN

Diseo Experimental
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab

povertyactionlab.org

4. Diseo de la Evaluacin
- Lo primero, qu grupos incluir en la evaluacin?
- Depende de la pregunta.

- En este caso, Cul es el impacto del SPE?

- Comparamos nios con SPE vs nios sin SPE.

Tratamiento

Control

Con SPE

Sin SPE

4. Diseo de la Intervencin
Luego, hay que terminar de disear la
evaluacin:
Marco Muestral.
Unidad de Aleatorizacin.
Estratificacin.
Clculo de Poder.

4.1. Marco Muestral

-

Se construye una lista de escuelas elegibles en base a los criterios de la

FSP:
-

Escuelas de bajo desempeo acadmico.

10 municipios en 2 regiones (RM y VIII).
Dependencia de la escuela en algunos casos.
Escuelas de 100+ alumnos en 4 grado o parejas de escuelas cercanas que
sumen 100+ alumnos.

Slo se consideran en la evaluacin escuelas que cumplan con todos estos

criterios.
Se genera lista de reemplazo aleatoria, previendo no aceptacin del
programa/evaluacin.
Se contactan escuelas con el apoyo del Ministerio de Educacin.
-

Grupo control: se le ofrece un informe de resultados del colegio.

4.2. Unidad de Aleatorizacin

- Cmo decidir a qu unidad aleatorizar?
- El programa se implementa en 4 grado.
- Es dficil en la prctica excluir alumnos del programa en un
colegio en que est se est implementando (Rieso de
Contaminacin).
- Restricciones operativas de la FSP.

- Por ello, aparece como una opcin idnea el

aleatorizar a nivel de escuela.

4.3. Estratificacin
- Por qu variables estratificar?
- Restriciones Operativas de la SPE: Estratificar por comuna
en que estn las escuelas.
- Adems:
- Estratificar por Nivel Socioeconmico de las escuelas.
- Estratificar por Desempeo educativo de las escuelas.

4.4. Aleatorizacin
- La aleatorizacin construy la siguiente muestra:

TRADUCIENDO LA INVESTIGACIN EN ACCIN

Instrumentos de Medicin
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab

povertyactionlab.org

4.5. Instrumentos de Medicin

- Cmo medir las variables de inters?
- Usamos cuatro fuentes.

1. Comprensin Lectora y Produccin de Textos (CL-PT):

Usamos una prueba estandarizada que mide:

Comprensin de Lectura (RC)
Uso de la Lengua (UL)
Produccin de Textos (TP).

A estas las llamamos habilidades cognitivas.

4.5. Instrumentos de Medicin

2. Gusto por la Lectura (GPL):
Construmos un instrumento nuevo en base a otros:

Autopercepcin como Lector (SPR).

Disfrute pro la Lectura (ER).
Inters por la Lectura (IR).
Percepcind e la Lectura en la Escuela (PRS).

A estas las llamamos habilidades no cognitivas.

3. Informacin de Procesos del programa.
4. Informacin administrativa del Ministerio de
Educacin.

TRADUCIENDO LA INVESTIGACIN EN ACCIN

Balance Muestral
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab

povertyactionlab.org

4.6. Balance entre Grupos

- Es relevante revisar estadsticamente si los grupos de
la evaluacin estn balanceados.
- En qu dimensiones?
- En todas las variables con que se cuente en la lnea de
base.

- Entre que grupos?

- Puede ser relevante mostrar que los desertores son
iguales entre grupos.
- En este caso la desercin fue considerable.
- Para otras subpoblaciones relevantes en el estudio.

i.

Balance en Caractersticas de la Escuela:

ii. Balance en Caractersticas de los Estudiantes:

iii. Balance entre Desertores y No Desertores

iv. Balance en puntajes de Lnea de Base:

Los grupos muestran estar balanceados!

La aleatoriazcin hizo su trabajo.

TRADUCIENDO LA INVESTIGACIN EN ACCIN

Implementacin
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab

povertyactionlab.org

5. Implementar y Evaluar Procesos

- Es muy importante:
Documentar.
Obtener aprobacin de Comit de tica.
Manuales de Campo exhaustivos.
Entrenamientos exhaustivos.
Monitorear la Intervencin.

5. Implementar y Evaluar Procesos

- El monitoreo del SPE se bas en visitas
aleatorias a las escuelas.
- Observacin de Tutoras.
- Cuestionario a Tutores.
- Cuestionario a Profesores.

- Adems, se recopil informacin administrativa

de la FSP, de asistencia de alumnos y tutores.

5. Implementar y Evaluar Procesos

- Resultados del Monitoreo:

- Hubo mucha heterogeneidad en la implementacin del

programa!

5. Implementar y Evaluar Procesos

- Hay diferencias regionales?

- Si, y estadsticamente relevantes.

- En la VIII regin se implement mejor que en la RM.

5. Implementar y Evaluar Procesos

- Comparten los alumnos est mirada?

- Si, evalan mejor el programa cuando:

- Reciben ms sesiones de tutoras.
- Reciben menos rotacin de tutores.

TRADUCIENDO LA INVESTIGACIN EN ACCIN

Resultados
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab

povertyactionlab.org

7.1. Resultados CL-PT

-

Se observan ciertos impactos.

-

En Comprensin Lectora:
Impacto promedio de 0.08s, pero slo mg. significativo.
Impacto de 0.18s sobre colegios de la VIII.
Impacto de 0.12s sobre colegio vulnerables de la VIII.
En Uso de la Lengua:
Impacto de 0.28s sobre colegios de la VIII.
Impacto de 0.38s sobre colegio vulnerables de la VIII.

La buena/mala implementacin es relevante!

Impactos focalizados en colegios vulnerables.

TRADUCIENDO LA INVESTIGACIN EN ACCIN

Costo Efectividad
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab

povertyactionlab.org

8. Medir Costo-Efectividad
-

Una lnea en que las evaluaciones son tiles es para

comparar polticas.
Clculos de costo-efectividad ayudan a ello.

Ponen impactos en una mtrica comn.

Pero, tienen sus problemas:

-

No consideran impactos sobre mltiples variables.

Se construyen sobre supuestos.

8.1. Resultados Costo-Efectividad

-

Clculos para el SPE

Lo hacemos para distintas subpoblaciones de
colegios.

8.2 Comparando Costo-Efectividad

Conclusiones
-

SPE: una poltica de corto plazo que logr impactar los

niveles de lectura de alumnos de colegios vulnerables.
-

Impactos concentrados en:

- Colegios relativamente ms vulnerables.
- Zonas en que el programa fue mejor implementado.

Impactos sobre variables cognitivas y no cognitivas.

-

Con un patrn relacionado entre ambas.

No se encontr evidencia de externalidades negativas.

Investigacin Futura:
-

Relacin entre habilidades cognitivas y no cognitivas.

Conclusiones Generales
-

Evaluar impacto
-

Implica bastante trabajo.

Exige el uso de recursos.
Exige ser creativo
Y toma tiempo.

Pero
-

ES POSIBLE Y ES UN DEBER TICO HACERLO PORQUE

Genera evidencia relevante. Para
Avanzar en la ciencia
Mejorar la toma de decisiones y el uso de recursos.