PISA Programa Internacional de Evaluacin de Estudiantes

Gobierno de Chile Agencia de Calidad de la Educacin 1

Evaluaciones Educativas Internacionales en Chile

Desde 1997, Chile participa en diversos estudios internacionales de evaluacin de aprendizajes (TIMSS, ICILS, ICCS, TERCE, PISA) Mediciones externas que indican cul es la situacin de Chile y su sistema educativo, respecto de los dems pases participantes y en relacin a estndares internacionales consensuados. Esto permite ampliar la mirada y contextualizar la realidad del pas a nivel global Permiten al pas participar en conjunto con los sistemas ms actualizados de medicin de aprendizajes y tambin de anlisis de factores de contexto, asociados al logro educativo Entregan informacin que permite disear y evaluar polticas educativas, especialmente en el aspecto curricular Su carcter peridico permite evidenciar las tendencias de los resultados en el tiempo

Gobierno de Chile | Agencia de Calidad de la Educacin

Desafos que plantean estos estudios

Exposicin del pas y de su sistema educativo al escrutinio pblico nacional e internacional: opcin por la transparencia Exigencia de alcanzar -y comprobar- estndares internacionales en relacin a:
Representatividad de las muestras que caracterizan a toda la poblacin. Las extrae la OCDE Porcentaje de asistencia/participacin de los establecimientos y estudiantes seleccionados. Las faltas o reemplazos amenazan la integridad de la muestra y la probabilidad de extrapolar sus resultados Traducciones que aseguran correspondencia en cuanto a dificultad y sentido de los instrumentos de evaluacin (pruebas) Estandarizacin de los procesos de campo, para asegurar condiciones semejantes para todos los estudiantes participantes Precisin en la correccin de las preguntas abiertas y el sistema de ingreso de datos

Dado el desarrollo acelerado de la tecnologa, las exigencias tcnicas se incrementan y presionan al sistema nacional al movimiento para poder levantar la informacin que se requiere La presentacin, difusin y uso de sus resultados presenta desafos de precisin, oportunidad, pertinencia y relevancia. Los datos deben, por sobre todo, ser tiles para disear poltica educativa.
3

Gobierno de Chile | Agencia de Calidad de la Educacin

PISA, Proyecto de la Organizacin para la Cooperacin y el Desarrollo Econmico

reas evaluadas: Lectura, Matemtica y Ciencias Naturales rea agregada posteriormente: Resolucin de Problemas Desde el ao 2000 Cada 3 aos 15 aos (7 bsico a 4 medio) Pruebas en lpiz y papel y computador 2000, 2003*, 2006, 2009, 2012 Prximo ciclo: 2015 (en desarrollo) Publicacin de resultados de 2012: Diciembre de 2013

Notas: * Chile no particip en el ciclo 2003.

Gobierno de Chile | Agencia de Calidad de la Educacin

PISA Programme International of Student Assessment

PISA evala cada tres aos las competencias de los estudiantes de 15 aos en Lectura, Matemtica y Ciencias, enfatizndose un rea en cada ciclo Resolucin de Problemas es un rea adicional que se incorpora en 2003* Se han usado pruebas obligatorias en papel. Adems, como investigacin evaluativa, se han aplicados pruebas opcionales en computador
Ciencias en 2006 (Chile no particip) Lectura en 2009 (Chile particip) Lectura y Matemtica en 2012 (Chile particip)

Se utilizan muchas preguntas de distinto tipo y formato, pero cada estudiante contesta una forma de prueba distinta, por eso no es posible reportar resultados individuales

Notas: * Chile no particip en el ciclo 2003.

Gobierno de Chile | Agencia de Calidad de la Educacin

PISA Programme Internacional of Student Assessment

A partir de 2015 la prueba ser ntegramente respondida en computador, pero los pases que no puedan implementarla, usarn pruebas en papel Adems de las pruebas PISA aplica cuestionarios
Levantan informacin de contextos personales, familiares y educativos en que se desarrollan las competencias evaluadas en la prueba Esta informacin utilizada en los anlisis y la bsqueda de factores o variables que estn asociados a los resultados de los estudiantes

PISA permite reportar:

Promedios de puntajes en escalas para cada una de las reas principales Porcentajes de estudiantes segn niveles de desempeo Anlisis de los factores que aparecen asociados a los resultados de los estudiantes

Gobierno de Chile | Agencia de Calidad de la Educacin

Algunos Resultados de PISA 2009

Gobierno de Chile | Agencia de Calidad de la Educacin

Resultados internacionales 2009: Lectura de texto impreso

En Lectura, Chile se ubica en el lugar 44 entre 65 pases, bajo el promedio de la OCDE.

8

Gobierno de Chile | Agencia de Calidad de la Educacin

Resultados internacionales 2009: Chile y varios pases en Lectura de texto impreso

600

500

400

300

200

100

Gobierno de Chile | Agencia de Calidad de la Educacin

Resultados latinoamericanos 2009: Lectura de texto impreso

Los estudiantes chilenos obtienen los ms altos puntajes en Lectura de texto impreso entre todos los pases latinoamericanos participantes en PISA.
10

Gobierno de Chile | Agencia de Calidad de la Educacin

Tendencias en Lectura de texto impreso. 2000-2009

Los estudiantes chilenos aumentan en 40 puntos sus resultados en Lectura entre 2000 y 2009, acercndose al promedio OCDE.

Gobierno de Chile | Agencia de Calidad de la Educacin

11

Niveles de Desempeo en PISA

NIVEL 6 NIVEL 5 NIVEL 4

NIVEL 3

NIVEL 2

BAJO 2

PISA define niveles de desempeo que van de 1 a 5 6, dependiendo del rea que se trate. En ellos se describen habilidades tpicas que pueden desarrollar los estudiantes que se ubican en cada uno, de acuerdo al puntaje en las escalas. El nivel ms bajo es 1 y el nivel que corresponde a habilidades ms avanzadas son 5 6. Los estudiantes que al menos alcanzan el nivel 2, tienen las competencias mnimas para desenvolverse en el mundo e integrarse productivamente a la sociedad.

Gobierno de Chile | Agencia de Calidad de la Educacin

12

Resultados internacionales en Niveles de Desempeo en Lectura de texto impreso 2009

110% 100% 90% 80% 70% 60% 50% 40% 30% 20% 31% 10% 0% 13% 4% Shanghai-China Promedio OCDE Chile Promedio Lat. 19% 29% 24% 49% 35% 29% 33% 28%
Niveles 5 y 6 Nivel 4 Nivel 3 Nivel 2 Nivel 1 bajo 1

19%

8%

1% 9%

1% 6% 17%

21% 26%

En Chile y Latinoamrica, el desafo es reducir el porcentaje de estudiantes bajo el nivel 2 y aumentar el porcentaje de estudiantes en los niveles 5 y 6.
13

Gobierno de Chile | Agencia de Calidad de la Educacin

Distribucin en Niveles de Desempeo en Lectura de texto impreso en Chile 2000-2009

110% 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 48% 31% 30% 33% Nivel 5 y 6 Nivel 4 Nivel 3 Nivel 2 Nivel 1 y Bajo 1 1% 5% 16% 26% 1% 9%

Ao 2000

Ao 2009

En Chile aument significativamente el porcentaje de estudiantes que alcanza o supera el nivel 2.

14

Gobierno de Chile | Agencia de Calidad de la Educacin

Resultados en Niveles de Desempeo en Lectura de texto impreso segn grupo socioeconmico y cultural PISA en Chile
110% 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%

2% 14%

3% 20%

1% 7% 26%

1% 11%

5%

25% 32%
Nivel 5 y 6

32% 37% 38%

37% 33%

Nivel 4 Nivel 3 Nivel 2 Nivel 1 y Bajo 1

52% 39% 28% 22% 9% Grupo Bajo Grupo Medio Bajo Grupo Medio Grupo Medio Alto Grupo Alto 24%

En el grupo bajo, uno de cada dos estudiantes est bajo el nivel 2 (20/40). Por otro lado, en el grupo alto, uno de cada diez estudiantes est bajo el nivel 2 (4/40).
15

Gobierno de Chile | Agencia de Calidad de la Educacin

Tendencias en Lectura de texto impreso segn grupo socioeconmico y cultural PISA en Chile. 2000-2009

En Chile, se observa que disminuye la brecha entre el grupo socioeconmico ms alto y el ms bajo. Todos los grupos socioeconmicos aumentaron su puntaje en Lectura entre 2000 y 2009. La mejora ms notoria en PISA est en los grupos de estudiantes con menos ventajas.
16

Gobierno de Chile | Agencia de Calidad de la Educacin

Variacin en los Niveles de Desempeo en Lectura de texto impreso, segn grupo socioeconmico PISA 20002009
110% 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Grupo Bajo 2000 Grupo Bajo 2009 Grupo Alto 2000 17% 73% 52% 24% 9% Grupo Alto 2009 37% 21% 32% 1% 0% 5% 14% 14% 25% 35%
Nivel 5 y 6 Nivel 4 Nivel 3 Nivel 2

2%

0%

2%

5%

32%

Nivel 1 y Bajo 1

En todos los grupos hay mejora y disminuyen los estudiantes que estn bajo nivel 2, especialmente entre los de ms bajo GSE.

Gobierno de Chile | Agencia de Calidad de la Educacin

17

Resultados internacionales en la Prueba de Lectura de Textos Digitales 2009

Gobierno de Chile | Agencia de Calidad de la Educacin

18

Resultados internacionales de lectura de textos digitales y textos impresos 2009

El desarrollo de competencias en lectura digital e impresa no tiene un nico patrn entre los pases.
19

Gobierno de Chile | Agencia de Calidad de la Educacin

Resultados para Chile segn gnero

Lectura texto impreso
550 513 500 461 450 400 350 300 Chile OCDE 439 Hombre Mujer 550 474 500 450 400 350 300 Chile OCDE 431 410 Hombre Mujer 501 490

Matemtica

Ciencias
550 501 500 452 450 400 350 300 Chile OCDE 443 Hombre Mujer 501

Las sucesivas mediciones de PISA han mostrado diferencias en el rendimiento entre nias y nios, que no corresponden a los patrones internacionales
20

Gobierno de Chile | Agencia de Calidad de la Educacin

Resolucin de problemas en PISA

A partir de 2003 se incorpor a la prueba PISA como un rea ms

Definicin: Capacidad que tiene una persona de emplear los procesos cognitivos para enfrentar y resolver situaciones reales para las que el mtodo de solucin no resulta obvio de modo inmediato, y donde los conocimientos requeridos no se enmarcan dentro de una nica rea de matemticas, ciencias o lectura Los estudiantes aprenden a resolver problemas a lo largo de todo el currculum: en matemticas, en ciencias naturales, en ciencias sociales y en muchas otras reas de contenido La capacidad de resolver problemas ofrece una base para el aprendizaje futuro de la persona, para una participacin efectiva dentro de la sociedad y para la realizacin de las actividades personales

Los resultados generales a nivel internacional en 2003 indicaron que:

En algunos pases 70% de los estudiantes podan resolver problemas complejos, en tanto que en otros la proporcin era del 5% En la mayora de los pases, ms del 10% no poda resolver problemas bsicos

Gobierno de Chile | Agencia de Calidad de la Educacin

21

Resolucin de problemas en PISA

A partir de 2012, se complejiz el concepto de Resolucin de problemas

Definicin: Capacidad que tiene una persona para comprometerse en procesos cognitivos que la llevan a comprender y resolver situaciones problemticas para las que el mtodo de solucin no resulta obvio de modo inmediato. Incluye la voluntad de la persona involucrarse con estas situaciones hasta conseguir el desarrollo del propio potencial, como un ciudadano reflexivo y constructivo. Si la persona moviliza solo conocimientos muy bsicos ese esfuerzo es insuficiente para resolver problemas en la actualidad. El conocimiento necesita ser reorganizado y combinado con nuevos elementos, usando un rango de habilidades de razonamiento. Vacos en el conocimiento pueden ser cubiertos con una buena observacin y exploracin, donde la persona intenta una o ms estrategias para resolver el problema. Este tipo de problemas puede ser evaluado en forma adecuada a travs de una prueba en computador. Se utiliz un ambiente virtual, que simulaba un conjunto de pginas web Contextos de la situacin: tecnolgico/no tecnolgico; personal/social. Se incluyeron unidades estticas e interactivas.

Los resultados estarn disponibles el 3 de diciembre de 2013

Gobierno de Chile | Agencia de Calidad de la Educacin

22

Resolucin de problemas en PISA

En 2015 se ha incorporado el aspecto colaborativo en la resolucin de problemas en la prueba en computador.
Definicin: Capacidad que tiene una persona para participar de manera efectiva en un proceso por el cual dos o ms individuos tratan de resolver un problema, compartiendo el conocimiento, habilidades y el esfuerzo necesarios para llegar a una solucin. Requiere establecer y mantener una comprensin en comn Se deben tomar las acciones necesarias para resolver el problema Se requiere establecer y mantener la organizacin del equipo Se establecern tres niveles de desempeo: Bajo, Medio y Alto Se evaluarn conocimientos, actitudes, habilidades (de resolucin de problemas y tambin para colaborar en equipo) Contextos de la situacin ms complejo: tecnolgico/no tecnolgico; personal/social; en la escuela/fuera de la escuela. Se incluyen unidades estticas e interactivas.

Los resultados estarn disponibles en diciembre de 2016

Gobierno de Chile | Agencia de Calidad de la Educacin

23

Prueba PISA en 2015

En Chile, la prueba ser aplicada en computador El material de la prueba completa incluye muchas preguntas de cada rea, para describir con precisin cada una de ellas. Se realizar una gran cantidad de formas Estas formas sern desarrolladas de acuerdo a un diseo combinado, que incluye unidades de Lectura, Matemtica, Ciencias y Resolucin de Problemas colaborativos. Cada estudiante trabajar en una de estas formas, durante dos horas. Por esta razn los resultados nunca sern individualizados. Las pruebas se ejecutan y se graban en una unidad USB Los establecimientos sern visitados con antelacin para probar los computadores y de no contar con los suficientes/adecuados, se les prestarn para la prueba Los resultados estarn disponibles en diciembre de 2016

Gobierno de Chile | Agencia de Calidad de la Educacin

24

Gracias
ema.lagos@agenciaeducacion.cl www.agenciaeducacion.cl Gobierno de Chile Agencia de Calidad de la Educacin

25