MxicoenlapruebaPISA2009

Rafael Turullols Fabre

rturullols@inee.edu.mx Instituto Nacional para la Evaluacin de la Educacin Direccin de Proyectos Internacionales y Especiales

Jornadadeformacindelequipotcniconacional EstrategiaHaciaPISA2012 SubsecretaradeEducacinBsica 10y13deoctubrede2011

ElINEE
En agosto del 2002, se crea el Instituto Nacional para la Evaluacin de la Educacin (INEE) mediante decreto presidencial como un organismo pblico descentralizado, de carcter tcnico, con personalidad jurdica y patrimonio propio. 1 De acuerdo con el Decreto de creacin y el Estatuto Orgnico, a partir del 2003, el INEE es responsable de la coordinacin de del programa PISA en Mxico.

1Decreto

de oficiales/3378

creacin,

Estatuto

Orgnico:

http://www.inee.edu.mx/index.php/publicaciones/documentos
Direccin de Proyectos Internacionales y Especiales del INEE

MisindelINEE2
Contribuir al mejoramiento de la educacin en Mxico a travs de evaluaciones integrales y permanentes que reflejen, de manera confiable y objetiva, la situacin del Sistema Educativo Nacional y sus grandes subsistemas, y ayuden a explicar los factores que la determinan. Difundir los resultados de manera transparente y oportuna, con el fin de ser aprovechados por autoridades, educadores y sociedad, y para que se desarrolle una slida cultura de la evaluacin. Apoyar la toma de decisiones, la mejora pedaggica en las escuelas y la rendicin de cuentas.
PlanMaestrodeDesarrollo20042012: http://www.inee.edu.mx/index.php/publicaciones/documentosoficiales/3378
Direccin de Proyectos Internacionales y Especiales del INEE
2

QuesPISA?
El Programa Internacional para la Evaluacin de los Estudiantes (Programme for International Student Assessment) es un proyecto desarrollado y coordinado por la OCDE. Es un proyecto comparativo de evaluacin a gran escala de los resultados educativos de diferentes pases miembros y no miembros de la OCDE. Se orienta a la evaluacin y monitoreo de los sistemas educativos, mediante la medicin de competencias bsicas en Lectura, Matemticas y Ciencias. No es una evaluacin curricular, no evala programas de estudio y no evala el trabajo de los docentes.
Direccin de Proyectos Internacionales y Especiales del INEE

ObjetivodePISA
El propsito es evaluar qu tan bien preparados estn los estudiantes para enfrentar los retos del futuro; si son capaces de analizar, razonar y comunicar sus ideas efectivamente, y si tienen la capacidad de seguir aprendiendo durante toda la vida. Se enfoca a la evaluacin de competencias para la vida en jvenes de 15 aos que estn en cualquier grado escolar a partir del primero de secundaria y hasta el ltimo grado de EMS.

Direccin de Proyectos Internacionales y Especiales del INEE

CaractersticasgeneralesdePISA
Se aplican dos instrumentos a lpiz y papel a los estudiantes: un cuadernillo o prueba, y un cuestionario de contexto. El tiempo de resolucin del cuadernillo es de 2 horas. El director del plantel contesta un cuestionario de contexto. Se realiza cada tres aos, las reas evaluadas son:
Lectura, Matemticas, y Ciencias

Direccin de Proyectos Internacionales y Especiales del INEE

CompetenciasquemidePISA3
Lectura: La capacidad de un individuo para comprender, emplear, reflexionar e interesarse en textos escritos con el fin de lograr metas propias, desarrollar sus conocimientos y su potencial personal, y participar en la sociedad. Matemticas: La capacidad de un individuo para analizar, razonar y comunicar de forma eficaz a la vez de plantear, resolver, e interpretar problemas matemticos en una variedad de situaciones que incluyen conceptos matemticos cuantitativos, espaciales, de probabilidad o de otro tipo. Adems, tiene que ver con la capacidad para identificar y entender la funcin que desempean las matemticas en el mundo, emitir juicios fundados y, utilizar y relacionarse con las matemticas de forma que pueda satisfacer las necesidades de la vida diaria de un ciudadano constructivo, comprometido y reflexivo. Ciencias: La capacidad de un individuo que tiene conocimiento cientfico y lo utiliza para identificar temas, adquirir nuevos conocimientos, explicar fenmenos cientficos y obtener conclusiones basndose en evidencias acerca de problemas relacionados con la ciencia, con el fin de comprender y tomar decisiones relativas al mundo natural y a los cambios producidos por la actividad humana.
3

Reporte nacional de resultados: Mxico en PISA 2009, pgina 19.

Direccin de Proyectos Internacionales y Especiales del INEE

CaractersticasgeneralesdelosresultadosdePISA
Los resultados se dan a conocer un ao despus de la aplicacin definitiva. Los resultados de PISA 2012 se darn a conocer en diciembre del 2013. Se expresan bsicamente en porcentajes de estudiantes por niveles de desempeo y medias de desempeo, para cada una de las tres escalas globales y para las subescalas del rea prioritaria. Las medias de desempeo tienen una escala de 200 a 800, con una media de 500 y una desviacin estndar de 100 puntos. Para comparar dos datos es necesario considerar sus intervalos de confianza para poder llegar a conclusiones que sean estadsticamente vlidas.
Direccin de Proyectos Internacionales y Especiales del INEE

CiclosdePISA
2000 rea principal Estudiantes evaluados Pases OCDE Pases no OCDE Total de pases participantes Lectura Mxico:5,276 Total:189,482 28 (0) 4 (11) 32 (43) 2003 Matemticas Mxico:29,983 Total: 276,165 30 11 41 2006 Ciencias Mxico: 30,971 Total: 398,753 30 27 57 2009 Lectura Mxico: 38,250 Total: 470,000 34 31 65

PISA 2012 se realizar en el primer semestre del 2012, se dar nfasis al rea de Matemticas y se espera una participacin de 67 pases. En Mxico, aproximadamente 45,000 estudiantes de 1,600 escuelas sern evaluados
Direccin de Proyectos Internacionales y Especiales del INEE

ResultadosdePISA2009

Direccin de Proyectos Internacionales y Especiales del INEE

65pasesparticipantesenPISA2009
MIEMBROSDELAOCDE ASOCIADOS

1.Alemania 2.Australia 3.Austria 4.Blgica 5.Canad 6.Chile* 7.CoreadelSur 8.Dinamarca 9.Eslovaquia 10.Eslovenia* 11Espaa 12.Estados Unidos 13.Estonia* 14.Finlandia 15.Francia 16.Grecia 17.Holanda
*RecienteingresoalaOCDE

18.Hungra 19.Irlanda 20.Islandia 21.Israel* 22.Italia 23.Japn 24.Luxemburgo 25.MXICO 26.Noruega 27.NuevaZelanda 28.Polonia 29.Portugal 30.ReinoUnido 31.RepblicaCheca 32.Suecia 33.Suiza 34.Turqua

1.Albania 2.Argentina 3.Azerbaiyn 4.Brasil 5.Bulgaria 6.Colombia 7.Croacia 8.DubiEAU 9.FederacinRusa 10.HongKong China 11.Indonesia 12.Jordania 13.Kazajistn 14.Kirguistn 15.Letonia 16.Liechtenstein

17.Lituania 18.MacaoChina 19.Montenegro 20.Panam 21.Per 22.Qatar 23.Rumania 24.Serbia 25.ShanghiChina 26.Singapur 27.Tailandia 28.Taipi 29.Trinidady Tobago 30.Tnez 31.Uruguay

Direccin de Proyectos Internacionales y Especiales del INEE

MuestradeMxicoenPISA2009
Distribucindeestudiantesde15aosporniveleducativo

Nivel Educacin secundaria Educacinmedia superior Nacional

Nmerode estudiantes 10,468 27,782 38,250

% 27.4 72.6 100.0

Nota:conREPRESENTATIVIDADaniveldeEntidadFederativa.

Direccin de Proyectos Internacionales y Especiales del INEE

Mediasdedesempeo PISA2009
Escalas globales:
Matemticas Lectura Promedio Amrica Latina y el Caribe* 393 408 Mxico 419 425
*Argentina,Brasil,Chile,Colombia,Mxico,Panam,Per,Trinidad yTobagoyUruguay

Ciencias 405 416

Subescalas de Lectura:
Acceder y recuperar Integrar e Reflexionar interpretar y evaluar

Promedio Amrica Latina y el Caribe Mxico

404 433

406 418

414 432

Direccin de Proyectos Internacionales y Especiales del INEE

MediasenLectura porpas,2009

Pg.53delreportenacional

Direccin de Proyectos Internacionales y Especiales del INEE

Direccin de Proyectos Internacionales y Especiales del INEE

MediasenLectura,Bulgariavs.Mxico

Medias: Bulgaria: 429 Mxico: 425 Conclusin errnea:

Pg.53delreportenacional

Bulgaria tuvo mejor desempeo que Mxico en Lectura

Las medias nos permiten un ordenamiento global, sin embargo es necesario analizar las caractersticas al interior para identificar diferencias y similitudes. Para ello se utilizan los porcentajes de estudiantes por niveles de desempeo.

Direccin de Proyectos Internacionales y Especiales del INEE

MediasenLectura,PISA2009AmricaLatina yelCaribe

Direccin de Proyectos Internacionales y Especiales del INEE

Significadogenricodelosniveles dedesempeodePISA
Nivel6 Altos Nivel5 Nivel4 Nivel3 Nivel2 Nivel1 Debajodel Nivel1
Situarseenlosnivelesmsaltossignificaquese tienepotencialpararealizaractividadesdealta complejidadcognitiva. Porarribadelmnimo,aunquenodelnivel deseableparalarealizacindelasactividades cognitivascomplejas. Competenciamnimaparadesempearseenla sociedadcontempornea. Competencia insuficiente (en especial Debajo del Nivel 1) para desarrollar con xito actividades que exige la sociedad del conocimiento.
Direccin de Proyectos Internacionales y Especiales del INEE

Bajos

Medios

DesempeoenlaescalaglobaldeLectura PISA2009 PasesdeAmricaLatina*

*Ordenamientosegnporcentajeniveles2a6.

Direccin de Proyectos Internacionales y Especiales del INEE

Porcentaje de estudiantes mexicanos de 15 aos que se encuentran en niveles igual o por arriba del mnimo establecido por PISA para desempearse en la sociedad moderna: 60%

Lopreocupanteesquesetieneun40%de estudiantesmexicanosquenoalcanzanlos nivelesmnimosdecompetencialectorapara desempearseenlasociedadactual.

Direccin de Proyectos Internacionales y Especiales del INEE

DesempeoenlaescalaglobaldeMatemticas PISA2009 PasesdeAmricaLatina*

*Ordenamientosegnporcentajeniveles2a6.

Direccin de Proyectos Internacionales y Especiales del INEE

Se requiere de estrategias focalizadas y diferenciadas, para atender a los estudiantes con niveles por debajo de los mnimos y para aquellos estudiantes en niveles altos.

Direccin de Proyectos Internacionales y Especiales del INEE

DesempeoenlaescalaglobaldeCiencias PISA2009 PasesdeAmricaLatina*

*Ordenamientosegnporcentajeniveles2a6.

Direccin de Proyectos Internacionales y Especiales del INEE

Anlisis de los datos de forma correcta, considerar el ordenamiento dado por las medias de desempeo y sus intervalos de confianza, y comparar los porcentajes por niveles de desempeo:

Direccin de Proyectos Internacionales y Especiales del INEE

DesempeoenlaescalaglobaldeLectura PISA2009 Entidadesfederativas*

*Ordenamientosegnporcentajeniveles2a6.

Direccin de Proyectos Internacionales y Especiales del INEE

Para un anlisis integral, adems de considerar la informacin proporcionada por PISA, es necesario investigar otras variables de contexto socioeconmico y cultural, como por ejemplo el pib per cpita, IDH, cobertura, infraestructura escolar, etctera.

IDH promedio: .875, desarrollo alto

IDH promedio: .775, desarrollo medio

Direccin de Proyectos Internacionales y Especiales del INEE

DesempeoenlaescalaglobaldeCiencias PISA2009 Entidadesfederativas*

*Ordenamientosegnporcentajeniveles2a6.

Direccin de Proyectos Internacionales y Especiales del INEE

Para mejorar en PISA, ya sea un pas o una entidad, deber hacerlo en mayor magnitud que los dems y en menor tiempo. En otras palabras, si todos los participantes mejoran en la misma proporcin y en el mismo tiempo, entonces no se ver reflejado ningn cambio.

Direccin de Proyectos Internacionales y Especiales del INEE

DesempeoenlaescalaglobaldeMatemticas PISA2009 Entidadesfederativas*

*Ordenamientosegnporcentajeniveles2a6.
Direccin de Proyectos Internacionales y Especiales del INEE

Adems de comprender la informacin estadstica, es importante analizar el significado de los niveles de desempeo, por ejemplo, qu significa que 40% de los estudiantes de 15 aos de Colima estn en niveles por debajo del mnimo en la competencia matemtica en PISA 2009?

A los sumo, dichos estudiantes pueden responder a preguntas en contextos familiares, donde toda la informacin est explcita y claramente definida. Slo identifican informacin y realizan procedimientos rutinarios bajo instrucciones explcitas. No realizan ningn tipo de inferencias, uso limitado de algoritmos, frmulas o procedimientos elementales. No son capaces de hacer interpretaciones de resultados ni de justificarlos.
Para mayor detalle consultar pginas 101-102 del reporte nacional.
Direccin de Proyectos Internacionales y Especiales del INEE

Si los puntajes PISA de un pas (o entidad) son ms altos que los de otro, no se puede concluir automticamente que las escuelas del primero son ms efectivas, ya que el aprendizaje comienza mucho antes que la escuela y tiene lugar una amplia gama de entornos institucionales y extra escolares. Lo que s podemos concluir, si los resultados PISA de un pas son ms altos, es que el impacto acumulado de las experiencias de aprendizaje en ese pas, desde la infancia hasta los 15 aos, dentro y fuera de la escuela, han producido resultados mejores en las reas que evala PISA. (OCDE, 2001: 26)

Direccin de Proyectos Internacionales y Especiales del INEE

ComparativoenLectura,20002009

Direccin de Proyectos Internacionales y Especiales del INEE

Cambiossignificativosenlaescalaglobal deLectura,2000y2009
5pases retrocedieron 21pasessincambio
Grecia,HongKongChina, Suiza,Mxico, Blgica, Bulgaria,Italia, Dinamarca,Noruega, FederacinRusa,Japn, Rumania,Estados Unidos,Islandia,Nueva Zelanda,Francia, Tailandia,Canad, Finlandia,Espaa, Argentina

13pases avanzaron
Per,Chile, Albania, Indonesia, Letonia,Israel, Polonia,Portugal, Liechtenstein, Brasil,Coreadel Sur,Hungra, Alemania

Australia, RepblicaCheca, Suecia,Austria, Irlanda

Direccin de Proyectos Internacionales y Especiales del INEE

DesempeoenlaescalaglobaldeLectura Comparativoporniveleducativo,20002009

Direccin de Proyectos Internacionales y Especiales del INEE

MxicoenPISA20002009
Meta Meta 2000 2003 2006 2009 intermedia Prosedu 2009* 2012**
Lectura Matemticas Ciencias 422 387 422 400 385 405 410 406 410 425 419 416 418 435

*IndicadoresymetasdelProgramaSectorialdeEducacin20072012.SEP.Marzo2010. **Establecidaen2007conbaseenlosresultadosde2003(ProgramaSectorialdeEducacin). AmbasmetassonelpromediodeLecturayMatemticas

Direccin de Proyectos Internacionales y Especiales del INEE

ResultadosenMatemticas porentidad, PISA2003y2009

Direccin de Proyectos Internacionales y Especiales del INEE

Avances y desafos

Direccin de Proyectos Internacionales y Especiales del INEE

Avancesydesafos
Existe una mejora significativa en el acceso, permanencia y avance regular de los jvenes de 15 aos en el sistema educativo; el desafo es conseguir que todos estos jvenes estn en la escuela y logren alcanzar las competencias de los niveles 2 y superiores. A nivel de polticas educativas se han reformado los planes de estudio y se ha incorporado el enfoque de competencias como eje de la innovacin curricular. La continuidad, consistencia y congruencia de estas polticas, as como la implantacin de otras tendrn impacto en los resultados educativos a mediano y largo plazos.
Direccin de Proyectos Internacionales y Especiales del INEE

Reflexinfinal
Reducir la proporcin de estudiantes en los niveles bajos de desempeo y aumentarla en los altos, es un desafo de todos, con significados distintos para cada entidad federativa. Su atencin implica estrategias diferenciadas de poltica educativa y de poltica social, pasando por el aula, la escuela, el hogar y el sistema educativo.

Direccin de Proyectos Internacionales y Especiales del INEE

ProductosdedifusindelINEE www.inee.edu.mx

Direccin de Proyectos Internacionales y Especiales del INEE

Reportesnacionalesderesultados
Mxico enPISA2009
(2010) Presenta los resultados de las tres reas del ciclo ms reciente. Se sugiere ver el Anexo 2 que contiene: El mapa de las 7 unidades de reactivos de Lectura liberadas, Los reactivos en su versin usada en Mxico, y Dos reactivos comentados y con ejemplos de respuestas dadas por los estudiantes a las preguntas abiertas.

Direccin de Proyectos Internacionales y Especiales del INEE

Materialesparadocentes
PISAparadocentes
(2005) El eje de la obra comprende las unidades de reactivos con informacin para su anlisis. Unidades liberadas de PISA 2000, 2003 y 2006 en la versin usada en Mxico. Anlisis pedaggico de tres unidades de reactivos. Unidades de reactivos para imprimir y sugerencias para su uso en el aula.

Direccin de Proyectos Internacionales y Especiales del INEE

Materialesparadocentes
Triloga:PISAenelAula (2008)

Direccin de Proyectos Internacionales y Especiales del INEE

Muchasgracias www.inee.edu.mx
INSTITUTONACIONALPARALAEVALUACINDELAEDUCACIN DireccindeProyectosInternacionalesyEspeciales