Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
1
Conteúdo
Introdução
Modelos matemáticos
Estimação: um único grupo (população)
Equalização
Estimação: dois ou mais grupos
A escala de proficiência: construção e
interpretação
Modelos para dados longitudinais
Modelos Multidimensionais
Modelos Multivariados
2
Conteúdo
DIF e DRIFT
Recursos computacionais: em todos os tópicos
Principais aplicações no Brasil em Educação
Aplicações em outras áreas
Qualidade de vida
Serviços
etc
3
Referências iniciais
Lord, F.M., Norvick, M.R. (1968). Statistical Theories of
Mental Test Score. Reading: Addison-Wesley
Lord, F.M. (1980). Applications of Item Response Theory
to Practical Testing Problems. Hillsdale: Lawrence
Erlbaum Associates
Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991).
Fundamentals of Item Response Theory. Newburry Park:
Sage Publications.
Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria
da Resposta ao Item: Conceitos e Aplicações. São Paulo:
Associação Brasileira de Estatística.
4
Introdução
A Teoria da Resposta ao Item (TRI) é um conjunto de modelos
matemáticos que relacionam um ou mais traços latentes (não observados)
de um indivíduo com a probabilidade deste dar uma certa resposta a um
item
5
A partir de um conjunto de itens (questionário,
prova, ...) deseja-se :
estimar os parâmetros dos itens (calibração)
“estimar” a habilidade, proficiência, grau de
satisfação, grau de maturidade, ...
6
Modelos
• Dependem do tipo de item
1
P( U ij 1 | j ) ci ( 1 ci ) ai ( j bi )
1 e
7
Modelo Logístico de 3 parâmetros
Curva característica do item - CCI
1,0
0,8 a
probabilidade de resposta
0,6
correta
0,4
c
0,2 b
0,0
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
iiiiiiii
habilidade (traço latente)
0,8
probabilidade
0,6
0,4
0,2
0
-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6
habilidade(traço latente)
P1 P0
9
• Modelo Nominal
(considera todas as categorias de resposta)
exp[a is ( j bis )]
P (U ijs 1 | j ) mi
exp[a
h 1
ih ( j bih )]
10
Modelo Nominal
a=(-2,-1,1,0) e b=(-2,-1,2,1)
1,0
0,9
0,8
Probabilidade
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0,0
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
Traço latente
P1 P2 P3 P4
11
• Modelo de Resposta Gradual
(categorias ordinais)
1
P(U ijs 1 | j )
1 exp[ai ( j bis )]
1
1 exp[ai ( j bi ( s1) )]
12
Modelo Resposta Gradual
a=1,2 e b=(-2,-1,1)
1,2
1,0
Probabilidade
0,8
0,6
0,4
0,2
0,0
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
Traço latente
P0 P1 P2 P3
13
• Modelo de Crédito Parcial: Modelo de Resposta
Gradual sem o parâmetro de discriminação a
14
Aplicações em Avaliação Educacional
SAEB: Sistema Nacional de Avaliação da Educação Básica
- anos: 95/97/99/2001/2003(outubro)
- séries: 4a. e 8a. do EF e 3a. do EM
- disciplinas: Matemática, Português, Ciências, Física,
Química, Biologia, História, Geografia
- itens de múltipla escolha (95: itens 0,1,2)
- um grande número de itens para cobrir a grade curricular
- provas diferentes para uma mesma série/disciplina (BIB)
- aluno faz somente uma das provas de uma das disciplinas
- http://www.inep.gov.br/basica/saeb/
15
Aplicações em Avaliação Educacional
PISA – Programme for International Student Assessment
(Programa Internacional de Avaliação de Alunos)
- anos: 2000(Leitura), 2003(Matemática), 2006(Ciências)
- alunos com 15 anos (independente da série)
- itens de múltipla escolha e itens abertos (corrigidos 0,1,2)
- modelo de 1 parâmetro (somente parâmetro b: dificuldade)
- esquema BIB
- 32 países em 2000
- http://www.inep.gov.br/internacional/pisa/
16
Equalização
Kolen, M.J., Brennan, R.L. (1995). Test Equating –
Methods and Practices. New York: Springer.
17
Equalização
Calibração em separado: equalização pelo princípio da
invariância
Exemplo: dados do SARESP
Estimativas dos parâmetros dos itens comuns aos grupos 3 ª série 96 e 97.
Parâmetro a Parâmero b Parâmetro c
ª
Item 3 . 96 3ª 97 ª
3 . 96 3ª 97 ª
3 . 96 3ª 97
C3S01 1,37 1,04 -1,27 -2,18 0,01 0,01
C3S02 2,29 1,33 -0,30 -0,90 0,01 0,01
C3S03 2,24 1,18 0,09 -0,18 0,01 0,01
C3S04 1,25 1,08 -2,33 -3,12 0,20 0,25
C3S05 1,63 1,54 -2,09 -2,90 0,21 0,24
C3S06 1,32 1,57 -2,43 -3,14 0,19 0,24
C3S07 1,03 0,79 0,35 0,54 0,22 0,19
C3S08 1,04 0,80 0,96 0,88 0,29 0,25
C3S09 1,37 1,70 0,94 0,82 0,29 0,27
C3S10 0,85 1,17 -0,83 -1,05 0,19 0,23
C3S11 0,99 1,56 -0,12 -0,88 0,22 0,17
18
Equalização
2
1
3a. série 1997
0
-4 -3 -2 -1 -1 0 1 2
-2
-3
-4
3a. série 1996
19
Calibração simultânea: Modelo dos Grupos Múltiplos
1
P( U ij 1 | kj ) ci ( 1 ci ) ai ( kj bi )
1 e
Bock, R.D., Zimowski, M.F. (1997). Multiple group IRT. In
Handbook of Modern Item Response Theory. W.J. van der Linden
and R.K. Hambleton Eds. New York: Springer-Verlag
Andrade, D.F. (2001). Desempenhos de grupos de alunos por
21
Escala Nacional de Proficiência – INEP/MEC
300
rendimento médio
250
200
150
1995 1997 1999 2001 2003
22
Escala Nacional de Proficiência – INEP/MEC
Matemática - Brasil
300
rendimento médio
250
200
150
1995 1997 1999 2001 2003
23
Dados Longitudinais
• PDE/FUNDESCOLA
-Dados Incompletos
24
Dados Longitudinais
International Project on Mathematical Attainment - IPMA
(Profa. Ednéia Consolin Poli – UEL)
1999 2000 2001 2002 2003
Professores 22 22 22 20 18 24 16 17
Escolas 8 8 6 8 6 8 6 6
No. de itens 20 40 20 60 40 80 60 80
25
Dados Longitudinais
Questões:
• Modelos: Longitudinal, Multivariado
• Programas computacionais
Referência:
• Tavares, H. R.(2001). Modelos da Teoria da Resposta ao Item para
Dados Longitudinais. Tese de Doutorado. IME/USP.
• Andrade, D.F. and Tavares, H.R. (2004). Item response theory for
longitudinal data: population parameter estimation. (aceito para
publicação em Journal of Multivariate Analysis).
• Tavares, H.R. and Andrade, D.F. (2004). Item response theory for
longitudinal data: item and population parameter estimation. (aceito
para publicação em TEST).
26
• ENEM- Exame Nacional do Ensino Médio
Prova multidisciplinar
Itens multidimensionais
Questões:
Estudar a dimensão: análise fatorial
Unidimensional: eliminar itens multidimensionais
Multidimensional: Propor modelos
Interpretar as dimensões/criar escalas
Desenvolver programas computacionais
• http://www.inep.gov.br/basica/enem/
27
Aplicações em outras áreas
Gestão pela Qualidade
- Alexandre, J.W.C., Andrade,D.F., Vasconcelos,A.P. e Araújo, A.M.S.(2002).
Uma proposta de análise de um construto para a medição dos fatores críticos
da gestão pela qualidade através da teoria da resposta ao item. Gestão &
Produção, v.9, n.2, p.129-141.
Serviços/Marketing
- Costa, M.B.F. (2001). Técnica derivada da teoria da resposta ao item aplicada
ao setor de serviços. Dissertação de Mestrado – PPGMUE/UFPR
- Bortolotti, S.L.V. (2003). Aplicação de um modelo de desdobramento da
teoria da resposta ao item – TRI. Dissertação de Mestrado. EPS/UFSC
- Bayley, S. (2001). Measuring customer satisfaction. Evaluation Journal of
Australasia, v. 1, no. 1, 8-16.
28
Aplicações em outras áreas
Médica
- Mesbah, M., Cole, B.F., Lee, T.M. Eds. (2002). Statistical
Methods for Quality of Life Studies. Dordrecht: Kluwer
Academic Publishers
- DeRoos, Y., Allen-Meares, P. (1998). Application of the Rasch
Analysis: exploring differences in depression between african-
american and white children. Journal of Social Service
Research, v. 23, no. ¾, 93-107.
Biologia/Genética
- Tavares, H.R., Andrade, D.F. and Pereira, C.A.B. (2004).
Detection of determinant genes and diagnostic via item response
theory. (aceito para publicação em Genetics and Molecular
Biology).
29