Anlise multinvel aplicada aos dados do NELS:88

JACOB ARIE LAROS UnB JOO LUIZ PEREIRA MARCIANO UnB

Na Psicologia e reas afins, est aumentando a conscincia de que o pressuposto da independncia das observaes da regresso tradicional nem sempre refletido pela realidade. O objetivo deste artigo ilustrar a anlise multinvel, uma alternativa regresso tradicional, usando um banco de dados de acesso pblico: o NELS:88 (National Educational Longitudinal Study). NELS:88 uma pesquisa conduzida pelo Ministrio da Educao dos Estados Unidos com o propsito de identificar o efeito de variveis socioeconmicas e escolares sobre o desempenho educacional. O banco contm dados de 21.580 alunos da oitava srie do ensino fundamental, provenientes de 1.003 escolas. Nessa pesquisa, foi aplicado um teste de Matemtica, acompanhado por um questionrio sobre caractersticas socioeconmicas e culturais dos alunos. Pode-se concluir que o banco de dados NELS:88 muito adequado para ilustrar, de forma prtica, como funciona uma anlise multinvel. Palavras-chave: anlise multinvel, modelo hierrquico linear, correlao intraclasse, NELS:88.

RESUMO

RESUMEN

En Psicologa y en reas afines est aumentando la conciencia de que la realidad no siempre refleja el presupuesto de la independencia de las observaciones de la regresin tradicional.El objetivo de este artculo es ilustrar el anlisis multinivel, una alternativa a la regresin tradicional, usando un banco de datos de acceso pblico, NELS:88 (National Educational Longitudinal Study). El NELS:88 es una investigacin conducida por el Ministerio de Educacin de los Estados Unidos con el propsito de identificar el efecto de variables socioeconmicas y escolares sobre el desempeo educativo. El banco contiene datos de 21.580 alumnos de la octava serie de
263

264 v. 19, n. 40, maio/ago. 2008

la educacin fundamental, provenientes de 1.003 escuelas. En la investigacin se aplic un test de Matemtica, acompaado de un cuestionario sobre caractersticas socioeconmicas y culturales de los alumnos. Se puede concluir que el banco de datos NELS:88 es muy adecuado para ilustrar, de forma prctica, como funciona el anlisis multinivel. Palabras clave: anlisis multinivel, modelo jerrquico lineal, correlacin intraclase, NELS:88.

ABSTRACT

In Psychology and related fields there is growing awareness that the independent observations derived traditional regression analysis are not always reflected in reality. The objective of this article is to illustrate multilevel analysis, an alternative to traditional regression analysis, using a dataset of public access, NELS:88. (National Educational Longitudinal Study). NELS:88 is conducted by the Ministry of Education of the United States of America and was designed to identify the effect of socio-economic and school variables on educational performance. The dataset contains data of 21,580 eighth grade students of elementary school distributed amongst 1,003 schools. In the NELS:88 study a mathematics test was administered together with a questionnaire about socio-economic and cultural characteristics of the students. It can be concluded that the NELS:88 dataset serves very well to illustrate in a practical way how a multilevel analysis is carried out. Keywords: multilevel analysis, hierarchical linear model, intraclass correlation, NELS:88.

Estudos em Avaliao Educacional 265

INTRODUO

A regresso mltipla uma das tcnicas de anlise de dados mais utilizadas nas reas de cincias sociais e humanas. O problema maior em usar a regresso mltipla nessas reas o fato de que, em muitas ocasies, um dos pressupostos centrais, a independncia das observaes, violado. Nas cincias sociais e humanas, os dados coletados so freqentemente de pessoas agrupadas em clusters. Uma conseqncia da dependncia entre as observaes a subestimao dos erros padro dos coeficientes da regresso. Uma alternativa para a tcnica de regresso mltipla que leva em considerao a estrutura hierrquica dos dados a anlise multinvel. Essa tcnica um tipo de anlise de regresso que, simultaneamente, leva em considerao mltiplos nveis de agregao, tornando corretos erros padro, intervalos de confiana e testes de hipteses. Quando existe uma estrutura hierrquica na populao de interesse, a anlise multinvel a opo metodologicamente correta para estabelecer as relaes entre as variveis. A anlise multinvel tambm conhecida como: Modelo Hierrquico Linear, Modelo de Efeitos Mistos, Modelo de Efeitos Aleatrios e Regresso Hierrquica. Ela uma extenso do modelo de regresso tradicional quando variveis so analisadas dispostas em vrios nveis de agregao. Isso ocorre com freqncia no contexto educacional quando, por exemplo, se deseja estudar o desempenho do aluno com base nas variveis associadas ao prprio aluno (nvel 1), variveis associadas ao professor ou turma (nvel 2) e variveis associadas ao diretor ou escola (nvel 3). Ao lidar com variveis em diferentes nveis, o modelo de regresso tradicional pode no ser o mais adequado, pois no leva em considerao a correlao entre indivduos associados a um mesmo nvel de agregao. o caso da correlao entre alunos de uma mesma turma ou escola. Quanto maior for a correlao entre indivduos maior a inadequao do modelo de regresso tradicional. Anlise multinvel aplica-se a uma populao com estrutura hierrquica. A obteno de uma amostra de tal populao se d pela escolha aleatria dentre unidades do nvel macro (por exemplo, hospitais). Uma vez selecionadas essas unidades, o segundo passo seria escolher, tambm de modo aleatrio, as unidades do nvel micro (por exemplo, pacientes dentro dos hospitais). Este procedimento descreve sumariamente a tcnica adequada para se conseguir uma amostra na qual o pressuposto de independncia entre os sujeitos no violado; porm, por motivos prticos, de natureza financeira ou logstica, o que feito freqentemente proceder a uma amostragem de todos os indivduos disponveis, depois de escolhidas as unidades do nvel macro. bom enfatizar que, algumas vezes, nem mesmo a escolha das unida-

266 v. 19, n. 40, maio/ago. 2008

des do nvel macro feita de maneira aleatria, mas de acordo com a convenincia ou disponibilidade de recursos. Obviamente, nesses casos, ocorre a violao do pressuposto de independncia das observaes, o que pode levar a resultados esprios. Os testes estatsticos tradicionais confiam pesadamente no pressuposto da independncia das observaes. Portanto, o modelo de regresso tradicional pode no ser o mais adequado, pois no leva em considerao a dependncia das observaes entre os membros de um mesmo grupo. Quanto maior essa dependncia, mais a anlise multinvel se torna necessria. A dependncia entre as observaes indicada pela chamada correlao intraclasse, a qual representa a homogeneidade em um mesmo grupo, e, ao mesmo tempo, a heterogeneidade entre grupos distintos. A fim de ilustrar a dependncia entre observaes, pode-se citar o exemplo de pesquisas educacionais nas quais alunos so aninhados ou agrupados em escolas. Os alunos de uma mesma escola tendem a ser similares, em razo do processo de seleo por ela empregado (por exemplo, algumas escolas podem atrair alunos de nveis socioeconmicos mais elevados, enquanto outras atraem alunos de nveis socioeconmicos mais baixos), e do ambiente e da histria comuns que os alunos compartilham por freqentar a mesma escola. Estruturas hierrquicas tambm podem ser encontradas nos estudos transnacionais, nos quais os indivduos so aninhados em suas unidades nacionais; na pesquisa organizacional, em que os indivduos so agrupados em departamentos, e estes, por sua vez, em organizaes; na pesquisa familiar, com os membros agrupados em famlias; e na pesquisa metodolgica, quanto aos efeitos do entrevistador, com os respondentes agrupados por entrevistadores. Exemplos de dados hierrquicos menos bvios so pesquisas longitudinais e pesquisas de curvas de crescimento, nas quais sries de observaes distintas so vistas como aninhadas por indivduos; e metanlise, em que os objetos de anlise so agrupados em diferentes estudos (Hox, 2002). Nos estudos do tipo survey, segundo esse autor, a dependncia entre observaes no nvel micro acontece, muitas vezes, em virtude do uso freqente de amostragens de grupos por reas geogrficas. Respondentes de uma mesma rea geogrfica tendem a ser mais similares do que respondentes de reas geogrficas diferentes. A homogeneidade entre as observaes conduz a estimativas erradas para os erros padro. Esse tipo de erro conhecido como o efeito do delineamento (Kish, 1965, 1987). Um procedimento de correo usualmente aplicado consiste em calcular os erros padro por mtodos de anlise tradicionais, estimar a correlao intraclasse entre os respondentes dentro dos clusters, e, finalmente, empregar uma frmula de correo para os erros padro. Hox (2002) aponta que uma amostra de 200 alunos

Estudos em Avaliao Educacional 267

agrupados em 10 classes, com correlao intraclasse igual a 0,10, resulta, aps a correo, em uma amostra de tamanho real igual a 69 alunos, ou seja, o tamanho factual da amostra diminuiu 66%.
O ESTUDO NELS:88 Em 1988, o governo norte-americano realizou a primeira etapa de uma extensa pesquisa longitudinal com estudantes da oitava srie do primeiro ciclo educacional, intitulada National Education Longitudinal Study of 1988 (NELS:88). Amostras dos respondentes desta pesquisa foram submetidas a novos surveys em 1990, 1992, 1994 e 2000. No questionrio inicial, os estudantes responderam sobre ampla gama de temas, incluindo experincias na escola, no trabalho e em casa; recursos e suporte educacional; o papel de seus pais e colegas em sua educao; caractersticas de sua vizinhana; anseios educacionais e profissionais; e outras percepes. Tpicos adicionais incluam ainda autopercepo quanto ao tabagismo, uso de drogas e lcool e atividades extracurriculares (NCES, 1988). Ita Kreft e Jan de Leeuw (1998), para ilustrar exemplos de seu livro, utilizaram parte dos dados do NELS:88, correspondentes a 21.580 estudantes de 1.003 escolas, tornando-os disponveis em sua pgina na internet. Para este artigo, alguns dados foram recodificados em razo de sua origem categrica (como etnia) e outros em virtude do grande nmero de categorias presentes (como a relao alunos/professor). Tambm se utilizou uma codificao que originasse coeficientes positivos quando da gerao dos modelos. OBJETIVO O presente artigo visa a ilustrar a elaborao de um modelo de regresso multinvel, com base nos dados do NELS:88, tomando como varivel dependente a nota obtida no teste de matemtica. MTODO O modelo multinvel da regresso para dois nveis dado pela equao (1), conforme Hox (2002, p. 49):
Yij
00 p0

X pij

0q

Z qj

pq

Z qj X pij

u pj X pij

u0 j

eij

(1)

O mtodo utilizado para a elaborao do modelo, neste trabalho, o mesmo apresentado por esse autor (p. 49-71). Tal mtodo composto de cinco passos, des-

268 v. 19, n. 40, maio/ago. 2008

critos sumariamente a seguir. Para a elaborao dos modelos, usou-se a verso 2.0 do software MLwiN, e o mtodo utilizado foi o IGLS - Iterative Generalised Least Squares (Rasbash et al., 2005). Passo 1 Analisa-se um modelo sem nenhuma varivel explicativa. Esse modelo, dito modelo somente de intercepto ou modelo vazio, dado pela equao (2): Yij = g00 + u0j + eij (2)

Na equao (2), g00 o intercepto da regresso, e u0j e eij so os resduos usuais nos nveis da escola (nvel 2) e nvel do aluno (nvel 1), respectivamente. O modelo vazio til porque proporciona uma estimativa da correlao intraclasse r pela aplicao da equao (3):
2 u0

(3) 2 2 e ) onde( u 0 a varincia dos resduos u0j do nvel de escola, e s2 a varincia dos rese duos eij do nvel de aluno. O modelo vazio proporciona tambm uma medida de referncia do deviance, o qual uma medida do grau de desajuste do modelo e que pode ser usado para comparar modelos: quanto menor o deviance, maior o ajuste obtido.

2 u0

2 u0

2 e

(3)

Passo 2 Analisa-se um modelo com todas as variveis explicativas fixas do nvel mais baixo. Isso significa que os componentes de varincia correspondentes aos coeficientes so fixados em zero. A deciso de inserir primeiramente as variveis do nvel mais baixo deve-se ao maior nmero de observaes disponveis neste nvel, gerando coeficientes mais acurados. Este modelo descrito pela equao (4): Yij = g00 + gp0 Xpij + u0j + eij (4)

onde os Xpij so as p variveis explicativas do nvel do aluno. Neste passo, estima-se a contribuio de cada varivel explicativa deste nvel. Passo 3 Acrescentam-se as variveis explicativas do nvel da escola:

Estudos em Avaliao Educacional 269

Yij = g00 + gp0 Xpij + g0q Zqj + u0j + eij

(5)

onde os Zqj so as q variveis explicativas do nvel da escola. Os modelos dos passos 2 e 3 so chamados modelos de componentes de varincia, por decomporem a varincia do intercepto em componentes distintos de varincia para cada nvel hierrquico; nesses modelos, assume-se que o intercepto varia entre as escolas, mas os coeficientes de regresso so considerados fixos. Passo 4 Avalia-se se algum dos coeficientes de regresso das variveis explicativas do nvel micro tem um componente significativo de varincia (ou seja, diferente de zero) entre as escolas. Este modelo, chamado modelo de coeficientes randmicos, dado pela equao (6): Yij = g00 + gp0 Xpij + g0q Zqj + upj Xpij + u0j + eij (6)

onde os upj so os resduos do nvel de escola dos coeficientes das variveis explicativas Xpij do nvel de aluno. Passo 5 Adicionam-se as interaes entre-nveis entre variveis explicativas do nvel da escola e aquelas variveis explicativas do nvel do aluno que tiveram varincia significativa de coeficientes no passo 4. Isso conduz ao modelo completo formulado na equao (7): Yij = g00 + gp0 Xpij + g0q Zqj + gpq Zqj Xpij + upj Xpij + u0j + eij (7)

Mais detalhes sobre os modelos de regresso multinvel podem ser encontrados em Snijders e Bosker (1999), Hox (2002), Raudenbush e Bryk (2002), Rasbash et al. (2005), Tabachnick e Fidell (2007) e De Leeuw e Meijer (2008).
RESULTADOS A construo do modelo vazio gerou os resultados exibidos na tabela 1. A correlao intraclasse dada por:
2 u0 2 u0 2 e

26,56 0,26 (26,56 76,62)

270 v. 19, n. 40, maio/ago. 2008

Tabela 1 Modelo sem variveis explicativas inseridas - modelo vazio (M1)

Variveis explicativas Efeito fixo Intercepto Efeito Randmico - nvel 2 Varincia - intercepto Efeito Randmico - nvel 1 Varincia de Rij Correlao intraclasse Deviance M1 Nmero de parmetros estimados no modelo
2 e

Modelo 1 (M1) Efeito 50,80 E.P. 0,18 Razo-t -

2 u0

26,56

1,36

19,53

76,62

0,76 0,26 156.966 3

100,82

A tabela 1 indica um valor de 50,80 para o intercepto. Isso pode ser interpretado como a mdia geral dos alunos no teste de Matemtica. A varincia do intercepto mostra que esta mdia no igual para todas as escolas. O teste de Wald revela que a varincia do intercepto significativamente diferente de zero, uma vez que a razo entre a varincia e o erro-padro (razo-t) igual a 19,53. Este valor consideravelmente superior ao valor crtico de 1,96. A varincia R ij (igual a 76,62) revela que dentro das escolas existe variabilidade entre os escores dos alunos no teste de Matemtica. Uma vez mais, o teste de Wald mostra que esta varincia significativamente diferente de zero. A correlao intraclasse de 0,26 significa que aproximadamente 26% da varincia dos escores no teste de Matemtica podem ser atribudos ao nvel da escola. O valor relativamente elevado da correlao intraclasse justifica a utilizao de uma abordagem multinvel de anlise em vez de uma regresso tradicional. O deviance, uma medida do desajuste do modelo em relao aos dados, no pode ser interpretrado isoladamente, mas sim comparado com os modelos posteriores. Espera-se que o ajuste melhore com a introduo de variveis explicativas. No modelo atual so estimados trs parmetros: o intercepto, a varincia dos resduos do nvel da escola e a varincia dos resduos do nvel do aluno. O nmero de parmetros utilizado para determinar o nmero de graus de liberdade para a comparao do ajuste do modelo. Com a insero das variveis do nvel do aluno, obtm-se o modelo M2, resumido na tabela 2. Foram inseridas as cinco variveis seguintes: nvel socioeconmico

Estudos em Avaliao Educacional 271

do aluno; etnia; horas gastas com o dever de casa, por semana; escolaridade dos pais e gnero. O modelo mostra que alunos de alto nvel socioeconmico, de etnia asitica ou branca, do gnero masculino, com mais horas semanais dedicadas ao dever de casa, e pais com elevada escolaridade, apresentam melhor desempenho no teste de Matemtica. Todos esses efeitos so significativos no nvel de 5%. Observa-se sensvel diminuio na varincia do nvel da escola, de 26,56 para 7,32. Isso se deve ao fato de que a proporo de cada uma das variveis inseridas desigualmente distribuda entre as escolas. Por exemplo, com relao ao gnero, existem escolas com propores bastante variadas entre meninas e meninos. De modo semelhante, tambm a varincia do nvel do aluno diminuiu no segundo modelo (de 76,62 para 66,07). Com a diminuio da varincia, tanto no nvel da escola quanto no nvel do aluno, a correlao intraclasse diminui de 0,26 para 0,10. O deviance do modelo 2 igual a 152.872, o que representa uma diminuio de 4.094 em relao ao modelo anterior. Foram estimados oito parmetros no modelo 2, o que em comparao com os trs parmetros estimados no modelo 1 resulta em cinco graus de liberdade. O quociente dado pela diferena entre os deviances e os graus de liberdade igual a 818,80 (teste qui-quadrado, representado pelo smbolo c2). Este resultado significa que o modelo 2 se ajusta muito melhor aos dados do que o modelo 1. Com a introduo das variveis do nvel da escola, obteve-se o modelo M3, tambm resumido na tabela 2. Com a introduo das variveis do nvel socioeconmico agregado, etnia agregada, porcentagem de minorias raciais e regio geogrfica, a varincia entre as escolas diminuiu de 7,32 para 4,89. Ao mesmo tempo, a varincia entre os alunos apresentou pequena diminuio de 66,07 para 65,92. Conseqentemente, a correlao intraclasse diminuiu de 0,10 para 0,07. O teste c2, entre os modelos M2 e M3, resultou no valor de 77,00. Isso significa que o modelo M3 ajusta-se aos dados de modo significativamente melhor que o modelo M2. A ltima informao da tabela 2 refere-se varincia explicada no nvel do aluno e no nvel da escola pelos modelos M2 e M3. Segundo Hox (2002, p. 64), a varincia explicada no nvel do aluno dada pela equao:
R12
2 e|b 2 e|b 2 e| m

272 v. 19, n. 40, maio/ago. 2008

onde R12

m ae|varincia residual2 do nvel de aluno para o modelo de linha de base, 2 2 e|b que o modelo vazio (M1), e e|m a varincia residual do nvel de aluno no modelo e|b R12 2 de comparao (M2). Ento:|b e

2 e|b

R12

76,62 66,07 76,62

0,138

Tabela 2 - Modelos com as variveis explicativas do nvel 1 (M2) e do nvel 2 (M3) inseridas
Variveis explicativas Efeito fixo Intercepto Nvel socioeconmico do aluno (NSE) Etnia (outras vs. asitico e branco) Dever de casa (nmero de horas semanais) Escolaridade dos pais Gnero Nvel socioeconmico agregado Etnia agregada Porcentagem de minorias Regio (Sul e Oeste vs. demais) Efeito Randmico nvel 2 Varincia - intercepto Efeito Randmico nvel 1 Varincia de Rij Correlao intraclasse condicional Deviance Nmero de parmetros estimados Diferena Deviance M1 - Deviance M2 Diferena de parmetros M2 M1 Teste Diferena Deviance M2 - Deviance M3 Diferena de parmetros M3 - M2 Teste Varincia do nvel 1 explicada Varincia do nvel 2 explicada
2 2
2 e
2 u0

Modelo 2 (M2) Efeito 43,71 3,16 3,59 1,23 0,70 0,52 E.P. 0,33 0,15 0,16 0,04 0,09 0,11 Razo-t 21,07 22,44 30,75 7,78 4,73

Modelo 3 (M3) Efeito 41,29 2,69 2,97 1,20 0,67 0,51 3,08 3,02 0,23 0,54 4,89 E.P. 0,77 0,15 0,18 0,04 0,09 0,11 0,23 0,66 0,08 0,19 0,36 Razo-t 17,93 16,50 30,00 7,44 4,64 13,39 4,58 2,88 2,84 13,58

7,32

0,47

15,57

66,07

0,65 0,10 152.872 8 4.094 5 818,80

101,65

65,92

0,65 0,07 152.564 12

101,42

308 4 77,00 13,8% 72,4% 14,0% 81,6%

Estudos em Avaliao Educacional 273

De acordo com Hox (2002, p. 64), para a proporo da varincia explicada no nvel da escola, usa-se:
R
2 2

2 2

2 u 0|b 2 u 0|b

2 u 0|m

2 R2

0|m 2 onde u 0|b 2 a uvarincia residual do nvel de escola para o modelo de linha de base R2 2 2 u 0|b 0 (M1), e u 0u|m|b a varincia residual do nvel de escola para o modelo de comparao 2 (M2). Ento: u 0|b

2 R2

26,56 7,32 26,56

0,724

Para o modelo com as variveis explicativas do nvel de escola (M3), tem-se, para o nvel do aluno:
R12 76,62 65,92 76,62 0,139

Ainda no modelo M3, para o nvel da escola tem-se:

2 R2

26,56 4,89 26,56

0,816

Os modelos de coeficientes randmicos (M4) e de interaes entre variveis dos nveis 1 e 2 (M5) so mostrados na tabela 3. Quatro variveis do nvel do aluno apresentaram um coeficiente randmico significativo, ou seja, o efeito dos coeficientes de NSE, etnia, dever de casa e gnero no igual entre todas as escolas. Por exemplo, a influncia do nvel socioeconmico do aluno sobre o seu desempenho no teste de matemtica menor em algumas escolas do que em outras. O teste c2, entre os modelos M3 e M4, resultou no valor de 7,21. Isto indica que o modelo, depois da incluso dos efeitos randmicos, se ajusta melhor aos dados, em comparao com o modelo anterior. A nica interao entre variveis dos nveis micro e macro a apresentar um valor significativamente diferente de zero foi a interao entre NSE e etnia agregada. A incluso desta interao no modelo, resultando no modelo final (M5), melhorou o ajuste, conforme indica o valor do teste c2 com valor igual a 48,00.

274 v. 19, n. 40, maio/ago. 2008

Tabela 3 - Modelos de coeficientes randmicos (M4) e com interaes entre os nveis 1 e 2 (M5)
Variveis explicativas Efeito fixo Intercepto Nvel socioeconmico do aluno (NSE) Etnia (outras vs. asitico e branco) Dever de casa (n. de horas semanais) Escolaridade dos pais Gnero Nvel socioeconmico agregado Etnia agregada Porcentagem de minorias Regio (Sul e Oeste vs. demais) NSE x etnia agregada Efeito Randmico nvel 2 Varincia intercepto Varincia inclinao NSE Varincia inclinao etnia Varincia inclinao dever de casa Varincia inclinao gnero Efeito Randmico nvel 1 Varincia de Rij Deviance Nmero de parmetros estimados Diferena Deviance M3 Deviance M4 Diferena de parmetros M4 M3 Teste Diferena Deviance M4 - Deviance M5 Diferena de parmetros M5 - M4 Teste
2 2 2 u0

Modelo 4 (M4) Efeito 41,32 2,65 2,93 1,20 0,67 0,52 3,15 2,99 0,23 0,58 E.P. 0,77 0,15 0,20 0,04 0,09 0,13 0,23 0,67 0,08 0,19 Razo-t 17,67 14,65 30,00 7,44 4,00 13,70 4,46 2,88 3,05

Modelo 5 (M5) Efeito 40,49 1,16 3,02 1,19 0,63 0,53 2,96 3,97 0,24 0,52 2,10 E.P. 0,78 0,26 0,20 0,04 0,09 0,13 0,23 0,68 0,08 0,19 0,30 Razo-t 4,46 15,10 29,75 7,00 4,08 12,87 5,84 3,00 2,74 7,00

7,77 0,73 5,40 0,33 3,73

2 e

1,27 0,34 1,25 0,08 0,73

6,12 2,15 4,32 4,13 5,11

7,25 0,48 5,23 0,33 3,71

1,23 0,33 1,23 0,08 0,73

5,89 1,44 4,25 4,13 5,11

63,54

0,67 152.463 26 101 14 7,21

94,84

63,77

0,66 152.415 27

96,62

48 1 48,00

Na tabela 3 no constam os valores das varincias explicadas dos nveis micro e macro. Isso se deve ao fato de que a decomposio da varincia com a presena de coeficientes randmicos e de interaes entre os nveis extremamente complexa (Snijders, Bosker, 1999, p. 108). A diferena entre os modelos M4 e M5 a presena do efeito de interao entre as variveis NSE do aluno e etnia agregada. O efeito de interao pode ser resumido

Estudos em Avaliao Educacional 275

pela afirmao efeitos diferentes para grupos diferentes (Miles, Shevlin, 2001, p. 165). Neste caso, a influncia do nvel socioeconmico do aluno diferente entre escolas de etnia predominantemente branca e asitica versus as demais etnias. Observe-se ainda o efeito da recodificao empregada, a qual produziu coeficientes de regresso positivos. Especificamente quanto ao gnero (codificado na forma 0 = meninas e 1 = meninos), depreende-se que os meninos tm desempenho mdio geral, no teste de matemtica, superior ao desempenho mdio geral das meninas. Raciocnio anlogo pode ser empregado no tocante varivel regio, em que a recodificao permite avaliar que o desempenho mdio geral das regies Sul e Oeste (codificadas com o valor 0) inferior ao desempenho mdio geral das regies Nordeste e Centro-norte (codificadas com o valor 1), no teste de matemtica. O teste c2, entre os modelos M1 e M5, mostra o seguinte resultado:
DevianceM 1 DevianceM 5 156.966 152.415 189,62 ParmetrosM 5 ParmetrosM 1 27 3

Uma vez que o teste c2 resultou em um valor muito superior ao valor crtico de 1,96, fica claramente demonstrado que o modelo final se ajusta muito melhor aos dados do que o modelo inicial. Tambm merece comentrio a relao entre o valor e o erro-padro dos coeficientes randmicos da varivel nvel socioeconmico do aluno (NSE), no modelo M5. Embora essa relao seja igual a 1,44 (tabela 3), portanto no significativa para um intervalo de confiana de 95%, considerou-se que o deviance do modelo como um todo foi melhorado, decidindo-se desse modo pela permanncia desses coeficientes no modelo. Essa deciso baseada na recomendao de Kreft e Leeuw (1998) de que nas cincias sociais, com alto grau de inter-relao de variveis, mais adequado avaliar o ajuste do modelo como um todo do que depender da razo-t de variveis individuais.
VERIFICAO DE PRESSUPOSTOS Um dos pressupostos principais da anlise multinvel a distribuio normal dos resduos de cada nvel. A normalidade pode ser verificada por meio de um grfico mostrando os resduos ordenados versus escores gerados aleatoriamente em uma distribuio normal. Se o pressuposto da normalidade vlido, os pontos no grfico estaro dispostos em uma linha reta. A figura 1 ilustra o grfico dos resduos do nvel 1 para o modelo final (M5). Uma vez que nesta anlise multinvel existem resduos em dois nveis, a verificao tambm deve ser repetida para o segundo nvel.

276 v. 19, n. 40, maio/ago. 2008

O grfico mostra que os resduos se distribuem linearmente ao longo dos valores, sem a presena de outliers extremos, ou seja, o modelo de regresso linear adequado, com os resduos de nvel 1 seguindo uma distribuio bastante aproximada da normal.
Figura 1 - Resduos padronizados X escores normais para o modelo M5

A figura 2 ilustra o grfico dos resduos padronizados x valores preditos para o modelo final. Como os resduos so distribudos de modo uniforme em torno da mdia (zero), o grfico mostra que os pressupostos de normalidade, linearidade e homocedasticidade no so violados pelo modelo gerado (Raudenbush; Bryk, 2002, p. 131).
CONCLUSES O banco de dados do NELS:88 mostrou-se adequado para ilustrar a utilizao de uma anlise multinvel. Primeiramente, os dados no violam os pressupostos da anlise multinvel. Alm disso, o banco possui um nmero elevado de unidades de ambos os nveis. Muitas vezes, em situaes prticas, o nvel macro no possui um nmero mnimo necessrio de unidades, o qual, segundo Kreft (1996), seria de 30 a 50. Tambm existem variveis em nmero suficiente, com efeitos

Estudos em Avaliao Educacional 277

significativos em ambos os nveis. Por fim, o banco de dados permite identificar um efeito de interao.
Figura 2 - Resduos padronizados X escores preditos para o modelo M5

REFERNCIAS BIBLIOGRFICAS

DE LEEUW, J.; MEIJER, E. Handbook of multilevel analysis. New York, NY: Springer Science + Business Media, 2008. HOX, J. Multilevel analysis: techniques and applications. Mahwah, NJ: Lawrence Erlbaum Associates, 2002. KISH, L. Statistical design for research. New York: Wiley, 1987. _________ . Survey sampling. New York: Wiley, 1965. KREFT, I. G. G. Are multilevel techniques necessary? An overview, including simulation studies. 1996. Disponvel em: <http://ioe.ac.uk/ multilevel> Acesso em: 23 out. 2005.

KREFT, I. G. G.; DE LEEUW, J. Introducing multilevel modeling. 1998. Disponvel em: < http://www. stat.ucla.edu/~deleeuw/sagebook> Acesso em: 23 out. 2005. MILES, J.; SHEVLIN, M. Applying regression and correlation: a guide for students and researchers. London: Sage Publications, 2001. NCES. National Education Longitudinal Study of 1988 (Rel. Tec.). Washington: National Center for Education Statistics, 1988. Disponvel em: <http://nces.ed.gov/surveys/nels88>. Acesso em: 14 nov. 2005. RASBASH, J. et al. A Users guide to MLwiN v. 2.0. London. Centre for Multilevel Modelling.

278 v. 19, n. 40, maio/ago. 2008

University of Bristol, UK, 2005. RAUDENBUSH, S. W.; BRYK, A. S. Hierarchical Linear Models: applications and data analysis methods. Thousand Oaks: Sage Publications, 2002. SNIJDERS, T. A. B.; BOSKER, R. J. Multilevel analysis: an introduction to basic and

advanced multilevel modeling. London: Sage Publications, 1999. TABACHNICK, B. G.; FIDELL, L. S. Multilevel Linear Modeling. In: ________ (orgs.) Using Multivariate Statistics. Boston: Pearson Education, 2007. p.781-857.

Recebido em: setembro 2007 Aprovado para publicao em: maro 2008 Jacob Arie Laros Professor da Ps-graduao em Psicologia Social do Trabalho e das Organizaes (PSTD) da Universidade de Braslia (jalaros@unb.br); Joo Luiz Pereira Marciano doutor em Cincia da Informao na Universidade de Braslia (joao.marciano@camara.gov.br).