Modelos multinivel

Modelos de regresión multinivel

Luis Guillermo Dı́az

Leonardo Trujillo

Universidad Nacional de Colombia

Julio 2011

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Estructura de datos multinivel

Los investigadores de las ciencias sociales y naturales, se enfrentan

al problema de modelar estructuras de datos complejas,
especialmente aquellas en las que hay una estructura de
conglomerados jerárquica.

Se hace referencia a una jerarquı́a consistente en unidades

agrupadas en diferentes niveles (conglomerados).

En el modelamiento de este tipo de datos debe considerar e

incorporar esta estructura de datos.

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Ejemplos

I Alumno ⊂ grado ⊂ instituciones educativas

I Paciente ⊂ IPS ⊂ EPS,
I Cliente ⊂ establecimiento comercial ⊂ zona ⊂ ciudad
I Fruto ⊂ planta ⊂ parcela ⊂ granja
I Medición ⊂ individuo ⊂ grupo.

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

La posible mayor homegeneidad entre individuos de un mismo

grupo respecto a individuos de distinto grupos invalidarı́a el
supuesto de independencia necesaria para poder utilizar los
modelos tradicionales de regresión.
Los modelos multinivel permiten enfrentar esta dificultad al
distinguir los distintos niveles jerárquicos de las predictoras,
separando la variabilidad de los individuos objeto de estudio de la
de los grupos a los que pertenecen.

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Para el caso de un estudio en educación, se tienen datos de los

estudiantes en muchas escuelas, en cada escuela se tienen las
calificaciones de los estudiantes (Y) junto con algunas covariables
(X‘s).
Se puede ajustar un modelo de regresión para cada escuela, y los
parámetros de estas escuelas pueden a la vez modelarse en función
de las caracterı́sticas de la escuela (estatus socioeconómico del
barrio de la escuela, sector público o privado, zona rural o urbana,
etc).
La regresión a nivel de estudiantes y la regresión a nivel de escuela
corresponden a los dos niveles de un modelo multinivel.

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Estructura de datos de estudiantes y colegio

Figura: Datos de estudiantes y colegios

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Estructura de datos

Figura: Tabla de datos a dos niveles

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Gráfico de datos

Modelos de regresión multinivel Figura: Datos nivel 1 vs nivel 2 Universidad Nacional de Colombia
Modelos multinivel

Modelo

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Modelo de regresión en el primer nivel

Yi j = β0 j + β1 j Xi j + εi j

Para i = 1, . . . , n j unidades del nivel 1 y j = 1, . . . , k unidades del

segundo nivel

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Modelo de regresión en el segundo nivel

β0 j = β0 + η0 j

β1 j = β1 + η1 j
Con η0 j y η1 j v.a. tal que:
)
E(η0 j ) = E(η1 j ) = 0,
2 2
var(η0 j ) = ση0 , var(η1 j ) = ση1 y cov(η0 j , η1 j ) = ση01

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

El modelo a dos niveles

Yi j = β0 + β1 Xi j + η0 j + η1 j Xi j + ε0i j
| {z } | {z }
Comp. fijo Comp. aleatorio

Para j = 1, . . . , k unidades del segundo nivel

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Estimación de parámetros

2 , σ 2 y la covarianza
Se requiere estimar los β ’s y las varianzas ση0 η1
2
ση01 Corresponde a la suma de la varaianzas en los niveles 1 y 2,
respectuvamente.
La correlación intra-clase entre dos unidades del nivel 2 es
2
ση0
ρ= 2 +σ2
ση0 e0

Dado que ρ 6= 0 ¡Resulta no apropiado usar mı́nimos cuadrados

ordinarios (OLS)!

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

La matriz de covarianza para las unidades del segundo nivel es una

matriz bloque diagonal Σ
 
Σ1 0 · · · 0
 0 Σ2 · · · 0  M k
Σ= . =
 
. . . Σj
 .. .. . . .. 

j=1
0 0 · · · Σk
Con Σ j matriz n j × n j .

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Para K = 2 unidades en el nivel 2 (p.e escuelas) con n1 = 3 y

n1 = 2 (p.e estudiantes de una escuela), respectivamente
2 +σ2

ση0 2
ση0 2
ση0

 2
e0 2
ση0 + σe0 2
ση0

2 2 +σ2 2
Σ1 =  ση0 ση0 e0 σ η0
 Σ2 = 2 2 +σ2
2 2 2 +σ2 ση0 ση0 e0
ση0 ση0 ση0 e0
 
Σ1 0
Σ=
0 Σ2

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Estimación de parámetros

Vı́a mı́nimos cuadrados generalizados (MCG)

β̂ = (X T Σ−1 X)−1 X T Σ−1Y

Con    
1 X11 Y11
1 X21   Y21 
X = . Y = . 
   
.. 
 .. .   .. 
1 Xnk k Ynk k

con matriz de covarianzas Cov(β̂ ) = (X T Σ−1 X)−1 . Cuando los

errores tienen distribución normal los MCG coinciden con los
estimadores maximoverosı́miles (EMV).

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Procedimiento de estimación

1 Se inicia con una estimación, β̂ (0) de los parámetros fijos vı́a

MCO asumiendo ση0 2 = 0.

2 Se conforman los residuales

Ỹi j = Yi j − (β̂0 + β̂1 Xi j ), con vector de residuales Ỹ = (Ỹi j )

3 Se observa que E(ỸỸT ) = Σ

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

continuación

4 Se hace vec(ỸỸT ) y vec(Σ), luego

ỸỸT = vec(Σ) + R, R vector de residuales

5 De (4) estimar vec(Σ) via MCG.

6 Retornar a β̂ = (X T Σ−1 X)−1 X T Σ−1Y para obtener nuevas

estimaciones de los efectos fijos y alternar entre la estimación
de los efectos aleatorios y fijos hasta observar convergencia.

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Residuales
En el nivel 1 con el modelo Yi j = β0 j + β1 j Xi j + εi j los residuales εi j
coinciden con Ỹi j .
En un modelo multinivel se tienen residuales para cada nivel.
Un modelo a dos niveles con covariables para los coeficientes
aleatorios en la forma matricial

Y = Xβ + Zη + ε

Para cada unidad del nivel 2 se tiene

η̂ = E(η0 j |Y, β̂ , Ω̂)

Con Ω̂ la matriz de covarianzas entre los componentes aleatorios
(extensión de Σ) en cada nivel.

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Cont...Residuales

Omitiendo la variación muestral asociada con los estimadores de

los parámetros se tiene
2 
cov(Ỹi j , η0 j ) = var(η0 j ) = ση0 

2
cov(Ỹi j , e0i j ) = σe0

2 2 
var(Ỹi j ) = ση0 + σe0

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Cont...Residuales

Para los componentes de varianza se tiene


n j ση2 
ηˆ0 j = 2
Ỹ j


n j ση2 + σe0 


ẽoi j = Ỹi j − η̂0 j 


Ỹ j = (∑ Ỹi j )/n j 


i

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Modelos mixtox para datos multinivel

Para los datos multinivel los modelos lineales mixtos son

frecuentemente usados Un modelo lineal de efectos mixtos es aquel
que satisfaga:



 Yj = X jβ + Z jη j + e j

η ∼ N(0, D),
j


 ε j ∼ N(0, R j ),

η , . . . , η , ε , . . . , ε independientes, (4)
1 k 1 k

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Cont...Modelos mixtos para datos multinivel

Donde
I Y j es el vector de respuestas n j -dimensional j = 1, . . . , k.
I X j es una matriz (n j × p).
I β es un vector p-dimensional que contiene los efectos fijos.
I Zi es una matriz (n j × q) que caracteriza la variación aleatoria
de la respuesta, atribuible entre unidades del segundo nivel.

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Cont...Modelos mixtos para datos multinivel

Donde
I η j es un vector q-dimensional que contiene el efecto aleatorio
que completa la caracterización de la variación entre las
unidades del nivel 2.
I e j es un vector n j -dimensional de los errores dentro de las
unidades, caracteriza la variación dentro de cada unidad del
nivel 2.
I D es una matriz de covatianza (q × q)
I R j es una matriz de covarianza (n j × n j )
Este modelo recoge e incorpora muestra la estructura jerárquica de
los datos

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Estimación en un modelo mixto

Los métodos de ML y REML pueden ser usados para estimar los

parámetros que caracterizan la ”media.o parte sistemática del
modelo como también aquellos que caracterizan la ”variación.o
parte aleatoria del modelo.

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Medidas de ajuste del modelo

Criterios tales como

I Razón de verosimilitud
I AIC
I BIC

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Herramientas computacionales

I SAS: PROC MIXED

I STATA
I R
I MLwiN, aML, HLM
I SPSS

Modelos de regresión multinivel Universidad Nacional de Colombia

Modelos multinivel

Modelo

Tópicos especiales en modelos multinivel

I Medidas repetidas, datos correlacionados
I Meta-análisis
I Diseños muestrales y tamaños de muestra
I Datos faltantes
I Datos atı́picos
I Variables respuesta: dicotómicas, conteos, proporciones,
positivas... (MLG)
I Covariables de contexto latentes (ecuaciones estructurales)
I Modelos no lineales para datos multinivel
I Modelos para datos multinivel espaciales
I Modelos de sobrevida para datos multinivel
I Regresı́on cuantı́lica en datos multinivel.
Modelos de regresión multinivel Universidad Nacional de Colombia
Modelos multinivel

Modelo

GRACIAS POR SU ATENCION

Luis Guillermo Dı́az

Leonardo Trujillo

Universidad Nacional de Colombia

Julio 2011

mensaje final Universidad Nacional de Colombia