UNIVERSIDAD DE CONCEPCION

Facultad de Ingeniería
Departamento de Ingeniería
Industrial

Análisis Estadístico Multivariado

Capítulo 1: Análisis de Regresión Múltiple

Hernaldo Reinoso

Marzo 2020

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción

Capítulo 1: Análisis de Regresión Múltiple

Sección 1.1

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción

 3

Regresión Lineal Simple

 Ejemplo: n =10 i Y X1 X2
1 10 1,3 9
i = semana 2 6 2,0 7
3 5 1,7 5
Y = Ventas (100 ton) 4 12 1,5 14
5 10 1,6 15
X1 = Precio ($ Miles/ton) 6 15 1,2 12
7 5 1,6 6
X2 = Publicidad ($ Millones)
8 12 1,4 10
9 17 1,0 15
10 20 1,1 21

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción

 4

Regresión Lineal Simple

 Ejemplo: n =10
i = semana
Yi  0  1 X i   i
Y = Ventas (100 ton)
X1 = Precio ($ Miles/ton)
X2 = Publicidad ($ Millones) Yi
i Y X1 X2
1 10 1,3 9 i
2 6 2,0 7 1
3 5 1,7 5
 β X
1 i
4 12 1,5 14
Yi  β0
5 10 1,6 15
6 15 1,2 12 0
7 5 1,6 6 X = X2
8 12 1,4 10
9 17 1,0 15
10 20 1,1 21
Valores observados: Yi
Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción
 5

Regresión Lineal Simple

 Ejemplo: n =10 Yi   0  1 X i   i
i = semana
Yi  ˆ0  ˆ1 X i  ei  0.784173  0.913669 X i  ei
Y = Ventas (100 ton)
X1 = Precio ($ Miles/ton)
X2 = Publicidad ($ Millones)
i Y X1 X2 Yi
1 10 1,3 9 Yˆi  ˆ0  ˆ1 X i
2 6 2,0 7
ei
3 5 1,7 5
4 12 1,5 14
5 10 1,6 15 ˆ1
6 15 1,2 12
7 5 1,6 6 X = X2
8 12 1,4 10
9 17 1,0 15
10 20 1,1 21

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción

 6

Regresión Lineal Simple

i = semana
Y = Ventas (100 ton)
X1 = Precio ($ Miles/ton)
 β X
1 i X2 = Publicidad ($ Millones)
Yi  β0

Yˆi  ˆ0  ˆ1 X i

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción

 Modelo de Regresión Lineal Múltiple
7

1. Función de regresión poblacional:

Yi  0  1 X1i   2 X 2i  ...  k X ki   i

2. Función de regresión Muestral:

Yi  ˆ0  ˆ1 X1i  ˆ2 X 2 i  ...  ˆk X ki  ei

3. Ecuación de predicción:

Yˆi  ˆ0  ˆ1 X1i  ˆ2 X 2i  ...  ˆk X ki

Residuos:
ei  Yi  Yˆi  i
Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción
 Modelo de Regresión Lineal Múltiple
8

 Ejemplo:
i Y X1 X2 Yi  0  1 X1i   2 X 2i   i
i = semana 1 10 1,3 9
2 6 2,0 7
$ = miles de pesos
3 5 1,7 5
Yi  ˆ0  ˆ1 X1i  ˆ2 X 2i  ei
Y = Ventas (100 ton)
4 12 1,5 14
X1 = Precio ($/ton) 5 10 1,6 15
Yˆi  ˆ0  ˆ1 X1i  ˆ2 X 2 i
X2 = Publicidad (100 $) 6 15 1,2 12
7 5 1,6 6
n = 10 y k = 2 Yi  16.41  8.25 X 1i  0.59 X 2 i  ei
8 12 1,4 10
9 17 1,0 15
10 20 1,1 21 Yˆi  16.41  8.25 X1i  0.59 X 2 i

¿Interpretación de los coeficientes ?

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción
 9

Modelo de Regresión Lineal Múltiple

Parámetro Estimación
 Ejemplo
CONSTANTE 16,4064
i Y X1 X2 X1 -8,24758
X2 0,585101
1 10 1,3 9
2 6 2,0 7 Semana Observado Ajustado Residuo
3 5 1,7 5 1 10,0 10,9504 -0,950419
2 6,0 4,00691 1,99309
4 12 1,5 14
3 5,0 5,31098 -0,310983
5 10 1,6 15 4 12,0 12,2264 -0,226408
6 15 1,2 12 5 10,0 11,9868 -1,98675
7 5 1,6 6 6 15,0 13,5305 1,46952
8 12 1,4 10 7 5,0 6,72084 -1,72084
9 17 1,0 15 8 12,0 10,7108 1,28924
9 17,0 16,9353 0,0647015
10 20 1,1 21
10 20,0 19,6211 0,378854

Yˆ7  16.4064  8.24758  1.6   0.585101 6   6.72088

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción
Modelo de Regresión Múltiple: Ejemplo 10

i Y X1 X2
1 10 1,3 9
2 6 2,0 7
3 5 1,7 5
4 12 1,5 14
5 10 1,6 15
6 15 1,2 12
7 5 1,6 6
8 12 1,4 10
9 17 1,0 15
10 20 1,1 21

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción

Modelo de Regresión Múltiple: Ejemplo 11

 X  
n
 X Yi  Y
Cov  X , Y  i
r XY   i 1
  XY
 X  Y Y 
S X2 SY2 n 2 n 2
i X i
i 1 i 1

H0 :  XY  0
 = Nivel de significacón
H1 :  XY  0

 Si valor p < , rechazar H0

 Si valor p > , No rechazar H0

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción

Modelo de Regresión Múltiple: Ejemplo 12

 Si valor p < , rechazar H0

 Si valor p > , No rechazar H0

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción
 13

Supuestos del Modelo

1. El modelo de regresión es lineal 6. Cov(i , Xi) = 0
en los parámetros 7. Número de observaciones mayor
2. Las variables explicativas Xi son que número de parámetros (n > k)
no estocásticas 8. Los valores de Xi en la muestra no
3. E(i | X) = 0 deben ser los mismos: V(Xi) > 0.
4. Homocedasticidad: V(i | X) = 2 9. El modelo está correctamente
5. Independencia de errores ( No especificado (No hay sesgo o error
existe autocorrelación): de especificación)

Cov(i, j | Xi, Xj ) = 0 10. No hay multicolinealidad perfecta

Además:  i ~ NID  0,  2 

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción

 14

Distribución de los Errores Aleatorios i

f 
V   i X i    2

E  i Xi   0

V   i X i    2

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción

 15

Cálculo de los Coeficientes de Regresión

 Estimación de Mínimos Cuadrados Ordinarios (MCO)
n
S   ei2  Objetivo: Minimizar S
i 1
Yˆi
 
n 2
S Yi  Yˆi S
 0, i  1,..., k
i 1
 ˆi
 
n
S   Yi  ˆ0  ˆ1 X1i  ˆ2 X 2i  ...  ˆk X ki 2

i 1

 Bajo los supuestos 1 a 10 indicados antes, los estimadores de MCO son MELI
(Mejores Estimadores Lineales Insesgados), o ELIO (Estimadores Lineales
Insesgados óptimos).
 Es decir, los estimadores de MCO son estimadores lineales
insesgados de varianza mínima
Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción
Cálculo de los Coeficientes de Regresión 16

n  n 2 n  n 

 Yi  Y     
X1i  X1   X 2i  X 2    Yi  Y X 2i  X 2   
  X1i  X1  
X 2i  X 2 
ˆ1   i 1   i 1   i 1   i 1
2

 n 2 n 2 n 
  
 X1i  X1   X 2i  X 2    X1i  X1   
X 2i  X 2 
 i 1   i 1   i 1 

 Análogamente, se estima 2.

 Y para el intercepto, ˆ0  Y  ˆ1 X1  ˆ2 X 2

 En el ejemplo:
Yi  16.41  8.25 X 1i  0.59 X 2 i  ei

Yˆi  16.41  8.25 X1i  0.59 X 2 i

Yi  Yˆi  ei
Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción
 17

El Coeficiente de Determinación Múltiple

R r
2 2

Varianza Explicada de Y SCR
 
 Yˆi  Y  2

 R2
Y 
YYˆ 2
Varianza Total de Y SCT Y
i

 Ejemplo:

Fila Observado Ajustado SCT SCR

1 10,0 10,9504
SCE
2 6,0 4,00691
3 5,0 5,31098
4 12,0 12,2264 Y  11.2
5 10,0 11,9868
 10.9504  11.2  2   4.00691  11.2   ...
2
6 15,0 13,5305 R2  
 10  11.2    6  11.2   ...
2 2
7 5,0 6,72084
8 12,0 10,7108
9 17,0 16,9353 217.699
10 20,0 19,6211 R 2
 0.931931
233.6
Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción
 18

El Coeficiente de Determinación Múltiple

 R2 Ajustado
n 1
 
2
R  1 1 R 2

n  k 1
 Es un ajuste o modificación (penalización) del R2 por el número de
predictores.
 Puede ser negativo (¿En qué casos?).
 Sirve para comparar el poder explicativo de modelos de regresión con
diferentes números de variables explicativas.

 Ejemplo: En el ejemplo anterior

10  1
R  1   1  0.931931
2

R 2  0.931931 10  2  1
2
R  0.9124827

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción

 19

La Prueba F para la Regresión (ANOVA)

 Hipótesis: H0 : 1  2  ...  k  0
H1 : Por lo menos una  j  0

 
 Estadística de prueba:
Yˆi  Y 2

CMR Cuadrado Medio Regresión k

F   
CME Cuadrado Medio del Error  Yi  Yˆi  2

n  k 1

  Decisión: Rechazar H0 si:

F  F , k , n k 1
F , k , n k 1
Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción
La Prueba F para la Regresión 20

ANOVA
Fuente g. l. SC CM F Valor p
Regresión k SCR SCR/k CMR/CME
Residuo n–k–1 SCE SCE/(n – k – 1)
Total n–1 SCT

CME  ˆ2  2.27164   2 ˆ   CME  1.5072

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción
La Prueba F para la Regresión 21

ANOVA

H0 : 1  2  ...  k  0
H1 : Por lo menos una  j  0
 Cálculo estadística de prueba F:

CMR 108.8495
F   47.92
CME 2.2716

 Como F = 47.92 > F0.05, 2, 7 = 4.74, se rechaza H0

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción
La Prueba F para la Regresión: ANOVA: Cálculos 22

 Del cálculo de R2 se tiene:

SCR  217.699 
  SCE  233.6  217.699  15.901
SCT  233.6 
 Dividiendo por los correspondientes grados de libertad (gl):
SCR 217.699 SCE 15.901
CMR    108.8495 CME    2.2716
k 2 n  k 1 7
 Cálculo estadística de prueba F:
CMR 108.8495
F   47.92
CME 2.2716
 Desviación estándar de la estimación o de la regresión:
CME  ˆ2  2.2716  ˆ  CME  1.5072

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción

Tabla F :   0.01 Tabla F :   0.05 23

 = 0.05

Hernaldo Reinoso, Departamento de Ingeniería Industrial, Universidad de Concepción