Tema 3

Econometria
Tema 3. Modelo de regresin mltiple: estimacin
Roco lvarez Aranda
Universidad Alberto Hurtado

Facultad de Economa y Negocios
2015
Econometra
Tema 3.Modelo de regresin mltiple: estimacin
3.1 Motivacin y definicin del modelo de regresin mltiple
3.2 Estimador MCO: funcionamiento e interpretacin. Propiedades
estadsticas
3.3 Eficiencia del estimador MCO: el teorema de Gauss-Markov.
3.4 Bondad de ajuste y seleccin de los regresores
3.5 Forma funcional: funciones cuadrticas y modelos con
interacciones
3.6 Prediccin y anlisis de residuales
3.7 Propiedades asintticas del estimador MCO
Econometria , Tema 3. Modelo de regresin mltiple: estimacin

I
Ya comentamos que el modelo de regresin simple rara vez es utilizado

en la prctica.
La razn es que al considerar slo una variable regresora, la estimacin

del coeficiente de esa variable regresora puedo no ser correcta.
La estimacin obtenida puede recoger cambios en la variable regresada

no debidos slo a cambios de la variable regresora sino que a otros
factores que no se han tenido en cuenta en la estimacin.
Ejemplo: considera el modelo de regresin simple en el que el volumen

de ventas (miles de unidades) de un producto viene explicado
nicamente por el precio de venta (dlares):
ventasi = 0 + 1 pventai + ui
A partir de una muestra con los datos de las ventas y el precio en los
ltimos 10 aos se obtiene la siguiente estimacin:
\ i = 4.2 1.5pventai
ventas
3

I
Segn estos resultados, si el precio de venta aumentase en un dlar se

espera que las ventas disminuyan en 1.500 unidades.
Es fiable esta estimacin?Pueden haber otros factores que hayan

influido en el cambio del volumen de ventas distinto del precio de venta?
Cambios en el precio de la competencia o en el poder adquisitivo de los

compradores pueden haber tenido lugar en los ltimos 10 aos que han
provocado un cambio en el volumen de ventas, y esto no lo estamos
teniendo en cuenta en el modelo de regresin simple.
Por ello, aunque nicamente estemos interesados en conocer el efecto

que cambios en una variable produce en otra, debemos considerar
todas las variables que creamos que pueden tambin afectar a esa
variable.

I
El modelo de regresin mltiple es el modelo de regresin lineal que

incluye ms de una variable regresora:
yi = 0 + 1 x1i + 2 x2i + + k xki + ui , para i = 1, . . . , N
El valor de k determina el nmero de variables regresoras incluidas en el
modelo.
Interpretacin de los coeficientes del modelo de regresin mltiple:
I
0 : es la constante o intercepto. No tiene interpretacin econmica, es

simplemente el valor medio de la variable explicada cuando las variables
explicativas toman el valor cero (en algunos casos no tiene sentido el valor
estimado de 0 ). Su cometido es satisfacer la igualdad:
E(y) = 0 + 1 E(x1 ) + 2 E(x2 ) + + k E(xk )
1 mide el cambio esperado en la variable y con respecto a un cambio en la

variable x1 , manteniendo fijas el resto de variables regresoras x2 , x3 , . . . , xk .
2 mide el cambio esperado en la variable y con respecto a un cambio en la
variable x2 , manteniendo fijas el resto de variables regresoras x1 , x3 , . . . , xk .
..
.
5

I
k mide el cambio esperado en la variable y con respecto a un cambio

en la variable xk , manteniendo fijas el resto de variables regresoras
x1 , x2 , . . . , xk1 .
Ejemplo: El siguiente modelo de regresin mltiple explica el nivel

educativo de una persona a partir de los niveles educativos de sus
padres:
edhijoi = 0 + 1 edmadrei + 2 edpadrei + ui para i = 1, . . . , N
En este ejemplo se incluyen dos variables explicativas en el modelo
El coeficiente 1 mide el efecto que un incremente en los aos de
(k = 2).
educacin de la madre tiene en los aos de educacin del hijo, sin que
cambie los aos de educacin del padre.
I
El coeficiente 2 mide el efecto que un incremente en los aos de

educacin del padre tiene en los aos de educacin del hijo, sin cambiar
los aos de educacin de la madre.

I
El Modelo de regresin mltiple se suele expresar en notacin matricial

para simplificar, por ejemplo, la expresin del estimador MCO.
Notacin matricial del modelo de regresin mltiple para una muestra de

N observaciones:
I
Vector de observaciones de la variable explicada Y:
y1
y2
Y= .
.
.
yN
Matriz de observaciones de las variables explicativas X:
1 x11 x21 xk1
1 x12 x22 xk2
X= .
.
.
.
..
.
..
..
..
.
.
1 x1N x2N xkN

I
Vector de coeficientes :
Vector de errores u:
= 2
.
.
.
k
u=
u1
u2
..
.
uN
El modelo de regresin mltiple en forma matricial se expresa:

Y = X + u

I
Ejemplo: Se quiere explicar el nivel educativo (aos de educacin) de

una persona utilizando los niveles educativos de sus padres:
edhijoi = 0 + 1 edmadrei + 2 edpadrei + ui
Se dispone de una muestra de 3 familias:

familia
edmadrei
1
2
3
edpadrei
edhijoi
10
10
Expresin matricial de los datos
8
1
Y=
X
=
8
1
7
1
10
10
=
1
2

I
Supuestos bsicos del modelo de regresin mltiple:
S1: Supuesto de linealidad. Nos referimos a linealidad con respecto a los

coeficientes.
I
Modelos de regresin mltiple lineales:

2
yi = 0 + 1 x1i
+ 2 ex2i + ui
ln(yi ) = 0 + 1 x1i x2i + 2 x3i + ui

I
Modelos de regresin mltiple no lineales:

yi = 0 + 1 (2 x1i + 3 x2i ) + ui
yi = 0 + x1i1 + 2 x2i + ui
S2: La muestra tomada de las variables (x1i , . . . , xki , yi ) para i = 1, . . . , N,

debe ser una muestra aleatoria que sigue el modelo de regresin lineal
definido en la ecuacin (1).
10

S3: La matriz de observaciones de las variables explicativas X es de rango
completo:
rango(X) = k + 1
Observa que k + 1 es el nmero de columnas de la matriz X , y tambin
es el nmero de coeficientes del modelo).
I
Que la matriz X sea de rango completo requiere que no existan

relaciones lineales exactas entre las variables explicativas, hecho que
se denomina como la no existencia de una colinealidad exacta entre las
variables explicativas.
S4: E[ui |x1i , . . . , xki ] = 0, para i = 1, . . . , N. Esto es equivalente a

E[Y|X] = X.
11

S5: Homocedasticidad: La varianza del error es constante para todas las
observaciones de la muestra. Es decir,
Var(ui |X) = 2 , para i = 1 . . . , N.
Y ausencia de correlacin serial:
Cov(ui , uj |X) = E[ui uj |X] = 0
Estos dos supuestos implican que
Var(u|X) = 2 IN
donde IN es la matriz identidad de orden N.
12
3.2 Estimador MCO: funcionamiento e interpretacin

I
El estimador MCO para los coeficientes del modelo de regresin

mltiple funciona de forma equivalente a la que estudiamos en el
modelo de regresin simple.
El estimador MCO nos proporciona una estimacin (valor aproximado)

de los coeficientes de las variables explicativas del modelo.
El estimador MCO es una frmula que aplicada a los valores de la

muestra (x1i , x2i , . . . , xki , yi ) para i = 1, . . . , N nos proporcionan las
estimaciones de los coeficientes en .
La derivacin del estimador MCO es igual que para el modelo de

regresin lineal: el estimador MCO busca los coeficientes b0 , b1 , . . . , bk
que minimizan la suma de las distancias al cuadrado de los valores
observados yi a la recta de regresin b0 + b1 x1 + + bk xk :
min
b0 ,b1 ,...,bk
I
N
X
(yi (b0 + b1 x1i + + bk xki ))2
i=1
Los valores de b0 , b1 , . . . , bk son las estimaciones de 0 , 1 , . . . , k .

13

I
En forma de matrices, la frmula del estimador MCO es

= (X 0 X)1 X 0 Y
Ejemplo: Se quiere explicar el nivel educativo (aos de educacin) de

una persona utilizando los niveles educativos de sus padres:
edhijoi = 0 + 1 edmadrei + 2 edpadrei + ui
Se dispone de una muestra de 3 familias:

familia
edmadrei
edpadrei
edhijoi
10
10
3
8
Expresin matricial de los datos
8
1
X= 1
Y=
8
7
1
10
10
=
1
2
14

I
La frmula del estimador MCO en forma matricial es

b = (X 0 X)1 X 0 Y
En el ejemplo:
10
23
26
X0X =
10
8
8
1
1
8
10
= 23
26
8
189
194
228
341
(X 0 X)1 =
12.5
28.25
10
12.5
28.25
0.5
2.375
194
X0Y =
1
10
8 = 176
8
7
200
23
10
De donde obtenemos la estimacin MCO de los coeficientes:
341
12.5 28.25
23
7
176 = 0.5
b = (X 0 X)1 X 0 Y =
0.5
1
12.5

28.25
1
2.375
200
1.25
15

I
La estimacin para esta muestra es:

\ i = 7 + 0.5edmadrei + 1.25edpadrei
edhijo
Interpretacin de los resultados:

I
Si la madre hubiera estudiado un ao ms se espera que el hijo hubiera

estudiado 0.5 aos ms, manteniendo los aos de educacin del padre
fijos.
Si el padre hubiera estudiado un ao ms se espera que el hijo hubiera

estudiado 1.25 aos ms, manteniendo los aos de educacin de la madre
fijos.
Hay que matizar que este resultado est basado en la muestra tomada,
por eso, cuanto mayor sea la muestra y de manera ms aleatoria
posible sea tomada ms generalizable sern los resultados obtenidos.
16

I
La definicin de valores ajustados y residuos es equivalente:
Valores ajustados yi :
yi = 0 + 1 x1i + 2 x2i + + k xki , para i = 1, . . . , N
Residuos
ui :

ui = yi yi = yi 0 + 1 x1i + 2 x2i + + k xki , para i = 1, . . . , N
Se siguen cumpliendo las propiedades que enumeramos para el modelo

de regresin simple.
En particular, se cumple que

N
X
(yi y)2 =
PN
i=1
(yi y)2 +
PN
i=1
u2i
i=1
SCT =
SCE + SCR
17
3.2 Estimador MCO: propiedades estadsticas

A partir de los supuestos bsicos del modelo de regresin mltiple se
derivan las propiedades estadsticas del estimador MCO :

1. es un estimador lineal con respecto a la variable dependiente:
= X 0 X
1
X 0 Y = CY donde C = X 0 X
1
X0.
2. es un estimador insesgado de (supuestos 1,2,3 y 4):

E |X
=
= 2 (X 0 X)1 (utilizando los supuestos 1,2,3,4 y 5):
3. Var()
18

I
Se puede demostrar que

Var(bj ) =
2
para j = 1, . . . , k
(n 1)Sx2j (1 R2j )
donde
I
2 es la varianza del error
Sx2j es la varianza muestral de la variable xj
R2j es el coeficiente de determinacin de la regresin de la variable xj sobre

el resto de las variables explicativas.
19

I
De esta expresin obtenemos que la varianza de bj es

I
mayor cuanto mayor sea la varianza de la parte no observable u.
menor cuanto mayor es el tamao de la muestra n.
menor cuanto mayor es la varianza de la variable explicativa xj
mayor cuanto mayor es el coeficiente de determinacin R2j , es decir, cuanto

ms relacionada est la variable xj con el resto de variables explicativas. El
caso ideal sera cuando R2j = 0, en cuyo caso la variable xj no est
relacionada con el resto de variables explicativas.
20

Estimacin de la varianza del error:
I
Observa que el valor de 2 no es conocido (es la varianza del error u y

ste no se observa nunca).
Por ello, se tiene que calcular una estimacin de 2 a partir de la

muestra, y despus utilizar ese valor estimado para calcular una
estimacin de la varianza de .
De la muestra obtenemos una estimacin de u dada por los residuos

u.
La estimacin de 2 va a ser la varianza muestral de los residuos

calculados en la estimacin MCO:
2 =
N
X
1
u2i
N k 1 i=1
21

2:
Estimacin de la varianza de a partir de
1
\
=
)
2 X0X
=
Var(
1
Nk1
N
X
u2i
X0X
1
i=1
O para cada estimador
\
Var(bj ) =
b2
para j = 1, . . . , k
(n 1)Sx2j (1 R2j )
22

Se define el error estndar de cada parmetro estimado s del siguiente
modo:
SE(j ) =
q
q
\
j ) =
2 (X 0 X)1
Var(
jj para j = 0, 1, . . . , k
Donde (X 0 X)1
jj es el elemento jsimo de la diagonal principal de la matriz
(X 0 X)1
O tambin
SE(j ) =
s
q
\
Var(j ) =
2
para j = 1, . . . , k
(n 1)Sx2j (1 R2j )
23
3.3 Eficiencia del estimador MCO: el teorema de Gauss-Markov

I
A continuacin vamos a ver una propiedad muy importante del

estimador MCO: la eficiencia del estimador MCO.
Esta propiedad viene dada por el teorema de Gauss-Markov:
Bajo los 5 supuestos bsicos del modelo de regresin lineal, el estimador MCO de es el estimador ms eficiente (de menor varianza) de
entre todos los estimadores lineales e insesgados de .
24
3.3 Eficiencia del estimador MCO: el teorema de Gauss-Markov

I
El teorema de Gauss Markov nos permite determinar al estimador MCO

de como el mejor estimador de entre todos los estimadores lineales e
insesgados de .
A los 5 supuestos bsicos del MRL tambin se les denomina supuestos

de Gauss-Markov.
Importante: este teorema slo se aplica a estimadores lineales e

insesgados. Si un estimador no es lineal o no es insesgado no sabemos
si su varianza ser mayor o menor que la varianza del estimador MCO.
25

I
Se define el coeficiente de determinacin R2 de igual forma que en el

modelo de regresin simple:
SCR
SCE
=1
SCT
SCT
La interpretacin del coeficiente de determinacin es la misma: es una
R2 =
medida del porcentaje de la variacin de los datos observados de la

variable dependiente que es explicada conjuntamente por la variacin
de las variables explicativas.
I
Sin embargo, el coeficiente de determinacin tiene un problema: a

medida que aumenta el nmero de variables explicativas R2 crece.
Es decir, si tenemos dos modelos:
Modelo 1: yi = 0 + 1 x1i + 2 x2i + ui

Modelo 2: yi = 0 + 1 x1i + 2 x2i + 3 x3i + ui
I
Entonces el coeficiente R2 del Modelo 2 va a ser mayor que el del

Modelo 1 (incluso si la variable x3 no proporciona informacin alguna
sobre la variable y).
26

I
Por ello, cuando se quieren comparar la bondad de ajuste de distintos

modelos de regresin mltiple se utiliza el coeficiente de determinacin
2
ajustado R en lugar del coeficiente de determinacin R2 .

2
R =1
(N 1)SCR
(N k 1)SCT
Donde k es el nmero de variables explicativas incluidas en el modelo.
El coeficiente de determinacin ajustado R representa lo mismo que el
coeficiente de determinacin R2 , con la diferencia de que el coeficiente

2
R tiene en cuenta el nmero de variables explicativas, eliminando el

problema arriba mencionado del coeficiente R2 .
I
Observa que el coeficiente R puede ser negativo (no toma valores entre
0 y 1 como R2 ).
27

Ejemplo:
I
Considera el siguiente modelo donde el gasto en inversin (I+D) es

explicado por las ventas en el modelo (1) y por las ventas y los
beneficios en el modelo 2:
Modelo 1:
log(rd) = 0 + 1 log(sales) + ui
Modelo 2:
log(rd) = 0 + 1 log(sales) + 2 profits + vi
Estimaciones de ambos modelos con la misma muestra:
28

. reg lrd lsales
Source
SS
df
MS
Model
Residual
84.8395785
8.40768588
1
30
84.8395785
.280256196
Total
93.2472644
31
3.00797627
lrd
Coef.
lsales
_cons
1.075731
-4.104722
Std. Err.
.0618275
.4527678
t
17.40
-9.07
Number of obs
F( 1,
30)
Prob > F
R-squared
Adj R-squared
Root MSE
P>|t|
0.000
0.000
=
=
=
=
=
=
32
302.72
0.0000
0.9098
0.9068
.52939
[95% Conf. Interval]

.9494619
-5.029398
1.201999
-3.180047
. reg lrd lsales profits

Source
SS
df
MS
Model
Residual
85.0658823
8.18138207
2
29
42.5329412
.282116623
Total
93.2472644
31
3.00797627
lrd
Coef.
lsales
profits
_cons
1.029089
.0001343
-3.820281
Std. Err.
.0809936
.0001499
.5542746
t
12.71
0.90
-6.89
Number of obs
F( 2,
29)
Prob > F
R-squared
Adj R-squared
Root MSE
P>|t|
0.000
0.378
0.000
=
=
=
=
=
=
32
150.76
0.0000
0.9123
0.9062
.53115

.8634385
-.0001723
-4.9539
1.19474
.0004408
-2.686662
29

RELACIN ENTRE EL MODELO DE REGRESIN SIMPLE Y EL MODELO
DE REGRESIN MLTIPLE
I
Considera los siguientes modelos para analizar la relacin entre el nivel

de educacin de una persona y su salario
Modelo 1: log(salarioi ) = 0 + 1 educi + vi

Modelo 2: log(salarioi ) = 0 + 1 educi + 2 experi + ui
I
A partir de la misma muestra (Wage1) se estiman los dos modelos:

\ i ) = 0.584 + 0.083educi
log(salario
(0.097)
N = 526,
(0.008)
R2 = 0.1858
\ i ) = 0.217 + 0.098educi + 0.010experi

log(salario
(0.109)
(0.002)
N = 526,
I
(0.008)
R2 = 0.2493
Por tanto
c1 = 0.083 b1 = 0.098,
b2 = 0.010
30

I
En el primer modelo el coeficiente de educ est capturando el efecto de

la experiencia debido a la que la educacin y la experiencia estn
relacionadas: cuanto mayor nivel de educacin tiene una persona se
espera que tenga menos aos de experiencia Cov(educ, exper) < 0.
Se puede demostrar que la relacin entre el coeficiente 1 y el

coeficiente 1 es la siguiente:
1 = 1 + 2
Cov(educ, exper)
Var(educ)
Por tanto, cuando estimamos el modelo 1 podemos estar cometiendo un

sesgo en la estimacin del efecto de la educacin en el salario.
En este caso, dado que 2 > 0( el efecto de la experiencia en el salario

es positivo) y Cov(educ, exper) < 0) se tiene que 1 < 1 . Es decir, en el
modelo 1 estamos subestimando el efecto de la educacin en el salario
(sesgo negativo).
31

Errores de especificacin: Omisin de variables relevantes:
I
En general, consideramos los modelos
Modelo 1: yi = 0 + 1 x1i + vi (modelo incorrecto)

Modelo 2: yi = 0 + 1 x1i + 2 x2i + ui (modelo correcto, 2 6= 0)
I
Observa que se ha denotado de forma diferente el trmino error. Por

qu? Si la variable x2 es relevante y no la estamos incluyendo en el
modelo entonces estar incluida en el trmino error:
v = 2 x2 + u
Qu problema tenemos si estimamos el Modelo 1 (el incorrecto) en

lugar del modelo 2 (el correcto):
32

I
El estimador de 1 en el Modelo 1, e1 , es sesgado:

Sx x
E e1 = 1 + 2 12 2
Sx1
donde Sx1 x2 es la covarianza muestral entre x1 y x2 y Sx21 es la varianza
muestral de x1 .
El signo del sesgo en cada caso es

Cov(x1 , x2 ) > 0
Cov(x1 , x2 ) < 0
2 > 0
Sesgo positivo
Sesgo negativo
2 < 0
Sesgo negativo
Sesgo positivo
33

I
La varianza del estimador de 1 en el Modelo 1, es menor que la

varianza del estimador de 1 en el Modelo 2:
Var(e1 ) Var(b1 )
(1)
Por lo tanto, el estimador del modelo con menos variables es ms

eficiente.
Sin embargo, aunque e1 sea ms eficiente no hay que olvidar que

puede ser insesgado.
34

I
Consideremos el MRL del salario en funcin de la experiencia, la

antigedad en el empleo y la educacin de los individuos:
log(salarioi ) = 0 + 1 experi + 2 antigi + 3 educi + ui
Estimamos el modelo usando una muestra de 935 individuos de EEUU:

\ i)
log(salario
N
5.497 + 0.015experi + 0.013antigi + 0.075educi

(0.111)
935
(0.003)
(0.003)
(0.007)
R = 0.155
Ahora considera el modelo en el que omitimos la variable experiencia

que es una variable relevante para la determinacin del salario, y lo
estimamos por MCO:
^ i)
log(salario
N
5.836 + 0.016antigi + 0.061educi

(0.082)
935
(0.003)
(0.006)
R = 0.136
35

I
Comparemos las estimaciones de 3 en los dos modelos:

b3 = 0.075
e3 = 0.061
En este caso todo parece indicar que el estimador e3 tiene un sesgo

negativo, que es lo que esperaramos:
I
El coeficiente 1 aunque desconocemos se verdadero valor, intuimos que va

a ser positivo: a mayor aos de experiencia mayor salario esperado.
En cuanto a la correlacin entre las variables educacin y experiencia, sta
va a ser negativa, debido a que un mayor nivel de educacin implica un
retardo en la incorporacin al mercado laboral del individuo.
Comparemos ahora los errores estndar de las estimaciones de 3 :

SE(b3 ) = 0.007
SE(e3 ) = 0.006
El error estndar de e3 es ligeramente inferior al error estndar de b3 .

36

Errores de especificacin: Inclusin de variables irrelevantes:
I
Debido al desconocimiento del verdadero modelo a utilizar para una

estimacin, podemos cometer el error de incluir como variables
regresoras variables que no tienen ningn efecto en la variable
dependiente (variables irrelevantes).
Por ejemplo, consideremos el modelo

y = 0 + 1 x1 + 2 x2 + 3 x3 + u
(2)
que satisface los supuestos S1 a S4 y supongamos que la variable x3 es

irrelevante, es decir, que 3 = 0.
I
Puesto que desconocemos el valor de 3 en la poblacin y por tanto no

sabemos que 3 = 0, estimamos el modelo incluyendo la variable x3 .
37

I
Al estimar el modelo (2) estamos cometiendo un error de especificacin,

ya que estamos incluyendo una variable irrelevante, es decir, el
verdadero modelo sera
y = 0 + 1 x1 + 2 x2 + u
(3)
Cules son las consecuencias sobre el estimador MCO el incluir una

variable irrelevante en el modelo?
38

I
Incluir una variable irrelevante no tiene ninguna consecuencia sobre la

insesgadez de los estimadores MCO, ya que, si se verifican los
supuestos S1 a S4, los estimadores MCO son insesgados cualquiera
que sea el valor de los parmetros, lo que incluye el caso en el que uno
de los parmetros es cero.
El estimador MCO de sigue siendo insesgado. Estamos incluyendo en

el modelo una variable cuyo coeficiente es cero, con lo que lo nico que
ocurrir es que
E(3 ) = 3 = 0
39

I
En cuanto a la varianza del estimador MCO, la inclusin de variables

irrelevantes tiene un efecto negativo en la varianza del estimador, ya
que si 3 = 0, la varianza del estimador del modelo (2) es mayor que la
varianza del estimador del modelo (3).
Por lo tanto, la inclusin de variables irrelevantes en el modelo da lugar

a estimadores menos eficientes.
Hemos visto que bajo los supuestos S1 a S5:

Var bj =
2
(n 1)Sx2j (1 R2j )
(4)
donde
I
Sx2j es la varianza muestral de la variable xj y
R2j es el R-cuadrado de la regresin de xj sobre las restantes variables

explicativas del modelo (incluyendo un trmino constante).
40

I
Sea b1 el estimador MCO de 1 del modelo (3) y sea e1 el estimador

MCO de 1 del modelo (2).
Las varianzas de estos estimadores son:

2
2
e1 =
,
Var
Var b1 =
(n 1)Sx21 (1 R22 )
(n 1)Sx21 (1 R223 )
donde R22 es el R-cuadrado de la regresin de x1 sobre x2 y R223 es el
R-cuadrado de la regresin de x1 sobre x2 y x3 .
Por tanto, puesto que R22 R223 (este ltimo contiene ms variables
regresoras) tenemos que

Var b1 Var e1 .
(5)
Anlogamente, si b2 el estimador MCO de 2 del modelo (3) y e2 el

estimador MCO de 2 del modelo (2), tenemos que

Var b2 Var e2 .
(6)
41
3.5 Formas Funcionales

I
Considera el modelo de regresin mltiple

ventasi = 0 +1 precioi +2 preciocompi +4 publicidadi +ui , para i = 1, . . . , N
Observa que
ventasi
= 1
precioi
El efecto marginal del precio en las ventas es constante e igual a 1 .
Esto quiere decir que si el precio aumenta en una unidad entonces las
ventas cambian en 1 unidades. Independientemente de cul es el
precio. Si el precio era 1 dlar y aumenta a 2 dlares el efecto en las
ventas es 1 . Si el precio era 100 dlares y aumenta a 101 dlares el
efecto en las ventas es 1 .
42

I
Ocurre esto en la realidad? Podemos pensar que el efecto de pasar el

precio de 1 dlar a 2 dlares no es el mismo que de 100 a 101. Cmo
podemos incluir esto en nuestro modelo?
Simplemente incluimos la variable precio al cuadrado:

ventasi = 0 + 1 precioi + 2 precio2i + 3 preciocompi + 4 publicidadi + ui ,
Calculemos ahora el efecto marginal del precio en las ventas:

ventasi
= 1 + 2 precioi
precioi
Ahora el efecto de un incremento en el precio es distinto segn el nivel

de precios.
Si el precio es 1 dlar y pasa a 2 dlares el efecto en las ventas es

1 + 2 1 = 1 + 2 .
Si el precio es 100 dlar y pasa a 101 dlares el efecto en las ventas es

1 + 2 100.
43

Ejemplo:
I
Considera el siguiente modelo donde el gasto en inversin (I+D) es

explicado por las ventas en el modelo (1) y por las ventas y su cuadrado
en el modelo 2:
Modelo 1:
rd = 0 + 1 sales + ui
Modelo 2:
rd = 0 + 1 sales + 2 sales2 + vi
Estimaciones de ambos modelos con la misma muestra:
44

. reg rd sales
Source
SS
df
MS
Model
Residual
2945977.47
321063.086
1
30
2945977.47
10702.1029
Total
3267040.55
31
105388.405
rd
Coef.
sales
_cons
.0406263
-.5772167
Std. Err.
.0024487
20.51549
t
16.59
-0.03
Number of obs
F( 1,
30)
Prob > F
R-squared
Adj R-squared
Root MSE
P>|t|
0.000
0.978
=
=
=
=
=
=
32
275.27
0.0000
0.9017
0.8985
103.45

.0356255
-42.47543
.0456271
41.321
. reg rd sales salessq

Source
SS
df
MS
Model
Residual
3044362.18
222678.376
2
29
1522181.09
7678.5647
Total
3267040.55
31
105388.405
rd
Coef.
sales
salessq
_cons
.0639116
-6.54e-07
-43.09968
Std. Err.
.0068278
1.83e-07
21.04989
t
9.36
-3.58
-2.05
Number of obs
F( 2,
29)
Prob > F
R-squared
Adj R-squared
Root MSE
P>|t|
0.000
0.001
0.050
=
=
=
=
=
=
32
198.24
0.0000
0.9318
0.9271
87.627

.0499471
-1.03e-06
-86.15153
.077876
-2.80e-07
-.0478219
45

I
En el modelo 1, se estima que por cada milln de dlares de ventas

adicional la inversin en I+D aumenta en 0.04 millnes de dlares (el
efecto es el mismo para todo nivel de ventas de las empresas).
En el modelo 2, se estima que por cada milln de dlares de ventas

adicional la inversin en I+D aumenta en 0.06 2 0.00000065 sales
millones de dlares (el efecto es menor cuanto mayor es el nivel de
ventas de las empresas).
I
Si las ventas de una empresa son 100 millones de dlares, un milln ms

de ventas aumenta la inversin en I+D en
0.06 2 0.00000065 100 = 0.05987 millones de dlares
Si las ventas de una empresa son 500 millones de dlares, un milln ms

de ventas aumenta la inversin en I+D en
0.06 2 0.00000065 500 = 0.05935 millones de dlares
46

I
Tambin podemos considerar el caso en el que el efecto de una variable

regresora depende de otra variable regresora.
Por ejemplo, en el modelo de las ventas

ventasi = 0 + 1 precioi + 2 preciocompi + 3 publicidadi + ui ,
El efecto marginal del precio en las ventas es constante e igual a 1 .
Cmo incluir en el modelo que el efecto del precio en las ventas

depende del gasto en publicidad? En el sentido de que si el gasto en
publicidad es algo el efecto de un cambio en el precio en las ventas
puede ser menor que si no se gastara en publicidad.
En este caso incluimos una variable que sea la interaccin entre precio y
publicidad
47

I
En el siguiente modelo el efecto del precio en las ventas depende del

gasto en publicidad:
ventasi = 0 +1 precioi +2 preciocompi +3 publicidadi +4 precioi publicidadi +ui ,
El efecto marginal del precio en las ventas es

ventasi
= 1 + 4 publicidadi
precioi
Si el gasto en publicidad es 1 mill de $ el efecto de un cambio del

precio en las ventas es
1 + 4 1
Si el gasto en publicidad es 10 millones de $ el efecto de un cambio del

precio en las ventas es
1 + 4 10
48

I
Considera el modelo de regresin lineal:

yi = 0 + 1 x1i + 2 x2i + + k xki + ui
(7)
Supongamos que se cumplen todos los supuestos bsicos S1 a S5 y el

supuesto de normalidad S6.
Estamos interesados en estimar la media de la variable dependiente

para ciertos valores particulares de las variables explicativas
X2 = x2s , ..., Xk = xks (estos valores de las variables explicativas no tienen
por qu coincidir con los valores observados en la muestra).
E(ys )
= 0 + 1 x1 + 2 x2s + + k xks + E(us )

= 0 + 1 x1 + 2 x2s + + k xks
(8)
Utilizando el estimador MCO obtenemos la estimacin de la media de la

variable dependiente:
[
bs = b0 + b1 x1 + b2 x2s + + bk xks
E(y
s) = y
(9)
49

I
Como el estimador MCO es insesgado, el valor esperado para el

estimador de la media es:
E(b
ys ) = 0 + 1 x1 + 2 x2s + + k xks = E(ys )
[
Y por tanto E(y
s ) es un estimador insesgado de E(ys ).
Ejemplo: Considera el siguiente modelo para el salario:

salarioi = 0 + 1 experi + ui
Y queremos conocer el salario medio para las personas que tienen 10

aos de experiencia:
E(salarios ) = 0 + 1 10
50

I
A partir de una muestra de 526 individuos se obtiene la siguiente

estimacin:
\ i = 5.214 + 0.0269experi
salario
(0.3085)
(0.0111)
El valor estimado del salario medio para individuos con 10 aos de

experiencia es
\ s) =
E(salario
=
b0 + b1 expers = 5.214 + 0.0269 10 =

5.483 dlares por hora trabajada.
51

I
En muchas ocasiones estamos interesados en tener una medida de la

[
incertidumbre de E(y
s ) y para eso calcularemos un intervalo de
confianza para E(ys ).
Puesto que E(ys ) es una combinacin lineal de 1 , 2 , . . . , k , para

calcular un intervalo de confianza para E(ys ) necesitamos calcular el
error estndar de ybs (que es una combinacin lineal de los estimadores
MCO de ).
En nuestro ejemplo:
\ s )) = Var(b0 +b1 10) = Var(b0 )+102 Var(b1 )+210Cov(b0 , b1 )
Var(E(salario
\
\ s ) es
Si Cov(b0 , b1 ) = 0.0004 entonces la varianza estimada de E(salario
\
\ s )) =
Var(E(salario
=
\
\
\
Var(b0 ) + 100 Var(b1 ) + 20 Cov(b0 , b1 ) =
0.30852 + 100 0.01112 20 0.0004 = 0.0995
Por tanto, el error estndar de ybs es
SE(b
ys ) = 0.0995 = 0.3154
52

I
El intervalo de confianza para E(ys ) es

ybs tNk1,/2 SE(b
ys ), ybs + tNk1,/2 SE(b
ys )
En nuestro ejemplo, el intervalo de confianza al 95% para el salario

medio de los individuos que tienen 10 aos de experiencia es
(tNk1,/2 = t524,0.025 = 1.96)
[5.483 1.96 0.3154, 5.483 + 1.96 0.3154] = [4.8648, 6.1012]
53

I
Acabamos de ver cmo calcular un intervalo de confianza para la media

de la variable dependiente cuando las variables explicativas toman
unos valores concretos.
Ahora queremos calcular un intervalo de confianza para un individuo

cualquiera de ese subconjunto.
La diferencia est en que en el caso de un individuo particular hay otra

fuente de variacin que viene dada por el error no observable, u, es
decir por todos los factores no observables que afectan a la variable
dependiente.
Cuando calculbamos el error estndar del valor medio de la variable

dependiente esta fuente de variacin no se tena en cuenta ya que
E(u) = 0.
54

I
Vamos a calcular ahora un intervalo de prediccin para un individuo con

caractersticas X2 = x2s , . . . , , Xk = xks .
Utilizando el modelo poblacional

ys = 0 + 1 x1s + + k xks + us
Dado que el error aleatorio, us , tiene media cero, la mejor prediccin

para ys es
ybs = b0 + b1 x1s + + bk xks
(10)
Ntese que ybs , la prediccin para ys , coincide con la estimacin para la

[
media de la variable dependiente,E(y
s ), no obstante, en cada caso se
persigue un objetivo distinto.
En un caso buscamos predecir una variable aleatoria y en otro

buscamos estimar una media desconocida pero constante.
Se define el error de prediccin como

ubs = ys ybs
(11)
55

I
Como E(b
ys ) = E(ys ):
E(ubs ) = E(ys ybs ) = E(ys ) E(b
ys ) = 0
Por tanto, el error de prediccin tiene media cero.
Vamos a calcular ahora la varianza del error de prediccin:

Var(ubs ) = Var(ys ) + Var(b
ys ) 2Cov(ys , ybs )
(12)
(13)
ya que Var(ys ) = Var(us ) = y Cov(ys , ybs ) = 0 ya que ybs es funcin de

los errores asociados a las observaciones de la muestra e ys es funcin
del error us y los errores son independientes.
El error estndar del error de prediccin es es por tanto

q
\
b2 + Var(b
ys
SE(ubs ) =
(14)
y un intervalo de prediccin para un individuo para el que

X2 = x2s , . . . , Xk = xks es

ybs tNk1,/2 SE(ubs ), ybs + tNk1,/2 SE(ubs )
(15)
56

I
Notese que SE(ubs ) > SE(b

ys ), y por tanto, el intervalo de prediccin para
un individuo cualquiera con ciertos valores para las variables
explicativas tiene mayor amplitud que el intervalo de confianza para la
media de todos los individuos con esos valores de las variables
explicativas.
Este hecho refleja que es ms difcil predecir para un individuo que

estimar la media, ya que el individuo tiene una fuente de heterogeneidad
adicional a la media, que viene dada por el trmino de error, y que refleja
todos los factores inobservables que influyen en la variable dependiente.
57

I
Siguiendo con el ejemplo anterior y sabiendo que

b2 = 16.85 podemos
calcular el intervalo de prediccin para el salario de un individuo con 10
aos de experiencia:
q
\
SE(ubs ) =
b2 + Var(b
ys ) = 16.85 + 0.0995 = 4.1170 > 0.3154 = SE(b
ys )
y el intervalo de prediccin al 95% es

[5.483 1.96 4.1170, 5.483 + 1.96 4.1170] = [2.5863, 13.5523]
Ntese que el intervalo de prediccin que acabamos de calcular tiene

una amplitud muy grande (incluso incluye valores negativos que no
tienen sentido para el salario).
Este resultado ilustra lo que suele ocurrir en la prctica cuando

trabajamos con datos de seccin cruzada, ya que la varianza del
trmino de error suele ser grande debido a que suele haber muchos
factores no observables que influyen en la variable dependiente.
58

I
En general cuando trabajamos con datos de seccin cruzada estaremos

interesados en un intervalo de confianza para el individuo medio con
determinadas caractersticas y no en un intervalo de prediccin para un
individuo cualquiera con dichas caractersticas.
Por el contrario, cuando trabajamos con datos de series temporales el

objetivo ser calcular el intervalo de prediccin para la variable
dependiente para el siguiente periodo N + 1 suponiendo que en dicho
periodo las variables explicativas tomarn unos determinados valores.
59

I
Hasta ahora hemos estudiado lo que se denominan las propiedades en

muestras finitas de los estimadores MCO del modelo de regresin
lineal.
Por ejemplo, la insesgadez del estimador MCO bajo los supuestos S1 a

S4 es una propiedad de muestra finita porque se cumple para cada
tamao muestral n.
Del mismo modo, el hecho de que bajo todos los supuestos del teorema
de Gauss-Markov, el estimador MCO sea el estimador lineal e
insesgado ptimo es tambin una propiedad de muestra finita.
En este tema vamos a estudiar las propiedades asintticas o

propiedades para muestras grandes de los estimadores MCO y de los
estadsticos de contraste.
Estas propiedades no estn definidas para tamaos muestrales

concretos, sino que estn definidas cuando el tamao muestral tiende a
infinito.
60

I
Definicin de un estimador consistente:

Sea bn un estimador de un parmetro ,donde el subndice n indica que
bn es funcin de una muestra de tamao n.
bn es un estimador consistente de si para cada > 0

Prob(bn > ) 0 cuando n
Intuitivamente que un estimador sea consistente quiere decir que,

conforme aumenta el tamao muestral, la distribucin del estimador se
concentra cada vez ms alrededor de . Es decir, conforme disponemos
de tamaos muestrales ms grandes cada vez es menos probable que
bn difiera mucho de .
61

I
Propiedad de los estimadores consistentes:

Sea bn un estimador de un parmetro , entonces si se cumple que
lim E(bn ) =
y
lim Var(bn ) = 0
Entonces bn es un estimador consistente de .

I
Notacin: Cuando bn un estimador consistente de decimos que el

lmite en probabilidad de bn es y lo denotamos por
plim bn = ,
o bien
bn p
62
5.1 Consistencia. Ley de los grandes nmeros

Consistencia del estimador MCO
I
Bajo los 5 supuestos del teorema de Gauss-Markov el estimador MCO

es un estimador consistente:
1. E(bj ) = j para j = 0, 1, . . . , k, con lo que
lim E(bj ) = j
2. Var(bj ) =
2
2 (1R2 )
(n1)SX
j
para j = 0, 1, . . . , k, con lo que
b = lim
lim Var()
2
=0
(n 1)SX2 j (1 R2j )
63
5.1 Consistencia. Ley de los grandes nmeros

I
La consistencia y la insesgadez del estimador MCO son propiedades

importantes.
En muchas ocasiones no podremos encontrar estimadores insesgados,

pero lo mnimo que vamos a pedir es que el estimador sea consistente.
64

Tema 3

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Tema 3

Caricato da

Copyright:

Formati disponibili

Econometria

Tema 3. Modelo de regresin mltiple: estimacin

Roco lvarez Aranda

Universidad Alberto Hurtado

Econometria , Tema 3. Modelo de regresin mltiple: estimacin

3.1 Motivacin y definicin del modelo de regresin mltiple

Ya comentamos que el modelo de regresin simple rara vez es utilizado

La razn es que al considerar slo una variable regresora, la estimacin

La estimacin obtenida puede recoger cambios en la variable regresada

Ejemplo: considera el modelo de regresin simple en el que el volumen

Econometria , Tema 3. Modelo de regresin mltiple: estimacin

3.1 Motivacin y definicin del modelo de regresin mltiple

Segn estos resultados, si el precio de venta aumentase en un dlar se

Es fiable esta estimacin?Pueden haber otros factores que hayan

Cambios en el precio de la competencia o en el poder adquisitivo de los

Por ello, aunque nicamente estemos interesados en conocer el efecto

Econometria , Tema 3. Modelo de regresin mltiple: estimacin

3.1 Motivacin y definicin del modelo de regresin mltiple

El modelo de regresin mltiple es el modelo de regresin lineal que

El valor de k determina el nmero de variables regresoras incluidas en el

0 : es la constante o intercepto. No tiene interpretacin econmica, es

1 mide el cambio esperado en la variable y con respecto a un cambio en la

Econometria , Tema 3. Modelo de regresin mltiple: estimacin

3.1 Motivacin y definicin del modelo de regresin mltiple

k mide el cambio esperado en la variable y con respecto a un cambio

Ejemplo: El siguiente modelo de regresin mltiple explica el nivel

En este ejemplo se incluyen dos variables explicativas en el modelo

El coeficiente 1 mide el efecto que un incremente en los aos de

El coeficiente 2 mide el efecto que un incremente en los aos de

Econometria , Tema 3. Modelo de regresin mltiple: estimacin

3.1 Motivacin y definicin del modelo de regresin mltiple

El Modelo de regresin mltiple se suele expresar en notacin matricial

Notacin matricial del modelo de regresin mltiple para una muestra de

Vector de observaciones de la variable explicada Y:

Matriz de observaciones de las variables explicativas X:

1 x11 x21 xk1

1 x12 x22 xk2

1 x1N x2N xkN

Econometria , Tema 3. Modelo de regresin mltiple: estimacin

3.1 Motivacin y definicin del modelo de regresin mltiple

El modelo de regresin mltiple en forma matricial se expresa:

Econometria , Tema 3. Modelo de regresin mltiple: estimacin

3.1 Motivacin y definicin del modelo de regresin mltiple

Ejemplo: Se quiere explicar el nivel educativo (aos de educacin) de

Se dispone de una muestra de 3 familias:

Expresin matricial de los datos

Econometria , Tema 3. Modelo de regresin mltiple: estimacin

3.1 Motivacin y definicin del modelo de regresin mltiple

Supuestos bsicos del modelo de regresin mltiple:

S1: Supuesto de linealidad. Nos referimos a linealidad con respecto a los

Modelos de regresin mltiple lineales:

ln(yi ) = 0 + 1 x1i x2i + 2 x3i + ui

Modelos de regresin mltiple no lineales:

S2: La muestra tomada de las variables (x1i , . . . , xki , yi ) para i = 1, . . . , N,

Econometria , Tema 3. Modelo de regresin mltiple: estimacin

3.1 Motivacin y definicin del modelo de regresin mltiple

Que la matriz X sea de rango completo requiere que no existan

S4: E[ui |x1i , . . . , xki ] = 0, para i = 1, . . . , N. Esto es equivalente a

Econometria , Tema 3. Modelo de regresin mltiple: estimacin

3.1 Motivacin y definicin del modelo de regresin mltiple

Econometria , Tema 3. Modelo de regresin mltiple: estimacin

3.2 Estimador MCO: funcionamiento e interpretacin

El estimador MCO para los coeficientes del modelo de regresin