ECONOMETRIA I

TEMA II REGRESION LINEAL SIMPLE

Lic. Willams Sandi Bernal
 Modelo de regresin lineal simple
El anlisis de regresin es una tcnica que sirve para estudiar la
dependencia de una variable (explicada) respecto a otra variable
(explicativa) con el objeto de predecir el valor medio de la variable
explicada para un conjunto observaciones.
Se llama regresin lineal simple cuando el modelo contiene una
variable explicativa y una variable explicada, relacionadas mediante
una funcin lineal.
= 1 + 2 + (2.1)
Y es la variable explicada
X es la variable explicativa
1 y 2 son los parmetros poblacionales (desconocidos)
ui es el trmino de perturbacin
Modelo de regresin lineal simple
1 es el intercepto con el eje de las ordenadas cuando X
es cero y 2 es la pendiente de la ecuacin, mide el cambio
en Y cuando cambia X en una unidad, mientras los dems
factores se mantengan constantes.

= 2

Cualquier variacin en X provocar un cambio en Y de

manera constante.
Modelo de regresin lineal simple
La tabla 2.1 muestra una distribucin hipottica de los
gastos en publicidad y las ventas de una poblacin
compuesta por 90 empresas.
 Modelo de regresin lineal simple
Tabla 2.1 Gasto en publicidad y Ventas de 90 empresas (en miles de bolivianos)
Gasto en publicidad X 10 20 30 40 50 60 70 80 90 100
148 163 195 190 198 217 245 263 285 315
165 175 198 248 253 276 303 327 347 377
180 180 200 258 263 285 312 332 350 380
190 210 215 269 272 292 318 340 364 394
225 220 224 272 278 300 330 350 370 400
Ventas Y
236 258 256 283 285 305 336 358 380 411
248 264 284 295 306 328 348 369 390 421
256 286 300 337 345 365 391 410 430 462
287 303 348 369 405 428 450
305 352 373
Total 1648 2043 2480 2152 2900 3110 2988 3177 3366 3160
Numero de observaciones 8 9 10 8 10 10 9 9 9 8
Media condicional de Y, E(Y/X) 206 227 248 269 290 311 332 353 374 395
Datos hipotticos
Modelo de regresin lineal simple
Los valores de X son fijos y varan desde 10 mil bolivianos
(MBs.) hasta 100 MBs., mientras que existen mltiples valores de Y
que estn alrededor de cada valor de X, es decir, a cada valor de X
le corresponden muchos valores de Y..
La misma tabla muestra las medias condicionales de Y para cada
valor de X, es decir la esperanza de la variable Y dado un valor de
X; cuya simbologa denotaremos por: E(Y/X).
La tabla 2.1 muestra una distribucin hipottica de los gastos en
publicidad y las ventas de una poblacin compuesta por 90
empresas.
 Modelo de regresin lineal simple
As, existen 8 empresas que gastan 10 Mbs., el monto total de
sus ventas asciende a 1648 MBs., y la media condicional de
ventas por empresa es de 206 MBs., es decir:
E(Y/X=10) = 206
Para un nivel de gastos de 20 MBs., E(Y/X=20) = 227 MBs.,
Para un nivel de gastos de 30 MBs., E(Y/X=30) = 248.
Se observa que a medida en que aumentan los gastos en
publicidad, aumenta la media condicionada de las ventas de las
empresas; es ms, existe una relacin terica entre los valores
de X y la esperanza condicionada de Y llamada funcin de
regresin poblacional FRP:
 Modelo de regresin lineal simple
Tabla 2.2 Funcin de Regresin Poblacional FRP
Gasto en publicidad y la esperanza condicionada de las ventas de 90 empresas (en miles de bolivianos)
Gasto en publicidad X 10 20 30 40 50 60 70 80 90 100
Media condicional de Y, E(Y/X) 206 227 248 269 290 311 332 353 374 395

La Funcin de Regresin Poblacional FRP

La FRP, es una funcin que relaciona los valores de X con la
esperanza condicionada de Y.
= 1 + 2 (2.2)
Modelo de regresin lineal simple
 Modelo de regresin lineal simple

La funcin de regresin poblacional estara determinada si

se conocieran los parmetros poblacionales 1 y 2 sin
embargo estos valores son desconocidos y slo queda estimar
valores muy prximos.
En general, se desconocen los datos de la poblacin
estadstica, slo se dispone de una muestra de la poblacin,
por consiguiente, a partir de los datos de una muestra se debe
estimar la funcin de regresin poblacional.
 Modelo de regresin lineal simple
Si se toma una muestra aleatoria de la poblacin, entonces
se puede definir una funcin de regresin muestral FRM de la
siguiente forma:
= 1 + 2 (2.2)
Dnde:
, es un estimador de E(Yi/Xi) (se lee Y sombrero o Y
estimado)
 Modelo de regresin lineal simple
1 2 , son estimadores de los parmetros poblacionales
1 2 respectivamente (se lee beta sombrero o beta
estimado)
El subndice i corresponde a la i-sima observacin de la
muestra donde: i = 1, 2, 3,, n. y n es el tamao de la
muestra.
Modelo de regresin lineal simple
 Modelo de regresin lineal simple
Si se toma una observacin de Yi y se compara con el
valor estimado evidentemente ambos valores no van a
coincidir, la diferencia se denomina error de estimacin o
residuo y denotaremos con .
= (2.3)
De donde: = + (2.4)
Combinando las ecuaciones (2.1) y 2.2) la FRM puede
escribirse de la siguiente forma:
= 1 + 2 + (2.5)
 Modelo de regresin lineal simple
Supuestos generales del modelo
Supuestos sobre la forma funcional del modelo.
a) Linealidad en los parmetros
Supuestos sobre los regresores.
a) La variable X es una variable no estocstica y se
mantiene fija en muestreos repetidos.
b) La variable X es independiente de las perturbaciones
aleatorias, esto significa que no existe correlacin por tanto
su covarianza es cero:
= 0 (2.6)
 Modelo de regresin lineal simple
c) Las variables explicativas son medidas sin error.
d) Se supone que el modelo est bien especificado.
Supuestos sobre los parmetros.
a) Los parmetros poblacionales se mantiene constantes
a lo largo de toda la muestra
Supuestos acerca del trmino de perturbacin.
a) Dado un valor de X, la esperanza condicionada del
trmino de perturbacin es cero.
= ( ) = 0
 Modelo de regresin lineal simple
b) Dado un valor de X, la varianza del trmino de
perturbacin es constante, es decir, el modelo es
homocedstico.
= ( )2
= 2 = (2 )
= (2 ) = 2 (2.7)
 Modelo de regresin lineal simple
c) Dados dos valores de X, sean Xi y Xj (ij), la correlacin
entre dos ui y uj cualquiera es cero.
Esto significa que no existe autocorrelacin, las
perturbaciones ui y uj son totalmente independientes unas
de otras, por consiguiente su covarianza es igual a cero.

, , = [( ( ))( ( ))]

, , = ( ) ( )

, , = = 0 (2.8)
 Modelo de regresin lineal simple
Supuestos de normalidad.
a) La perturbacin aleatoria tiene una distribucin normal
multivariante
~(0, 2 ) (2.9)
Nid significa que son normales e independientemente
distribuidas, con esperanza matemtica igual a cero y
varianza constante e igual a 2 .
 Mnimos Cuadrados Ordinarios

El mtodo de mnimos cuadrados ordinarios MCO es una

tcnica, que permite encontrar los valores de los estimadores
poblacionales a partir de una muestra.
El MCO consiste en encontrar valores para 1 2 de tal
forma que minimicen los errores de estimacin.
Ms concretamente, que la suma del cuadrado de los
residuos (errores) sea mnima.
 Mnimos Cuadrados Ordinarios
El error de estimacin o residuo se ha definido como:
=
Reemplazando el valor de Y estimada se tiene:
= 1 2

Elevando al cuadrado y aplicando el operador suma

tenemos la llamada Suma de Residuos Cuadrados, en forma
abreviada SRC:
= 2 = ( 1 2 )2 (2.10)
 Mnimos Cuadrados Ordinarios
Para minimizar esta funcin, la condicin de primer grado
exige que las derivadas de primer orden con respecto a 1 2
sean iguales a cero. Derivando

= 2 1 2 = 0
1

= 2 1 2 = 0
2
 Mnimos Cuadrados Ordinarios

Aplicando el operador sumatoria se tienen las siguientes

ecuaciones llamadas ecuaciones normales:

= 1 + 2 (2.11)

= 1 + 2 2 (2.12)
 Mnimos Cuadrados Ordinarios
Por definicin de media aritmtica:

=
y =

La ecuacin (2.11) puede escribirse como:

= 1 + 2 (2.13)
De donde
1 = 2 (2.14)
 Mnimos Cuadrados Ordinarios
Reemplazando en la ecuacin (2.12):

= 2 + 2 2

Se obtiene:

2 = (2.15)
2 2
 Mnimos Cuadrados Ordinarios
Tabla 2.3
Ventas (Y) y Gastos en Publicidad (X) de
10 empresas. (muestra tomada al azar)

Y X
225 10
220 20
256 30 Con los datos de la muestra de la
258 40 Tabla 2.3, estimar los parmetros
306 50 poblacionales del modelo:
305 60 = 1 + 2 +
348 70
350 80
380 90
377 100
 Propiedades algebricas de la
regresin
Propiedad 1.- La suma de los residuos es cero:
= 0

Dado que: = 1 2
= ( 1 2 )

= 1 2

Esta expresin es la ecuacin normal 2.11 e igual a cero por

tanto:
= 0
 Propiedades algebricas de la
regresin
Propiedad 2.- La recta de regresin pasa por las medias de
X e Y.
La ecuacin normal (2.13) dividida entre n (el nmero de
observaciones) resulta:
= 1 + 2
Esto Implica que la recta pasa por el valor medio de Y y el
valor medio de X.
 Propiedades algebricas de la
regresin
Propiedad 3.- La suma del producto de los residuos y la
variable X es cero.
Dado que: = 1 2
Multiplicando por X y luego sumando se tiene

= 1 2

= 1 2 2

El lado derecho es cero porque es ecuacin normal (2.12),

por tanto:
= 0
 Propiedades algebricas de la
regresin
Propiedad 4.- La suma del producto los residuos y la variable
Y estimada es cero
Dada la Funcin de Regresin Muestral
= 1 + 2
Multiplicando por el residuo y sumando se tiene:
= 1 + 2

= 1 + 2

Por las propiedades 1 y 3 se deduce que:

= 0
 Propiedades algebricas de la
regresin
Propiedad 5.- La media de la variable Y observada es igual a
la media de la variable Y estimada.
Para cada observacin Yi se puede escribir como:
= +

+
=

Por la propiedad 1 = 0 por tanto:

= =

 Bondad del ajuste
= +
El valor observado de Y es igual al valor estimado de Y ms el error
de estimacin
Restando la media en cada miembro, elevando al cuadrado y
aplicando sumatoria tenemos:
2
2 = +
( )

2 = ( )
( ) + 2
2 +2 ( )

Como: = = 0
Entonces:
2 + 2
2 = ( )
( )
 Bondad del ajuste
El primer trmino se denomina Suma Total de Cuadrados STC,
muestra la variabilidad de Y respecto a su media
2
STC = ( )

El segundo trmino se denomina Suma Explicada de Cuadrados

SEC, muestra la variabilidad de la Y estimada por la regresin con
respecto a su media
= ( )
2

El tercer trmino se denomina Suma del Cuadrado de los Residuos

SRC y muestra la variabilidad de los errores de estimacin.
= 2
 Bondad del ajuste
De ah que:
STC = SEC + SRC
Mientras ms pequea sea la SRC entonces existir un mejor
ajuste.
De esta ecuacin se obtiene el Coeficiente de Determinacin R2
( )
2
2 = =
( ) 2
Este coeficiente muestra el porcentaje de la variacin de la
variable Y que est siendo explicada por la regresin.
Este coeficiente, representa un mejor ajuste mientras est mas
cerca de 1.
0 2 1
Bondad del ajuste
 Anlisis de correlacin
Se llama correlacin cuando existe cierto tipo de relacin
lineal entre dos variables. Pearson, para medir el grado de
asociacin lineal entre dos variables, introdujo el llamado
coeficiente de correlacin simple de Pearson definido como:

(, )
=

Que puede expresarse mediante:

)
( )(
=
2 ( )
( ) 2
 Anlisis de correlacin
Este coeficiente de correlacin toma valores entre:
1 1
Si r = 1 significa una perfecta asociacin lineal positiva
entre las dos variables, esto supone que todos los pares (x,y)
se encuentran en una recta creciente.
Si r = -1 significa una perfecta asociacin lineal negativa
entre las dos variables, donde todos los pares (x,y) se
encuentra en una recta decreciente.
variables X e Y.
 Anlisis de correlacin
Si r = 0 No existe ninguna relacin lineal entre las dos
variables.
Si r > 0 Mientras ms se acerque a la unidad, mayor es
grado de asociacin lineal positiva.
Si r < 0 Mientras ms se acerque a menos uno, mayor es el
grado de asociacin lineal negativa.
El signo del coeficiente de correlacin es importante porque
muestra la relacin positiva o negativa de las variables X e Y.
 Anlisis de correlacin
Existen relaciones entre el coeficiente de correlacin r, el
coeficiente de determinacin R2 y el coeficiente de la
regresin 2 .
 Teorema de Gauss- Markov

Los estimadores mnimos cuadrticos ordinarios poseen

algunas propiedades ideales que tienen la cualidad de ser los
mejores estimadores comparados con otros de la misma
naturaleza. Estas propiedades han sido estudiadas por Gauss
y Markov, y son las siguientes:
a) El estimador mnimo cuadrtico es un estimador lineal, es
decir, es una funcin lineal de la variable aleatoria.
 Teorema de Gauss- Markov
Los estimadores son combinaciones lineales de las
observaciones reales de la variable Y y por consiguiente del
trmino de perturbacin. Para mostrar esta propiedad,
utilizaremos la ecuacin

2 =
2
Desarrollando la ecuacin se tiene:

( )
2 = 2 = 2 =
2
 Teorema de Gauss- Markov
Dado que: = 0
(La suma de las desviaciones con respecto a la media es
igual a cero.)

Y haciendo el cambio de variable: =
2

La ecuacin de 2 se transforma en:

2 =

2 es una combinacin lineal de Yi

 Teorema de Gauss- Markov
Las wi son ponderaciones que se mantienen fijas en el
muestreo y se puede verificar que:

12
= =0 2 = =
2 ( 2 )2

1 2
= =1
12 2

( )
= = = =1
2 2 2
 Teorema de Gauss- Markov
Dado que: 2 =
: 2 = (1 + 2 + )
: 2 = 1 + 2 +
: 2 = 2 +
2 es una combinacin lineal de ui.
Por un tratamiento similar, se llega a la conclusin que 1
est tambin relacionada linealmente con Y y con el trmino
de perturbacin u de la siguiente forma:
Teorema de Gauss- Markov

1
)
1 = (

1
)
1 = 1 + (

 Teorema de Gauss- Markov
b) Los estimadores son insesgados
: E(2 ) = (2 + )
: E(2 ) = 2 + ( )
: ) =
(

1
: E 1 = `[1 + ]

1
: E(1 ) = 1 + (
)( )

: ) =
(
 Teorema de Gauss- Markov
c) La varianza de los estimadores es mnima
c.1 Obtencin de la varianza del estimador 1

Por definicin: 2 = [2 (2 )]2

Reemplazando: 2 = [2 2 ]2 = 2

Desarrollando: 2 = [ 2 2 + 2 ]

: 2 = 2 (2 ) + 2 ( )

1
Como : 2 = 2 2 = = 0
2

2
Se tiene: 2 = 2
 Teorema de Gauss- Markov
c.2 Obtencin de la varianza del estimador 1

Por definicin: 1 = [1 (1 )]2

1 2
Reemplazando: 1 = [1 1 ]2 = ( )

1 2
Desarrollando: 1 =
(2 )

1
: 1 = [ 2 + 2 2 ](2 )

1
Como : 2 = 2 2 = = 0
2

1 2
Se tiene:
1 = ( + 2 2 )

 Teorema de Gauss- Markov
c.3 La varianza del estimador 2 es mnima
Se propone otro estimador lineal e insesgado expresado por:
2 = donde: = +
Entonces: 2 = (1 + 2 + )

... 2 = 1 + 2 +
Si = 0 = 1

Entonces: 2 = 2 +

entonces tomando la esperanza: 2 = 2

se tiene que es un estimador insesgado
 Teorema de Gauss- Markov
Obteniendo su varianza: 2 = [2 (2 )]2

Reemplazando: 2 = [2 2 ]2 = 2

2 2
Desarrollando: 2 = ( ) + 2 ( )

Como : 2 = 2 ( ) = 0

Se tiene: 2 = 2 2
Pero: = +
2 2 2
entonces: = + + 2

2 1
Como: = 2
= 0
 Teorema de Gauss- Markov
1 2 2 2
Entonces: 2 = 2 2
+ = 2
+ 2
2
Que se puede expresar como: 2 = (2 ) + 2
2
donde: 2 0
Por tanto
2 (2 )
La varianza de 2 es menor a la varianza de 2
Igual tratamiento se puede realizar con 1 .

RESUMEN: Los estimadores MCO 1 y 1 son lineales,

insesgados y de varianza mnima por esta condicin se los
denomina
MELI Mejores Estimadores Lineales e Insesgados.
 ESTIMADOR DE LA VARIANZA 2

La Varianza del trmino de perturbacin

2
= ( ) = 2
Es desconocida, por tanto es necesario encontrar un estimador
a travs de la muestra.

El modelo est especificado mediante la ecuacin::

= 1 + 2 +
Promediando para todos los valores muestrales:
= 1 + 2 +
 ESTIMADOR DE LA VARIANZA 2

Utilizando la diferencia entre estas ecuaciones, se puede

expresar en funcin de sus desviaciones con respecto a la
media.
= 2 + (1)
Por otra parte, la FRM est dada por:
= 1 + 2 +
La media aritmtica de los valores muestra da como
resultado:
= 1 + 2
 ESTIMADOR DE LA VARIANZA 2

Utilizando la diferencia podemos expresar la FRM en funcin

de las desviaciones respecto a la media:
= 2 + (2)

Combinando las ecuaciones (1) y (2) los residuos de la

regresin se expresan como:
= 2 2 + ( )
 ESTIMADOR DE LA VARIANZA 2

Elevando al cuadrado y aplicando el operador suma se

tiene:

2
= 2 2 2 2 2 2 ( )
+ ( )2

El lado derecho tiene tres trminos. Calcularemos la

esperanza matemtica de cada trmino.
 ESTIMADOR DE LA VARIANZA 2

La esperanza matemtica del primer trmino:

2 2
2 2 2 = 2 2 2 = 2

Del segundo trmino:

E 2 2 2 ( ) = 2 ( )( )

2
= 2 = 2 2
2
 ESTIMADOR DE LA VARIANZA 2

Del tercer trmino:

E (ui u )2 = E (u2i 2ui u + u 2 ) = E u2i nu2

1
=E u2i ( ui )2
n
= n 1 2
 ESTIMADOR DE LA VARIANZA 2

Resumiendo:

2 = 2 2 2 + 1 2 = ( 2) 2

Este resultado permite plantear el siguiente estimador

2


2 =
2

Este es un estimador insesgado puesto que:

2 ( 2) 2
2 = = = 2
2 2