ANLISIS DE ERRORES DE ESTIMACIN.

VARIANZA DEL ERROR DE

ESTIMACIN
Guin de exposicin en clase

ANLISIS DE ERRORES DE ESTIMACIN / PREVISIN

Dos ideas centrales:

Un modelo que no es capaz de reproducir la realidad analizada en la muestra de

anlisis no servir como herramienta para entender el funcionamiento de esa realidad
y mucho menos para realizar simulaciones/predicciones para elementos
extramuestrales.

El anlisis de errores no slo es imprescindible como estndar de validacin de un

modelo sino adems es una pieza clave en la evaluacin de un modelo en tanto que
ayuda a evaluar la calidad de la especificacin y sirve de base para localizar vas de
mejora.

1.- Anlisis Grfico (es central, aunque pueda parecer que es menos importante que el anlisis
numrico)
-

Grfico de la secuencia de residuos:

o
o

Grfico temporal (exclusivo en modelos temporales, til en menor medida en modelos

transversales al no disponerse de un orden natural en las observaciones):
o

Zonas de sobreestimacin, subestimacin

Deteccin de atpicos (bandas de confianza al 95%)
Puntuales
Zonales
Regulares con patrones que ayuden a entender errores de
especificacin (por ejemplo, un modelo de previsin de consumo
energtico que se equivocara sistemticamente todos los domingos)
Patrones de heterocedasticidad (ordenando previamente las observaciones
conforme a alguna de las variables exgenas)

Deteccin de patrones temporales / transversales (ordenados)

Autocorrelacin (seal de un modelo sub-especificado)
Cambio estructural

Grfico SCAT Residuo frente a Y estimada, un regresor X, una variable omitida

o
o
o

OJO: No puede hacerse del residuo frente a la Y real porque podra haber
correlacin mientras que no la hay entre el residuo y la estimacin
Podra sugerir formas funcionales incorrectas respecto a la variable exgena
Podra sugerir problemas de heterocedasticidad

Histograma:
o

Permite verificar la normalidad del residuo

2.- Anlisis Numricos

o

Distintos tipos de medidas:

Error cuadrtico medio, mnimo y mximo

Porcentaje medio de error absoluto

Depende del modo de medicin de la endgena:

Para variables en niveles:
Error cuadrtico medio
Porcentaje medio de error absoluto
Para variables en porcentaje o ratio:
Error absoluto promedio (si utilizamos errores en porcentaje para
variables en porcentajes o ratios, dado que estos porcentajes o ratios
pueden tomar valores muy pequeos, incluso cero, podemos
encontrarnos con que al dividir los errores entre esos valores
obtenemos ratios casi infinitos)
Para variables en logaritmos:
Ojo con el clculo del error en niveles a partir de un modelo estimado
en logaritmos (pg. 208 Wooldridge)

3.- Clculo de errores en Eviews:

Utilizar funcin Forecast:

o Raz del Error Cuadrtico Medio
o Error absoluto promedio
o Porcentaje Medio de Error Absoluto (PMEA): OJO: ya est en %, no en
tantos por uno, es decir, un 0,24 en E-Views significa un 0,24%
o U-Theil:
Expresiones:

(esto no es U2 sino slo U)

Valores:
U: Cero es el valor de mxima igualdad, 1 es el valor
de mxima desigualdad
UM=Cero es el valor de mxima igualdad de medias, la
desigualdad flucta entre -1 y 1
US=Cero es el valor de mxima igualdad de medias, la
desigualdad flucta entre -1 y 1

UC=Cero es el valor de mxima igualdad de medias, 1

es el valor de desigualdad mxima (coeficiente de
correlacin igual a -1 entre real y etsimada). Para un
coeficente real/estimada nulo, Uc toma el valor de
0,7.
Se cumple que U2=U2M+ U2S+ U2C, de modo que pueden
calcularse los % de cada fuente de error: son los que
muestra el E-Views
Interpretacin:
Los valores deben evaluarse en trminos relativos,
comparando los valores y/o su mejora para distintos
modelos o distintas especificaciones de un mismo
modelo
OJO: Este tipo de clculos tienen ms sentido, en
trminos relativos, para observar el error en tramos
de muestra NO SI SE REALIZAN PARA LA MUESTRA
COMPLETA, dado que el mtodo MCO garantiza
medias iguales para la muestra completa.

Ejemplo: realizar ejemplo analizando los errores del modelo SALARIO1, EDAD:

Realizar estimacin, evaluar el error (bajo), y observar cmo, al igual que

ocurre en cualquier modelo estimados para la muestra completa, la fuente de
la desigualdad es la covarianza
Ordenar el modelo por edades y realizar un forecast para los 25 individuos
ms mayores (75-100). Observar cmo el error crece y cmo para estos
individuos se produce error en sesgo (media). Retomar el grfico residual,
fitted y observar que efectivamente, la no linealidad genera una sobreestimacin del salario real
Estimar el modelo con la edad al cuadrado (edad2) y comparar los errores con
el originial.
Comparar esta estimacin no lineal cuadrtica con la estimacin
logartmica para tratar de decidir cul de las dos aproximaciones no lineales
resulta ms convincente en trminos de errores.

VARIANZA DEL ERROR DE ESTIMACIN / PREVISIN

Cuando damos un pronstico, normalmente no se ofrece un solo valor puntual, sino un
intervalo en que creemos variar la prediccin. Por tanto, junto al valor pronosticado debemos
ser capaces de ofrecer tambin el error asociado a ese pronstico; una vez que dispongamos
de ese error, podremos computar el intervalo partiendo de una determinada funcin de
distribucin del mismo.
Antes de continuar, es necesario distinguir dos tipos de previsiones:
a. Previsin para la media de Y (conjunto de individuos, empresas, aos,.)
condicionada a unos determinados valores de las exgenas
b. Previsin puntual de Y (un individuo concreto, una empresa, un ao especfico,)
condicionada a unos determinados valores de las exgenas
El valor de la previsin se obtiene siempre, en uno y otro caso, del mismo modo,
sustituyendo las exgenas previstas en la expresin de la ecuacin, pero el error de previsin

no es el mismo en cada una de las dos situaciones. La razn es intuitivamente fcil de

comprender. Cuando realizamos una previsin, tenemos varias fuentes de error:
1. El error debido a la estimacin de los parmetros en una porcin (muestra) de la
poblacin (conectado con V(b))
2. El error debido a los factores inobservables, explcitamente reconocidos en el modelo
(U)
3. El error debido a los valores previstos para las exgenas
Dejando a un lado el tercero de los aspectos, la diferencia entre una previsin media y
puntual es clara. En ambos casos, el error debido a la imprecisin por la estimacin de los
parmetros en una muestra es inevitable (usamos en cualquier caso la misma estimacin para
realizar la previsin), pero en el caso de la previsin de la media de Y, podemos asumir que, en
media, el valor del los errores no observados (U) ser nulo para el conjunto de individuos,
aos, empresas, etc, considerados. Sin embargo, si realizamos una prediccin puntual, el error
puntual (U) puede ser NO nulo, por lo que en este segundo caso, aparece una segunda fuente
de error conectada con la varianza del error no observable a priori.
Aunque no entraremos en la derivacin de las expresiones de clculo, podemos
observar y comparar ambas expresiones (error puntual y medio) para entender lo anterior:
Expresiones para el clculo de la varianza del error para un modelo con una nica
variable exgena:
-

Varianza del error medio:

Varianza del error puntual:

1.- Respecto a su interpretacin, debemos notar que la varianza del error, en uno y otro caso,
depende de:
-

La precisin en la estimacin de los parmetros, que a su vez viene definida por:

o
o
o

El nivel de error global del modelo, representado por SIGMA

El tamao muestral (n): a mayor tamao muestral, menor dispersin en el
pronstico
La dispersin de la/s exgena/s: para una mayor dispersin de las exgenas
(informacin contenida en ellas), ms precisin en la estimacin de los
parmetros.

El alejamiento del valor previsto para la X respecto al valor medio: la recta de

regresin sirve tanto mejor para estimar

2.- Adicionalmente, debemos observar que en el caso del error puntual, este se incrementa,
respecto al error medio en una cuanta 2, es decir, en funcin de la dispersin del error, dado
que no podemos asumir que, puntualmente, el error (U) ser nulo (esto slo puede asumirse
en media). Este error adicional no depende del tamao de la poblacin: es decir, mientras que
en el caso de la previsin media, el trmino 2 queda multiplicado por un factor 1/n que, para
muestras grandes, implica una aportacin de error pequea, para el caso de la prediccin
puntual se aade, neto, un nuevo trmino trmino 2.

3.- Por ltimo, cuando se incluye ms de una exgena, no hablamos ya de valor previsto para
la X sino de vector de valores de las exgenas y, de mismo, modo, aparece no slo la
Varianza de la X sino la matriz completa de informacin de varianzas y covarianzas. La
expresin del error de clculo (conocida como Predictor) es ahora (para una prediccin
puntual y media) :

3.- Respecto a su uso, puede demostrarse que el error de prediccin estandarizado sigue en
ambos casos una distribucin tn-k cuando se sustituye el valor de Sigma por su estimador:

de modo que podemos realizar intervalos de confianza con sencillez usando sumando al valor
previsto el trmino +/- t/2 DT(ep). Esto nos permite aadir a la previsin, no slo valores
extremos (intervalos) sino tambin un nivel de confianza para ese intervalo.

5.- Cmo se calcula este error?.

-

El clculo es evidente, debe recordarse nicamente que para sigma SI debe usarse
el estimador insesgado de la varianza de la perturbacin aleatoria.
Ver Wooldridge (pg. 203) para un mtodo alternativo basado en la desviacin
tpica del trmino independiente de un modelo transformado.

Ejemplos numricos:
-

Utilizar un ejemplo sencillo fuera de E-Views para la expresin univariante.

No es necesario ejemplificar el clculo manual para modelos multivariables. Basta
con retomar cualquier ejemplo de E-Views y mostrar que, adems de la previsin,
guarda la DT (SE) de la previsin, es decir, la DT (SE) del error de prediccin que
puede usarse con normalidad para establecer intervalos de confianza.
Si se ejemplifica el clculo en Excel, recordar que la funcin de distribucin t
inversa devuelve el valor a dos colas (no a una) para un determinado nivel de
significacin (por tanto, si se desea el intervalo al 95% debe escribirse un psilon
de 0,05, y no de, 0,025).

Aun queda algo ms que decir sobre las fuentes de error, en concreto, el asunto de los
errores en la prediccin de las exgenas: no conocemos a futuro los valores de las exgenas.
-

En ocasiones (las menos) s conocemos el valor de las exgenas porque

NOSOSTROS decidimos ese valor: por ejemplo un modelo de ventas en funcin de
nuestro MKT-MIX
En general algunas de las exgenas no podemos controlarlas por lo que debemos
ser conscientes de que el error de prediccin calculado EST CONDICIONADO AL
VALOR PREVISTO DE LAS EXGENAS

Esto pone de manifiesto la necesidad de establecer alternativas, escenarios, a la

hora de hacer prediccin: insistir en la idea de que los modelos economtricos
estructurales no hacen PREDICCIN, sino SIMULACIN a futuro (simulacin implica
generar escenarios y probabilidades). Mostrar quiz ejemplos de modelos de
simulacin reales o alguna transparencia de mi curso en Paris Dauphine sobre
Simulation Models respecto a cmo se realizan estos modelos.