Regresin Polinomial

En la clase anterior vimos que se puede efectuar un anlisis de

regresin mltiple cuando nuestra variable dependiente o
explicada depende de dos o ms variables independientes.
Vamos a considerar otro ejemplo prctico.
La siguiente tabla nos muestra el contenido de algunos cereales,
vamos a ver cul es la correlacin entre estos contenidos y la
cantidad de caloras. Efectuaremos una regresin entre las
Caloras, como variable explicada (predicccin, respuesta o
dependiente) y las Grasas, Fibra, Carbohidratos y Azcares como
variables explicatorias (predictoras o independientes).
Para ello podemos usar la liga del ejercicio interactivo 8 o bien
algn software como minitab o matlab.

Nombre
100%_Bran
100%_Bran

calor
caloras
Y

Grasas
X1

Fibra
X2

Carbo
X3

Az
Azcares
X4

70

10

120

AllAll-Bran

70

AllAll-Bran_with_Extra_Fiber

50

14

Almond_Delight

110

14

Apple_Cinnamon_Cheerios

110

1.5

10.5

10

Apple_Jacks

110

11

14

Basic_4

130

18

Bran_Chex

90

15

Bran_Flakes

90

13

Cap'n'Crunch

120

12

12

Cheerios

110

17

Cinnamon_Toast_Crunch

120

13

Clusters

110

13

Cocoa_Puffs

110

12

13

Corn_Chex

110

22

Corn_Flakes

100

21

Corn_Pops

110

13

12

Count_Chocula

110

12

13

Cracklin'_
Oat_Bran
Cracklin'_Oat_Bran

110

10

Cream_of_Wheat_(
Quick))
Cream_of_Wheat_(Quick

100

21

Crispix

110

21

Crispy_Wheat_&_
Raisins
Crispy_Wheat_&_Raisins

100

11

10

Double_Chex

100

18

Froot_Loops

110

11

13

100%_Natural_Bran
100%_Natural_Bran

Resultado del anlisis de regresin mltiple usando Minitab

Regression Analysis: Caloras versus Grasas, Fibra, Carbos, Azcares
The regression equation is
Caloras = 42.1 + 7.80 Grasas - 0.954 Fibra + 2.77 Carbos + 2.36 Azcares
Predictor
Coef SE Coef
T
P
Constant
42.10 15.73 2.68 0.015
Grasas
7.799 1.077 7.24 0.000
Fibra
-0.9542 0.8282 -1.15 0.263
Carbos
2.7676 0.6573 4.21 0.000
Azcares 2.3590 0.5709 4.13 0.001
S = 4.43471 R-Sq = 94.8% R-Sq(adj) = 93.7%

Analysis of Variance
Source
DF
SS
MS
F
P
Regression
4 7150.7 1787.7 90.90 0.000
Residual Error 20 393.3
19.7
Total
24 7544.0
La ecuacin obtenida:
Caloras = 42.1 + 7.80 Grasas - 0.954 Fibra + 2.77 Carbos + 2.36 Azcares
Y = 42.1 + 7.80 X1 - 0.954 X2 + 2.77 X3 + 2.36 X4
Nos dice que el efecto de la fibra, siendo una correlacin negativa, es el de
reducir la cantidad de caloras (como era de esperarse) mientras que las otras
variables tienen una correlacin positiva. De esta ltimas, las grasas son las
que tienen la mayor influencia en el contenido de caloras.
El R2 (coeficiente de determinacin o R-Sq) de 94.8% implica que ms del
98% de la varianza de los datos es explicada por la regresin, lo cual indica
una buena regresin.

Tipos de modelos de
regresin
variable
1 1Explanatory
explicatoria
Variable

Regression
Modelos de
regresi
n
Models

2 oExplanatory
+ variables
2+
explicatorias
Variables

Simple
Simple

Lineal
Linear

Multiple
M
ltiple

NonLinear

NoNon-Lineal

Lineal
Linear

NonLinear

NoNon-Lineal

Regresin Lineal Simple y Mltiple

Temperature

40

20

26
24
22
20
30
40

20

30
20

10

0
0

10

20

Una variable independiente

Dados
Predecir

Para un punto nuevo

10
0

Dos variables independientes

Regresin Lineal Simple y Mltiple

Temperature

40

20

26
24
22
20
30
40

20

30
20

10

0
0

20

Prediccin


yi = a + bxi

10
0

Prediccin


yi = a + b1 x1i + b2 x2 i

Regresin de 2 orden con

1 variable independiente

1. La relacin entre la variable dependiente y la

independiente no es lineal, empleamos una ecuacin
cuadrtica (polinomio de segundo orden) como
primera aproximacin.
2. Es til cuando no funciona una regresin lineal
(se observa que hay una relacin curva)

Ms all de lneas rectas y planos

Si nuestros datos siguen una tendencia
que no se parece a una lnea recta
40

Necesitamos una relacin no

lineal como:


2
y = a + b1 x + b2 x

20

0
0

10

20

Regresin de 2 orden con

1 variable independiente


2
y = a + b1 x + b2 x
Efecto Lineal

Efecto
Curvilneo

Regresiones de 2 orden
Y b2 > 0

Y b2 > 0

X1
Y b2 < 0

X1
Y b2 < 0

X1

X1

Ejercicio Interactivo 9:
Regresin polinomial a pares de datos.
Escoge un grado del polinomio a ajustar (del 1 al 9) y usando el
ratn vas a poner puntos en el diagrama cartesiano simulando
tus datos u observaciones.
Despus selecciona Regression Poly para ver la curva
polinomial ajustada a los datos.
Puedes poner hasta 100 datos. Tambin puedes aadir ms
datos y volver a seleccionar Regression Poly, o bien iniciar
nuevamente con Reset.

Todo esto est muy bien, pero cmo

se encuentra la ecuacin del polinomio
que mejor se ajusta a los datos?

Para efectuar un anlisis de regresin polinomial podemos hacer algo

semejante a lo que hicimos en el caso de regresin lineal, es decir,
suponemos una ecuacin polinomial como modelo inicial y usamos el
mtodo de mnimos cuadrados para obtener los parmetros (coeficientes)
de la ecuacin. Esto nos llevar a una serie de ecuaciones que podemos
usar para encontrar los coeficientes de regresin.

Pero, para efectuar la regresin tenemos que hacer

algo diferente a lo que ya hicimos?
Qu pasara si consideramos a x2 como otra variable
dependiente diferente a x ?

Alternativamente, podemos considerar los trminos elevados a algn

exponente como variables independientes y usar un anlisis de
regresin mltiple .

Interpretacin Geomtrica

2
y = a + b1 x + b2 x
20

10

400

300

200

-10

100
0

10

20

Ejemplo de Hoja de clculo para regresin de 2

orden, usando regresin mltiple

Caso, i
1
2
3
4
:

Yii
1
4
1
3
:

X1i1i
1
8
3
5
:

22
X1i1i

1
64
9
25
:

1. Crear columna con X12 (elevar al cuadrado a X1).

2. Correr la regresin con Y (variable explicada), y X1,
X12 (variables explicatorias),

Regresin de 3er orden con

1 variable independiente

1. La relacin entre la variable dependiente y la

independiente parece una ola
2. Se usa cuando hay 1 reversin en la curvatura
(empleamos un polinomio de 3er orden).

Regresin de 3er orden con

1 variable independiente


2
3
y = a + b1 x + b2 x + b3 x
Efecto lineal

Efecto
curvilneo

Regresin de 3er orden con

1 variable independiente


2
3
y = a + b1 x + b2 x + b3 x
Y

b3 > 0

X1

b3 < 0

X1

Ejemplo de Hoja de clculo para regresin

de 3er orden, usando regresin mltiple

Caso, i
1
2
3
4
:

Yii
1
4
1
3
:

X1i1i
1
8
3
5
:

22
X1i1i

33
X1i1i

1
64
9
25
:

1
512
27
125
:

1. Crear columna con X12 (elevar al cuadrado a X1).

2. Crear columna con X13 (elevar al cubo a X1).
3. Correr la regresin con Y (variable explicada), y X1,
X12 , X13 (variables explicatorias),

Ejemplo de regresin polinomial con datos

Supongamos que queremos
analizar la resistencia (Y ) de
varios componentes del mismo
tipo (X ). Los datos medidos son
los de la tabla.

X2

1.00E+00

1.00E+00

9.61E-01

2.00E+00

4.00E+00

8.03E-01

3.00E+00

9.00E+00

8.01E-01

4.00E+00

1.60E+01

1.03E+00

5.00E+00

2.50E+01

9.18E-01

6.00E+00

3.60E+01

9.71E-01

7.00E+00

4.90E+01

1.26E+00

8.00E+00

6.40E+01

1.14E+00

9.00E+00

8.10E+01

1.09E+00

1.00E+01

1.00E+02

1.21E+00

1.10E+01

1.21E+02

1.37E+00

1.20E+01

1.44E+02

1.69E+00

1.30E+01

1.69E+02

1.71E+00

1.40E+01

1.96E+02

1.74E+00

1.50E+01

2.25E+02

1.98E+00

1.60E+01

2.56E+02

2.46E+00

1.70E+01

2.89E+02

2.81E+00

1.80E+01

3.24E+02

3.12E+00

1.90E+01

3.61E+02

3.78E+00

2.00E+01

4.00E+02

5.12E+00

Estos datos los podemos graficar:

y = 0.046 + 0.17 x
y = 1.3 -0.18x +0.017x2

La grfica muestra el resultado de dos ajustes, as como las ecuaciones

obtenidas. Es claro que si escogemos entre estos dos tipos de regresin,
lineal y polinomial, tendremos mejores resultados con el segundo.

Los resultados del ajuste anterior fueron obtenidos por medio de

mnimos cuadrados suponiendo un polinomio de primer y segundo
grados.
Pero como explicamos podemos tambin usar la tcnica del anlisis de
regresin mltiple.
Veamos los resultados.

Se parece la ecuacin de
regresin obtenida por los dos
mtodos?

Como efectuar una regresin en Matlab

Supongamos que medimos dos variables, Q y t, y

queremos ver la correlacin de una con la otra:

>> Usar la funcin regress para estimar los parmetros del modelo to
estimate the model y efectuar las pruebas estadsticas.
>>La funcin regress requiere que los datos incluyan una columna
de unos para que devuelva el trmino constante.

Ahora corremos la funcin

Y obtenemos:

regress de la siguiente forma:

Los resultados del ajuste indican que los intervalos de confianza de 95%
son
para b1 CI es de -3.6760 a 1.2094, como contiene al cero entonces no
es estadsticamente significativo y puede ser excludo.
Para b2 CI es de 1.7906 a 2.5779, no contiene a cero y conclumos que
hay evidencia estadsticamente significativa de una relacin lineal entre Q
yt
Como el trmino constante b1 no es estadsticamente significativo
podemos llevar a cabo una regresin suponiendo que b1 =0, de la
siguiente forma en matlab
De esa forma el modelo que podemos
usar para predecir es entonces