REGRESIN Y CORRELACIN NO LINEAL

SIMPLE
Tumbes, Per
2011
UNIVERSIDAD NACIONAL DE TUMBES.
ESCUELA DE POSGRADO
MAESTRA EN ACUICULTURA Y GESTIN AMBIENTAL
Integrantes:
Carrasco Casariego, Jorge Humberto
Lpez Noblecilla, Karla Lissette
Ordinola Zapata, Alberto
Peralta Ortiz, Tessy
Sandoval Ramayoni, John Estuardo

EXPOSICIN
ASIGNATURA :
DISEOS DE SISTEMA DE INVESTIGACIN ACUCOLA
Regresion no lineal
Existen situaciones en que dos variables no estn relacionadas linealmente.
El diagrama de dispersin puede ayudar a evidenciar una relacin entre las
variables que no sigue a una tendencia recta; as en el siguiente diagrama de
dispersin:














Se observa una tendencia de los puntos de datos en forma curvilnea (no
lineal), probablemente en forma de parbola (funcin cuadrtrica)
Regresin no lineal
La forma de la asociacin de dos variables, se puede establecer bajo la forma
general: y= f(x, ), con = {
1
,
2
,
m
} (conjunto de parmetros a estimar)

Esta funcin puede ser muy variada. Por ejemplo:





Funcin cuadrtica: y = a+bx
2
Funcin logartmica: y = a+bln(x)

Funcin exponencial: y = a.b
x
Funcin polinomial: y =a+bx+cx
2
Diagramas de dispersin
La forma de la asociacin de dos variables se puede deducir
grficamente observando el diagrama de dispersin o diagrama de
puntos, en el que se colocan en el eje x, la variable independiente y en
el eje y, la variable dependiente.





Se observa una tendencia lineal
de los datos (los datos se
aproximan a una lnea curva)
Diagrama de dispersin

i i i
y y

= c
)

, (
i i
y x
) , (
i i
y x
i
x
Nuevamente como en el caso lineal,
la mejor curva de ajuste es aquella
que minimiza los errores
i
(errores
de estimacin o residuales).
Entendindose estos como la
diferencia entre y
i
observado y y
i

estimado
Ajuste de los datos a una
ecuacin no lineal
Al igual que en el caso de la regresin lineal, en el caso de la no lineal, la
ecuacin que mejor representa a los datos es aquella que minimiza la suma de
los errores o residuales (min
i
).

Existen varias formas para lograr o aproximarse a este requisito:

1. Linealizacin
2. Estimacin algebraica mediante el mtodo de mnimos cuadrados
3. Estimacin de parmetros mediante el algoritmo de Gauss-Newton
4. Estimacin de parmetros mediante el algoritmo de Levenbert-Marquard
5. Estimacin de parmetros mediante el algoritmo de descenso de gradiente

Modelo exponencial

Modelo potencial

Modelo hiperblico

Modelo logstico

LINEALIZACIN
Modelo lineal

x y | o + = ' '
Modelo hiperblico

Modelo logstico

Modelo potencial

Modelo exponencial

Linealizacin
Este mtodo consiste en aplicar una transformacin a la variables x, a la
variable y o a ambas, que permitan convertir una funcin no lineal en
lineal.
Es comn utilizar linealizacin para

x
e y
|
o =
|
ox y =
x
e
c
y
| o+
+
=
1
x
y
|
o + =
Linealizacin del modelo exponencial
El modelo exponencial:

Se puede transformar en un modelo lineal, aplicando
logaritmos en cada miembro de la ecuacin:








Con lo que si llamamos:

La ecuacin queda como una ecuacin lineal:


x
e y
|
o =
Modelo exponencial

Modelo lineal

x
e y
|
o =
x y
e x y
e y
e y
e y
x
x
x
| o
o
o
o
o
|
|
|
|
+ =
+ =
+ =
=
=
ln ln
) ln( ln ln
) ln( ) ln( ln
) ln( ) ln(
x
e y
|
o =
x y | o + = ' '
y y ln ' =
o o ln ' =
x y | o + = ' '
Ejemplo de aplicacin de la
linealizacin del modelo exponencial
Se sigue el crecimiento de un cultivo de bacterias en
placa petri, obtenindose los siguientes datos:
Crecimiento bacteriano exponencial

x
e y
|
o =
tiempo
(horas)
Crecimiento
bacteriano
(UFC/ml)
0 4,0
1 8,1
2 19,6
3 44,9
4 92,0
5 207,3
6 566,8
7 812,3
8 1877,6
9 5027,7
10 8950,5
11 22120,3
12 45483,6
Al graficar los datos, el
diagrama de dispersin
muestra (conforme
establece la teora )que el
crecimiento bacteriano se
desarrolla en forma
exponencial:
Se proceder a realizar la linealizacin del
modelo para estimar los valores de y ,
siguiendo la transformacin:
x
e y
|
o =
x y | o + = ln ln
Ejemplo de aplicacin de la
linealizacin del modelo exponencial
Crecimiento bacteriano exponencial
transformado en lineal

x
e y
|
o =
Graficando los datos
de tiempo en horas
(x) y del logaritmo
natural del
crecimiento
bacteriano (Ln(y))
En la tabla siguiente se ha procedido a obtener el
Ln(y) siguiendo la linealizacin:
x y | o + = ' '
x y | o + = ln ln
tiempo
(horas)
(X)
Crecimiento
bacteriano
(UFC/ml)
(Y) Ln(y)
0 4,0 1,3863
1 8,1 2,0893
2 19,6 2,9755
3 44,9 3,8044
4 92,0 4,5218
5 207,3 5,3343
6 566,8 6,3400
7 812,3 6,6999
8 1877,6 7,5378
9 5027,7 8,5227
10 8950,5 9,0995
11 22120,3 10,0043
12 45483,6 10,7251
La estimacin de los parmetros y se hace mediante las ecuaciones para ajustar la recta de
regresin. En este caso, se estimaron usando el procedimiento de lnea de tendencia del excel
Ejemplo de aplicacin de la
linealizacin del modelo exponencial
Linea de tendencia (recta de regresin)
trazada sobre los datos linealizados del
crecimiento bacteriano

x
e y
|
o =
En la figura se observa la recta de regresin
trazada sobre los datos linealizados:
x y
x y
7783 , 0 4101 , 1 '
' '
+ =
+ = | o
o o ln ' =
Con lo que el modelo exponencial propuesto para el crecimiento bacteriano queda:
Por comparacin de los parmetros de la
recta de regresin y los parmetros del
modelo linealizado se tienen:
De donde:
4101 , 1 ' = o 7783 , 0 = |
Y como:
' o
o e =
10 , 4
4101 , 1
= = e o
x
e y
|
o =
) ( 10 , 4
7783 , 0 x
e y =
Ejemplo de aplicacin de la
linealizacin del modelo exponencial
Modelo exponencial (lnea en color azul)
y datos observados (puntos rojos)

x
e y
|
o =
Graficando los datos del modelo exponencial obtenido
contra los datos observados (no transformados) se tiene:
Se observa grficamente una buena
aproximacin del modelo exponencial a
los datos observados.

Sin embargo se debe hacer una precisin
sobre un error comn que se comete al
interpretar los datos del modelo
linealizado.
) ( 10 , 4
7783 , 0 x
e y =
Ejemplo de aplicacin de la
linealizacin del modelo exponencial
Modelo exponencial (lnea en color azul) y
datos observados (puntos rojos)

x
e y
|
o =
Sin embargo se debe hacer una precisin sobre un error
comn que se comete al interpretar los datos del modelo
linealizado.
) ( 10 , 4
7783 , 0 x
e y =
Modelo lineal(lnea en color negro) y datos
observados transformados(puntos rojos)

R
2
=?
1) La bondad del ajuste del modelo medido a travs de R
2

depende de la variable y; como esta variable fue
transformada, no se puede suponer que es igual al del
modelo linealizado.

2) El modelo exponencial obtenido no siempre es la mejor
curva de ajuste, no basta con haber sido obtenido de la
mejor recta de regresin de los datos transformados

Linealizacin del modelo potencial
El modelo potencial:

Se puede transformar en un modelo lineal, aplicando
logaritmos en cada miembro de la ecuacin:








Con lo que si llamamos:

La ecuacin queda como una ecuacin lineal:


|
ox y =
Modelo potencial

Modelo lineal

|
ox y =
x y
x y
x y
x y
x y
ln ln ln
) ln( ln ln
) ln( ) ln( ln
) ln( ) ln(
| o
| o
o
o
o
|
|
|
+ =
+ =
+ =
=
=
|
ox y =
' ' ' x y | o + =
y y ln ' =
x x ln ' =
' ' ' x y | o + =
o o ln ' =
Ejemplo de aplicacin de la
linealizacin del modelo potencial
Cladophora sp. es un alga verde filamentosa que crece en forma de esfera y alcanza
dimensiones macroscpicas, es muy apreciada en acuariofilia, debido a su particular
forma .
Es probable que en estas algas, su peso y radio estn relacionados siguiendo un
modelo potencial cbico, puesto que matemticamente se sabe que para una esfera:
|
ox y =
El modelo propuesto
para relacionar el
peso y el radio de
Cladophora sp. es:


Suponiendo que
est cercano a 3 (de
acuerdo al modelo
matemtico en que se
basa)
|
ox y =
Cladophora sp.
) . .
3
4
(
3
r V P t o o = =
P =peso (g)
: densidad (g/cm
3
)
r : radio de la esfera (cm)
Ejemplo de aplicacin de la
linealizacin del modelo potencial
Diagrama de dispersin de los datos de
radio (cm) y peso (g) de Cladophora sp.

|
ox y =
Graficando los datos
de radio (cm) y peso
(g)
En la tabla siguiente se tienen los datos del peso
y radio de 10 ejemplares de Cladophora sp.
Como se sospecha una relacin potencial entre ambas variables, el modelo propuesto es:
y para estimar los valores de los parmetros y se proceder a linelizar
|
ox y =
N
Radio (cm)
x
Peso (g)
y
1 1,5 10,0
2 2,5 21,9
3 7,0 126,4
4 3,0 40,0
5 5,5 80,0
6 5,0 61,2
7 3,0 16,8
8 8,0 209,5
9 6,0 100,4
10 5,5 50,0
Ejemplo de aplicacin de la
linealizacin del modelo potencial
Relacin radio peso transformado se
acerca a la forma de una lnea recta

|
ox y =
Graficando los
datos de Ln(x)
y Ln(y)
En la tabla siguiente se ha procedido a obtener el
Ln(x) y Ln(y) siguiendo la linealizacin:
' ' ' x y | o + =
x y ln ln ln | o + =
La estimacin de los parmetros y se hace mediante las ecuaciones para ajustar la recta de
regresin. En este caso, se estimaron usando el procedimiento de lnea de tendencia del excel
N
Radio
(cm)
x
Peso
(g)
y Ln x Ln y
1 1,5 1,4 0,405 0,330
2 2,5 6,1 0,916 1,808
3 7,0 147,4 1,946 4,993
4 3,0 10,2 1,099 2,325
5 5,5 67,3 1,705 4,209
6 5,0 49,1 1,609 3,894
7 3,0 9,7 1,099 2,267
8 8,0 242,0 2,079 5,489
9 6,0 86,8 1,792 4,464
10 5,5 65,5 1,705 4,181
Ejemplo de aplicacin de la
linealizacin del modelo potencial
Linea de tendencia (recta de regresin)
trazada sobre los datos linealizados de la
relacin peso - radio

|
ox y =
En la figura se observa la recta de regresin
trazada sobre los datos linealizados:
' 071 . 3 0125 . 1 '
' ' '
x y
x y
+ =
+ = | o
o o ln ' =
Con lo que el modelo potencial propuesto para la relacin peso-radio queda:
Por comparacin de los parmetros de la
recta de regresin y los parmetros del
modelo linealizado se tienen:
De donde:
0125 . 1 ' = o
071 , 3 = |
Y como:
' o
o e =
36 . 0
0125 . 1
= =

e o
|
ox y =
) ( 36 . 0
071 . 3
x y =
Ejemplo de aplicacin de la
linealizacin del modelo potencial
Modelo potencial (lnea en color azul) y
datos observados (puntos rojos)

|
ox y =
Graficando los datos del modelo potencial obtenido contra
los datos observados (no transformados) se tiene:
Se observa grficamente una buena
aproximacin del modelo potencial cbico a los
datos observados.

Sin embargo no se debe inferir que el
coeficiente de determinacin (R
2
)del modelo
potencial es el mismo que el del modelo lineal,
puesto que la variable y de la cual depende R2
fue transformada
) ( 36 , 0
071 , 3
x y =
R
2
=?
Linealizacin del modelo hiperblico
El modelo hiperblico:

Se puede transformar en un modelo lineal,
sustituyendo la variable x por una nueva variable x:








Modelo hiperblico

Modelo lineal

x
x
1
' =
' x y | o + =
x
y
|
o + =
x
y
|
o + =
'
) ' (
)
1
(
x y
x y
x
y
x
y
| o
| o
| o
|
o
+ =
+ =
+ =
+ =
|
o
+ =
x
y
Ejemplo de aplicacin de la
linealizacin del modelo hiperblico
La ostra (Crassostrea sp.) es un organismo
cuya supervivencia medida desde la fase
larvaria, desciende rpidamente,
acercndose a una tendencia hiperblica. Se
ha registrado la supervivencia durante la
fase larvaria de este bivalvo durante 7 das
(168 horas), registrndose los siguientes
datos:
x
y
|
o + =
Halle el modelo
hiperblico que
mejor se ajuste a
los datos
observados
Tiempo
(Horas)
x
Supervivencia
(%)
y
1 92.4
2 48.8
3 32.6
4 36.4
6 23.6
12 17.4
18 9.7
24 8.7
48 8.0
72 8.6
96 6.9
120 6.4
144 5.6
168 5.8
Graficando
los datos de
tiempo(h) y
superv (%)
Ejemplo de aplicacin de la
linealizacin del modelo hiperblico
Los datos transformados se acercan a la
forma de una lnea recta

x
y
|
o + =
Graficando
los datos de
1/x y de
y
En la tabla siguiente se ha procedido a obtener el valor
de 1/x siguiendo la transformacin:
' x y | o + =
x
x
1
' =
La estimacin de los parmetros y se hace mediante las ecuaciones para ajustar la recta de
regresin. En este caso, se estimaron usando el procedimiento de lnea de tendencia del excel
Tiempo
(Horas)
x
Superviv.
(%)
y 1/x
1 92.4 1.0000
2 55.0 0.5000
3 42.0 0.3333
4 30.0 0.2500
6 15.0 0.1667
12 14.0 0.0833
18 10.0 0.0556
24 9.0 0.0417
48 8.0 0.0208
72 7.5 0.0139
96 7.0 0.0104
120 6.0 0.0083
144 5.0 0.0069
168 4.0 0.0060
Ejemplo de aplicacin de la
linealizacin del modelo hiperblico
Linea de tendencia (recta de regresin)
trazada sobre los datos transformados de la
relacin tiempo supervivencia

x
y
|
o + =
En la figura se observa la recta de regresin
trazada sobre los datos linealizados:
' 3570 , 90 6624 , 5
'
x y
x y
+ =
+ = | o
Con lo que el modelo hiperblico propuesto para la relacin supervivencia - tiempo queda:
Por comparacin de los parmetros de la
recta de regresin y los parmetros del
modelo linealizado se tienen:
De donde:
6624 , 5 = o 3570 , 90 = |
x
y
|
o + =
x
y
3570 , 90
6624 , 5 + =
Ejemplo de aplicacin de la
linealizacin del modelo hiperblico
Modelo hiperblico (lnea en color azul) y
datos observados (puntos rojos)

x
y
|
o + =
Graficando los datos del modelo exponencial obtenido
contra los datos observados (no transformados) se tiene:
Se observa grficamente una buena aproximacin
del modelo exponencial cbico a los datos
observados.

En este caso, dado que la transformacin solo se
ha dado en la variable x y no en y, y como el
coeficiente de determinacin (R
2
) depende de y, se
infiere que ambos R
2
son idnticos.
x
y
3570 , 90
6624 , 5 + =
R
2
=?
Linealizacin del modelo logstico
El modelo logstico:

Se puede transformar en un modelo lineal de la siguiente
manera:




Aplicando logaritmos ambos miembros de la ecuacin:





Los modelos logsticos son muy usados en ecologa para
describir el crecimiento de poblaciones



Modelo logstico

Modelo lineal

' x y | o + =
x
e
C
y
| o+
+
=
1
x
e
C
y
| o+
+
=
1
y
y C
e
y
C
e
y
C
e
e
C
y
x
x x
x

=
= = +
+
=
+
+ +
+
| o
| o | o
| o
1 1
1
x
e
C
y
| o+
+
=
1
'
'
) ln( ) ln( ) ln(
y x
y
y
y C
x
y
y C
e
x
= +

= +

=
+
| o
| o
| o

Ejemplo de aplicacin de la
linealizacin del modelo logstico
El cangrejo de ro autctono (Austropotamobius pallipes) de Espaa
se encuentra amenazado por ello se estn haciendo repoblamientos
en lagunas naturales. En uno de estos ensayos, se intent
determinar la curva de crecimiento de la poblacin de cangrejos. Para
ello se introdujo en una laguna de 10 ha, 40 cangrejos adultos (20
machos y 20 hembras). Semestralmente se evalu el nmero de
individuos adultos. Los datos se muestran en la tabla:
El modelo propuesto para relacionar el tiempo y la poblacin es un
modelo logstico:


x
e
C
y
| o+
+
=
1
x
e
C
y
| o+
+
=
1
Graficando
los datos de
tiempo y
poblacin
Diagrama de dispersin de los datos de tiempo(semestres) y
poblacin

Asntota C (capacidad de carga
del ecosistema)
Tiempo
(semestres)
x
Poblacin
y
0 40
1 100
2 180
3 380
4 760
5 1500
6 3000
7 5500
8 10080
9 17020
10 25880
11 32620
12 42060
13 45180
14 47900
15 47800
16 47900
Tiempo
(semestres)
x
Poblacin
y
0 40
1 100
2 180
3 380
4 760
5 1500
6 3000
7 5500
8 10080
9 17020
10 25880
11 32620
12 42060
13 45180
14 47900
15 47800
16 47900
Ejemplo de aplicacin de la
linealizacin del modelo logstico
El cangrejo de ro autctono (Austropotamobius pallipes) de Espaa
se encuentra amenazado por ello se estn haciendo repoblamientos
en lagunas naturales. En uno de estos ensayos, se intent
determinar la curva de crecimiento de la poblacin de cangrejos. Para
ello se introdujo en una laguna de 10 ha, 300 cangrejos adultos
(150 machos y 150 hembras). Semestralmente se evalu el nmero
de individuos adultos. Los datos se muestran en la tabla:
El modelo propuesto para relacionar el tiempo y la poblacin es un
modelo logstico:


x
e
C
y
| o+
+
=
1
x
e
C
y
| o+
+
=
1
Diagrama de dispersin de los datos de tiempo(semestres) y
poblacin

Graficando
los datos de
tiempo y
pblacin
Para simplificar el modelo, la
asntota C, se calcula por
simplicidad evaluando las y
observadas mayores en el
diagrama y cuya grfica tiende a
una lnea horizontal. De estas se
asume que:
C=y
mx
+1
C=47900+1 =47901
Tiempo
(semestres)
x
Poblacin
y
0 40 7.0872
1 100 6.1696
2 180 5.5802
3 380 4.8288
4 760 4.1276
5 1500 3.4319
6 3000 2.7058
7 5500 2.0424
8 10080 1.3223
9 17020 0.5958
10 25880 -0.1615
11 32620 -0.7583
12 42060 -1.9742
13 45180 -2.8097
14 47900 -10.7769
15 47800 -6.1597
16 47900 -10.7769
Ejemplo de aplicacin de la
linealizacin del modelo logstico
Relacin tiempo poblacin se acerca a la forma de
una lnea recta

Graficando
los datos de
x y de
Ln (C-y)/y
En la tabla siguiente se ha procedido a obtener la
transformacin de L de acuerdo a la ecuacin
x y | o + = '
x
y
y C
| o + =

) ln(
La estimacin de los parmetros y se hace mediante las ecuaciones para ajustar la recta de
regresin. En este caso, se estimaron usando el procedimiento de lnea de tendencia del excel
x
e
C
y
| o+
+
=
1
) ln(
y
y C
C=47901
Ejemplo de aplicacin de la
linealizacin del modelo logstico
Linea de tendencia (recta de regresin)
trazada sobre los datos linealizados de la
relacin poblacin - tiempo

En la figura se observa la recta de regresin
trazada sobre los datos linealizados:
x y
x y
0042 . 1 305 . 10 '
'
=
+ = | o
Con lo que el modelo logstico propuesto para la relacin poblacin tiempo queda:
Por comparacin de los parmetros de la
recta de regresin y los parmetros del
modelo linealizado se tienen:
De donde:
305 . 10 = o
0042 . 1 = |
x
e
C
y
| o+
+
=
1
x
e
C
y
| o+
+
=
1
C=47901
x
e
y
0042 . 1 305 . 10
1
47901

+
=
Ejemplo de aplicacin de la
linealizacin del modelo logstico
Modelo logstico (lnea en color azul) y
datos observados (puntos rojos)

Graficando los datos del modelo logstico obtenido contra
los datos observados (no transformados) se tiene:
Se observa grficamente una buena
aproximacin del modelo logstico en los
extremos de la curva y una menor aproximacin
en la parte media.
Como la transformacin se ha dado en la
variable y, el valor de R
2
no coincidir entre el
modelo lineal y el no lineal
R
2
=?
x
e
y
0042 . 1 305 . 10
1
47901

+
=
x
e
C
y
| o+
+
=
1
Ajuste de los datos a una
ecuacin no lineal
Al igual que en el caso de la regresin lineal, en el caso de la no lineal, la
ecuacin que mejor representa a los datos es aquella que minimiza la suma de
los errores o residuales (min
i
).

Existen varias formas para lograr o aproximarse a este requisito:

1. Linealizacin
2. Estimacin algebraica mediante el mtodo de mnimos cuadrados
3. Estimacin de parmetros mediante el algoritmo de Gauss-Newton
4. Estimacin de parmetros mediante el algoritmo de Levenbert-Marquard
5. Estimacin de parmetros mediante el algoritmo de descenso de gradiente

ESTIMACIN ALGEBRAICA
DE MNIMOS CUADRADOS
Modelo Polinomial de 2do grado

Modelo Polinomial de 3er grado

Modelo Polinomial de 4to grado

(
(
(
(
(
(
(
(

+ + +
+
+
+
y x x b x b x b x b x b
y x x b x b x b x b x b
y x x b x b x b x b x b
xy x b x b x b x b x b
y x b x b x b x b n b
n n
n
n n n n
n
n
n
n
n
n
n
n
2 3
3
2
2
1
1 0
3 2 6
3
5
2
4
1
3
0
2 2 5
3
4
2
3
1
2
0
1 4
3
3
2
2
1 0
3
3
2
2 1 0

Estimacin algebraica
mediante mnimos cuadrados
Algunos modelos no lineales, particularmente los
polinmicos:
y = b
0
+ b
1
x +b
2
x
2
++b
n
x
n
Pueden ser resueltos sin necesidad de linealizacin,
el mtodo de mnimo cuadrados (que es el mtodo
general para todos los modelos) provee una solucin
algebraica mediante sistemas de ecuaciones para
estimar los parmetros
b
0
, b
1
, b
2
, , b
n


Mtodo de mnimos
cuadrados

i
=y
i
-
i

i
=b
0
+b
1
x+b
2
x
2
++b
n
x
n
La mejor curva de ajuste cumple:

es mnimo

Y como
La mejor curva cumple:

es mnimo

2
i
c
i i i
y y

= c

= )

(
2 2 2
i i i
y y c
(x
i
,y
i
)
(x
i
,
i
)
x
i

Mtodo de mnimos
cuadrados
La mejor curva de ajuste cumple que es mnimo:

Si llamamos a esta funcin:


La condicin es que sea mnimo.





Teniendo en cuenta que



Donde los parmetros b
0
, b
1
, b
2
, , b
n
se desconocen pero deben
minimizar la funcin


2
2
)

(

=
i i i
y y c
2
2
)

(

= =
i i i
y y c

MINIMIZAR UNA FUNCIN, MATEMTICAMENTE IMPLICA

ENCONTRAR EL PUNTO DE INFLEXIN (PUNTO DONDE SU
DERIVADA SEA CERO)

0 min ) ( =
u
u
d
df
f
n
i n i i i
x b x b x b b y + + + + = ...

2
2 1 0

+ + + + = =
2 2
2 0
2
]) ... [ ( )

(
n
i n i i i i i
x b x b bx b y y y
Mtodo de mnimos
cuadrados
Para encontrar el punto de inflexin se toman derivadas parciales respecto
a cada parmetro incgnita: b
0
, b
1
, b
2
, , b
n
y se igualan a cero, formando
un sistema de ecuaciones:










Que luego de ser desarrollada llega a ser:

=
c
+ + + + c
=
c
c
=
c
c
=
c
+ + + + c
=
c
c
=
c
c
=
c
+ + + + c
=
c
c
=
c
c



0
] ]) ... [ ( [ )

(
0
] ]) ... [ ( [ )

(
0
] ]) ... [ ( [ )

(
2 2
2 1 0
2
1
2 2
2 1 0
1
2
1
0
2 2
2 1 0
0
2
0
n
n
i n i i i
n
i i
n
n
i n i i i i i
n
i n i i i i i
b
x b x b x b b y
b
y y
b
b
x b x b x b b y
b
y y
b
b
x b x b x b b y
b
y y
b

Mtodo de mnimos cuadrados

El mtodo de Gauss Jordan da solucin a la forma matricial del sistema de
ecuaciones:
(
(
(
(
(
(
(
(

=
(
(
(
(
(
(
(
(

(
(
(
(
(
(
(
(

+ + +
+
+
+
y x
y x
y x
xy
y
b
b
b
b
b
x x x x x
x x x x x
x x x x x
x x x x x
x x x x n
n
n
n n n n n
n
n
n
n

3
2
3
2
1
0
2 3 2 1
3 6 5 4 3
2 5 4 3 2
1 4 3 2
3 2

= + + + + +
= + + + + +
= + + + + +
= + + + + +
= + + + + +





+ + +
+
+
+
y x x b x b x b x b x b
y x x b x b x b x b x b
y x x b x b x b x b x b
y x x b x b x b x b x b
y x b x b x b x b n b
n n
n
n n n n
n
n
n
n
n
n
n
n
2 3
3
2
2
1
1 0
3 3 6
3
5
2
4
1
3
0
2 2 5
3
4
2
3
1
2
0
1 4
3
3
2
2
1 0
3
3
2
2 1 0

Para lo cual convierte el sistema en una ecuacin matricial:

X Y
=
En esta ecuacin matricial la variable
desconocida es la matriz por lo que
despejando se tiene:
X = Y = Y/X = Y.X
-1

X=Y
Ejemplo del uso del mtodo de mnimos
cuadrados para estimar un modelo polinomial
Algunas microalgas requieren de condiciones aerbicas (con presencia
de oxgeno) para mantenerse activas. En condiciones anaerbicas
tienden a enquistarse. Se realiz un estudio para determinar la relacin
entre la concentracin de oxgeno (ppm) y el nmero de microalgas no
enquistadas/ml. Trabajos similares con otras algas han sealado que la
relacin entre ambas variables siguen un modelo polinmico de 2do
grado
Oxgeno
(ppm)
x
Microalg no
enquist./ml
Y
0,0 10
0,5 60
1,0 140
1,5 290
2,0 380
2,5 560
3,0 880
3,5 880
4,0 1010
4,5 1770
5,0 1640
Relacin entre el nmero de microalgas no
enquistadas/ml y la concentracin de oxgeno disuelto

Al graficar los
datos, el
diagrama de
dispersin se
aprecia una
tendencia que
como seala la
teora tiende a
ser polinmica
de 2do grado
Ejemplo del uso del mtodo de mnimos
cuadrados para estimar un modelo polinomial
Algunas microalgas requieren de condiciones aerbicas (con
presencia de oxgeno) para mantenerse activas, en condiciones
anaerbicas tienden a enquistarse. Se realiz un estudio para
determinar la relacin entre la concentracin de oxgeno (ppm) y
el nmero de microalgas no enquistadas/ml. Trabajos similares
con otras algas han sealado que la relacin entre ambas
variables siguen un modelo polinmico de 2do grado

= + +
= + +
= + +



y x x b x b x b
xy x b x b x b
y x b x b n b
2 4
2
3
1
2
0
3
2
2
1 0
2
2 1 0
El modelo propuesto es:

2
2 1 0

i i i
x b x b b y + + =
Y se usar el sistema de ecuaciones siguientes para obtener el
valor de los parmetros

De donde se debe calcular los valores de las sumatorias de las
variables x e y: x, x
2
,x
3
,x
4
, y, xy, x
2
y, para poder obtener la
ecuacin que permitir calcular la curva de mnimos cuadrados

Oxgeno
(ppm)
x
Microalg no
enquist./ml
Y
0,0 10
0,5 60
1,0 140
1,5 290
2,0 380
2,5 560
3,0 880
3,5 880
4,0 1010
4,5 1770
5,0 1640
Ejemplo del uso del mtodo de mnimos
cuadrados para estimar un modelo polinomial
N
Oxgeno
(ppm)
x
Microalg no
enquist./ml
y x
2
x
3
x
4
xy x
2
y
1 0,0 10 0,00 0,0 0,000 0 0,0
2 0,5 60 0,25 0,1 0,063 30 15,0
3 1,0 140 1,00 1,0 1,000 140 140,0
4 1,5 290 2,25 3,4 5,063 435 652,5
5 2,0 380 4,00 8,0 16,000 760 1520,0
6 2,5 560 6,25 15,6 39,063 1400 3500,0
7 3,0 880 9,00 27,0 81,000 2640 7920,0
8 3,5 880 12,25 42,9 150,063 3080 10780,0
9 4,0 1010 16,00 64,0 256,000 4040 16160,0
10 4,5 1770 20,25 91,1 410,063 7965 35842,5
11 5,0 1640 25,00 125,0 625,000 8200 41000,0
27,5 7620 96,25 378,1 1583,313 28690 117530,0
5 , 27 =

x
7620 =

y
25 , 96
2
=

x 1 , 378
3
=

x 313 , 1583
4
=

x
28690 =

xy 117530
2
=

y x
Ejemplo del uso del mtodo de mnimos
cuadrados para estimar un modelo polinomial
5 , 27 =

x
7620 =

y
25 , 96
2
=

x 1 , 378
3
=

x 313 , 1583
4
=

x
28690 =

xy 117530
2
=

y x
Reemplazando en las ecuaciones:







Cuya solucin usando Excel (ver archivo en excel ) es:
b
0
= 2,03 b
1
= 102,99 b
2
= 49,51
La ecuacin de regresin es: y = 2,03+102,99x+49,51x

= + +
= + +
= + +



y x x b x b x b
xy x b x b x b
y x b x b n b
2 4
2
3
1
2
0
3
2
2
1 0
2
2 1 0

= + +
= + +
= + +
117530 313 , 1583 1 , 378 25 , 96
28690 1 , 378 25 , 96 5 , 27
7620 25 , 96 5 , 27 11
2 1 0
2 1 0
2 1 0
b b b
b b b
b b b
11 = n
Ejemplo del uso del mtodo de mnimos
cuadrados para estimar un modelo polinomial
y = 2,03+102,99x+49,51x

Ejemplo del uso del mtodo de mnimos
cuadrados para estimar un modelo polinomial
Debe precisarse que al igual
que muchos otros modelos no
lineales, se puede conseguir su
ecuacin e incluso su R
2

usando la opcin Linea de
tendencia de los grficos de
Excel.

Cuyos pasos son:
1) Graficar los datos de x e y
observados con un
diagrama de dispersin
2) clic derecho en algn punto
de los datos
3) Elegir Agregar Lnea de
tendencia
4) Elegir el tipo de regresin
5) Marcar las casillas:
Presentar ecuacin en el
grfico y Presentar R
2
en el
grfico


Ajuste de los datos a una
ecuacin no lineal
Al igual que en el caso de la regresin lineal, en el caso de la no lineal, la
ecuacin que mejor representa a los datos es aquella que minimiza la suma de
los errores o residuales (min
i
).

Existen varias formas para lograr o aproximarse a este requisito:

1. Linealizacin
2. Estimacin algebraica mediante el mtodo de mnimos cuadrados
3. Estimacin de parmetros mediante el algoritmo de Gauss-Newton
4. Estimacin de parmetros mediante el algoritmo de Levenbert-Marquard
5. Estimacin de parmetros mediante el algoritmo de descenso de gradiente

Mtodos de optimizacin
Mtodos de optimizacin
(clculo numrico)
Mtodos de optimizacin
En algunos casos de regresin no lineal, no existen
soluciones algebraicas al mtodo de mnimos
cuadrados y tampoco se puede ensayar la
linealizacin.

En estos casos se usan aproximaciones basadas en
clculos numricos bastante complejos que gracias
al poder de clculo de la computadora ahora son
posibles.

Los mtodos se desprenden del antiguo mtodo de
resolver ecuaciones basadas en el tanteo.

Mtodos de optimizacin
En algunos casos de regresin no lineal, no existen
soluciones algebraicas al mtodo de mnimos
cuadrados y tampoco se puede ensayar la
linealizacin.

En estos casos se usan aproximaciones basadas en
clculos numricos bastante complejos que gracias
al poder de clculo de la computadora ahora son
posibles.

Los mtodos se desprenden del antiguo mtodo de
resolver ecuaciones basadas en el tanteo.

Mtodos del tanteo
Consiste en dar diversos valores a la variable incgnita hasta encontrar el
valor que resuelve la ecuacin. Ejm:
Resolver por tanteo: y = 4+9x+5x=0
Dando diferentes valores:
Valor inicial: x= 3
Iteracin 1: x= 3 4 + 9(3)+5(3) = 76 (Muy alto)
Accin: Bajar x
Iteracin 2: x= 0 4 + 9(0)+5(0) = 4 (Ya est bajando)
Accin bajar x
Iteracin 3: x= -3 4 + 9(-3)+5(-3) = 18 (Volvio a subir)
Accin subir x
Iteracin 4: x= -2 4 + 9(-2)+5(-2) = 6 (est bajando)
Accin solucin est entre 0 y -2
Iteracin 5: x= -1 4 + 9(-1)+5(-1) = 0 (se igual a cero)
Accin: Solucin encontrada en 5 intentos



Mtodos del tanteo

Iteracin 1:
x= 3 y = 76
Iteracin 2:
x= 0 y = 4
Iteracin 3:
x= -3 y =18
Iteracin 4:
x= -2 y =4
Iteracin 5:
x= -1 y =0
SOLUCION!!!
Mtodos del tanteo
El mtodo del tanteo as mostrado es bastante sencillo, sin
embargo en los problemas para encontrar la regresin no
lineal, se enfrentar a situaciones mucho ms dificiles:
1) ecuaciones mucho ms complejas:




2) Un mayor nmero de variables (b
0
, b
1
, b
2
, etc) a estimar:

Si quisiramos entender grficamente el problema se vera
as en el caso de una ecuacin compleja con 2 variables a
estimar: b
0
y b
1
0
)
1
(
2
=
c
+
c
=
c
c

+
b
e
c
b
bx a

Mtodos de optimizacin
b
0
b
1
La figura en forma de
montaa representa
los valores de la
suma de cuadrados
de una funcin que
depende de los
parmetros b0 y b1
La pregunta es:

Donde se encontrarn
los valores de b0 y b1
que hagan mnima la
funcin
Es lgico que estn
en el punto ms bajo
del grfico en forma
de montaa.
Punto donde
el valor es
mnimo
b
0
ptimo
b
1
ptimo
Mtodos de optimizacin
b
0
b
1
La matemtica para resolver
el problema es bastante
compleja y requiere de
conocimientos que podran
estar ms all de lo que
algunos conocemos.

Por ejemplo en forma general
los mtodos que buscan los
valores mnimos se basan en
Punto donde
el valor es
mnimo
b
0
ptimo
b
1
ptimo
Mtodos de optimizacin
b
0
b
1
La buena noticia es que no es
necesario entender toda esta
matemtica para hacer uso del
poder de la optimizacin. Basta
con entender algunas cosas
bsicas:
1) La computadora realizar el
mtodo de tanteo cientos o
miles de veces.
2) Es necsario darle valores
iniciales a las incgnitas
3) Buscara la mejor forma para
encontrar el punto ms bajo
de la grfica.
4) La computadora se detendr
y dar la solucin cuando
encuentre la solucin o una
solucin suficientemente
aproximada (con un margen
de error muy pequeo
previamente establecido)
Punto donde
el valor es
mnimo
b
0
ptimo
b
1
ptimo
Mtodos de optimizacin
b
0
b
1
Existen diversos mtodos para encontrar los
mnimos cuadrados usando optimizacin, entre
ellos tenemos:

Estimacin de parmetros mediante el algoritmo
de Gauss-Newton

Estimacin de parmetros mediante el algoritmo
de Levenbert-Marquard

Estimacin de parmetros mediante el algoritmo
de descenso de gradiente

El segundo de ellos est bien implementado en
el SPSS
Punto donde
el valor es
mnimo
b
0
ptimo
b
1
ptimo
Ejemplo de Mtodos de optimizacin
b
0
b
1
Usando SPSS y el mtodo de Leverberg
Marquard resuelve el problema de regresin
logstica de la diapositiva 26
Punto donde
el valor es
mnimo
b
0
ptimo
b
1
ptimo
CORRELACIN
Correlacin
El grado de ajuste de las curvas no lineales calculadas mediante los
mtodos anteriores, es abordado mediante el anlisis de correlacin.
El coeficiente de determinacin R
2
es el indicador ms til en estos
casos.
En forma general (para modelos lineales y no lineales) R
2
se define
como:


Donde:
R
2
: Coeficiente de determinacin (va de 0 a 1)

SCE: suma de cuadrados del error:

SCT: suma de cuadrados del total:


SCT
SCE
R =1
2
2
)

=
i i
y y SCE
2
) (

= y y SCT
i
Debe precisarse que la interpretacin del coeficiente de determinacin en
estos casos es: Que el modelo de regresin utilizado explica en que
tanto por ciento las variaciones en y
Interpretacin grfica de SCE y SCT
Los valores de SCE y SCT se pueden apreciar estudiando la figura
siguiente donde se observa el diagrama de dispersin (y observados) y
la curva de regresin (y estimados)





Primero se debe
calcular el promedio
de y y dibujarse en
la figura
_
y
y
i i i
y y

= c
)

, (
i i
y x
i
x
) , (
i i
y x
y y
i

La comparacin de las cantidades (y
i
- y)
y (y
i
- y
i
) nos da una indicacin de la
proporcin del error en que incurre el
modelo:
Por lo que el error del modelos ser:
Error modelo=

Y la precisin del modelo ser:
Precisin = 1 error modelo =

^
SCT
SCE
y y
y y
i
i i
=

2
2
) (
)

(
2
1 R
SCT
SCE
=
Ejemplo d e clculo del coeficiente de
determinacin R
2
Para el ejercicio de regresin polinmica de segundo grado para
las microalgas no enquistadas, calcule el valor de R
2

La ecuacin de la curva de regresin obtenida fue:

2
51 , 49 99 , 102 03 , 2

x x y
i
+ + =
95446 . 0
3678218
167510
1
) (
)

(
1
1
2
2
2
2
2
= =

=
=

R
y y
y y
R
SCT
SCE
R
i
i i
Calculando el valor de R
2
N
Oxgen
o
(ppm)
x
Microalg
no
enquist./ml
(y) y
estim
(y
i
-y
prom
) (y
i
-y
estim
)
1 0.0 10 2 466117 63.52
2 0.5 60 66 400344 34.84
3 1.0 140 155 305507 211.12
4 1.5 290 268 162189 487.86
5 2.0 380 406 97798 678.60
6 2.5 560 569 17617 79.97
7 3.0 880 757 35071 15230.03
8 3.5 880 969 35071 7919.67
9 4.0 1010 1206 100662 38474.82
10 4.5 1770 1468 1160517 91166.25
11 5.0 1640 1755 897326 13162.97
27.5 7620 40276 3678218 167510
Prom 693
El modelo polinmico
explica el 95,5 % de las
variaciones observadas en
y

FIN DE LA PRESENTACIN