Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
N^27
REGRESIN NO LINEAL
GUILLERMO RIVAS M .
Estadstico, Universidad Nacional de Colombia
1. INTRODUCCIN
2. MODELOS N O LINEALES
Typeset by AMS-TK
89
90 GUILLERMO RIVAS, LUIS A. LPEZ Y ANTONIO VELASCO
(1) Y = f{6,0 + ,
f(e,C) = 9 i [ l - e x p { - 9 2 Q ,
donde C, indica el tiempo una vez que la reaccin ha comenzado.Un segundo ejem-
plo, hace referencia al crecimiento de plantas u organismos el cual frecuentemente se
representa por un modelo logstico de la forma
9i
f{9,0 = l-\-92expi-930
r u = V u - f(9Xu) u = l,...,n.
para alguna funcin gi que depende slo de los valores de C pero no de los valores de
6 (parmetros). Los modelos que no se pueden escribir de esta forma son no lineales
REGRESIN NO LINEAL 91
(3) M C ) = ^ i + 2 C + 3C'
(4) f { 9 , 0 = 9iexp{-920
no puede hacerse esta representacin. Una forma sencilla de ver si un modelo es lineal
o no, es examinando las derivadas de / con respecto a cada uno de los parmetros
9i. Si df/d9i no depende de ninguno de los elementos de 9 = ( 9 i , . . .,9p)^ ,l modelo
es lineal en 0,; y si adems es lineal en todos los p petrmetros el modelo se dice
lineal en los parmetros o simplemente lineal.Algunos modelos no lineales, mediante
una apropiada transformacin pueden describirse como en la ecuacin (2), as por
ejemplo el modeloy caso (4) mediante la transformacin logaritmo puede representarse
como en (2). Las transformaciones para linealizar, sin embargo, tienen el efecto de
transformar tambin los errores t alterando asi la relacin entre f y c. Generalmente
los supuestos sobre e para el modelo original no tienen las mismas propiedades despus
de la transformacin. Es bueno verificar la validez de los supuestos despus de ajustar
el modelo o usar modelos lineales generalizados en el anlisis.
3. REGRESIN N O LINEAL
3.1 Motivacin. La regresin no lineal se usa cuando se quieren estimar los par-
metros de un modelo no lineal que relaciona una respuesta Y con algunas variables
control o predictoras (Ci, = 1 , . . . , ib). Esto es
Yu=f(9,Cu)-heu tl = ! , . . . ,
d^__. df ^ 9iC
d9i 2 + C' 992 (^2 + C)^
)-m^i)^k
el cual es lineal en los parmetros al hacer A = j - y ;32 = ^ . Se podra por con-
siguiente estimar /?i y 02 usando regresin lineal de los datos recprocos de velocidad
sobre los recprocos de substrato y luego estimar 9 = {9i,92)^.
4. ESTIMACIN DE PARMETROS
(5) y u = / ( C u , ^ ) + f u=l,...,n
donde
Cu = (Clu. - . C t u )
9 = i9i,...,9)'^
= (i,...,e)'^
Note que como y y Cu son observaciones fijas, la suma de cuadrados es una funcin
de 9. Denotaremos por 9, una estimacin mnimos cuadrados de 9, esto es, un valor de
9 que minimiza S{9). Se puede mostrar que, si f ~ N{0, I<r^), la estimacin mnimos
cuadrados de 9 es tambin la estimacin de mxima verosimilitud de 9. Debido al
hecho que la funcin de verosimilitud para este problema se puede escribir como
L(^,<r^) = ( 2 ^ < r ^ ) - T e x p ( - | ^ )
(7) ^{Yu-fiCuJ)}\\df{Cu,e)
d9i
= 0, 1=1 w
u=i L
5. ESTIMACIN DE PARMETROS.
a/(Cu,)
(8) f{<u,9) = f{Cu,9o) + t l {9i - 9io).
i= l 9=o,
ho={FjFo)-'F^{Y-f).
SS{9) = Y, >--/(Cu, 0 ) - / ? ? / ?
u= l = 1
con respecto a los /?, i = 1,...,p, donde /? = 99O. Si se escribe 6 = Sji .Q; en-
tonces los 9ii, i = 1 , . . . ,p, se pueden pensar como las mejores estimaciones revisadas
e9.
Luego se colocan los valores ^1, las estimaciones revisadas, en los mismos lugares
que fueron ubicados los ?o y se sigue el mismo procedimiento descrito anteriormente
pero reemplazando todos los ceros por unos. Esto nos llevar a otro conjunto de
estimaciones revisadas 62, y asi sucesivamente.En forma de vector podemos escribir,
9j+i = 9 j + bj
,-1
9j+i = 9j -f { F l F j f F f ( y - f i ) j = 0,1,...
donde
^i = { ^ . . } ' /' = ( / . - - - . / ) y 0j={9ij,...,9pj)
REGRESIN NO LINEAL 95
Este proceso iterativo se repite hasta que la solucin converja, esto es, hasta que en
las iteraciones sucesivas, j , {j -\- 1), se satisfaga
9i(j+i)--9ij
<6, i=l,...,p,
6ii
donde 6 es alguna cantidad positiva pequea dada con anterioridad. En cada etapa
del procedimiento iterativo, se calcula S{9j) pata ver si hay alguna reduccin en la
suma de cuadrados.
5.2. M t o d o de M a r q u a r d t (1963). Este mtodo realiza una interpolacin pti-
ma entre el mtodo de linealizacin y el mtodo del gradiente (o steepest-descent), la
aproximeicin est basada en l mxima vecindad donde la aproximacin de Taylor
de primer orden da una adecuada representacin del modelo no lineal.En contraste
al mtodo de linealizacin, el mtodo del gradiente calcula el vector de correcciones 6
a partir del vector de estimaciones iniciales en la direccin del gradiente negativo de
S{9). As,
_ (dS{9) dSi9)Y
"'- V " a r ' - ' dp )
el subndice g, indica que es el vector correccin dado por el mtodo del gradiente.El
problema del mtodo del gradiente es que converge muy lentamente despus de unas
pocas iteraciones. Tanto con este mtodo como con el mtodo de linealizacin es
necesario controlar cuidadosamente el tamao del paso una vez establecida la dijreccin
del vector correccin; el control consiste en tomar una fraccin A, O < A < 1, del vector
correccin en lugar de tomar A = 1.
bM = {F^Fo -f Xdiag{FFo))-'Fj{Y - f)
9i t.025V^'Cii.
REGRESIN NO LINEAL 97
Var(9i) Cov(9i,9j) ., .
cu = j y Cij = 5-^i- para t ^ j
de aqu se pueden estimar los componentes de C usando el cuadrado medio residual "^,
los errores estndar de los estimadores y la matriz de correlaciones de los estimstdores.
Esta informacin es dada por el paquete SAS (Chaves 1984; Velasquez at al 1986).
Ho : r = To vs /f i : r ^ ro
T='-
se hace necesario estimar dos modelos; el modelo reducido por la hipteis nula y el
modelo completo; esto hace que la aplicacin de esta prueba sea un poco costosa y
98 GUILLERMO RIVAS, LUIS A. LPEZ Y ANTONIO VELASCO
c 1 -I- - ^ F a
n-p
donde Fa es el punto crtico or-superior de una distribucin F con grados de libertad
del numerador q y del denominador n p.
-Como se vio anteriormente, 9 ~ ANp{9,a^C), con a'^C estimado por a'^C. En-
tonces, una estadstica de prueba para la hiptesis Ho : T = TQ vs. Hi : T ^ TO, es la
siguiente:
g ^ {r-To)'^C2^{f-ro)
qd"^
donde "22 es la submatriz de C obtenida eliminando las primeras r filas y columnas
y f es el vector que resulta de eliminar las primeris r filas de 9; 9^ = {F, f^). La
hiptesis se rechaza cuando S > 6, donde P{S > d\Ho) = a. En la prctica d se
aproxima por d a Fa donde Fo, es como antes.
-La prueba de Wald: supongamos que se quiere probar
Ho : h{9) = O vs. Hi : hi9) 7^ O
donde h{9) es una funcin continua y diferenciable de W * IR* (g < p), con jacobiano
H{9) = ^ h { 9 )
7. EJEMPLO ILUSTRATIVO
Para mostrar una aplicacin de los resultados tericos, se usaron los datos obtenidos
por Yesmith Santos en la elaboracin de su tesis de magister en Ingeniera Qumica,
U. Nal. de Colombia (1992). El estudio consisti en medir en una reaccin qumica,
la concentracin de un substrato en un deteminado instante del tiempo. Las variables
estudiadas fueron: concentracin de un substrato en un determinado tiempo, notada
por Y y tiempo t en el cual se hizo la observacin. Se obtuvieron un total de 10
observaciones. De lo anterior se tiene que el nmero de variables independientes es
k = 1, el tiempo, y n = 10. Los datos observados aparecen en la tabla siguiente:
REGRESIN NO LINEAL 99
Tabla de datos.
u Y t
1 0.002 0.5
2 0.005 1.0
3 0.008 1.5
4 0.023 2.0
5 0.029 2.5
6 0.026 3.0
7 0.019 3.5
8 0.014 4.0
9 0.010 4.5
10 0.007 5.0
Un anlisis grfico inicial permite concluir claramente que estas dos variables no
estn asociadas linealmente, ya que al comenzar la reaccin qumica y hasta el tiempo
t = 22.5 min. hay un incremento en la concentracin de substrato Y, pero a par-
tir de este punto y hasta el final de las observaciones, empieza a disminuir dicha
concentracin. Lo anterior sugiere un modelo de la forma:
y = i * ' exp(-e3<u) u = 1 , . . . 10
Para el presente caso, como el modelo es linealizable, se utiliz regresin lineal para
encontrar las estimaciones de los parmetros /?o > A y y^2 y a partir de stas los valores
iniciales del vector 9 fueron: 9o = (0.02494;3.17171; 1.24044)^".
Ya con el vector de estimaciones iniciales se puede usar el procedimiento NLIN
del paquete SAS, para estimar los parmetros del modelo. El paquete realiza la
estimacin de los parmetros utilizando el algoritmo de Gauss-Newton, ya que se le
estn dando las derivadas parciales de la funcin de respuesta con respecto a cada
uno de los parmetros y no se est utizando la opcin METHOD (ver programa). El
programa para el ajuste del modelo en cuestin es:
100 GUILLERMO RIVAS, LUIS A. LPEZ Y ANTONIO VELASCO
DATA ILUSTRi
INFILE 'A:dato8.pm';
INPUT T Y;
PROC NLIN ITER=50 CONVERGENCE=1.0E-13;
PARMS T1=0.02494 T2=3.17171 T3=l.24044, (EttiniAcioDci inici&let de los pr.inctroa)
MODEL Y=T1*T**T2*EXP(-T3*T); (Modelo ft CBtiniftT )
DER.T1=T**T2*EXP(-T3*T);
DER.T2=Tl*LOG(T)*T**T2*EXP(-T3*T); (D.ti..d. p^iciu.i co itp<:to . e.d. p.timoro)
DER.T3=-T1T**(T2-H)*EXP(-T3*T),
OUTPUT OUT=SALIDA P=YHAT RESIDUAL=RES;
RUN;
U n c o r r e c t e d Total 10 0.00284500000
Lower Upper
De los resultados obtenidos al ejecutar el programa, se tiene que despus de diez it-
eraciones el vector de estimaciones queda dado por:^ = (0.032861,6.715867,2.532756)'^,
con S{9) = 0.0000319. Por consiguiente, el modelo ajustado queda:
yu = 0.033<^^'^exp(2.533u) u = 1,...,10
0.000032
&^ = = 0.00000455
= f ^ = 6.1538, 22 = ^ ^ ^ = 162870.989
VERIFICACIN DE SUPUESTO
BIBLIOGRAFA
1. Burguete, H. P. (1982)., El Uto de la Metodologa Cieniifiea y la Estadistica, con Especial, Ref-
erencia a los Modelos no Lineales, en las Ciencias Ek;onmicas., Conferencia Centro de Economa,
C. P. Chapingo Mxico..
2. Chaves, C.B., Una prueba de Walel en regresin. Tesis Colegio de Postgiado, Mxico.
3. Chaves, C. B., Burguete, H. F . e Infante, G. S. (1984)., Metodologa Estadstica en Modelos de
Regresin no Lineal, Comunicaciones en Estadstica y Cmputo 3 ( 1 ) . , Centro de Estadstica y
Clculo, C. P. Chapingo, Mxico.
102 GUILLERMO RIVAS, LUIS A. LPEZ Y ANTONIO VELASCO
4. Draper, N. R. and Smith, H. (1981)., Applied Regression Analysis nd ed, vol. 10., John Wiley
i Sons, New York.
5. Gallant, A. R. (1975), Nonlinear Regresin, The American Statistician 29 ( 2 ) , 73-81.
6. Gallant, A. R. (1986), Nonlinear Regression, vol. 1, John Wiley & Sons, New York.
7. Marquardt, D. W. (1963), An algorithm for least sguares estimation of nonlinear parameters,
J o u m a l of The Society For Industrial and Applied Mathematics 2, 431,441.
8. Michaelis, L. and Menten, M. L. (1913)., Biochemische Zeit 4 9 , 333-339.
9. SAS. (1979)., User's guide, SAS Institute,, Raleigh, N. C .
10. Velasquez, V. C. y Escarpetta G. J. (1986)., Algunos Aspectos Tericos y Aplicaaciones de la
Regresin no Lineal. Tesis de Estadsticos, Universidad Nacional de Colombia, Santaf de Bogot
D.C.