APENONGE A METODO DE LOS MiNIMOS CUADRADOSApénidice A Método de los minimos cuadrados 238 A-1 INTRODUCCION. En el capitulo 2 se trat6 el problema de interpolacién, es decir, dados (&, ¥:}@=0,1--,2, (241) puntos con x,#x, para todo i#j se obtuvo el polinamio P(x) de grado menor o igual que n tal que: P(s)=, 4) Ahora se tratara el problema de ajuste de curvas usando el método de los minimos cuadrados, e! cual consiste en hallar la mejor funci6n g que ajuste un conjunto de puntos de tal manera que mediante g se obtengan valores que sean lo mas pequefio posible en tas desviaciones (o errores). Como son varias desviaciones se debe elegir un criterio que las minimice. Para ello se elige primero la curva g de tal manera que $7 sea minimo, donde a =|», —a(&,)] es la desviacion. Pero minimizar 5°|y,-g(x,)| no es tarea facil, en lugar de ello se minimiza la suma de los cuadrados de las desviaciones, es decir, se minimiza YO,-se)). donde y, es el valor dado y g(x) el valor aproximado. Resumienendo, el método de los minimos cuadrados que consiste en seleccionar los parametros de la curva g de manera que se minimice Lo-se))- A continuacién se explica el método para el caso de una recta y después se generaliza para un polinomio de grado n; y finalmente se usan otras funciones. A-2. RECTA DE REGRESION. (Regresion lineal)Apéndice A Método de los minimos cuadrados 236 Sean (x,, y,), i=0,,---,2 puntos tales que x, #x, para todo iz j. Se quiere hallar la ‘mejor’ funcién lineal g usando el método de los minimos cuadrados: sea g(x)=mx+b esta funcién. Asi: g(x,) valor aproximado y, valor dado. Entonces la desviacién (error) de la recta g con respecto a cada y, se define asf: n=y-alx) rym, —b, i=12n se deben hallar m y b de tal manera que el error (suma de los cuadrados de los 7,) sea minimo. Es decir, se debe minimizar la expresién: 2 xo, mx, —by Ja cual se considera como una funcién de las variables m y b: F (08) S.(,-ms 8) (2) Observe que f(m,)>0 y se anula sdlo si 7,=0, para todo i (en este caso todos los puntos estan sobre la recta g ). Hay que buscar los valores de m y b que minimizan a f para ello se procede asi: se resuelve el sistema Hlm,b) _ 9 H(m.b) _6 ‘am y lo cual equivale a: ee) $6, -me,-B)(-x,)=0 He) 2$°6,-ms,-B)C1)=0 Reordenando estas ecuaciones se obtiene el sistema lineal:Po Apéndice A. Método de los minimos cuarados 237 , (Se}(Sa)be. = a as) (s 1m b= 9°, (e estas ecuaciones se les lama ecuaciones normales ) La solucién del sistema (A-3) es: (A4) Aplicando el método de la primera derivada para funciones de dos variables se demuestra que el punto (m,5) , donde m y b se caiculan con las ‘ecuaciones (A-#) , es un minimo relativo (en los ejercicios resueltos de este apéndice se enuncia el criterio de la segunda derivada y se demuestra que (m,5) es un minimo absoluto). Luego la recta buscada es: g(x)=mx+b con m y n dados por (A-4), y el error asociado es: Eb -ms,-F as) que representa el minimo error que puede ser obtenido usando una recta. A esta recta también se le llama recta de regresién lineal, Los datos obtenidos de una medicién pueden interpolarse, pero en ta mayorfa de los casos no es recomendable una interpolacién directa, debido a los errores iterativos implicados en la medicin. Para este tipo de datos, se recomienda ajustar los datos usando el método de los minimos cuadrados.Apéndice A Método de les minimos euadrados 238 Ejemplo A.1 Aplicando el método de los minimos cuadrados, halle la recta que ajusta los siguientes puntos: Solucién: Cuando el problema se resuelve en forma manual es mejor seguir Un esquema y tabular lo calculos: x | x v% 4 t 1 1.000. A “O41 | G07 | 7.089 | -0.1099 02 | 0.04 |0.808 | 0.1616 4.0 | 1.00 | 1.000 7.0000 ¥ | ot | 205 [S807 | aosi7 Las ecuaciones normales son: 2.05m+0.15 = 0.0517 0.1m +45 =3,907 de donde m=~0,002245, 6 = 0.97731. Luego la recta de regresi6n es: 9 (x)=-0.002245x+0.97731 Para hallar el error se deben calcular ¢(x,): x A ot [02 TO O4 y 7 7099 | 0.808 7 3.007 els) 0.979655 | 0.575345 | 0.876861 | 0.875065 [09770855 (eG) | 417998x10" | 0.0147538 [00028514 | 6.217b4c10™ |2.0299745 Aplicando la formula (A-5) se obtiene que el error es: Error = 2,974222052‘Apéadice A. Método de los minimos euadrados 239 ALGORITMO: Para determinar la recta de regresién usando el método de los minimos cuadrados { y=ax+b). ENTRADA: numero de datos n. valor de x,, y,, 7=1,2,-+-,n SALIDA: valor de a y b. Paso Para i=1,2,---,n calcule: z=, e= Le d=Sxy, Paso 2: Caloule p=ne-q Paso 3: Calcule: nd-qe—,_ez~ad P P Paso 4: Escribir. La recta de regresin es: EI método de los minimos cuadrados se puede extender para ajustar datos usando un polinomio de grado m: Sea (x, y,), /=0,1,--+,n, puntos tal que x,#x,, 1#j. Sea P(x) el polinomio de grado m: P()=Sbx', msn & La desviacién de los datos es: n=¥- Pe) Luego: (As) Asi, la expresién (A-6) es una funcién f de varias variables: F(bq1b,.--b) = ZY, PCE)!” La cual hay que minimizar. Para ello se buscan las derivadas parciales de f con respecto a cada variable y se igualan a cero:Apéndice A” Método de los minimos cnadrados 240 k=0--,m (A7) (A-7) representa un sistema de (m+1) ecuaciones con (m+1) incégnitas, y dichas ecuaciones se llaman ecuaciones normales. El sistema (A-7) equivale (6, 4, ry Harta) . $y, P6e,)r,)=0 a, (A-8) Desglosando (A-8) se obtiene: ma, +(©x,)b, +(x, 2p, +t(Dx,")b, = Dy, (©x,)ay +(Sx,7)o, +E, ")b, ++ Ox"), =D y.2, (©x,?)a, +E x, )5 (Ee, ")o ++ (Ex,77)5, =D? 8) Carbs tbat Earths tHE, Ear El sistema (A-9) se resuelve y se obtienen los valores de los 5, . Este sistema tiene solucién Unica siempre que los x, sean distintos. El error viene dado por. Loree (ato Si se aumenta el grado del polinomio se incrementa el orden del sistema, por lo que se debe recordar que esto trae como consecuencia_un aumento en los errores por redondeo. Al aplicar el método de los minimos cuadrados recuerde que primero se elige la curva adecuada al comportamiento de los datos (graficarlos primero) y después se hallan los pardmetros que definen la curva.Apéndice A Método de los minimos cuadrados 24 Ejemplo A.2. La siguiente tabla corresponde a los ingresos debido alas ventas en millones de bolivares por afio de una empresa de productos electrénicos. Afios. 1994 | 1995 | 1996 | 1997 | 1998 | 1999 | 2000 Ingreses (Millones de|S0 |62 [48 [54 |56 [55 [60 Bs.) Estime los ingresos por las ventas para el afio 12002, usando regresién lineal. Solucién: La variable independiente es el tiempo (x en afios) y los ingresos debido a las ventas como la variable dependiente (y), entonces formaremos la siguiente tabla. x j4 [2 [3 |4 15 |6 [7 y [50 [52 |48 [54 [56 [55/60 Ahora se construiré una tabla con los calculos requeridos para obtener la recta de mejor ajuste e los puntos dados: x Mi a: x 1 50 50 1 2 [82 104 4] 3 48 144 9 4 54 216 6 5 56 280 25 6 55 330 36. 7 60 420 49 ‘Sumatoria [28 375 | 1644 [140 Para obtener la recta de mejor ajuste y= mx-+5 de los datos, apicamos las formulas (A-4), obteniéndose los valores m=1.57142857 y b=47.2857143, luego:Apéndice A Método de los minimos cuadrados 242 La recta de mejor ajuste es: y=1.57142857x+47,2857143 El pronostico para el afio 2002 (x=9) es: y=1.57142857x+47.2857143, por lo tanto, y=61.4285714, EI pronostico para las ventas para el afio 2002 es de 61.43 millones de Bs. Este resultado es razonable debido a que en la tabla de datos se observa que casi siempre hubo aumento en el ingreso debido a las ventas. Ejemplo A. 3. La siguiente tabla contiene los datos sobre la evolucién de la pobiacién Venezolana: Afi 1941 1950, 1961 1974 1984 1990: Habitan 1072155 | 1451673 | 181026 2 2 5 5 3850771 | 5043838 | 7523999 Estimacién de la poblacién para el afio 2000 usando el método de los minimos cuadrados con un polinomio de grado: a) 1 b)5 Solucion: a) La recta de regresi6n viene dada por: y -b 1. mx, donde b y m se calcutan usando a ecuacién (A~4). Tomando x como los afios , y como el numero de habitantes, tenemos: n=6 , Y(x,)=11794 , Y(,)=59762130 , Yby,)=11798364107 , Yi (x?)=23184804 , de alli se calculan m y b obteniéndose : m=2952724453 y b =-$70446858.154 . Luego: y=-570446858154-+295272.4453x. Para el afio 2000: (2000) = 2009821.846 Habitantes para el afio 2000. b) El polinomio de regresién de grado 5 viene dado por:Apéndice A Método de los minimos euadrados 3 yratberce dd tex + fc’ donde los coeficientes a, b, c, d, e y f se obtienen resolviendo el sistema (A-9) con n=. a6 465%, +eD(x2)+aEe? eed le, yEb) =D, aD, )+0E G2) +L Habs Ek’ Eb) -De) cee al aan =&*),) ad) 0D (,eeD Had le eD ee Ele) =D(e'y,) a5 (,"}+0E els) +dE be eed Ge! wn : rk‘) a (e')+oE ber k,axk," orb?) Eb" )-D(').) (A-10) donde: Dx, =11794 LG) =2.63576x10" XG) =2.31848.10" YG)? =5.1845x10" DiG& JF =4.55804x10" XO,)=5.97621x10" XG) =8.96159x10" Ybyy,)=1.17984x10" YG) =1.76208«10" ¥@P>,)=2.3294x10" YG) =3.46495x10” Yl) y,)=4.59929%10" YJ =6:81398%108 ¥(@)'»,)=9.08161x10" SiG) =1.3401x107 ¥(@)'s,)=1.79333«10" Estos resultados que se sustituyen en (A-10), y resolviendo el sistema de ecuaciones usando eliminacién de Gauss se obtiene: al) = 40448,5 x(4)=5.31496«10° 2(2)= 20.5616 x5) =6.69572x107Apéndice A Método de Jos minimos cuadrados 244 x(3)=0.0104544 x{6)=3.39157x10" Luego, el polinomio de regresién de grado 5 es: (x)= 40448.5 + 20,5616x + 0,0104544x + 5.31496x10%x* + 6.69572x107 x* +3,39157x 107% 2x? Evaluando en x = 2000 se obtiene: y(2000)= 2173208498 habitantes. Asi para el afio 2000 se estima una poblacién de aproximadamente 21732084.98 habitantes. La siguiente definicion y teorema son de utilidad para resolver el ejemplo A.4 Definicién A-1. Se dice que la funcién f de dos variables tiene un valor maximo relativo en el punto (x), y,) si existe un disco abierto B(x, y,)r) tal que f(x. Y)2 f(x, y) para todo (x,y) en B(x, %}7)- Definicién A-2. Se dice que la funcién f de dos variables tiene un valor minimo relativo en el punto (x,, y,) si existe un disco abierto B(x, y,),r) tal que f(%, JSF y) para todo (x,y) en B(x, ¥o}7)- Teorema A-1. Si F(x, ») existe en todos los puntos en algtin disco abierto B(x), yr) y si f tiene un extremo relative en (x,, y,) entonces S.Go%) ¥ S,(%» Yo) existen y se cumple que f(x, Yo) =O ¥ JS, (x, Yo) =0 Definicién A-3. El punto (x,, y,) para el cual f(x, ¥)=0 ¥ F, (x. ¥)=0 ‘se llama punto critico.Apéndice A Método de los minimos cuadrados 245, Teorema A-2. Prueba de la segunda derivada: para determinar los maximos y minimos relativos de las funciones de dos variables. Sea f una funcién de dos variables tal que f y su primera y segunda derivadas parciales sean continuas en algiin disco abierto B((a,4)r). Supongamos que J,(a, 6)= f, (a, b)=0 (punto eritico). Entonces: ) Si £,@.)f,(.6)-F,'(@)>0 y f.(a,5)>0 {0 fy(a,6)>0) entonces ftiene un minimoen (a, 5). i) f tiene un = maximo — en @s) si: Sa(@, 6) Sy(4,)-fy'(a.b)>9 y — fa(ab)<0 (0 frp(a,b)<0). iit) St £,@4)f,(2.4)-F,"(@,5)<0 entonces f(a, 6) no es un extremos relativo (punto silla) v) Si £,@, 4) F,(@,5)- f,°(@,)=0 no podemos conciuir, NOTA: SiS, 4,5, fy S~ SON continuas en una regién abierta R entonces para cada (x,y) en R f(x,y) =fe(x,9)- Ejemplo A.4. Demuestre que los valores de m y b dados por las ecuaciones (A-4) producen un minimo relativo de f, donde: F,6)=$20,-ms, BY (att) Solucién: Derivando parcialmente f con respecto a m y b se tiene: tlt) LOD 9$ lo = xy +b) ile y= LO 2,4 +8)‘Apéndice A Método de los minimos cusdrados 245 Para aplicar le criterio de la segunda derivada hay que buscar f,.., fis» Sas = SrnlB)=23.22 ,fum)=2n ,— Salnt)= Sion) = 25.5 Se debe probar que el punto (m,b) con m y b dado por las ecuaciones (A-4) es un minimo relativo de f, para ello se debe verificar que se cumplan las condiciones del teorema A.2: Y fon(m,b)>0, —fig(m,b)>0 Sald)-fulot)-fCn8)=( 25.50) -(285) Je v oe Por lo tanto el punto (m,5) es un minimo relativo. Ejemplo A.5 Ajuste los datos de la tabla dada usando a) el polinomio de grado 2 de minimos cuadrados b) La recta de regresi6n : i 4 2 3 4 5 x 0 0.25 | 0.50 | 0.75 | 1.00 ‘y | 10000 | 1.2840 | 1.6487 | 2.1170 | 2.7783 Solucién: a) El polinomio es de la forma P(x)= ax” +bx-+c, la funcién a minimizar es: H(@b,2)=¥(y,-ax} -bx,—e} y Hay que calcular los parametros a, b, c, para ello se procede asi: CAlculo de las sumatorias:Apéndice A Méiodo de los minimos cuadrados 247 a p 3 3 Da, =2.50, Sx) =1.8750, Dx? = 1.5625, }ox, =1.3828, a a a a =8.7680. 5 ky 5 Day, =54514, Yix'y, = 4.4015, ¥ a 5 EI sistema resultante es: Se +2.500b +1.8750a=8.7680 2.500 +1,8750b+1.5625a=5.4514 1.8750c +1.5625b +1.3828a = 4.4015 cuya solucién del sistema es: @=0.8437, b= 0.8641, c=1.0052 Luego el polinomio buscado es: P(x) =0,8437x? + 0.8641x+ 1.0052 Estime el error. 3,- Pla) = (0.0052) + (0.01) + (0.00057 +(-0.0109F +-(0.0053) Asi , error minimo obtenido usando un polinomio de grado 2 es : 20, — P(x) =2.7419x10% b) usando una recta : g(x}Fax+b : aplicando las férmulas (A.4) se obtiene: (.8750)(8.7680)— (2.50)(5.4514) _ 4 so965 5(1.8750)—(2.5)° (6.4514) - (2.5)8.7680) _ 1 ryrg4 5(1.8750)- (2.5) Luego la recta de regresion es: ¢(x)=0.89968+1.70784xApéndice A Método de los minimos cuadrados 248, Clculo del error: x 0 0.25 050°] 075 4.00 y 7.0000 4.2840 | 1.6487 | 2.1470) 2.7183 ‘g(s) 0.89968 |°7.32664 | 1.7536 [2.18056 [2.607752 Error =3(y, —g(x,) =(0.10032) + (--0.04264)' +(-0.1049)' + (0.06356) a + (0.11078) Error = 0.039198 Error minimo obtenido usando una recta de regresién. EJERCICIOS PROPUESTOS A 1. Determine una funcién lineal ajustada a los siguientes mediante el método de los minimos cuadrados. a) Dada la siguiente tabla i) tP2,;3 7,4 7s x | 10 [45 720 )25 } 30 y, |20|32/) 41/49 [59 | b) Sea la siguiente tabla: . iT t[2];s 7,4, syoe- x [04 |02|03|04]05| 06] 07] o8 | 09 | 10 y, | 99192 [84/66 [59150147 [31/19] 11 2. Usando el método de los minimos cuadrados halle los polinomios de grados 1, 2 y 3 alos siguientes datos y compare las desviaciones (error) en cada caso,Apéndice A Método de los minimos cuadrados 249 % | 0 ] 0.002] 0.004 | 0.006] O.008 vy 0 | 0.618] 1.1756 | 4.618 | 1.9021 3, Demuestre que si se usa un polinomio de grado 2: P(x)=6, +6,x+b,x" .n, empleando el método de los minimos cuadrados, las ecuaciones normales que se obtienen son: br hSay +b dx Dy, para ajustar los puntos (x,, ,), bo Six th Sx +b Sx = Say Be eS Ear snSnrh dx 4. Encuentre los polinomios de minimos cuadrados de grado 1 y 2 para los datos de las siguientes tablas: Calcule el error en cada caso. ;Cual grado da la mejor aproximacién? Es decir, {Cual produce el menor error? a) i o 1 2 3 4 5 x 0 [0.15 | 031] 05 | 06 | 0.75 y, | 1.0] 1.008 | 4.031 | 1.447 | 1223 | 1.422 b) 771 ]2)3)4)5)e)7] 8] s] 0 y| 40/42/45 147/54 )55 59] 63/68 [71 y,| 102. 1413. | 130. | 142. | 467, | 195. | 224. 1256. | 299. | 326. 56 | 18 | 14 | 05 | 53] 14 | 87 | 73 | 50 | 72 5. Elaborar el programa: Regresién lineal