Captulo 8

El Problema de Mnimos Cuadrados

8.1. El problema de mnimos cuadrados

El problema del ajuste de datos; es decir, descubrir una funcion matematica que
pueda explicar de la mejor forma posible el comportamiento de alg un mecanismo o
grupo de seres u objetos que puede ser medido, y del cual conocemos algunos datos
(con sus posibles errores de medicion), es un problema clasico y ha supuesto un reto
para la comunidad matematica desde su planteamiento por Gauss y Legendre hacia
1800.

En lenguaje de algebra lineal consiste en encontrar la solucion de un sistema lineal

Ax  b siendo A P Cmn con m n. En A y b se recogen todos los datos del
experimento que se quieren ajustar. Enseguida veremos algunos ejemplos.

Sabemos que el sistema tiene solucion si y solo si b P Im A, condicion que difcilmente

se cumple si m es mucho mayor que n. Si m n diremos que el sistema Ax  b
esta sobredeterminado; y si no existe ning un x P Cn1 tal que Ax  b lo que se

159
160 El Problema de Mnimos Cuadrados

puede intentar es buscar un x de forma que el vector

r  Ax
b P Cm,
que se llama residuo o vector residual, sea lo mas peque no posible. Lo grande
o pequeno que sea r lo mediremos mediante una norma. El problema de mnimos
cuadrados consiste en encontrar x P Cn1 para que el vector residuo tenga la menor
norma eucldea posible. Su formulacion precisa sera la siguiente:

Problema de mnimos cuadrados: Sea F  R o C. Dada una matriz A P Fmn

y un vector b P Fm ,(m n) encontrar x P Cn1 para que }Ax
b}2 sea mnimo.

La eleccion de la norma eucldea se puede justificar desde varios puntos de vista:

historico, geometrico, estadstico, . . . ; pero sobre todo porque es la norma habitual,
conduce a los algoritmos mas sencillos y as como todas las normas son funciones
continuas de los vectores, la norma eucldea es, ademas, diferenciable. Como, por
nadidura, la funcion }Ax
b}2 alcanza su maximo absoluto en un maximo local,
a
este maximo puede calcularse igualando a cero las derivadas parciales de dicha fun-
cion. Este proceso conduce a lo que se llaman las ecuaciones normales del problema
de mnimos cuadrados. Estas ecuaciones nos las encontraremos mas adelante proce-
dentes de un contexto completamente diferente.

Ejemplo 8.1 El ejemplo mas tpico de ajuste de datos por mnimos cuadrados es
el calculo del polinomio de interpolaci on: dados m puntos del plano pxi , yi q,
i  1, . . . , m, de forma que xi  xj para i  j, se trata de encontrar un polinomio
de grado a lo mas m
1, ppxq  a0 a1 x    am
1 xm
1 , que pase por los n
puntos.

Se trata, entonces, de encontrar los coeficientes a0 , a1 ,. . . , am
1 , para que

ppxi q  yi , i  1, . . . , m.

Esto equivale a resolver el sistema lineal

a0 a1 x i  am
1 xim
1  yi , i  1, . . . , m (8.1)

8.1 El problema de mnimos cuadrados 161

cuya matriz de coeficientes es

 
1 x1 x21    xm
1

1 
1 x2 x2    x2 
1
 j
1   2 m
A  xi   .. .. .. . . . .. 
. . . . 
1 xm xm    xm
2 m
1

Esta es una matriz de Vandermonde cuyo determinante es

det A  pxi
xj q.

i j

Por consiguiente A es invertible y el sistema (8.1) tiene una u nica solucion. En

la Figura 8.1 se muestra la grafica del polinomio de interpolacion que pasa por
los 11 puntos pi, 0q con i 
5,
4, . . . ,
1, 0, 1, . . . , 4, 5. Se trata de un polinomio
de grado 10. A su derecha se ha escrito el codigo de MATLAB que obtiene los
coeficientes del polinomio de interpolacion: c  Azb y que da la grafica: plot(t,
polyval(p,t),a,b,r*,markersize,10);. El comando polyval(p,t) devuel-
ve un vector: el valor del polinomio p en las componentes del vector t. Notese el
uso de las sentencias fliplr y flipud para obtener la matriz de los coeficientes
del sistema y los coeficientes del polinomio de interpolacion en la forma apropia-
da. La sentencia zeroaxes hace que los ejes cartesianos se dibujen en la forma que
se acostumbra a utilizar en la pizarra: dos lneas perpendiculares que se cortan en
p0, 0q.

5 Figura 8.1:
4
a=-5:5;
3
A=fliplr(vander(a));
b=[0 0 0 1 1 1 0 0 0 0 0];
c=Azb;
2

1
p=flipud(c);
6 4 2 2 4 6 t=linspace(-5.05,5.05);
1
plot(t, polyval(p,t),a,b,r*,...;
2 markersize,10);
3 zeroaxes

Indudablemente el polinomio de interpolacion se ajusta perfectamente a los datos,

pero a menudo estos proceden de experimentos y lo que se pretende es buscar una
162 El Problema de Mnimos Cuadrados

curva que interprete los datos obtenidos. Como las mediciones se realizan en momen-
tos puntuales, tal grafica debera reflejar, salvo que se tengan motivos para pensar
lo contrario, una comportamiento suave entre dos datos consecutivos, y no la fluc-
tuacion que muestra el polinomio de interpolacion de nuestro ejemplo. Quiza un
polinomio de menor grado pueda mostrar un mejor comportamiento. Tal polinomio
no pasara por algunos de los puntos. Pero la medicion de todo proceso real conlleva
errores que podran explicar tal fenomeno.

Ejemplo 8.2 (Ajuste por mnimos cuadrados) Con los mismos datos del ejem-
plo anterior calcular el polinomio de grado 7 que mejor se ajusta a los datos en el
sentido de los mnimos cuadrados.

Siguiendo los mismos pasos que en el ejemplo anterior lo que buscamos es un poli-
nomio de grado a lo mas n
1 m
1
ppxq  a0 a1 x  an
1 xn
1
tal que }ppxq
y }2 sea mnimo. Aqu, ppxq es el vector cuya i-esima componente es
ppxi q y el vector y es el que tiene por i-esima componente yi .

Ahora bien, si  
1 x1 x21    x1n
1
1 x x22    x2n
1 
A   .. ..
 2 
.. . . .. 
. . . .. 
1 xm xm    xm
2 n
1

es la matriz de Vandermonde truncada y c  pa0 , a1 , . . . , an
1 q es el vector de los

coeficientes de p tenemos que ppxq  Ac. As que se trata de hallar un vector c en
el que se alcance
mnn }Ax
y }2 .
P
x C

En la Figura 8.2 se presenta la grafica producida por MATLAB del polinomio de

grado 7 que mejor se ajusta a los datos pai , bi q en el sentido de los mnimos cuadrados.
El problema de mnimos cuadrados correspondiente se calcula en el interior de la
sentencia ployfit. El resto del codigo de MATLAB que se muestra es el mismo que
en el apartado anterior.

Una observacion final antes de abordar la solucion del problema de mnimos cua-
drados y los algoritmos correspondientes. Una variante del problema de encontrar
8.2 La solucion del problema de mnimos cuadrados 163

5 Figura 8.2:
4 a=-5:5
3
A=fliplr(vander(a))
2
b=[0 0 0 1 1 1 0 0 0 0 0];
p=polyfit(a,b,7);
1
t=linspace(-5.3,5.3);
6 4 2 2 4 6 plot(t, polyval(p,t),a,b,r*,...
1 markersize,10);
2 axis([-6 6 -3 5]);
3 zeroaxes

el polinomio de grado a lo mas n
1 que mejor se ajusta a una nube de m puntos,

pxi, yiq, distribudos en el plano es el de encontrar la funcion
pxq  c1 1 pxq c2 2 pxq  cn n pxq,

que mejor se ajusta a una de tales nubes de puntos. Aqu 1 , 2 ,. . . , n son funciones
dadas, o de las que uno sospecha que una combinacion lineal de ellas puede ajustarse
bien a los datos. En este caso el problema se reduce a calcular el vector c donde se
alcanza el mnimo:
mn }Ax
y }2 ,
P
x C

siendo A P Fmn la matriz cuyo elemento en la posicion pi, j q es j pxi q y siendo y el

vector cuyas componetes son y1 , . . . , ym .

8.2. La soluci
on del problema de mnimos cuadra-
dos

En esta seccion demostramos el resultado que nos da la solucion del problema de

mnimos cuadrados. Geometricamente la situacion es muy simple (vease la Figura
8.3): el vector de Im A cuya distancia a b es mnima es la proyeccion ortogonal de b
sobre Im A. Y la distancia mnima es la norma del residuo. Esto es lo que nos dice
el siguiente Teorema.
164 El Problema de Mnimos Cuadrados

r=Ax0b
b Im A

Ax
0

Figura 8.3: La solucion del problema de mnimos cuadrados

Teorema 8.3 Sean A P Fmn , F  R o C, y b P Fm1 , m n. Sea PA la proyeccion

ortogonal sobre Im A. Entonces, Ax0 cumple
}Ax0
b}2  mn }Ax
b}2
xPF n

si y solo si se cumple cualquiera de las siguientes condiciones que son equivalentes:

(i) Ax0  PAb.

(ii) b
Ax0 P pIm AqK .
(iii) A Ax0  A b.

nica si y solo si rang A  n.

Ademas, la solucion x0 es u

En la demostracion se usa el teorema de Pitagoras: Si x, y P Cn son ortogonales

entonces }x y }22  }x}22 }y }22 . En efecto, }x y }22  px y q px y q  x x y 
x y y  x  x x y  y  }x}22 }y }22 , donde hemos usado que x y  y  x  0 porque
x e y son ortogonales.

Demostraci on.- Todo se basa en la demostracion de la idea geometrica expuesta

mas arriba:
mnn }Ax
b}2  }PA b
b}2 .
P
x C
Vemaos que esto es as. En efecto
}Ax
b}22  }Ax
PAb PA b
b}22  }Ax
PAb}22 }PAb
b}22
8.3 Algoritmos para calcular la solucion del problema de mnimos cuadrados 165

porque Ax
PA b P Im A y PA b
b 
pI
PA qb P pImAqK y aplicando el Teorema

de Pitagoras. Por lo tanto, para todo x P Cn

}Ax
b}2 }PAb
b}2.

Pero como PA b P Im A, existe x1 P Cn tal que Ax1  PA b; i.e., }Ax1
b}2  }PA b
b}2 .
Por lo tanto mn }Ax
b}2  }PA b
b}2 , tal y como deseabamos mostrar.
xPC n

Ahora, si Ax0 es el vector que hace mnima la distancia de Ax a b entonces

}PAb
b}22  xmn }Ax
b}22  }Ax0
b}22  }Ax0
PA b}22 }PA b
b}22 .
PCn

De aqu deducimos que }Ax0
PA b}2  0; es decir, Ax0  PAb.

Solo queda demostrar la equivalencia entre las tres condiciones. Por una parte

PA b  Ax0 b
Ax0  b
PAb  pI
PAqb P pIm AqK.

Y si b
Ax0 P pIm AqK entonces PA pb
Ax0 q  0 de modo que PA b  PA Ax0 . Pero
como Ax0 P Im A tenemos que PA Ax0  Ax0 . Esto demuestra la equivalencia entre
las condiciones (i) y (ii).

Finalmente, como pIm AqK  Ker A tenemos que b
Ax0 P pIm AqK si y solo si
A pb
Ax0 q  0; i. e., A Ax0  A b.

Falta demostrar que la solucion del problema de mnimos cuadrados es u nica si y

solo si rang A  n. Ahora bien, rang A  n si y solo si A A es invertible. Una forma
de ver esto es, por ejemplo, la siguiente: rang A  n si y solo si n pAq  0. Como
los valores singulares de A son las races cuadradas positivas de los valores propios
de A A, n  0 si y solo si todos los valores propios de A A son distintos de cero;
i.e. detpA Aq  0. Pero A A es invertible si y solo si el sistema A Ax  A b tiene
solucion unica.

8.3. Algoritmos para calcular la soluci

on del pro-
blema de mnimos cuadrados

El Teorema 8.3 nos da las claves para calcular un vector x0 que solucione el problema
de mnimos cuadrados. En primer lugar, el sistema A Ax  A b recibe el nombre de
166 El Problema de Mnimos Cuadrados

ecuaciones normales del problema de mnimos cuadrados. Es el sistema que aparece

al calcular el mnimo local de la funcion
f pxq  }Ax
b}2 .
Es decir, el sistema
Bf pxq  0, i  1, . . . , n
B xi
da lugar al sistema A Ax  A b. Como la funcion f es convexa, alcanza su mnimo
absoluto en un mnimo local.

Para resolver el sistema A Ax  A b numericamente, tendremos en cuenta la es-

tructura especial de la matriz A A: es hermtica (simetrica en el caso real). Ademas
es definida positiva porque x A Ax  }Ax}2 0 para x  0. Ahora bien toda
matriz hermtica definida positiva admite una factorizacion de Cholesky (variante
de la factorizacion LU cuando la matriz es simetrica o hermtica). En MATLAB
el comando chol(A) devuelve la factorizacion de Cholesky de A si esta es hermti-
ca definida positiva. Recordemos que una factorizacion de Cholesky de una matriz
hermtica definida positiva, A, es una factorizacion de la forma
A  LL
siendo L una matriz triangular superior. Esta factorizacion es especialmente apro-
piada para resolver sistemas lineales mediante sustitucion hacia adelante y hacia
atras.

Teniendo en cuenta todo esto podemos dar un primer algoritmo para la resolucion
del problema de mnimos cuadrados.

Algoritmo mnimos cuadrados via ecuaciones normales

Dada A P Fmn y dado b P Fm

1. Formense las matrices A A y A b.

ulese la factorizacion de Cholesky de A A  LL , (chol(A))

2. Calc

3. Resuelvase Ly  Ab (z o sustitucion hacia adelante)

4. Resuelvase L x  y.(z o sustitucion hacia atras)
8.3 Algoritmos para calcular la solucion del problema de mnimos cuadrados 167

Cuando A es hermtica definida positiva pero mal condicionada, el algoritmo de

Cholesky puede dar resultados muy inexactos. Por lo tanto, el algoritmo anterior
no es adecuado para resolver el problema de mnimos cuadrados. Una posibilidad
sera usar la factorizacion QR de A A para conseguir la factorizacion de Cholesky
de A A en vez del algoritmo de Cholesky. En efecto, si A  QR es la factorizacion
QR reducida de A, entonces

A A  R Q QR  R R  LL ,

donde hemos utilizado que Q Q  In , por tener Q columnas ortonormales, y hemos

puesto L  R . Esto nos muestra que si A es de rango completo, la factorizacion de
Cholesky de A A es unica. Esta alternativa, sin embargo, carece de sentido porque
la ventaja del algoritmo de Choleski es que su coste es  n2 (mientras que el de
la factorizacion QR sera de orden c
ubico) y hay otros algoritmos que, cuando el
de Choleski no es aconsejable, usan la factorizacion QR y solo precisan resolver un
sistema triangular. Presentamos a continuacion uno de tales algoritmos.

En el segundo algoritmo se trata de conseguir la solucion, x0 , como solucion del

sistema Ax0  PA b. Para ello, debemos conseguir PA , que es la proyeccion ortogonal
sobre Im A. Recordemos que PA  QQ , donde Q es una matriz cuyas columnas
son una base ortonormal de Im A. Recordemos que si A  QR es una factorizacion
QR de A entonces las columnas de Q son una base ortonormal de Im A y, por
consiguiente, QQ es la proyeccion ortogonal sobre Im A.

Algoritmo mnimos cuadrados via factorizaci

on QR

Dada A P Fmn y dado b P Fm

1. Hallese la factorizacion QR, reducida, de A

ulese Q b.
2. Calc

3. Resuelvase Rx  Q b (z o sustitucion hacia atras)

Estos dos algoritmos pueden presentar problemas si la matriz A es singular o muy

proxima a serlo; i.e., pAq es muy grande. Si la situacion es esta, tenemos una
alternativa: los valores singulares.
168 El Problema de Mnimos Cuadrados

8.3.1. El problema de mnimos cuadrados y la inversa Moore-

Penrose

La inversa generalizada de Moore-Penrose se puede definir como la matriz que solu-

ciona el problema de mnimos cuadrados. Es decir, de la misma que la solucion del
sistema Ax  b es x  A
1 b siempre que A sea invertible, la solucion del problema
de mnimos cuadrados es x0  A: b. Veremos que esto es, en efecto as, y que este he-
cho nos proporciona un algoritmo alternativo para resolver el problema de mnimos
cuadrados.

Recordemos que x0 es solucion del problema se mnimos cuadrados si y solo si es

solucion del sistema Ax  PA b, siendo PA la proyeccion ortogonal sobre Im A. Re-
cordemos tambien que si r  rang A y A  U V  es una descomposicion completa
de A en valores singulares, entonces las r primeras columnas de U son una base or-
tonormal de Im A. (Proposicion 3.10). Sea Ur la submatriz de U formada por sus r
primeras columnas. Como son una base ortonormal de Im A, la matriz Ur Ur es la
proyeccion ortogonal sobre Im A. Es decir, PA  Ur Ur . As pues, si ponemos
 

r 0
0 0

entonces el sistema Ax  PA b es equivalente a

 
Ur r 0 V  x  Ur Ur b.
 
Y este sistema es equivalente a r 0 V  x  Ur b dado que Ur Ur  Ir . Pongamos
c  Ur b y y  V  x. Entonces,
 
Ax  PA b r 0 y  c.
Si r  Diagp1, . . . , r q, la solucion general de este sistema es
 T
y  c1{1 c2 {2  cr {r yr 1  yn

con yr 1 ,. . . , yn , n
umeros arbitrarios. Si el rango de A es completo, n, la solucion del
sistema queda completamente determinada; cosa que ya habamos demostrado. Pero
si rang A n entonces hay infinitas soluciones del problema de mnimos cuadrados.
Entre ellas, se suele escoger la solucion de norma mnima. Y esta es la que se consigue
haciendo yr 1      yn  0. Finalmente, como y  V  x, tenemos que x  V y.
8.3 Algoritmos para calcular la solucion del problema de mnimos cuadrados 169

Ademas, }x}2  }V y }2  }y }2 . En definitiva, el vector x0 de norma mnima que

soluciona el problema de mnimos cuadrados es:

 
c1 {1
c2 {2   

 .. 
c1 {1
 .  c { 
x0  V y0  V cr {r   Vr  ..  ,
   2 2
   . 
 0 
 . 
 .. 
cr {r

donde Vr es la submatriz de V formada por sus r primeras columnas.

Ahora vamos a volver hacia atras a fin de recuperar la solucion del problema
en terminos de los datos originales: A y b. Recordemos, antes de nada, que con
las notaciones introducidas A  Ur r Vr es una descomposicion reducida de A en
valores singulares. En consecuencia

A:  Vr
r 1Ur
es la inversa generalizada o Moore-Penrose de A.

Ahora bien,
 
c1 {1
c { 
x0  Vr  ..   Vr

1 
r c  Vr r Ur b,
 2 2 1
 . 
cr {r

porque c  Ur b. As pues, el vector de norma mnima que soluciona el problema de

mnimos cuadrados es
x0  Vr
r 1Urb  A:b
tal y como habamos anunciado.

Este proceso, ademas, nos proporciona un algoritmo para calcular la solucion del
problema de mnimos cuadrados en el caso mas general.
170 El Problema de Mnimos Cuadrados

Algoritmo mnimos cuadrados via valores singulares

Dada A P Fmn y dado b P Fm

1. Calcular la descomposicion reducida de A en valores singulares:

A  U V  , U P Fmr , V P Fnr y  Diagp1 , . . . , r q.

2. Calcular c  U  b.

3. Calcular x  V
1 c. Este es el vector de menor norma que solu-

ciona el problema de mnimos cuadrados.

8.4. El condicionamiento del problema de mni-

mos cuadrados

El condicionamiento del problema de mnimos cuadrados es un tema importante por-

que tiene implicaciones no triviales en el estudio de la estabilidad de los algoritmos
para este problema. Como es habitual analizaremos en detalle el condicionamien-
to del problema y estudiaremos la estabilidad de los algoritmos mediante ejemplos
significativos.

Recordemos que el problema de mnimos cuadrados consiste en lo siguiente (supon-

dremos en lo sucesivo que la matriz del sistema tiene rango completo):

Dada A P Fmn de rango completo y m n, y dado b P Fm ,

calcular x P Fn para que }Ax
b}2 sea mnima.
(8.2)

Ya sabemos que, en este caso, la solucion del problema es u

nica y viene dada por

x  A: b

donde A: P Fnn es la pseudoinversa o inversa generalizada de Moore-Penrose de A

(ver 3.6). Ademas, si y  Ax es el vector en Im A mas proximo a b entonces

y  P b,
8.4 El condicionamiento del problema de mnimos cuadrados 171

siendo P la proyeccion ortogonal sobre Im A.

Nuestro objetivo es estudiar el condicionamiento del Problema (8.2) respecto a per-

turbacione en A y en b. Es decir, los datos del problema son la matriz A y el vector
b. La solucion es el vector de coeficientes x o el correspondiente vector y  Ax.
As pues
Datos: A, b. Soluciones: x, y.
Tenemos as, en realidad, cuatro posibles cuestiones de condicionamiento: Error
relativo en x o y respecto a peque
nas perturbaciones en los datos b o A.

El objetivo en esta seccion es dar un resultado fundamental sobre el condicionamien-

to del problema de mnimos cuadrados. Para entender el enunciado y como apoyo
a la demostracion necesitamos introducir algunos conceptos y un par de resultados
auxiliares. En primer lugar debemos recordar que para una matriz A P Fmn de
rango completo n el n umero de condicion es

2 pAq  }A}2 }A: }2  1 .

n

b r=Axb

y=Ax=Pb

Im A

Figura 8.4: El problema de mnimos cuadrados.

En segundo lugar, necesitamos el conceto de angulo entre dos vectores de Fm . Lo

definimos, como es habitual, a partir de la desigualdad de Cauchy-Schwartz: si x, y P
Fm entonces
|xy| }x}2}y}2,
172 El Problema de Mnimos Cuadrados

de modo que


1 }x}x }yy} 1.
2 2

Se define, entonces el angulo, , de x, y como


 arc cos }x}x }yy} .
2 2

Equivalentemente

cos  }x}x }yy} .
2 2

En nuestro caso, para calcular el angulo de b e y debemos hacer el producto escalar

b y  b P b. Teniendo en cuenta que P es una proyeccion (P 2  P ) ortogonal
pP   P ) resulta que
b y  bP b  bP P b  bP P b  }P b}22  }y}22.
As pues
 }}yb}}2 .
cos
2

Para el seno usamos la identidad sen2  1
cos2 :

sen2  1

}y}22  }b}22
}y}22 .
}b}22 }b}22
Ahora bien, b  y b
y siendo y y b
y ortogonales (y P Im A y b
y 
b
P b  pIm
P qb P pIm AqK ). Por consiguiente, usando el Teorema de Pitagoras,
}b}22  }y}22 }b
y}22 y
sen 
}b
y }2
}b} 2

Todas estos resultados generalizan los habituales en R2 (Figura 8.4)

En tercer lugar, para cualquier norma inducida }Ax} }A} }x}. Necesitaremos una
medidad de lo lejos o cerca que esta }y }  }Ax} de su maximo valor posible:

 }A}}y2 }}x}2  }A}}Ax

2 }x}2
} .
2 2

Estos parametros tienen el siguiente rango de variacion:

1 pAq 8 0 {2 1 pAq
8.4 El condicionamiento del problema de mnimos cuadrados 173

Todas estas acotaciones son claras excepto, quiza, la u

ltima que viene de la siguiente
observacion:
}x}2  }A
1Ax}2 }A
1}2}Ax}2,
de modo que

}A}2 }A
1 }2 }Ax}2
 2pAq.
}Ax}2
El resultado previo que necesitamos es el siguiente

Lema 8.4 Para A P Fmn de rango completo n se tiene:

}pAAq
1A}2  1 . (8.3)
n

}pAAq
1}2  12 (8.4)
n

siendo 1    n los valores singulares de A.

Demostraci on.- La propiedad (8.4) es una consecuencia inmediata de que los valo-
res singulares de A son las races cuadradas positivas de los valores propios de A A,
y de que 1{n2 es el mayor valor singular de pA Aq
1 (ver Porposiciones 3.12 y 3.16).

Para probar la propiedad (8.3) se usa el Teorema SVD para ver que los valores
singulares de pA Aq
1 A y los de A: coinciden.

Podemos ahora plantear y demostrar el resultado principal

Teorema 8.5 Sean b P Fm y A P Fmn con b  0 y rang A  n m. Para el

problema de mnimos cuadrados (8.2) se cumplen las siguientes propiedades, todo
respecto de la norma `2 :

(i) El n
umero de condicion del problema de calcular y  Ax P Fn respecto de b es
1
. (8.5)
cos
174 El Problema de Mnimos Cuadrados

umero de condicion del problema de calcular x P Fn respecto de b es

(ii) El n
2 pAq
. (8.6)
cos

(iii) Sea x la solucion del problema de mnimos cuadrados relativo a minimizar

}pA Aqx
b}2. Si y  pA Aqx y   }}A }2 n entonces
A}2 1
}y
y}2  2pAq Op2 q.
}y}2 cos
(8.7)

(iv) En las mismas condiciones del apartado anterior

}x
x}2   pAq 2 pAq2 tan

Op2 q.
}x}2 2

(8.8)

(v) Sea x es la solucion del problema de mnimos cuadrados relativo a minimizar

}pA Aqx
pb bq}2. Si sen  1 y
"
  max
}A}2 , }b}2 * n
}A}2 }b}2 1
siendo 1    n los valores singulares de A, entonces
}x
x}2  " pAq  1

2 pAq2 tan
*
Op2 q.
}x}2 2
cos
1

(8.9)

En el caso especial en que m  n, el problema de mnimos cuadrados se reduce al

de la resolucion de un sistema de ecuaciones lineales. En tal caso  0 y las cotas
de (8.6) y (8.8) se reducen a 2 pAq{ y 2 pAq recuperando los resultados vistos en
la Leccion 4.

Demostraci on.- Demostraremos las propiedades (i) y (v). La propiedad (ii) se

demuestra de manera muy similar a la propirdad (i), la propiedad (iv) es una caso
particular de la (v) y la propiedad (iii) requiere una demostracion independiente
pero parecida a la (iv).

(i) La relacion entre b e y es

y  Pb
8.4 El condicionamiento del problema de mnimos cuadrados 175

siendo P la proyecccion ortogonal sobre Im A. Vimos en la Seccion 4.3 del Captulo

4 que el numero de condicion del problema de multiplicar Ax para A dada y x
variable:
f : Fn Fm
x ; b  Ax
es

}f 1pxq}  }A} }x} ,
}f pxq}{}x} }Ax} (8.10)

En nuestro caso se trata del n

umero de condicion del problema y  P b respecto de
b para P dado. Entonces
pbq 
}P }2}b}2
}y }2
Como P es una proyeccion ortogonal
 P  QQ para alguna matriz Q P Fnm con
columnas ortonormales. Sea U  Q Q r una matriz unitaria. Entonces

   
Q  
U P U  
QQ Q Q  n
r I 0
r
Q  0 0

Por lo tanto, los valores singulares de P son todos iguales a 1 y en particular

}P }2  1pP q  1
Finalmente, recordemos que cos 
}y}2 . En conclusion:
}b}2
pbq 
}P }2}b}2  1 ,
}y}2 cos

tal y como se deseaba demostrar.

 1 A y f  1 b. Por hipotesis, }}A

(v) En primer lugar definimos E
}2 n
A}2 1
y como }A}2  1 , tenemos que }A}2 n . Por el Teorema 3.18 resulta que
rangpA Aq  n y consecuentemente rangpA tE q  n para todo t P r0, s. Se
sigue entonces que el sistema

pA tE q pA tE qxptq  pA tE q pb tf q (8.11)
176 El Problema de Mnimos Cuadrados

tiene una u nica solucion para cada t P r0, s. Invertir una matriz es una funcion
diferenciable en los elementos de la matriz. Por lo tanto x es una funcion diferenciable
de t en r0, s. Por la definicion de diferencial

xpq  xp0q x1 p0q Op2 q.

Como xpq  x, xp0q  x, b  0 y sen  1, tenemos que x  0 y

}x
x}2   }x1p0q}2 Op2q.
}x}2 }x}2 (8.12)

Necesitamos una estimacion de }x1 p0q}2 . Para ello calculamos x1 p0q en (8.11). Pri-
mero derivamos

E  pA tE qxptq pA tE q Exptq pA tE q pA tE qx1 ptq  E  ppb tf q pA tE q f,

y sustitumos t  0 recordando que xp0q  x:

E  Ax A Ex A Ax1 p0q  A f E  b.

As
x1 p0q  pA Aq
1 A pf
Exq pAAq
1E pb
Axq.
Tomando normas:

}x1p0q}2 }pAAq
1A}2p}f }2 }E }2}x}2q }pAAq
1}2}E }2}b
Ax}2.

Por una parte, }E }2  1 }A}2 }A}2. Y de la misma forma }f }2 }b}2. Tambien
}A}2  }A}2, as que
}x1p0q}2 }pAAq
1A}2p}A}2}x}2 }b}2q
}pAAq
1}2}A}2}b
Ax}2
}pAAq
1A}2}A}2 }}Ab}}2 }x}2 }pAAq
1}2}A}22 }b
}AAx
}
}2 .
2 2

Por otra parte, por el Lema 8.4, }pAAq
1A}2}A}2  2pAq y }pAAq
1}2}A}22 

2 pAq2 . Entonces

}x1p0q}2 pAq  }b}2{}Ax}2

2 pAq2
}b
Ax}2{}Ax}2 .
}x}2 2
}A}2}x}2{}Ax}2 1
}A}2}x}2{}Ax}2
8.5 Estabilidad de los algoritmos para el problema de mnimos cuadrados 177

Ahora bien,  }A}Ax

}2}x}2 , cos  }Ax}2
} }b} y tan  }b}
AxAx
}
}2 . En consecuencia
2 2 2

}x1p0q}2 pAq  1

2 pAq2
tan
}x}2 2
cos
1

sustituyendo en (8.12)

}x
x}2  " pAq  1

2 pAq2 tan
*
Op2 q,
}x}2 2
cos
1

tal y como se quera demostrar.

8.5. Estabilidad de los algoritmos para el proble-

ma de mnimos cuadrados

Un estudio experimental de la estabilidad de los algoritmos para la resolucion del

problema de mnimos cuadrados lineal es el objetivo de una de las practicas obli-
gatorias con MATLAB que habra de realizarse en este curso. En ella se plantea
un problema de mnimos cuadrados cuya solucion debe ser calculada con los tres
algoritmos vistos en la Seccion 8.3. A su vez, para los algoritmos basados en la fac-
torizacion QR, se utilizaran los tres algoritmos vistos en las Lecciones 6 y 7; es decir,
los algoritmos clasico y modificado de Gram-Schmidt y el algoritmo de Householder.

A traves de dicho experimento se comprobara que los algoritmos basados en la reso-

lucion de las ecuaciones normales y el factorizacion de Cholesky as como los basados
en la factorizacion QR obtenida con los algoritmos de Gram-Schmidt pueden dar
resultados con mucho error si la matriz del sistema esta mal condicionada. Por lo
tanto, estos algoritmos son inestables. No obstante, hay resultados (ver [11, Sec
20.4]) que muestran que para matrices bien condicionadas el algoritmo basado en la
resolucion de las ecuaciones normales es estable hacia atras y para valores de m mu-
cho mayores que n, el coste operacional sensiblemente menor que el metodo basado
en la factorizacion QR mediante reflexiones de Householder. En tale situaciones, el
metodo basado en la resolucion de las ecuaciones normales sera el preferido. Por
otra parte, a pesar de que el metodo basado en la factorizacion QR mediante el
algoritmo modificado de Gram-Schmidt es inestable cuando se implementa de la
manera indicada en la Seccion 8.3, hay una forma de hacerlo que lo hace estable
178 El Problema de Mnimos Cuadrados

hacia atras (ver [11, Sec 20.3]). Finalmente, los algoritmos basados en la factoriza-
cion QR mediante reflexiones de Householder y valores singulares son estables hacia
atras para sistemas en los que A es una matriz de rango completo. A continuacion
se enuncian los teoremas que lo hace explto.

Teorema 8.6 Supongamos que el problema de mnimos cuadrados con una matriz
A de rango completo se resuelve mediante el algoritmo QR por reflexiones de Hou-
seholder o mediante la descomposicion en valores singulares en un ordenador que
cumple los axiomas (5.2) y (5.4) de la Leccion 5. Este algoritmo es estable hacia
atras: para cada A P Fmn (m n y rang A  n) existe una perturbacion A tal
que
}A}  Op q
}A} M

p producida por el algoritmo satisface

y la solucion x

}pA Aqx
p
b}2  mn }pA
xPFn
Aqx
b}2 .

Para terminar, conviene mencionar que si la matriz A no es de rango completo,

sabemos que la solucion no esta determinada de forma u nica y el u
nico algoritmo
completamente estable es el basado en la descomposicion de A en valores singulares.