MÍNIMOS CUADRADOS

Ö Hay varias maneras de abordar el método de mínimos

cuadrados. Aquí se aborda desde el punto de vista
geométrico. Para ello se introducen tres conceptos
básicos: Norma, Producto interno y Proyección
Ortogonal.

¿Qué es una norma?

Ö Una de las ideas geométricas más sencillas y útiles ha

sido la idea de “tamaño”, “magnitud” o “distancia”, que
al ser trasladada al contexto de espacio vectorial se
convierte en el concepto de norma.

Ö Producto interno en Rn.- Siendo x,y dos vectores en

Rn, el producto interno denotado <x,y> es el escalar xyt,
es decir:
<x,y> = xyt = x1y1+x2y2+...+xnyn

ð Observaciones:
- Como puede verse, en Rn el producto interno es
conmutativo, ya que xyt = xty = <y,x>
- Sin embargo en Cn el producto interno se define como
<x,y>=xy* por lo tanto <x,y>=< x, y >

Ö Normas de vectores en Rn.- Sea x un vector en Rn.

Existen varias maneras de definir la norma de x,
denotada yxy, sin embargo, el producto interno siempre
induce una definición de norma, como sigue:
- Min. Cuad. 1 -
 yxy = <x,x>1/2

ð Observaciones:
- Como puede verse, La norma nunca es negativa y
sólo es cero si x es el vector cero.
- De acuerdo a la definición, la norma se calcula
componente a componente como
yxy = x 21 + x 22 + ... + x 2n
Que como puede verse corresponde a la longitud
clásica de un vector en Rn

Ö Proyección ortogonal.- Siendo x,y dos vectores en Rn,

si buscamos la proyección ortogonal p del vector x
sobre el y, esta proyección debe ser un múltiplo de y
(por ser colineal con y) ver figura, es decir x=ky, (k
escalar).
x x-p y
90°

p=ky

< x, y >
Este escalar es k = .
y y y2

Ö Ángulo entre dos vectores.- Por extensión al caso en

R2 y R3 el ángulo entre dos vectores x, y en general se
define como el escalar θ tal que:
< x, y >
cosθ= .
y x yy y y
- Min. Cuad. 2 -
Ö Ortogonalidad.- Dos vectores x, y se dicen
ortogonales si <x,y> = 0 y además se dicen
ortonormales si son unitarios, es decir, yxy = yyy=1.

Ejemplo: Sean los vectores en R3: x=[1 1 0], y= [1 0 1].

Producto interno: <x,y>=1x1+1x0+0x1=1
norma de x: yxy =(12+12+02)1/2= 2
norma de y: yyy =(12+02+12)1/2= 2
Ángulo θ = cos-1(1/2)=60°
Proyección de x sobre y: p=(1/2)[1 0 1]=[ 12 , 0, 12 ]
Además como es de esperarse x-p es ortogonal a y (y por
supuesto, también a p: x-p=[ 12 , 1, − 12 ]
<y,x-p> = 1x0.5+0x1+1x(-0.5) = 0
<p,x-p> = 0.5x0.5+0x1+0.5x(-0.5) = 0
Representación geométrica:
x2
1
x
60°
p x3
1
1
x1 y

Ö Otras normas.- Existen otras maneras de definir

normas y productos internos en Rn que no se
mencionarán aquí, sin embargo, una familia importante
de normas son las normas lp definidas como sigue:
1
n p
y x yp = S x xi xp
i=1
Como puede verse la norma l2 también llamada norma
Euclideana corresponde a la definida en la sección
anterior.
- Min. Cuad. 3 -
 : En Matlab:
» % Se introducen los vectores del ejemplo anterior:
» x=[1 1 0]; y=[1 0 1];
» % Se calcula el producto interno <x,y>
» x*y'
ans = 1
» % Se calcula la norma l2 de x
» norm(x)
ans = 1.4142
» % Se calcula la norma l2 de y
» norm(y)
ans = 1.4142
» % Se calcula la norma l1 de x
» norm(x,1)
ans = 2
» % Se calcula la norma l∞ de x
» norm(x,inf)
ans = 1
» % Se calcula la proyección ortogonal de x sobre y
» p=(x*y')/norm(y)^2*y
p = 0.5000 0 0.5000
» % Se verifica que x-p es ortogonal a y
» y*(x-p)'
ans = 2.2204e-016
» % (resultado cero para la exactitud manejada)
» % Se verifica que x-p es ortogonal a p
» p*(x-p)'
ans = 1.1102e-016

@Tarea: Repetir el ejercicio anterior para los vectores

x=[1 -1 0], y=[1 1 1]

Solución del sistema Ax=b

Ö La condición para la solución exacta del sistema de n

ecuaciones lineales con m incógnitas Ax=b donde A es
una matriz n×m se expresa fácilmente diciendo que “b
debe estar en el espacio columna de A”, dado que el
producto Ax es una CL de columnas de A.

- Min. Cuad. 4 -
Ö Si el vector b no cumple con la condición anterior el
sistema Ax=b NO tiene solución exacta. Sin embargo
queda la posibilidad de buscar una solución
aproximada.

Ö La solución x’ de Ax=b en el sentido de mínimos

cuadrados es aquella que minimiza la norma del error
E = yAx’-by

En la siguiente figura se ilustra geométricamente el

problema para el sistema
A 11 A 12 b1
A 21 A 22 x = b 2
A 31 A 32 b3

b columna 2 de A
b1 A12
b= b2 A22
b3 Ax'-b
A32
A2=

p=b'=Ax'
Espacio
A11 columna de A
A21
A1=
A31 columna 1 de A

Ö Como puede verse de la figura, la solución x’ que

cumple con lo anterior tal que Ax’ es la proyección
ortogonal de b sobre el espacio columna de A.

Ö La observación anterior nos permite calcular x’ como

sigue: Ax’-b es ortogonal al espacio de columnas de A.

- Min. Cuad. 5 -
Ö Sea w un vector en este espacio, entonces w es una
CL de las columnas de A, es decir: w=Ac, donde
c=[c1,c2,...,cm]. Entonces, para cualquier c arbitrario:
<Ac,Ax’-b>=0
es decir:
(Ac)t(Ax’-b)=0
ctAt(Ax’-b)=0
entonces
ct(AtAx’-Atb)=0
finalmente
AtAx’=Atb
Ö A estas se les llama las ecuaciones normales. Si A
tiene columnas LI entonces AtA tiene inversa y las
ecuaciones normales se convierten en:
x’=(AtA)-1Atb

ð Obsérvese que la matriz (AtA)-1At es la inversa

izquierda de A, también llamada pseudoinversa de A

Ejemplo: Encontrar la solución en el sentido de mínimos

cuadrados del sistema inconsistente:
x-y=0
x+y=0
y=1
Solución: En forma matricial el sistema Ax=b es
1 −1 0
x
1 1 = 0
y
0 1 1
Como las columnas de A son LI, la solución en el sentido
de mínimos cuadrados x’ será:
x’=(AtA)-1Atb
- Min. Cuad. 6 -
 20
Sustituyendo: AtA = ; por lo tanto:
03
0
x =
1/3
Interpretación gráfica:
y
Solución de min. cuad.
. y=1 1 .
x+
0
.1/3 y=
y=
x-
0

x
.

@Tarea: Repetir el ejercicio anterior para el sistema

x+y=1
x-y=0
x=1

Aplicaciones del método de mínimos cuadrados:

Ö Actualmente se han desarrollado innumerables

aplicaciones basadas en la minimización de una norma
cuadrática en diversos campos que tienen relación con
procesamiento de datos estadísticos o experimentales.
Las principales aplicaciones se agrupan en:
Aproximación de funciones
Estimación de parámetros

Ö Aproximación de funciones.- Aquí solo se describirá

el caso más simple (lineal) que en general consiste en
aproximar una serie de puntos (mediciones)
- Min. Cuad. 7 -
 experimentales o estadísticos a un comportamiento
dado por una ecuación y=f(x).

Ö Caso lineal (Regresión lineal).- Se la medición de n

puntos experimentales (x1,y1), (x2,y2),...,(xn,yn) y se
pretende ajustar su comportamiento a la recta:
y=mx+b
y se pretende hallar los valores de los coeficientes m, b
que resuelvan el problema en el sentido de mínimos
cuadrados.
y
(xn,yn)

(x2,y2)
(x3,y3)
(x1,y1)
Recta de min. cuad. x

Es decir, se pretende hallar la mejor solución al sistema

sobredeterminado siguiente:
mx1 + b = y1
mx2 + b = y2
...
mxn + b = yn

Que en la forma matricial AX=B es

x1 1 y1
x2 1 m y
= 2
... ... b ...
xn 1 yn

- Min. Cuad. 8 -
 Así, las ecuaciones normales AtAX=AtB quedan:

S x 2i S x i m S xiyi
=
S xi n b S yi

Ö En forma similar se puede plantear una regresión

polinomial para y = a1xn-1+a2xn-2+...+an-1x+an. que
generaría un conjunto de N ecuaciones (para N puntos
experimentales) con n incógnitas (a1,...,an)

@Tarea: Obtener las ecuaciones normales para la

regresión de n puntos experimentales al polinomio
y = ax2 + bx + c

- Min. Cuad. 9 -