O estimador de mnimos

quadrados (LSE- least squares

estimate)
Douglas A. G. Vieira
douglas@cpdee.ufmg.br

Lgica Nebulosa - Prof. Walmir M. Caminhas

Universidade Federal de Minas Gerais

LSE

um mtodo utilizado nas mais diversas reas da cincia e

tecnologias

A idia bsica pode ser encontrada nos trabalhos de

Gauss sobre estudos astronmicos.

lagarmente utilizado na rea de inteligncia

computacional, sendo utilizado em topologias como a RBF,
ANFIS e a Parallel Layer Perceptron (PLP)

LSE
Considere N realizaes da funo y=f(x), onde f(x) :Rn->R
y1= f(x1)
y2= f(x2)
...
yN=f(xN)
A funo f(x) parametrizada por (regressor), e pode ser
representada da seguinte forma:
y1= f(x1, )
y2= f(x2, )
...
yN=f(xN, )

LSE
Podemos escrever uma das amostras de f(x)
utilizando os dados conhecidos como:
y=(xT)= T
A considerao acima define a soluo como linear nos
parmetros, . A eq. matricial para o conjunto de N
amostras pode ser escrita como:
y=X
Para o caso que o nmero de amostras igual ao nmero
de parmetros, caso a matriz X seja no singular, podemos
resolver o problema como:
=X-1y

LSE

Exemplo: Considere o problema de estimao de N parmetros

tendo N amostras e supondo um modelo linear nos parmetros:

MATLAB

LSE

O qu acontece quando o nmero de amostras maior que o

nmero de parmetros a serem estimados?
A matriz X no quadrada, logo sua inversa no existe...

Qual o motivo para se utilizar um nmero de amostras maior que

o nmero de parmetros, pois como mostrado anteriormente a
Matriz X quadrada para este caso e os parmetros podem serem
estimados?

LSE

Exemplo Matlab: Aproximando uma reta com rudo

LSE
Para se utilizar o nmero de amostras maiores que o nmero de
parmetros (sistemas sobredeterminados), devemos utilizar a
pseudo inversa. Matematicamente:
y=X
Como X no quadrada esta no pode ser invertida. Entretanto se
multiplicarmos ambos os lados da eq. por XT tem-se:
XTy=XTX
=(XTX)-1XTy
Como o produto de uma matriz pela sua transposta uma matriz
quadrada a soluo de eq. Acima existe caso XTX seja no singular.

LSE
O mtodo dos mnimos quadrados pode ser entendido como a
minimizao do somatrio erro quadrtico, que pode ser escrito
como:
J=(yd-X) T(yd-X)
Para provar que o resultado apresentado anteriormente um
mnimo da funo de erro basta fazer a derivada primeira igual a
zero e mostrar que a derivada segunda definida positiva. Algumas
Relaes so importantes para esta demonstrao:
d(xTy)/dy=x
d(yTx)/dy=x
d(xTAx)/dx=(A+AT)x

PLP-Parallel Layer Perceptron

Exemplo:Rede perceptron com camadas paralelas (PLP-Parallel

Layer Perceptron) utilizando o estimador de mnimos quadrados...

PLP-Parallel Layer Perceptron

PLP-Parallel Layer Perceptron

PLP-Parallel Layer Perceptron

Podemos reescrever a matriz de pesos P da seguinte forma:

lz=pij

Onde l a forma vetorial da matriz de pesos P e:

z=n(j-1)+i

PLP-Parallel Layer Perceptron

Podemos ento reescrever a sada da rede da seguinte forma

matricial:
y=Cl
Onde C:
ctz=xit(bjt)

Exemplo MATLAB...

Consideraes finais
O estimador de mnimos quadrados um mtodo eficiente de se
determinar parametros lineares de funes...

Pode se provar a propriedade de ortogonalidade deste estimador,

que pode ser entendida como a reduo da distancia utilizando uma
norma Euclidiana, o que implica na minimizao do erro...
Existe tambm o LSE ponderado, de tal forma que a importncia de
cada amostra na funo de erro fica diferente...

Este estimador tem sido largamente utilizado nas mais diversas

reas.