4.

4 Algoritmo LMS Introducci on El algoritmo LMS An alisis de convergencia Variantes del LMS Algortimo LMA (Least Mean Absolute) Algoritmo LMS normalizado Algoritmo LMS regularizado Algoritmo LMS en frecuencia Conclusiones
Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

Introducci on El m etodo de m axima pendiente requiere conocer los estad sticos de 2o orden J (w) wn+1 = wn 2 w

= wn + [p Rwn]
wn

R y p son raramente conocidas en la pr actica Algoritmo LMS (Least Mean Square): realiza una estima instant anea = xnxH R = E [xnxH ] Estima R n n = d(n)xn p = E [d(n)xn] Estima p
Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

Algoritmo LMS
Utilizando las estimas instant aneas de los estad sticos n ] = wn + xn [d(n) xH wn ] wn+1 = wn + [ p Rw n Estima instant anea del gradiente: xn e (n) wn+1 = wn + xn e (n) Ventajas No precisa conocer los estad sticos de la se nal Permite seguir los cambios en las se nales involucradas (tracking) Implementaci on sencilla y bajo coste computacional (para se nales reales 2M sumas y 2M + 1 multiplicaciones) Inconvenientes La estima instant anea del gradiente es ruidosa La convergencia de los coecientes est a acoplada
Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

Formulaci on alternativa
Si se dene la salida del ltro como (ejemplo: conformaci on de haz)
M 1

y (n) =
i=0

x(n i)i = wH xn

se obtiene wn+1 = wn + xn e (n) Si se dene la salida del ltro como (ejemplo: igualaci on)
M 1

y (n) =
i=0

x(n i)i = wT xn

se obtiene wn+1 = wn + x n e(n)

Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

Relaci on con la soluci on de Wiener

M etodo de m aximo descenso: los coecientes describen una trayectoria que naliza en la soluci on de Wiener

Algoritmo LMS: realizan un movimiento aleatorio alrededor de la soluci on de Wiener

Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

Convergencia
Dos tipos de convergencia Convergencia en media
n

l m E [wn ] = wo

Convergencia en error cuadr atico medio (MSE)

n

l m E [J (n)] = cte = J ()

Hip otesis para el an alisis de convergencia

El ltro y la se nal de entrada son independientes (aproximadamente cierto si es peque no) La entrada est a incorrelada con el error (aproximadamente cierto si la convergencia est a avanzada) La entrada y la salida son procesos de media nula y conjuntamente gaussianos
Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

Convergencia en media
wn+1 = wn + xn [d(n) xH n wn ] n = wn wo Deniendo los pesos normalizados w
H n+1 = w n + xn d(n) wn xH w w w x n n n n wo

Tomando esperanzas matem aticas

H n+1 ] = E [w n ] + xn d(n) wn xH E [w w w x n n n wo n

n+1 ] = (I R) E [w n] E [w Expresi on id entica a la del algoritmo de m aximo descenso 2 Condici on de convergencia 0 < < max
Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

Convergencia en MSE
Requiere condiciones m as restrictivas que la convergencia en media Evoluci on de la funci on de coste J (n) = Jmin + T r [RK(n)] donde K(n) = E (wn wo )(wn wo )H Se deduce que las condiciones de convergencia en MSE son 0<<
M

2 max

i=1

i <1 2 i

Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

Convergencia en MSE (II)

Asumiendo que el LMS converge en media y que <<
M

2 max 2

i=1

1 i < 2 i 2

i=1

i = 2

i < 1 <
i=1

i
i=1

La suma de los autovalores de una matriz denida positiva es igual a la suma de los elementos de la diagonal principal 2 2 < < 2 M x Pot. se nal de entrada

Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

Desajuste
J () Jmin D= Jmin Proporciona informaci on sobre el exceso de MSE respecto al ltro de Wiener si << 2 max D 2
M

i=1

2 i = M x 2

Para una velocidad de convergencia () dada, el desajuste aumenta con el n umero de coecientes (M ) El desajuste es inversamente proporcional a la velocidad de convergencia velocidad de convergencia D
Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

Modos de convergencia Al igual que el m etodo de m aximo descenso existen M modos de convergencia (1 i)n Velocidad de convergencia inicial Dominada por el modo m as r apido Velocidad de convergencia nal Dominada por el modo m as lento

Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

Selecci on del par ametro de paso

Al aumentar aumenta la velocidad de convergencia pero tambi en el ruido de desajuste

Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

Curvas de convergencia

Una realizaci on

200 realizaciones independientes promediadas

Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

Algortimo LMA (Least Mean Absolute) Algoritmo LMA: Minimiza la norma L1 del error J (w) = E [|e(n)|] No existe una soluci on cerrada Minimizaci on estoc astica (tipo LMS) wn+1 = wn + xnsign (e(n)) Versi on cuanticada del LMS: 1 bit para el error (sign-error LMS) = 1/2k : multiplicaciones desplazamientos
Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

LMS normalizado
LMS: si xn toma valores elevados la estima del gradiente es muy ruidosa wn+1 = wn + xn e(n) LMS normalizado wn+1 xn = wn + e(n) 2 ||xn || +

Condici on de convergencia 0<<2 Interpretaci on: LMS con paso de adaptaci on dependiente de la potencia de entrada n = ||xn ||2 +
Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

LMS regularizado Funci on de coste J (w) = ||w||2 + E |e(n)|2 Soluci on optima wopt = (R + I)1 p Algoritmo iterativo wn+1 = (1 )wn + e(n)xn Puede mejorar la convergencia al reducir la dispersi on de los autovalores de la matriz de autocorrelaci on
Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

LMS en el dominio de la frecuencia

Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

LMS en el dominio de la frecuencia (II)

Se calcula la DFT sobre una ventana de M muestras
M 1

Xn [k ] =
i=0

x(n i)e

j 2 M ki

k = 0, 1, , M 1

Adaptaci on del coeciente k - esimo de la DFT

Wn+1 [k ] = Wn [k ] + k Xn [k ]En [k ],

k = 0, 1, , M 1

donde el error se dene como

En [k ] = Dn [k ] Wn [k ]Xn [k ]

M algoritmos desacoplados (uno por raya espectral) 2 0 < k < Pot. de la raya espectral k - esima
Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)

Conclusiones
Basado en estimas instant aneas de los estad sticos del problema Permite la adaptaci on a cambios del entorno y la estad stica del problema La convergencia se garantiza limitando el paso de la adaptaci on 2 < Pot. de la se nal de entrada La velocidad de convergencia y desajuste nal dependen de La velocidad de convergencia depende de la dispersi on de autovalores de R Existen multitud de variantes: LMS normalizado, regularizado, en frecuencia, etc.
Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)