Departamento de Ingeniera Elctrica

UNIVERSIDAD DE SANTIAGO DE CHILE

Carrera: Ingeniera Civil en Electricidad

Control Inteligente
Redes Neuronales (parte IV)

Dra. Marcela Jamett Domnguez

 M. Jamett
Tabla de Contenido
Tabla de Contenido
Gradiente y Gradiente y Levenberg-Marquardt
Mtodos de optimizacin
Feltcher y Reeves
y Mtodos de optimizacin y Simulated Annealing
Mtodos de Newton
Problema del Gradiente
y Feltcher y Reeves y Algoritmos Genticos
Mtodos Cuasi-Newton
y Mtodos de Newton y Seguimiento con RNA
Gradiente Conjugado
Mtodos de 2 Orden
y Problema del Gradiente y Identificacin va RNA
Ejemplo
Levenberg-Marquardt
y Mtodos Cuasi-Newton y Esquema Serie-Paralelo
Simulated Annealing
Algoritmos G
Genticos y G
Gradiente
di t C Conjugado
j d y Esquema
E P l l
Paralelo
Seguimiento con RNA
Identificacin va RNA y Mtodos de 2 Orden y Estimacin
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l y Ejemplo y Variables y Parmetros de
Estimacin
Vars y Parms de Modelo Modelo
CONTROL INTELIGENTE
 X(t+1)

Zin(t) 1 Z(t) Y(t)

X(t) V f NL = W f E = Y(t) X(t +1) E(t)
1+ eZin(t )

eZin(t )
f&NL = f&E = 1
(1+ e )
Zin(t ) 2

Wj E(t)

X(t) Z(t)

-V -W
 Mtodos de
M. Jamett optimizacin
i i i

[ ]
Tabla de Contenido tk 2
Gradiente
Mtodos de optimizacin
Optimizacin
Feltcher y Reeves
Mn J = 1
2 Y Y
i =tsh
i i

Mtodos de Newton
Problema del Gradiente
Mtodos Cuasi-Newton
Gradiente Conjugado y Gradiente Conjugado
Mtodos de 2 Orden
y Quasi-Newton
Ejemplo
Levenberg-Marquardt y Simulated Annealing
Simulated Annealing
Algoritmos G
Genticos
y Algoritmos
go t os ge
genticos
t cos
Seguimiento con RNA y etc
Identificacin va RNA
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l Deterministas o Estocsticos?
Estimacin
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Feltcher y Reeves
M. Jamett

Etapa de inicializacin:
Tabla de Contenido Seleccionar un punto de partida
Gradiente
Mtodos de optimizacin Calcular x0
Feltcher y Reeves
f (x0 )
Etapa iterativa: d0=g0 =
Mtodos de Newton
Problema del Gradiente Determinar k que minimiza
Mtodos Cuasi-Newton
Gradiente Conjugado en la direccindk
Mtodos de 2 Orden
Ejemplo
Levenberg-Marquardt Calcular xk +1=xk +kdk donde
Simulated Annealing gkT+1gk +1
Algoritmos G
Genticos dk +1=gk +1+kdk k = T
Seguimiento con RNA gk gk
Identificacin va RNA
Esquema Serie-Paralelo
Es una extensin del mtodo de gradiente conjugado a funciones
E
Esquema Paralelo
P l l cualesquiera (no necesariamente cuadrticas) y sin la utilizacin
Estimacin explcita del Hessiano.
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Mtodos de Newton
M. Jamett

y Mtodos de Gradiente
Tabla de Contenido En General:
Gradiente
Mtodos de optimizacin
Feltcher y Reeves }
direccin
Mtodos de Newton
Problema del Gradiente
wk +1 = wk + h{ d
Mtodos Cuasi-Newton amplitud
pasobusqueda
Gradiente Conjugado
Mtodos de 2 Orden
Ejemplo
Levenberg-Marquardt
Simulated Annealing
Gradiente : wk +1 = wk + d (w)
Problemas:
Algoritmos G
Genticos
Seguimiento con RNA y Convergencia lenta.
Identificacin va RNA
Esquema Serie-Paralelo
y Tendencia a quedar atrapada en mnimos locales.
E
Esquema Paralelo
P l l
Estimacin
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Problema del Gradiente
M. Jamett

y Ejemplo:
j p
Tabla de Contenido
Gradiente J ( x) = x 2 y d =1
Mtodos de optimizacin
Feltcher y Reeves Si : xk = 1 xk +1 = 1 + 1 (2 x)1 = 1
Mtodos de Newton
Problema del Gradiente xk + 2 = 1 + 1 (2 x) 1 = 1
J(x)
Mtodos Cuasi-Newton
Gradiente Conjugado
M
Mtodos de 2 Orden
Ejemplo
cte.
Levenberg-Marquardt
Simulated Annealing
Algoritmos G
Genticos
Seguimiento con RNA
Identificacin va RNA
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l
Estimacin
x
Vars y Parms de Modelo
-1 1
CONTROL INTELIGENTE
 Mtodos Cuasi-
Cuasi-Newton
M. Jamett

xk +1= xk k [ f (xk )] gk
Tabla de Contenido
Gradiente 2
1 Gk es una aproximacin
convenientemente elegida
Mtodos de optimizacin
Feltcher y Reeves
Mtodos de Newton
de 2 f xk ( )
Problema del Gradiente Simtrica
Mtodos Cuasi-Newton Hay muchas formas de actualizar
Gradiente Conjugado la matriz G o su inversa S y que
satisfacen los criterios anteriores.
anteriores
Mtodos de 2 Orden Definida
D fi id
Ejemplo
Levenberg-Marquardt Gk Positiva
Simulated Annealing
Algoritmos G
Genticos (qk Gk pk)(qk Gk pk)T
Gk +1=Gk +
Seguimiento con RNA Gk pk =qk pkT (qk Gk pk)
Identificacin va RNA
Esquema Serie-Paralelo pk =xk +1xk =k dk (pk Sk qk) pk Sk qk)T
E
Esquema Paralelo
P l l Sk +1=Sk +
qkT (pk Sk qk)
Estimacin
Vars y Parms de Modelo
qk =gk +1gk
CONTROL INTELIGENTE
 Gradiente Conjugado
M. Jamett

X2
Gradiente
G di
Tabla de Contenido
conjugado
Gradiente
Mtodos de optimizacin
Feltcher y Reeves
Mtodos de Newton
Problema del Gradiente
Mtodos Cuasi-Newton
Gradiente Conjugado
Mtodos de 2 Orden X1
Ejemplo
Levenberg-Marquardt
Simulated Annealing
Algoritmos G
Genticos
Seguimiento con RNA
Identificacin va RNA Direccin de gradiente
X0

J wk + d k 1
d k =
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l
Estimacin
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Mtodos 2
2 orden tipo Newton
M. Jamett

y Taylor
y de J(w):
( )
Tabla de Contenido
Gradiente
Mtodos de optimizacin
1
Feltcher y Reeves J ( w) = J 0 + ( w w0 )J ( w0 ) + ( w w0 ) H ( w w0 ) +L ((1))
Mtodos de Newton 2
Problema del Gradiente
J 2 J
Mtodos Cuasi-Newton
J = H ij =
Gradiente Conjugado
wi wi w j
Mtodos de 2 Orden
Ejemplo Derivando (1) :
Levenberg-Marquardt
Simulated Annealing J ( w) = J ( w0 ) + H ( w w0 ) +L (2)
Algoritmos G
Genticos
Seguimiento con RNA
mnimo J ( w) = 0
Identificacin va RNA
0 = J ( w0 ) + H ( w w0 )
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l w = w0 H 1J ( w0 )
Estimacin
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Ejemplo
M. Jamett

y Ejemplo:
Tabla de Contenido
Gradiente
Mtodos de optimizacin J ( w) = w2 ; w0 = 1
Feltcher y Reeves
Mtodos de Newton J 2 J
Problema del Gradiente = 2w; =2
Mtodos Cuasi-Newton w w 2

Gradiente Conjugado
1
Mtodos de 2 Orden w1 = 1 + (2 w)1 = 0
Ejemplo 2
Levenberg-Marquardt
1
w2 = 0 + (2w)0 = 0
Simulated Annealing
Algoritmos G
Genticos
Seguimiento con RNA y Quasi-Newton: 2
Identificacin va RNA H-1 se aproxima en forma recursiva.
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l BFGS Broyden,
Broyden Fletcher,
Fletcher Glodfarb,
Glodfarb Shannon
Estimacin
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Levenberg - Marquardt
M. Jamett

Tabla de Contenido y M difi

Modificacin
i de
d G
Gauss-Newton
N t
Gradiente
Mtodos de optimizacin
Feltcher y Reeves
Mtodos de Newton wk +1 = wk [ J kT J k + k I ]1 J kT rk
Problema del Gradiente {
Mtodos Cuasi-Newton Aproximacin
Gradiente Conjugado Hessiano
Mtodos de 2 Orden
Ejemplo
Levenberg-Marquardt
y Ventajas:
Simulated Annealing Bien definido aunque J no sea de rango pleno
Algoritmos G
Genticos
Seguimiento con RNA Globalmente convergente
Identificacin va RNA
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l
Estimacin
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Simulated Annealing
M. Jamett

Tabla de Contenido Energa mnima...

Gradiente
f diferenciable?
Mtodos de optimizacin
Feltcher y Reeves ptimos locales?
Mtodos de Newton Parmetros?
Problema del Gradiente
Mtodos Cuasi-Newton
Calidad de la solucin?
Gradiente Conjugado
Mtodos de 2 Orden
Ejemplo
Estado
Levenberg-Marquardt inicial
Simulated Annealing

Algoritmos G
Genticos
Seguimiento con RNA
Identificacin va RNA
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l Estado
final
Estimacin
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Algoritmos Genticos
M. Jamett

Tabla de Contenido
Gradiente
Mtodos de optimizacin
Feltcher y Reeves
Mtodos de Newton
Problema del Gradiente
Mtodos Cuasi-Newton
Gradiente Conjugado
Mtodos de 2 Orden
Ejemplo
Levenberg-Marquardt
Simulated Annealing
Al it
Algoritmos Genticos
G ti
Rango= [-4 , 4]
Seguimiento con RNA
Identificacin va RNA Bits=8
Esquema Serie-Paralelo Poblacin=30
E
Esquema Paralelo
P l l
Estimacin
Generaciones=50
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Algoritmos Genticos
M. Jamett

Los algoritmos genticos son una clase de estrategias de

Tabla de Contenido
bsqueda que presentan un compromiso equilibrado y
Gradiente razonable entre la exploracin y la explotacin; en efecto,
Mtodos de optimizacin analisis tericos han mostrado que los algoritmos genticos
Feltcher y Reeves
generan este compromiso de manera casi ptima.
Mtodos de Newton
Problema del Gradiente Pasos:
Mtodos Cuasi-Newton
a) Inicializar la Poblacin : Crear y evaluar la poblacin inicial de
Gradiente Conjugado
Mtodos de 2 Orden
cromosomas
cromosomas.
Ejemplo b) Seleccionar y reproducir los cromosomas (con cruzamiento y
Levenberg-Marquardt mutacin).
Simulated Annealing
Al it
Algoritmos Genticos
G ti c) Evaluar los fitness
fitness del nuevo hijo.
hijo
Seguimiento con RNA d) Substituir los cromosomas de la poblacin por los hijos.
Identificacin va RNA
Esquema Serie-Paralelo e) Volver a b)
E
Esquema Paralelo
P l l
Estimacin
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Problemas en la Prctica
M. Jamett

Tabla de Contenido
Gradiente
Mtodos de optimizacin
Feltcher y Reeves
Mtodos de Newton
Problema del Gradiente
Mtodos Cuasi-Newton
Gradiente Conjugado
Mtodos de 2 Orden
Ejemplo
Levenberg-Marquardt
Simulated Annealing Qu algoritmo utilizar?
Al it
Algoritmos Genticos
G ti
Qu frmula Q-N utilizar?
Seguimiento con RNA
Identificacin va RNA
Qu tipo de bsqueda lineal se
Esquema Serie-Paralelo
deber implementar?
E
Esquema Paralelo
P l l Cmo hacer la correccin de la
Estimacin matriz Sk +1 cuando So =I ?
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Capacidad de Seguimiento de
M. Jamett una RNA
y Prueba de Hornik (1989) Multilayer Feedforward
Tabla de Contenido
Networks are Universal Approximators
Approximators, Neural Networks,
Networks
Gradiente Vol.2, pp.359-366.
Mtodos de optimizacin
Feltcher y Reeves
Mtodos de Newton y N de
d capas escondidas:
did 1
Problema del Gradiente
Mtodos Cuasi-Newton
y Normalizacin
Gradiente Conjugado y Simplicidad
p vs. Precisin
Mtodos de 2 Orden
Ejemplo
Levenberg-Marquardt
Simulated Annealing
Algoritmos G
Genticos
Seguimiento con RNA
Identificacin va RNA
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l
Estimacin
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Identificacin va RNA
M. Jamett

Tabla de Contenido
Gradiente
Mtodos de optimizacin
Feltcher y Reeves Red
Mtodos de Newton
Neuronal
Problema del Gradiente _
Mtodos Cuasi-Newton
Gradiente Conjugado error
Mtodos de 2 Orden
Ejemplo +
Levenberg-Marquardt
Simulated Annealing
ENTRADA Planta SALIDA
Algoritmos G
Genticos
Seguimiento con RNA
Identificacin va RNA
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l
Estimacin
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Esquema serie-
serie-paralelo
M. Jamett

Tabla de Contenido
Gradiente
Mtodos de optimizacin
Feltcher y Reeves
Mtodos de Newton
Problema del Gradiente
Mtodos Cuasi-Newton
Gradiente Conjugado
Mtodos de 2 Orden
Ejemplo
Levenberg-Marquardt
Simulated Annealing
Algoritmos G
Genticos
Seguimiento con RNA
Identificacin va RNA
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l
Estimacin
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Esquema Paralelo
M. Jamett

Tabla de Contenido
Gradiente
Mtodos de optimizacin
Feltcher y Reeves
Mtodos de Newton
Problema del Gradiente
Mtodos Cuasi-Newton
Gradiente Conjugado
Mtodos de 2 Orden
Ejemplo
Levenberg-Marquardt
Simulated Annealing
Algoritmos G
Genticos
Seguimiento con RNA
Identificacin va RNA
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l
Estimacin
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Estimacin
M. Jamett

Tabla de Contenido y E ti
Estimacin
i de
d E t d
Estado
Gradiente
Mtodos de optimizacin
Black box models
Feltcher y Reeves
Mtodos de Newton
Problema del Gradiente
Mtodos Cuasi-Newton
Gradiente Conjugado
Mtodos de 2 Orden y Estimacin de Parmetros
Ejemplo
Levenberg-Marquardt
Simulated Annealing
Grey box models
Algoritmos Genticos
G
Seguimiento con RNA
Identificacin va RNA
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l
Estimacin
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Esquemas de Estimacin
M. Jamett

Tabla de Contenido
Gradiente
Mtodos de optimizacin
Feltcher y Reeves Modelo
Mtodos de Newton ENTRADA SALIDA
Fenomenolgico
Problema del Gradiente
Mtodos Cuasi-Newton
Gradiente Conjugado
Mtodos de 2 Orden
Ejemplo
Red
Levenberg-Marquardt
Simulated Annealing
Neuronal error
Algoritmos G
Genticos
Seguimiento con RNA
Identificacin va RNA
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l
Estimacin
Modelo CG con aprendizaje directo
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Esquemas de Estimacin
M. Jamett

Tabla de Contenido
Gradiente
Mtodos de optimizacin
Feltcher y Reeves
Modelo
Mtodos de Newton ENTRADA SALIDA
Problema del Gradiente
Fenomenolgico
Mtodos Cuasi-Newton
Gradiente Conjugado +
Mtodos de 2 Orden
_
Ejemplo
Red error
Levenberg-Marquardt
Simulated Annealing Neuronal
Algoritmos G
Genticos
Seguimiento con RNA
Identificacin va RNA
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l
Estimacin Modelo CG con aprendizaje indirecto
Vars y Parms de Modelo

CONTROL INTELIGENTE
 Variables y Parmetros de un
M. Jamett M d l
Modelo
Tabla de Contenido
Gradiente Parmetros de Constantes cuyo valor
Mtodos de optimizacin Diseo puede ser escogido.
Feltcher y Reeves
Mtodos de Newton
Problema del Gradiente Parmetros del Constantes propias
Mtodos Cuasi-Newton Sistema del sistema.
Gradiente Conjugado
Mtodos de 2 Orden
Ejemplo
Levenberg-Marquardt
Ej. : Estanque
Simulated Annealing
Algoritmos G
Genticos Seccin de salida : Diseo
Diseo.
Seguimiento con RNA Seccin de tanque : Del Sistema.
Identificacin va RNA
Esquema Serie-Paralelo
y cte. de gravitacin
E
Esquema Paralelo
P l l
Estimacin
Vars y Params
Parms de Modelo

CONTROL INTELIGENTE
 Variables de Salida
M. Jamett

Son aquellas cuyo comportamiento nos interesa

Tabla de Contenido
conocer
conocer .
Gradiente
Mtodos de optimizacin
Feltcher y Reeves No son definidas por el proceso, es el diseador quin las
Mtodos de Newton escoge
Problema del Gradiente
Mtodos Cuasi-Newton
Gradiente Conjugado
Mtodos de 2 Orden
Ejemplo
y1 ( t )
Levenberg-Marquardt y (t )
Simulated Annealing
Algoritmos G
Genticos
y( t ) = 2
Seguimiento con RNA
M

Identificacin va RNA
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l
Estimacin
y p ( t )
Vars y Params
Parms de Modelo

CONTROL INTELIGENTE
 Variables de entrada
M. Jamett

Tabla de Contenido Son variables

S i bl que iinfluencian
fl i all sistema
i t pero que no son,
Gradiente ellas a su vez, influenciadas por l.
Mtodos de optimizacin
Feltcher y Reeves y Podemos manipularlas.
Mtodos de Newton
Problema del Gradiente
Mtodos Cuasi-Newton
u1 ( t )
u (t)
Gradiente Conjugado
Mtodos de 2 Orden
Ejemplo
Levenberg-Marquardt u(t) = 2
Simulated Annealing
M

Algoritmos G
Genticos
Seguimiento con RNA
Identificacin va RNA
Esquema Serie-Paralelo
u m ( t )
E
Esquema Paralelo
P l l
Estimacin
Vars y Params
Parms de Modelo

CONTROL INTELIGENTE
 Perturbaciones
M. Jamett

Tambin son variables externas al sistema y que lo

Tabla de Contenido
influencian pero sobre las cuales no tenemos manera de
Gradiente actuar.
Mtodos de optimizacin
Feltcher y Reeves
Mtodos de Newton
Problema del Gradiente
Mtodos Cuasi-Newton
Gradiente Conjugado
Mtodos de 2 Orden
Ejemplo Variables Internas
Levenberg-Marquardt
Simulated Annealing
Todas aquellas que no son ni entradas ni salidas.
Algoritmos G
Genticos
Seguimiento con RNA
Identificacin va RNA
Esquema Serie-Paralelo
E
Esquema Paralelo
P l l
Estimacin
Vars y Params
Parms de Modelo

CONTROL INTELIGENTE
 Resumen
M. Jamett

Tabla de Contenido y Constante y Cantidad que no vara en el tipo.

Gradiente
Mtodos de optimizacin y Param. Sist. y Cte. dada por el sistema.
Feltcher y Reeves
y Param Diseo
Param. y Cte. que se puede variar.
variar .
Mtodos de Newton
Problema del Gradiente y Variable y Vara en funcin del tipo.
Mtodos Cuasi-Newton
y V. Salida y Nos interesa medir, controlar, etc.
Gradiente Conjugado
Mtodos de 2 Orden
y V. Externa y Afecta al sistema,
sistema pero no es
Ejemplo
Levenberg-Marquardt
afectada por l.
Simulated Annealing
y V. Control.
Co t o y Podemos Manipular (externa).
Algoritmos G
Genticos
y No podemos Manipular (externa).
Seguimiento con RNA y Perturbacin
Identificacin va RNA y Variable de sistema que no es
Esquema Serie-Paralelo y V. Interna
E
Esquema Paralelo
P l l
salida ni entrada
Estimacin
Vars y Params
Parms de Modelo

CONTROL INTELIGENTE