Sei sulla pagina 1di 25

Departamento de Ingeniera Elctrica

UNIVERSIDAD DE SANTIAGO DE CHILE

Carrera: Ingeniera Civil en Electricidad

Control Inteligente
Redes Neuronales (parte V)

Dra. Marcela Jamett Domnguez


M. Jamett
Tabla de Contenido
y Alquimia Neuronal
Tabla de Contenido
Alquimia Neuronal y Modelacin Neuronal: Paso 1
Modelacin Neuronal:
Paso 1 y Paso 2
Paso 2
Paso 3
y Paso 3
Paso 4
Paso 5
Resultados
y Paso 4

y Paso 5

y Resultados

CONTROL INTELIGENTE
Alquimia Neuronal
M. Jamett

La opcin de calcular en forma elegante y eficiente el


gradiente permite tratar el problema de optimizacin con
toda la batera de mtodos de optimizacin que
Tabla de Contenido proporciona la optimizacin en sistemas no-lineales.
Alquimia Neuronal
Modelacin Neuronal:
Paso 1 y Por otra parte: qu decir del intento de elaborar un
Paso 2
Paso 3
modelo neuronal que incluye ms de 8000 parmetros
Paso 4 para atacar un problema de clasificacin
clasificacin, sabiendo que
Paso 5 esos ms de 8000 parmetros debern ser
Resultados
correctamente determinados con menos de 50 ejemplos?

y La eterna tentacin de ejercer alquimia neuronal


CUIDADO!!

CONTROL INTELIGENTE
Pasos para la Elaboracin de
M. Jamett M d l N
Modelos Neuronales
l

Paso 1: Exhaustivo anlisis de


Tabla de Contenido
Alquimia Neuronal
sistema
Modelacin Neuronal: y En este anlisis se debe dejar establecido el nmero y
Paso 1
tipo de variables de entrada y salida del modelo, la
Paso 2
Paso 3
posibilidad de reducir la dimensin del problema
Paso 4
disminuyendo el nmero de variables involucradas
involucradas, etc
etc...
Paso 5 y Es realmente imprescindible usar un modelo neuronal?
Resultados Porqu no utilizar modelos clsicos existentes? RED
NEURONAL: SEGUNDA MEJOR SOLUCIN !!
y Si se decide utilizar un modelo neuronal, se cuenta con
los datos que representen adecuadamente el fenmeno a
modelar y en la cantidad suficiente?

CONTROL INTELIGENTE
Paso 2: Preprocesamiento
M. Jamett

y Datos:
D t un modelo
d l neuronall es d
de titipo caja
j negra.
SSon
modelos de interpolacin (NUNCA DE
Tabla de Contenido
EXTRAPOLACIN) que dependen FUERTEMENTE de
Alquimia Neuronal
Modelacin Neuronal:
calidad y cantidad de datos disponible
disponible.
Paso 1 y Calidad: relacionada con el grado con que los datos
Paso 2
Paso 3
disponibles representan la funcin que se est
Paso 4 aproximando
aproximando.
Paso 5
y Deseable: obtenerlos siguiendo un plan de experiencias
Resultados
adecuadamente diseado.

CONTROL INTELIGENTE
Paso 2: Preprocesamiento
M. Jamett

D t (ejemplos):
Datos ( j l )
y Cantidad: es extremadamente importante pues slo una
Tabla de Contenido
Alquimia Neuronal
cantidad de datos adecuada nos permitir identificar en
Modelacin Neuronal: f
forma correcta
t los
l parmetros
t (pesos)
( ) de
d nuestro
t modelod l
Paso 1 neuronal.
Paso 2
Paso 3 y Si la cantidad de datos es pequea, NO PODEMOS
Paso 4 PRETENDER elaborar un modelo neuronal complejo.
Paso 5
Resultados y Examinar atentamente (visualmente) los datos. Detectar
y en lo posible eliminar outliers (errores gruesos), vacos,
etc...
y Una atenta revisin visual permite a veces detectar
correlacin entre variables y, por lo tanto, reducir
dimensin, etc...

CONTROL INTELIGENTE
Paso 2: Preprocesamiento
M. Jamett

y Normalizacin
N li i ded variables:
i bl N
Necesaria
i cuando
d
intervienen variables con diferentes unidades y por lo
Tabla de Contenido
tanto amplitudes a veces varios rdenes de magnitud
Alquimia Neuronal
Modelacin Neuronal:
diferentes
diferentes.
Paso 1
Paso 2
Paso 3 y Ejemplo1 : Xn = (X-Xmin)/(Xmax-Xmin); Xn (0,1)
Paso 4
y Ejemplo2: Xn = 2*[(X-Xmin)/(Xmax-Xmin)] 1; Xn (-1,1)
Paso 5
Resultados y Xmax = 1,1 mximo valor de datos;
y i = 0,9
Xmin 0 9 mnimo valor de datos.
datos
y Es necesario, a la salida, realizar la desnormalizacin
correspondiente.

CONTROL INTELIGENTE
Paso 3: Diseo del modelo
M. Jamett neuronall
y Nmero de neuronas de entrada y de salida, dependiente
del anlisis de sistema anteriormente analizado
analizado.
y Nmero de neuronas de capa intermedia Nc:
Tabla de Contenido Lo importante es que dicho nmero de lugar a una
Alquimia Neuronal cantidad de parmetros (pesos) Nw tal que:
Modelacin Neuronal:
Paso 1 x Nw < (Nmero de ejemplos) / 10
Paso 2
Paso 3
Paso 4 y El nmero
d
de pesos Nw
N ded un perceptrn
t multicapas,
lti con
Paso 5 1 capa entrada con Ne neuronas, una capa oculta con Nc
Resultados
neuronas y una capa de salida con Ns neuronas es:

Nw = (Ne+1)*Nc+(Nc+1)*Ns

CONTROL INTELIGENTE
Paso 3: Diseo del modelo
M. Jamett neuronall
y Por lo tanto, si se tiene una red con 3 entradas, 4
neuronas en la capa oculta y 2 salidas
salidas, su cantidad de
pesos es:
Tabla de Contenido
Alquimia Neuronal Nw = (3
(3+1)*4+(4+1)*2
1) 4 (4 1) 2 = 26
Modelacin Neuronal:
Paso 1
Paso 2 Luego, se requiere de AL MENOS 260 ejemplos en el
Paso 3
conjunto de entrenamiento para identificar los
Paso 4
Paso 5
parmetros de esta red.
Resultados

CONTROL INTELIGENTE
Paso 3: Diseo del modelo
M. Jamett neuronall
y Funciones de transferencia: la ventaja de los modelos
neuronales y lo que los hace poderosos para aproximar
funciones complejas es su capacidad de utilizar funciones
Tabla de Contenido
de transferencia de tipo sigmoidal (facilita la
Alquimia Neuronal
retropropagacin)
retropropagacin).
Modelacin Neuronal:
Paso 1
Paso 2 y Un criterio usual es, dado que est demostrado que basta
Paso 3 una sola capa oculta con un adecuado nmero de
Paso 4 neuronas para aproximar con un grado de precisin
Paso 5 arbitrario cualquier funcin no lineal [Funahashi, 89,
Resultados Cybenko, 89, Hornik et al., 89, Hornik, 91], utilizar
funciones sigmoidales en la capa oculta y funciones
lineales en la de salida.

y Sin embargo tambin pueden usarse sigmoides en la


salida
salida.

CONTROL INTELIGENTE
Paso 4: Entrenamiento
M. Jamett

y El entrenamiento
t i t supervisado
i d d de una red d neuronall es un
proceso muy delicado debido a la complejidad que
Tabla de Contenido
ostenta la superficie de la funcin error, la que puede
Alquimia Neuronal
Modelacin Neuronal:
poseer numerosos mnimos locales
locales, puntos silla
silla, etc
etc...
Paso 1 y Hay tres problemas principales que pueden surgir
Paso 2 durante entrenamiento:
Paso 3
Paso 4 1 Sesgo
Paso 5 2 Sobreparametrizacin
Resultados
3 Sobreaprendizaje

Los dos ltimos dan lugar a un fenmeno similar que


afecta la capacidad de generalizacin de la red (alta
varianza)
varianza).

CONTROL INTELIGENTE
Sesgo
M. Jamett

y(x))
y(

Tabla de Contenido
Alquimia Neuronal
Modelacin Neuronal:
Paso 1
Paso 2
Paso 3
Paso 4
Paso 5
Resultados

1. Problemadegransesgo(bias)

CONTROL INTELIGENTE
Paso 4: Entrenamiento
M. Jamett

Como disminuir el sesgo?

Tabla de Contenido
1.-Aumentando prudentemente el nmero de neuronas
Alquimia Neuronal
Modelacin Neuronal:
en la capa oculta
Paso 1 2.- Logrando llegar a un mejor mnimo local para lo cual
Paso 2 es importante realizar una buena cantidad de
Paso 3
Paso 4
entrenamientos diferentes partiendo desde pesos
Paso 5
iniciales aleatoriamente escogidos (20 o ms intentos).
Resultados

CONTROL INTELIGENTE
Sobreparametrizacin y/o
M. Jamett S b
Sobreentrenamiento
i
y(x)

Tabla de Contenido
Alquimia Neuronal
Modelacin Neuronal:
Paso 1
Paso 2
Paso 3
Paso 4
Paso 5
Resultados

x
2. Problemadegranvarianza
(sobreparametrizacin ysobreentrenamiento)

CONTROL INTELIGENTE
Paso 4: Entrenamiento
M. Jamett

Formas de evitar los problemas anteriores:


1.- Trabajar
1 T b j siempre
i con d
dos conjuntos
j t d durante
t
entrenamiento:
Tabla de Contenido
Alquimia Neuronal
Conjunto de entrenamiento
Modelacin Neuronal: Conjunto de test (prueba)
Paso 1
Paso 2 Lo ideal es visualizar el comportamiento de la funcin
Paso 3 error en forma simultnea en ambos conjuntos
j
Paso 4
Paso 5
Resultados

CONTROL INTELIGENTE
Error
M. Jamett

Mnimo error de test


Tabla de Contenido
Alquimia Neuronal
Modelacin Neuronal:
Paso 1
Paso 2
Paso 3
Paso 4
Paso 5
Resultados

Nmero
iteraciones
Graficodefuncinerrorenconjuntos
aprendizaje()ytest()
di j ( ) t t ( )

CONTROL INTELIGENTE
M. Jamett

Error

Tabla de Contenido
Alquimia Neuronal
Modelacin Neuronal:
Paso 1
Paso 2
Paso 3
Paso 4
Paso 5
Resultados

N pparmetros red

CONTROL INTELIGENTE
Paso 4: Entrenamiento
M. Jamett

Caracterstica
C t ti de d llos conjuntos
j t d
de aprendizaje
di j y prueba:
b
Ambos deben ser numerosos y los ejemplos que los
Tabla de Contenido
Alquimia Neuronal
compongan deben ser representativos del fenmeno
Modelacin Neuronal: subyacente
b t que se quiere
i modelar.
d l
Paso 1
Paso 2
Otros mtodos utilizados:
Paso 3 1.- Validacin cruzada: se elaboran distintos modelos
Paso 4
neuronales a partir del uso de los ejemplos disponibles
Paso 5
Resultados para aprendizaje confeccionando de distinta forma los
conjuntos de aprendizaje y test. Se escoge aquel
modelo que da mnimo error sobre conjunto de test.

CONTROL INTELIGENTE
Paso 4: Entrenamiento
M. Jamett

2.- Early stopping: la idea es detener el proceso de


2
aprendizaje apenas el error sobre el conjunto de test
Tabla de Contenido comience a aumentar. Se evita, de esta manera, que la
Alquimia Neuronal red neuronal modele el ruido que pueden contener los
Modelacin Neuronal: datos.
Paso 1
Paso 2
3.- Regularizacin: se trata de agregar trminos a la
Paso 3 funcin objetivo de tal manera que al minimizarla se
Paso 4 penalice
li lla cantidad
tid d d
de parmetros
t que ttenga ell
Paso 5 modelo.
Resultados
4.- Poda: la idea es comenzar con una red neuronal
con una gran cantidad de pesos e ir podando
podando dichos
pesos bajo ciertos criterios que tambin incluyen la
adicin de trminos a la funcin objetivo, los anlisis
de sensibilidad, etc

CONTROL INTELIGENTE
Paso 5: Generalizacin
M. Jamett

Para probar
P b lla capacidad
id d de
d generalizacin
li i d
de lla red,
d o sea
sus resultados sobre un conjunto distinto de datos, es
Tabla de Contenido importante haber reservado ejemplos para confeccionar un
Alquimia Neuronal
Modelacin Neuronal:
tercer conjunto
conjunto, el CONJUNTO DE GENERALIZACIN.
GENERALIZACIN
Paso 1
Paso 2
Paso 3
Este debe ser tan representativo del fenmeno a modelar
Paso 4 como los anteriores (aprendizaje y test).
)
Paso 5
Resultados

CONTROL INTELIGENTE
M. Jamett
y(x)

Tabla de Contenido
Alquimia Neuronal
Modelacin Neuronal:
Paso 1
Paso 2
Paso 3
Paso 4
Paso 5
Resultados

3. Aproximacincorrectadelafuncinsubyacente
p y
GENERALIZACIN

CONTROL INTELIGENTE
Paso 5: Generalizacin
M. Jamett

Es importante chequear la capacidad de generalizacin,


lo que tambin se conoce como VALIDACIN del
modelo neuronal.
Tabla de Contenido
Alquimia Neuronal
Modelacin Neuronal: Hay d
H dos fformas b
bsicas
i d
de validar
lid un modelo
d l dinmico,
di i
Paso 1 que es eminentemente predictivo:
Paso 2
Paso 3 En prediccin un-paso-adelante
Paso 4
(OSA = one step ahead)
Paso 5
Resultados En prediccin mltiples-pasos-adelante
(MPO = model predictive output)

CONTROL INTELIGENTE
Paso 5: Generalizacin
M. Jamett

OSA:

Tabla de Contenido
Alquimia Neuronal x1k X1k+1
Modelacin Neuronal:
Paso 1 x2k X2k+1
Paso 2
Paso 3
Paso 4
Paso 5 MPO: Z-1
Resultados

X1k X1k+1

x2k X2k+1

CONTROL INTELIGENTE
Paso 5: Generalizacin
M. Jamett

L
La prueba
b dde ffuego de
d un modelo
d l siempre
i es su
capacidad de prediccin MPO
Tabla de Contenido
Alquimia Neuronal
Modelacin Neuronal: ndices para validacin numrica de modelos:
Paso 1
Paso 2 x IA
Paso 3
x RMS
Paso 4
Paso 5 x RSD
Resultados

CONTROL INTELIGENTE
Resultados
M. Jamett

ndices de error usados:

Tabla de Contenido n

( p )
n
( )
n

(i pi ) i i
2
Alquimia Neuronal i i
2
p
2

Modelacin Neuronal:
IA = 1 i =1
RMS = i =1
RSD= i =1

( ' + p ' )
Paso 1 n n

N
2 2
Paso 2 i i i
i =1 i =1
Paso 3

i
Paso 4
Paso 5 : Valores observados.
i ' = i m
Resultados
pi : Valores p
predichos.
N : Nmero total de datos. pi ' = pi m
m : Valor medio de las observaciones.

CONTROL INTELIGENTE

Potrebbero piacerti anche