Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Control Inteligente
Redes Neuronales (parte V)
y Paso 5
y Resultados
CONTROL INTELIGENTE
Alquimia Neuronal
M. Jamett
CONTROL INTELIGENTE
Pasos para la Elaboracin de
M. Jamett M d l N
Modelos Neuronales
l
CONTROL INTELIGENTE
Paso 2: Preprocesamiento
M. Jamett
y Datos:
D t un modelo
d l neuronall es d
de titipo caja
j negra.
SSon
modelos de interpolacin (NUNCA DE
Tabla de Contenido
EXTRAPOLACIN) que dependen FUERTEMENTE de
Alquimia Neuronal
Modelacin Neuronal:
calidad y cantidad de datos disponible
disponible.
Paso 1 y Calidad: relacionada con el grado con que los datos
Paso 2
Paso 3
disponibles representan la funcin que se est
Paso 4 aproximando
aproximando.
Paso 5
y Deseable: obtenerlos siguiendo un plan de experiencias
Resultados
adecuadamente diseado.
CONTROL INTELIGENTE
Paso 2: Preprocesamiento
M. Jamett
D t (ejemplos):
Datos ( j l )
y Cantidad: es extremadamente importante pues slo una
Tabla de Contenido
Alquimia Neuronal
cantidad de datos adecuada nos permitir identificar en
Modelacin Neuronal: f
forma correcta
t los
l parmetros
t (pesos)
( ) de
d nuestro
t modelod l
Paso 1 neuronal.
Paso 2
Paso 3 y Si la cantidad de datos es pequea, NO PODEMOS
Paso 4 PRETENDER elaborar un modelo neuronal complejo.
Paso 5
Resultados y Examinar atentamente (visualmente) los datos. Detectar
y en lo posible eliminar outliers (errores gruesos), vacos,
etc...
y Una atenta revisin visual permite a veces detectar
correlacin entre variables y, por lo tanto, reducir
dimensin, etc...
CONTROL INTELIGENTE
Paso 2: Preprocesamiento
M. Jamett
y Normalizacin
N li i ded variables:
i bl N
Necesaria
i cuando
d
intervienen variables con diferentes unidades y por lo
Tabla de Contenido
tanto amplitudes a veces varios rdenes de magnitud
Alquimia Neuronal
Modelacin Neuronal:
diferentes
diferentes.
Paso 1
Paso 2
Paso 3 y Ejemplo1 : Xn = (X-Xmin)/(Xmax-Xmin); Xn (0,1)
Paso 4
y Ejemplo2: Xn = 2*[(X-Xmin)/(Xmax-Xmin)] 1; Xn (-1,1)
Paso 5
Resultados y Xmax = 1,1 mximo valor de datos;
y i = 0,9
Xmin 0 9 mnimo valor de datos.
datos
y Es necesario, a la salida, realizar la desnormalizacin
correspondiente.
CONTROL INTELIGENTE
Paso 3: Diseo del modelo
M. Jamett neuronall
y Nmero de neuronas de entrada y de salida, dependiente
del anlisis de sistema anteriormente analizado
analizado.
y Nmero de neuronas de capa intermedia Nc:
Tabla de Contenido Lo importante es que dicho nmero de lugar a una
Alquimia Neuronal cantidad de parmetros (pesos) Nw tal que:
Modelacin Neuronal:
Paso 1 x Nw < (Nmero de ejemplos) / 10
Paso 2
Paso 3
Paso 4 y El nmero
d
de pesos Nw
N ded un perceptrn
t multicapas,
lti con
Paso 5 1 capa entrada con Ne neuronas, una capa oculta con Nc
Resultados
neuronas y una capa de salida con Ns neuronas es:
Nw = (Ne+1)*Nc+(Nc+1)*Ns
CONTROL INTELIGENTE
Paso 3: Diseo del modelo
M. Jamett neuronall
y Por lo tanto, si se tiene una red con 3 entradas, 4
neuronas en la capa oculta y 2 salidas
salidas, su cantidad de
pesos es:
Tabla de Contenido
Alquimia Neuronal Nw = (3
(3+1)*4+(4+1)*2
1) 4 (4 1) 2 = 26
Modelacin Neuronal:
Paso 1
Paso 2 Luego, se requiere de AL MENOS 260 ejemplos en el
Paso 3
conjunto de entrenamiento para identificar los
Paso 4
Paso 5
parmetros de esta red.
Resultados
CONTROL INTELIGENTE
Paso 3: Diseo del modelo
M. Jamett neuronall
y Funciones de transferencia: la ventaja de los modelos
neuronales y lo que los hace poderosos para aproximar
funciones complejas es su capacidad de utilizar funciones
Tabla de Contenido
de transferencia de tipo sigmoidal (facilita la
Alquimia Neuronal
retropropagacin)
retropropagacin).
Modelacin Neuronal:
Paso 1
Paso 2 y Un criterio usual es, dado que est demostrado que basta
Paso 3 una sola capa oculta con un adecuado nmero de
Paso 4 neuronas para aproximar con un grado de precisin
Paso 5 arbitrario cualquier funcin no lineal [Funahashi, 89,
Resultados Cybenko, 89, Hornik et al., 89, Hornik, 91], utilizar
funciones sigmoidales en la capa oculta y funciones
lineales en la de salida.
CONTROL INTELIGENTE
Paso 4: Entrenamiento
M. Jamett
y El entrenamiento
t i t supervisado
i d d de una red d neuronall es un
proceso muy delicado debido a la complejidad que
Tabla de Contenido
ostenta la superficie de la funcin error, la que puede
Alquimia Neuronal
Modelacin Neuronal:
poseer numerosos mnimos locales
locales, puntos silla
silla, etc
etc...
Paso 1 y Hay tres problemas principales que pueden surgir
Paso 2 durante entrenamiento:
Paso 3
Paso 4 1 Sesgo
Paso 5 2 Sobreparametrizacin
Resultados
3 Sobreaprendizaje
CONTROL INTELIGENTE
Sesgo
M. Jamett
y(x))
y(
Tabla de Contenido
Alquimia Neuronal
Modelacin Neuronal:
Paso 1
Paso 2
Paso 3
Paso 4
Paso 5
Resultados
1. Problemadegransesgo(bias)
CONTROL INTELIGENTE
Paso 4: Entrenamiento
M. Jamett
Tabla de Contenido
1.-Aumentando prudentemente el nmero de neuronas
Alquimia Neuronal
Modelacin Neuronal:
en la capa oculta
Paso 1 2.- Logrando llegar a un mejor mnimo local para lo cual
Paso 2 es importante realizar una buena cantidad de
Paso 3
Paso 4
entrenamientos diferentes partiendo desde pesos
Paso 5
iniciales aleatoriamente escogidos (20 o ms intentos).
Resultados
CONTROL INTELIGENTE
Sobreparametrizacin y/o
M. Jamett S b
Sobreentrenamiento
i
y(x)
Tabla de Contenido
Alquimia Neuronal
Modelacin Neuronal:
Paso 1
Paso 2
Paso 3
Paso 4
Paso 5
Resultados
x
2. Problemadegranvarianza
(sobreparametrizacin ysobreentrenamiento)
CONTROL INTELIGENTE
Paso 4: Entrenamiento
M. Jamett
CONTROL INTELIGENTE
Error
M. Jamett
Nmero
iteraciones
Graficodefuncinerrorenconjuntos
aprendizaje()ytest()
di j ( ) t t ( )
CONTROL INTELIGENTE
M. Jamett
Error
Tabla de Contenido
Alquimia Neuronal
Modelacin Neuronal:
Paso 1
Paso 2
Paso 3
Paso 4
Paso 5
Resultados
N pparmetros red
CONTROL INTELIGENTE
Paso 4: Entrenamiento
M. Jamett
Caracterstica
C t ti de d llos conjuntos
j t d
de aprendizaje
di j y prueba:
b
Ambos deben ser numerosos y los ejemplos que los
Tabla de Contenido
Alquimia Neuronal
compongan deben ser representativos del fenmeno
Modelacin Neuronal: subyacente
b t que se quiere
i modelar.
d l
Paso 1
Paso 2
Otros mtodos utilizados:
Paso 3 1.- Validacin cruzada: se elaboran distintos modelos
Paso 4
neuronales a partir del uso de los ejemplos disponibles
Paso 5
Resultados para aprendizaje confeccionando de distinta forma los
conjuntos de aprendizaje y test. Se escoge aquel
modelo que da mnimo error sobre conjunto de test.
CONTROL INTELIGENTE
Paso 4: Entrenamiento
M. Jamett
CONTROL INTELIGENTE
Paso 5: Generalizacin
M. Jamett
Para probar
P b lla capacidad
id d de
d generalizacin
li i d
de lla red,
d o sea
sus resultados sobre un conjunto distinto de datos, es
Tabla de Contenido importante haber reservado ejemplos para confeccionar un
Alquimia Neuronal
Modelacin Neuronal:
tercer conjunto
conjunto, el CONJUNTO DE GENERALIZACIN.
GENERALIZACIN
Paso 1
Paso 2
Paso 3
Este debe ser tan representativo del fenmeno a modelar
Paso 4 como los anteriores (aprendizaje y test).
)
Paso 5
Resultados
CONTROL INTELIGENTE
M. Jamett
y(x)
Tabla de Contenido
Alquimia Neuronal
Modelacin Neuronal:
Paso 1
Paso 2
Paso 3
Paso 4
Paso 5
Resultados
3. Aproximacincorrectadelafuncinsubyacente
p y
GENERALIZACIN
CONTROL INTELIGENTE
Paso 5: Generalizacin
M. Jamett
CONTROL INTELIGENTE
Paso 5: Generalizacin
M. Jamett
OSA:
Tabla de Contenido
Alquimia Neuronal x1k X1k+1
Modelacin Neuronal:
Paso 1 x2k X2k+1
Paso 2
Paso 3
Paso 4
Paso 5 MPO: Z-1
Resultados
X1k X1k+1
x2k X2k+1
CONTROL INTELIGENTE
Paso 5: Generalizacin
M. Jamett
L
La prueba
b dde ffuego de
d un modelo
d l siempre
i es su
capacidad de prediccin MPO
Tabla de Contenido
Alquimia Neuronal
Modelacin Neuronal: ndices para validacin numrica de modelos:
Paso 1
Paso 2 x IA
Paso 3
x RMS
Paso 4
Paso 5 x RSD
Resultados
CONTROL INTELIGENTE
Resultados
M. Jamett
Tabla de Contenido n
( p )
n
( )
n
(i pi ) i i
2
Alquimia Neuronal i i
2
p
2
Modelacin Neuronal:
IA = 1 i =1
RMS = i =1
RSD= i =1
( ' + p ' )
Paso 1 n n
N
2 2
Paso 2 i i i
i =1 i =1
Paso 3
i
Paso 4
Paso 5 : Valores observados.
i ' = i m
Resultados
pi : Valores p
predichos.
N : Nmero total de datos. pi ' = pi m
m : Valor medio de las observaciones.
CONTROL INTELIGENTE