Ing.

Ivan Mejia Cabrera

Ing. Ivan Mejia Cabrera
 M
E En la emulacin,
Redes Neuronales
T ms o menos
Razonamiento Aproximado O tienen inteligente, del
son D comportamiento de
Algoritmos Genticos su origen
O los sistemas
Teora del Caos L biolgicos
O
Colonias de hormigas
G
I Problemas
A que no
S pueden
permiten describirse
fcilmente
Al resolver con un
Manejar las problemas enfoque
imprecisiones que
relacionados algortmico
e aparecen con el mundo tradicional
incertidumbres real
Ing. Ivan Mejia Cabrera
REDES NEURONALES ARTIFICIALES
Basados en el comportamiento del
sistema nerviosa
las neuronas poseen caractersticas que
las diferencian de las otras clulas, tal
como su capacidad de comunicarse

En todo el sistema nervioso central

del ser humano hay alrededor de 1011
neuronas y existen alrededor de 1015
conexiones.
Ing. Ivan Mejia Cabrera
 Neurona biolgica
La teora y modelado de redes
neuronales artificiales est inspirada en
la estructura y funcionamiento del
sistema nervioso, donde la neurona es
el elemento fundamental.
Las neuronas poseen caractersticas
que las diferencian de las otras clulas,
tal como su capacidad de comunicarse.
Por lo general una neurona recibe
informacin de miles de otras neuronas y, a
su vez, enva informacin a miles de
neuronas ms.
Ing. Ivan Mejia Cabrera
 Ramn y Cajal, Santiago
(1852-1934)
Cajal argumentaba
convincentemente que las
neuritas de las diferentes
neuronas no tienen
continuidad unas con otras y
que es preciso que se
comuniquen por contacto y
no por continuidad. Esta idea
de que la neurona cumpla la
teora celular empez a
conocerse con el nombre de
doctrina neuronal. Cajal en
1906 recibe el Premio Nbel.
http://cajal.unizar.es

Ing. Ivan Mejia Cabrera

 Comunicacin neuronal

Dendritas Cuerpo Axn Sinapsis

celular

Recibir Combina, Transporta las Punto de

seales integra y seales a los conexin
de emite terminales con otra
entrada seales de axnicos neurona
salida
 Naturaleza de las seales neuronales
Impulsos elctricos
Elctricas generados por la neurona
y transportados a lo largo
del axn

Seales
Neuronales

Sustancias qumicas
neurotransmisores que
fluyen a travs de un
contacto especial llamado
Qumicas sinapsis y contribuyen a
transmitir los impulsos
nerviosos de una neurona
a otra
 DEFINICIN DE RED
NEURONAL ARTIFICIAL
En general son modelos que intentan reproducir el
COMPORTAMIENTO del cerebro
Una nueva forma de computacin, inspirada en modelos
biolgicos.
Un modelo matemtico compuesto por un gran nmero
de elementos procesales organizados en niveles.
Redes neuronales artificiales son redes interconectadas
masivamente en paralelo de elementos simples (
usualmente adaptativos) y con organizacin jerrquica, las
cuales intentan interactuar con los objetos del mundo real
del mismo modo que lo hace el sistema nervioso biolgico.
Ing. Ivan Mejia Cabrera
McCulloch Warren Pitts Walter (1943)
Los primeros tericos que concibieron los
fundamentos de la computacin neuronal fueron
Warren McCulloch, un neurofisilogo, y Walter Pitts,
un matemtico, quienes, en 1943, lanzaron una teora
acerca de la forma de trabajar de las neuronas. Ellos
modelaron una red neuronal simple mediante
circuitos elctricos

Ing. Ivan Mejia Cabrera

Rosenblatt, Frank (1957)
En 1957, comenz el desarrollo del Perceptron.El
Perceptron es la ms antigua red neuronal, y se usa hoy
en da de varias formas para la aplicacin como
reconocedor de patrones.

Ing. Ivan Mejia Cabrera

 Hopfield, John (1982)
En 1982, coincidieron numerosos eventos que
hicieron resurgir el inters por las redes neuronales.
John Hopfield, fsico, present su trabajo sobre
redes neuronales en la Academia Nacional de las
Ciencias . En el trabajo describe con claridad y rigor
matemtico una red a la que ha dado su nombre

Ing. Ivan Mejia Cabrera

NEURONA ARTIFICIAL
 CAPAS DE UNA RED
NEURONAL ARTIFICIAL
 Estructura de una red neuronal

Unidad U j

Unidad U i
F(aj(t),Netj) Salida
W ji
fj (aj (t+1) yj
Yi Net j =
=
a j(t+1)
Yj
Entrada
total Funcin de
Funcin o salida o
regla de transferencia
activacin
 n

Net j = w
i
ji yi

a j (t+1) = F ( a i (t), Net i ) generalmente F es la identidad

Y j (t +1) = f ( Net j )
 Proceso por el cual
Mecanismos de
MECANISMOS aprendizaje de la red
una red modifica sus
pesos en respuesta
DE a una informacin
APRENDIZAJE de entrada
Reglas o
algoritmos

Aprendizaje Aprendizaje no
supervisado supervisado

A. por correccin A. estocstico

A. por refuerzo
de error

Regla del Regla delta o de Regla delta

Perceptron Widrow - Hoff generalizada o
Backpropagation

Ing. Ivan Mejia Cabrera

EL PERCEPTRON
Primer modelo de red neuronal desarrollado
por Rosenblatt 1958.
Est formada por varias neuronas lineales para
recibir las entradas a la red y una neurona de
salida entrada.
Despert gran inters en los aos 60 por su
capacidad de reconocer patrones sencillos.
Es capaz de decidir cundo una entrada
presentada a la red pertenece a una de las dos
clases que es capaz de reconocer.

Ing. Ivan Mejia Cabrera

EL PERCEPTRON n ENTRADAS

x1 f (x)
w1 1
x
x2
w2
y = f [ (w
n
x i )
]
. i 1
i
-1
. wn

.
xn

Ing. Ivan Mejia Cabrera

 EL PERCEPTRON 2 ENTRADAS
X0=1
f (x)
x1 x1
w1 W0= - 1
y = f ( w1 x1 + w2 x2 - ) x
x2 w2 -1
x2

La neurona de salida del Perceptron realiza la x2

suma ponderada de las entradas, resta el umbral A
A
y pasa el resultado a la funcin de transferencia A
B
de tipo escaln. A
B
Si la repuesta es +1, el patrn presentado x1
B B B
pertenece a la clase A y si la respuesta es -1, el
patrn pertenece a la clase B.
Ing. Ivan Mejia Cabrera
REGLA DE APRENDIZAJE DEL
PERCEPTRON
El algoritmo de aprendizaje es de tipo
supervisado.
En el proceso de entrenamiento, el Perceptron
se expone a un conjunto de patrones de
entrada, y los pesos de la red son ajustados de
forma que al final del entrenamiento se obtenga
las salidas esperadas para cada uno de esos
patrones de entrada.
A continuacin el algoritmo de ajuste de pesos
para realizar el aprendizaje de un Perceptron (
aprendizaje por correccin de error ).

Ing. Ivan Mejia Cabrera

 Inicializacin de los pesos y del umbral
Inicialmente se asignan valores aleatorios a cada uno de los pesos wi de
las conexiones y al umbral ( -w0 = ).
Presentacin de un nuevo par (Entrada, salida esperada)
Patrn de entrada Xp = ( x1, x2, x3, , xn), salida esperada d (t).
Clculo de salida actual
n

y (t) = f [ (w
i 1
i x i ) ]

siendo f la funcin de transferencia escaln.

Adaptacin de los pesos
w i (t+1) = w i (t) + [ d(t) y (t) ] xi (t)
es un factor de ganancia en el rango 0 a 1.
Volver al paso 2

Ing. Ivan Mejia Cabrera

 EJEMPLO PRIMERA CORRIDA
1. Pesos elegidos aleatoriamente: w1=0.5,
w2=1.5, w0 = 1.5,
Valores deseados
de la funcin OR 2. Tomar uno a uno los cuatro patrones
de entrada y se aplica el mtodo
X1 X2 X1X2 explicado.
Patrn de entrada: 00
0 0 0
Entradas: x1=0, x2=0, x0=1
0 1 1 Pesos: w0 = 1.5, w1=0.5, w2=1.5
1 0 1 Neti: 0(0.5) + 0(1.5) + 1(1.5) = 1.5
1 1 1 Salida producida por f: 1 ( Neti >=0)
Salida deseada: 0
Conjunto de patrones Error: 0 1 = -1
{ 00, 01, 10, 11 } Pesos modificados:
w0(t + 1) = 1.5 + (-1)1 = 0.5
=1 w1(t + 1) = 0.5 + (-1)0 = 0.5
w2(t + 1) = 1.5 + (-1)0 = 1.5
Ing. Ivan Mejia Cabrera
PRIMERA CORRIDA
Patrn de entrada: 01
Entradas: x1=0, x2=1, x0=1
Pesos: w1 = 0.5, w2=1.5,
w0=0.5
Neti: 0(0.5) + 1(1.5) + 1(0.5) =
2 por lo que no varan los pesos.
Salida producida por f: 1 ( Neti
>=0)
Salida deseada: 1
Error: 1 1 = 0
Los pesos no se modifican:
wi (t + 1) = wi ( t )
Patrn de entrada: 10
La salida es igual a la deseada,
por lo que no varan los pesos.
Patrn de entrada: 11
La salida es igual a la deseada,
Existe un patrn de
entrada, 00, para el cual el
error cometido no es cero,
por lo tanto se repite el
proceso a partir de 2 !!
Ing. Ivan Mejia Cabrera
 SEGUNDA CORRIDA
3. Se toman de nuevo los cuatro patrones de
entrada.
Patrn de entrada: 00
Entradas: x1=0, x2=0, x0=1
Pesos: w1 = 0.5, w2=1.5, w0=0.5
Neti: 0(0.5) + 0(1.5) + 1(0.5) = 0.5
Salida producida por f: 1
Salida deseada: 0
Error: 0 1 = -1
Pesos modificados:
w0(t + 1) = 0.5 + (-1)1 = -0.5
w1(t + 1) = 0.5 + (-1)0 = 0.5
w2(t + 1) = 0.5 + (-1)0 = 1.5
Patrn de entrada: 01
Entradas: x1=0, x2=1, x0=1
Pesos: w1 = 0.5, w1=1.5, w0= -
0.5
Neti: 0(0.5) + 1(1.5) + 1(-0.5) =
1
Salida producida por f: 1
Salida deseada: 1
Error: 1 1 = 0
Los pesos no se modifican:
wi (t + 1) = wi ( t )
Patrn de entrada: 10
La salida es igual a la deseada, por lo
que no varan los pesos.
Patrn de entrada: 11
La salida es igual a la deseada, por lo
que no varan los pesos.
Ing. Ivan Mejia Cabrera
TERCERA CORRIDA
Se toman de nuevo los cuatro
patrones.
Patrn de entrada: 00
Entradas: x1=0, x2=0, x0=1
Pesos: w1 = 0.5, w2=1.5, w0= -
0.5
Neti: 0(0.5) + 0(1.5) + 1(-0.5)
= - 0.5
Salida producida por f: 0
Salida deseada: 0
Error: 0 0 = 0
No varan los pesos
wi (t + 1) = wi ( t )
Patrn de entrada: 10
La salida es igual a la deseada,
por lo que no varan los pesos.
Patrn de entrada: 11
La salida es igual a la deseada,
por lo que no varan los pesos.
Con estos nuevos pesos
los patrones de entrada
coinciden con las salidas, ya
no se comete ningn error
y por lo tanto la etapa de
aprendizaje concluye !!.
FIN
Ing. Ivan Mejia Cabrera
i x1 x2 d (t) w1(t) w2(t) w0(t) y error w1(t+1) w2(t+1) w0(t+1)
1 0 0 0 0.5 1.5 1.5 1 -1 0.5 1.5 0.5
0 1 1 0.5 1.5 0.5 1 0 0.5 1.5 0.5
1 0 1 0.5 1.5 0.5 1 0 0.5 1.5 0.5
1 1 1 0.5 1.5 0.5 1 0 0.5 1.5 0.5
2 0 0 0 0.5 1.5 0.5 1 -1 0.5 1.5 -0.5
0 1 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5
1 0 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5
1 1 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5
3 0 0 0 0.5 1.5 -0.5 0 0 0.5 1.5 -0.5
0 1 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5
1 0 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5
1 1 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5
INTRODUCCION A LA PROGRAMACIN LOGICA CON PROLOG

Muchos procesos naturales y

curvas de aprendizaje de
sistemas complejos muestran
una progresin temporal desde
unos niveles bajos al inicio,
La funcin sigmoide permite
describir esta evolucin.

e = nmero de Euler o constante de Napier

e\, 2,71828 18284 59045 23536 02874 71352 66249 77572 47093 69995...
ARIMETICA EN PROLOG

X=Y X e Y ocupan el lugar del mismo nmero

X \= Y X e Y ocupan el lugar de distintos nmeros
X<Y X es menor que Y
X>Y X es mayor que Y
X <= Y X es menor o igual que Y
X >= Y X es mayor o igual que Y

X+Y La suma de X e Y
XY La resta de X e Y
X*Y El producto de X e Y
X/Y El cociente de X dividido por Y
X mod Y El resto de X dividido por Y