Presentacion Redes Neuronales

1
Introduccion:
Redes Neuronales. 2005-2006
Index
`
Facultat dInformatica
`
Enginyeria Informatica
2005-2006
1 Modelos conexionistas . 2
2 La neurona . 6
Redes Neuronales
3 Los neurocomputadores . 10
1. Introduccion
4 Aplicaciones de los modelos conexionistas . 12
Francisco Casacuberta Nolla
5 Marco estadstico para los modelos conexionistas . 18
fcn@dsic.upv.es
al perceptron
multicapa . 24
6 Del perceptron
24 de octubre de 2005
- UPV
2
Introduccion:
3
Introduccion:
Index
Modelos conexionistas
Un conjunto de procesadores elementales densamente inteconectados
Los modelos conexionistas proporcionan mecanismos generales para construir

modelos de sistemas a partir de datos de los mismos
2 La neurona . 6
Otros nombres:
Modelos conexionistas
al perceptron
multicapa . 24
6 Del perceptron
Redes neuronales artificiales

Procesadores distribuidos y paralelos
- UPV
- UPV
4
Introduccion:
5
Introduccion:
Breve historia de los modelos conexionistas
Breve historia de los modelos conexionistas
A NTECEDENTES:
:
F ORMALIZACI ON
Papiro de Edward Smith (3.000 A.C.)

Estudio de la actividad cerebral de W. James (1890).
Resultados pesimistas: Minsky y Papert (1969)
L OS
EL
PRIMEROS MODELOS :
OLVIDO HASTA
1980:
Falta de fondos pero algunos continuan:

Anderson, Fukushima, Kohonen, Gross
berg, Rumelhart, Amari, Hopfield, etc.
Modelo simple de neurona: McCulloch y Pitt (1943).

X
jisi(t 1) > j ) 0 < ji < 1
sj (t) = I(
R ESURGIMIENTO
EN LOS
80:
Nuevos algoritmos, arquitecturas y experimentos demostrativos: Hopfield (1982),

Rumelhart-Hinton-Williams (1986), Kohonen (1984).
Nuevas tecnologas.
Informe Alvey.
Grandes proyectos: 5. Generacion,
Regla de aprendizaje: Hebb (1949):
ji := ji + si sj
software: Rochester -IBM- (1950).
Simulacion
A POGEO 1986
L OS
Multitud de libros, revistas y congresos,

Inumerables aplicaciones.
PRIMEROS GRANDES RESULTADOS :
Dermoth Summer Research Project on AI (1956).
El PERCEPTRON:
Rosenblat (1959).
El ADALINE: Widrow y Hoff (1959).
A SENTAMIENTO
1995:
A PARTIR DE
1996:
Resultados formales: Bishop (1996), Rippley (1996), Ney (1995), Lugosi (1998), etc.
- UPV
6
Introduccion:
- UPV
7
Introduccion:
Index
La neurona
Celula
especializada fundamental del sistema nervioso.
Existen 1011 neuronas en el cerebro humano y 1015 conexiones.
2 La neurona . 6
Partes de una neurona tpica:
Cuerpo celular (5 a 100 micras)

(0,1 mm a 1 m)
Axon
Dendritas.
Dendron:
al perceptron
multicapa . 24
6 Del perceptron
Terminales axonicos.
Telodendron:
Sinapsis: zona de contacto entre terminales axonicos

de una neurona y las dendritas
de otra neurona.
- UPV
- UPV
8
Introduccion:
La neurona
de la informacion
Transmision
Axon
Dendritas
9
Introduccion:
La neurona
(frecuencia modulada).
Senales
electricas
en el axon
neurotransmisores
Dendrita
Senales
qumicas en la sinapsis.
Soma
Funcionamiento
Nucleo
a los terminales axonicos
Cuando llega una senal

se liberan neurotransmisores.
Axon
que se realiLos neurotransmisores en las dendritas provocan una despolarizacion

menta y se transmite a las regiones vecinas.
Terminales axonicos
de potencial supera un umbral se produce un disparo por el axon
Si la acumulacion
(sinapsis de excitacion).
Hay sinapsis con efecto negativo (sinapsis de inhibicion).
- UPV
10
Introduccion:
- UPV
11
Introduccion:
Index
Las neurocomputadoras
Neurocomputador: conjunto de procesadores interconectados que operan
concurrentemente que implementan modelos conexionistas
2 La neurona . 6
A PROXIMACIONES
Computadores secuenciales: Simuladores software.
Computadores paralelos: Simuladores.
Circuitos integrados especficos (Chips neuronales)
al perceptron
multicapa . 24
6 Del perceptron
- UPV
- UPV
12
Introduccion:
13
Introduccion:
Index
Aplicaciones
C LASIFICACI ON
2 La neurona . 6
R EGRESI ON
Simulacion
Control y automatizacion
al perceptron
multicapa . 24
6 Del perceptron
Prediccion
Ayuda al diagnostico
- UPV
14
Introduccion:
15
Introduccion:
Aplicaciones: clasificacion
Aplicaciones: prediccion
fraudes tarjetas credito
Deteccion
(America Express, HNC Software, Nestor Inc. and
Fraud Detection Systems)
Reconocimiento de caracteres impresos para fax (Cardiff Software)
Reconocimiento de caracteres manuscritos (HNC Software, Electronic Data Publishing, Inc., Audre Recognition Systems, Caere Corporation, Synaptics, Lexicus)
de sucesos significativos en fotografas producidas por aceleradores de
Deteccion
partculas (CERN).
Procesadores de formularios (Eastman Kodak)
Entrada a un computador mediante lapiz

(Fujitsu. Apple Computer, Synaptics)
de firmas en cheques (NeuroMetric Vision System Inc.)
Verificacion
Minera de datos (Supermercados USA)
(AlphaMOS, AromaScan Inc. Coca-Cola, BloodAnalisis

de olores en alimentacion
hound Sensors Ltd., Neotronics Scientific, Sharp Corporation -hornos-)
Aplicaciones medicas:
detecciones de celulas
cancergenas, malformaciones, pre de problemas de la anestesia, modelado de la esquizofrenia, deteccion
de
vencion
los ataques de epilepsia, ayuda a la diagnosis de la esclerosis multiple,
etc.
- UPV
- UPV
Ayuda a la toma de deciciones de prestamos

(Chase Manhattan Bank, Chase Financial Technologies)
de utilizacion
de vuelos (BehavHeuristics Inc.)
Prevision
de ventas de consumo de refrescos (Britvic)
Prediccion
Venta por correo, propaganda y catalogos

(Microsoft, NeuralWare, HNC Software
Inc.)
metereologica
Prevision
(National Weather Service)
de stocks (Carl & Associates, Neural Applications Corporation, NeuroDiPrevision
mension Inc., Walkrich Investment Advisors)
de precios (Daiwa Securities Co., Ltd. and NEC Corporation)
Prevision
Pensiones (John Deere & Company)
Habitos
de uso de tarjetas (MasterCard, Visa, Adaptive Decision Systems)
de demanda electrica
Prevision
(Bayernwerk AG, Britvic, Electric Power Research
Institute, Pacific Gas & Electric, PUB Singapore, Vattenfall)
- UPV
16
Introduccion:
17
Introduccion:
Algunas aplicaciones
Aplicaciones: control y automatizacion

de vehculos (Volvo en motores y pintura).
Control en la fabricacion
de fallos en motores electricos
Prediccion
(Siemens).
Control de fotocopiadoras (Ricoh).
Refinado petrolfero (Texaco).
de acero (Fujitsu prevencion
de vertidos, Neural Applications CorporaFabricacion
tion, Nippon Steel, Siemens en control del laminaje )
Control de calidad (Florida Department of Citrus en ctricos, Frito-Lay en las patatas
de papel, Monsanto en la fabricacion
de plastico,
fritas, NLK - Celpap en la produccion

Netrologic, Inc. en soldaduras)
de fallos (London Underground, Rolls Royce, AT&T/Lucent Technologies)
Detecion
de altavoces (CTS Electronic)
Control fabricacion
de chips (Intel)
Control de produccion
(Applied Intelligent Systems)
Sistemas de vision
Control (Fujitsu, Honeywell, Pavilion Technologies)
- UPV
18
Introduccion:
Aplicaciones
http://electronica.com.mx/neural/aplicaciones/index.html
financiera
Tratamiento de la informacion
http://www.ciberconta.unizar.es/Biblioteca/0004/SerGall96.html
Minera de datos
http://www.cazv.cz/2003/AE9_03/6-Vesely.pdf
de funciones
Aproximacion
http://neuron.eng.wayne.edu/bpFunctionApprox/bpFunctionApprox.html
Diagnostico
en medicina
http://www.generation5.org/content/2004/MedicalDiagnosis.asp
Anemias
http://www.generation5.org/content/2004/NNinAnaemia.asp
Aplicaciones en Fsica de Altas Energas
http://neuralnets.web.cern.ch/NeuralNets/nnwInHep.html
Ejemplos varios
http://www.calsci.com/Applications.html
Diversas implementaciones
http://www.neural-networks-at-your-fingertips.com/
Demos en Java
http://diwww.epfl.ch/mantra/tutorial/english/
- UPV
19
Introduccion:
Index
Teora estadstica de la decision
Los objetos a clasificar pertenecen a una de las M posibles clases.
2 La neurona . 6
Cada objeto esta representado por un vector de caractersticas perteneciente a IRd

o a 1 ... d.
La probabilidad de que dado un objeto ~x IRd sea de la clase y {1, . . . , M } viene

dado por Pr(Y = y | X = ~x)
: IRd {1, ..., M }.

Un clasificador o regla de clasificacion
MODELOS
al perceptron
multicapa . 24
6 Del perceptron
OBJETO
PREPROCESO Y
EXTRACCIN DE
CARACTERSTICAS
ADQUISICIN
- UPV
IMAGEN
10
6
CLASIFICADOR
VECTOR
DE
CARACTERSTICAS
VIRGINIA
VERSICOLOR
CLASE
- UPV
20
Introduccion:
21
Introduccion:
Teora estadstica de la decision
Frontera de decision
define M regiones de decision:
La regla de decision
)
(
Dado un objeto ~x de la clase y, el clasificador comete un error si (~x) = y 6= y, con

un coste del error L(y, y 0).
Ry =
~x IRd y = argmax Pr(y 0 | ~x)

1y 0 M
Riesgo total
R() =
M Z
X
y=1
IRd
L(y, (~x)) Pr(~x, y) d~x
entre dos clases y y y 0 contiguas es:

La frontera de decision
n
o
F D(y, y 0) = ~x IRd Pr(y | ~x) = Pr(y | ~x)
de Bayes: La regla de clasificacion

que minimiza el riesgo total
Regla de decision
de coste 0-1 L es:
bajo la funcion
o = argmin R() o(~x) = argmax Pr(y 0|~x)
FD(1,3)
1y 0 M
R3
R1
Por el Teorema de Bayes Pr(y 0|~x) = Pr(~x|y 0) Pr(y 0)/ Pr(~x):
R3
R2
FD(1,2)
o(~x) = argmax Pr(~x|y 0) Pr(y 0)

1y 0 M
FD(2,3)
- UPV
22
Introduccion:
- UPV
23
Introduccion:
de un clasificador
Diseno
de un clasificador
Diseno
En general, Pr(y|~x) es desconocida, por lo que se busca estimar

de en pr (y|~x) a partir de una muestra de entrenamiento
1. Estimacion
pr (y|~x) Pr(y|~x)
n
o
A = (~xi, yi) | ~xi IRd, 1 yi M para 1 i n
inspirada en la regla de decision

de Bayes podra ser
Una regla de clasificacion
de una muestra desconocida dada ~x IRd en (~x) {1, . . . , M }

2. Clasificacion
(~x) = argmax pr (y|~x)

1yM
(~x) = argmax pr (y|~x)

1yM
del clasificador a partir de una muestra de test T 6= A

3. Evaluacion
Por ejemplo
x~
y )T 1 (~
x~
y ) ]
exp[ 12 (~
pr (y) pr (~x | y) pr (~x|y) =

(2)d/2 ||1/2
pr (y|~x) =
:
pr (~x)
pr (1), . . . , pr (M )
n
o
T = (~xi, yi) | ~xi IRd, 1 yi M para 1 i m
m
RT ( ) =
1 X
L(yi, (~xi))
m i=1
= (pr (1), . . . , pr (M ),
~ 1, . . . ,
~ M , ) con
~ y IRd (1 y M ) y IRdd.
- UPV
- UPV
24
Introduccion:
25
Introduccion:
Index
El perceptron
es una funcion
lineal:
El perceptron
2 La neurona . 6
w1
x1
x2
6 Del perceptron
al perceptron
multicapa . 24
- UPV
26
Introduccion:
w
w
Pesos
Entradas
g2(x)
g3(x)
g4(x)
(para dos
Y una regla de clasificacion
clases)

xd
P (~x) =
27
Introduccion:
para M clases
El perceptron
g5(x)
g6(x)
A PRENDIZAJE DE LOS PESOS: Dada una muestra de aprendizaje A =

{(~x1, ~t1), ..., (~xn, ~tn)}, con ~xi IRd, ~ti IRM , encontrar el conjunto de M vectores
0
~ j tales que tal que minimicen:

n
EL
EL
PROBLEMA DE LAS
x2
1 XX
2
(ti,j gj (x~i))
2n i=1 j=1
ALGORITMO DE
x3
W IDROW-H OFF
Para 1 j M
CLASES
0
~g : IRd IRM : gj (~x) =
d
X
~ j (1)
arbitrario

0
0
0
0
~ j (k + 1) =
~ j (k) k tj (k)
~ j (k) ~x (k) ~x (k)
0
ij xi + 0j =
~ j ~xi para 1 j M
i=1
R EGLA
1 si g(~x) > 0
2 si g(~x) < 0
- UPV
EA() =
x1
k xk + 0,
para M clases
El perceptron
g1(x)
d
X
k=1
...
...
Umbral
g(~x) =
DE CLASIFICACI ON
P (~x) = argmax gj (~x)
j
- UPV
- UPV
28
Introduccion:
s 21
s2
i
s 22
2,2
2,1
l=2
s 23
2
w3,6
2
wi,j
s 14
l=1
1,1
1,2
1,3
multicapa
El perceptron
s2j = f (e2j )
2,3
1,4
1,6
1,5
29
Introduccion:
multicapa
El perceptron
e2j =
s1j = f (e1j )
2 1
i wj,i si
e1j =
1
i wj,i xi
1
wi,j
1
w6,3
s0
i
s 02
l=0
x1
x2
de activacion
sigmoid
Funcion
x3
f (ekj ) =
1
1+exp(ek
j)
- UPV
30
Introduccion:
multicapa
El perceptron
R EGLA
:
DE CLASIFICACI ON
P M (~x) = argmax s2j (~x)

j
multicapa y A =
A PRENDIZAJE DE LOS PESOS : Dada una de un perceptron
{(~x1, ~t1), ..., (~xn, ~tn)}, con ~xi IRN0 , ~ti IRN2 , encontrar un conjunto de pesos
tal que minimice:
n N2
2
1 XX
EA() =
ti,j s2j (x~i)
2n i=1 j=1
de los pesos de la capa de salida (1 i N2, 0 j N1)
Correccion
2
ij
=
n
X
i2(~xp) s1j (~xp)

i2(~xp) = tp,i s2i (~xp) f 0(e2i (~xp))
p=1
de los pesos de la capa oculta 1 i N1, 0 j N0

Correccion
!
n
X
X
1
1
1
2
2
ij =
i (~xp) xp,j
i (~xp) =
r (~xp) ri f 0(e1i (~xp))
p=1
- UPV
- UPV

Presentacion Redes Neuronales

Caricato da

Informazioni sul documento

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Presentacion Redes Neuronales

Caricato da

Copyright:

Formati disponibili

1

Redes Neuronales. 2005-2006

4 Aplicaciones de los modelos conexionistas . 12

Francisco Casacuberta Nolla

5 Marco estadstico para los modelos conexionistas . 18

Redes Neuronales. 2005-2006

Redes Neuronales. 2005-2006

Los modelos conexionistas proporcionan mecanismos generales para construir

5 Marco estadstico para los modelos conexionistas . 18

Redes neuronales artificiales

Redes Neuronales. 2005-2006

Redes Neuronales. 2005-2006

Breve historia de los modelos conexionistas

Breve historia de los modelos conexionistas

Papiro de Edward Smith (3.000 A.C.)

Resultados pesimistas: Minsky y Papert (1969)

Falta de fondos pero algunos continuan:

Modelo simple de neurona: McCulloch y Pitt (1943).

Nuevos algoritmos, arquitecturas y experimentos demostrativos: Hopfield (1982),

Regla de aprendizaje: Hebb (1949):

Multitud de libros, revistas y congresos,

PRIMEROS GRANDES RESULTADOS :

Dermoth Summer Research Project on AI (1956).

Redes Neuronales. 2005-2006

Redes Neuronales. 2005-2006

Cuerpo celular (5 a 100 micras)

Sinapsis: zona de contacto entre terminales axonicos

Redes Neuronales. 2005-2006

Redes Neuronales. 2005-2006

a los terminales axonicos

Cuando llega una senal

que se realiLos neurotransmisores en las dendritas provocan una despolarizacion

de potencial supera un umbral se produce un disparo por el axon

Redes Neuronales. 2005-2006

Redes Neuronales. 2005-2006

Redes Neuronales. 2005-2006

Redes Neuronales. 2005-2006

Redes Neuronales. 2005-2006

Redes Neuronales. 2005-2006

fraudes tarjetas credito

Entrada a un computador mediante lapiz

(AlphaMOS, AromaScan Inc. Coca-Cola, BloodAnalisis

Ayuda a la toma de deciciones de prestamos

Venta por correo, propaganda y catalogos

Redes Neuronales. 2005-2006

Redes Neuronales. 2005-2006

Aplicaciones: control y automatizacion

fritas, NLK - Celpap en la produccion

Redes Neuronales. 2005-2006

Redes Neuronales. 2005-2006

Teora estadstica de la decision

Los objetos a clasificar pertenecen a una de las M posibles clases.

Cada objeto esta representado por un vector de caractersticas perteneciente a IRd

La probabilidad de que dado un objeto ~x IRd sea de la clase y {1, . . . , M } viene

4 Aplicaciones de los modelos conexionistas . 12

: IRd {1, ..., M }.

5 Marco estadstico para los modelos conexionistas . 18

Redes Neuronales. 2005-2006

Redes Neuronales. 2005-2006

Teora estadstica de la decision

Dado un objeto ~x de la clase y, el clasificador comete un error si (~x) = y 6= y, con

~x IRd y = argmax Pr(y 0 | ~x)

L(y, (~x)) Pr(~x, y) d~x

entre dos clases y y y 0 contiguas es: