Introducción a las Redes

Neuronales Artificiales
 Preámbulo

1) Detesto usar aplicaciones para hacer presentaciones.

2) Detesto la información presentada en listas numeradas.

3) Detesto las pantallas de presentación llenas de texto.

4) Detesto tener que hablar sobre una pantalla de presentación llena

de texto porque así los obligo a dividir su atención entre leer lo

que dice en la pantalla y escuchar lo que estoy diciendo.

5) Y si... también detesto esta tipografía. >:¬(

Lado Gustavo - FCEyN - UBA

The Big Book

Lado Gustavo - FCEyN - UBA

 Las Redes Neuronales son:

Un modelo matemático inspirado en un sistema biológico.

Unidades de procesamiento sencillas que muestran un

comportamiento emergente con solo información local.

Un paradigma conexionista que puede operar en paralelo,

es robusto ante fallas y capaz de aprendizaje adaptativo.

Lado Gustavo - FCEyN - UBA

La Neurona

Lado Gustavo - FCEyN - UBA

 La Función de Transferencia

Lineal Escalón

s ( x ) =x s ( x ) =sgn ( x )

Sigmoidea Sigmoidea
Binaria Bipolar
1
s ( x )= s ( x )=tanh ( x )
1+e−x

Lado Gustavo - FCEyN - UBA

Las Compuertas Lógicas

Lado Gustavo - FCEyN - UBA

La Red Neuronal

Lado Gustavo - FCEyN - UBA

El postulado de Hebb

“Cuando el axón de una célula A

está lo suficientemente cerca
como para excitar a una célula B
y repetidamente toma parte en la
activación, ocurren procesos de
crecimiento en una o ambas
células de manera que tanto la
eficiencia de la célula A, como la
capacidad de excitación de la
célula B son aumentadas.”
The Organization of Behavior
Donald Hebb. (1949)

Lado Gustavo - FCEyN - UBA

El Aprendizaje Supervisado
dataset network

-1

X Z Y0 Y1

Lado Gustavo - FCEyN - UBA

 La Función de Costo
X W
Y =s ( X⋅W )

2
E=∑ ‖Z−Y ‖

2
E=∑ ‖Z −s( X⋅W )‖

[t +1 ] [t] [ t]
W =W + Δ W

Δ w ij =η. X i .( Z j . Y j )
Y

Lado Gustavo - FCEyN - UBA

 La Regla Delta
X W
Y =s ( X⋅W )

2
E=∑ ‖Z−Y ‖

2
E=∑ ‖Z −s( X⋅W )‖

W [t +1 ]=W [ t ]+ Δ W [ t]

Δ wij =η. xi .( z j− y j )
Y

Lado Gustavo - FCEyN - UBA

 La Separación

Lineal No Lineal

Lado Gustavo - FCEyN - UBA

 El Perceptrón Multicapa

Y0 Y1 Y2

ΔW1 ΔW2

T
Δ W 2=η.Y 1⋅( Z−Y 2 )

T
Δ W 1=η.Y 0⋅(?−Y 1 )

Lado Gustavo - FCEyN - UBA

 La Regla Delta Generalizada

Y0 Y1 Y2

Y 0 =X
Y 1=s 1(Y 0⋅W 1)
Y 2=s 2 (Y 1⋅W 2)

D 2=(Z−Y 2) . Y 2 '
Δ W 2=η.Y T1⋅D 2

∂E T
D 1=(D 2⋅W 2 ).Y 1 '
Δ wij =−η.
∂ wij
Δ W 1=η.Y T0⋅D1
Y l ' =s ' (Y l −1⋅W l )

Lado Gustavo - FCEyN - UBA

 La Retropropagación del Error

Y0 Y1 Y2

Y 0 =X
Y 1=s 1(Y 0⋅W 1)
Y 2=s 2 (Y 1⋅W 2)

D 2=(Z−Y 2) . Y 2 '
Δ W 2=η.Y T1⋅D 2

∂E T
D 1=(D 2⋅W 2 ).Y 1 '
Δ wij =−η.
∂ wij
Δ W 1=η.Y T0⋅D1
Y l ' =s ' (Y l −1⋅W l )

Lado Gustavo - FCEyN - UBA

 La Retropropagación del Error

Y0 Y1 Y2

Y 0 =X
Y 1=s 1(Y 0⋅W 1)
Y 2=s 2 (Y 1⋅W 2)

D 2=(Z−Y 2) . Y 2 '
Δ W 2=η.Y T1⋅D 2

∂E T
D 1=(D 2⋅W 2 ).Y 1 '
Δ wij =−η.
∂ wij
Δ W 1=η.Y T0⋅D1
Y l ' =s ' (Y l −1⋅W l )

Lado Gustavo - FCEyN - UBA

 La Retropropagación del Error

Y0 Y1 Y2

Y 0 =X
Y 1=s 1(Y 0⋅W 1)
Y 2=s 2 (Y 1⋅W 2)

D2=(Z−Y 2). Y 2 '

T
ΔW2 D2
Δ W 2=η.(Y 1⋅D2 )

∂E T
D1=(D 2⋅W 2 ) .Y 1 '
Δ wij =−η.
∂ wij T
Δ W 1=η.(Y 0⋅D1 )
Y l ' =s ' (Y l −1⋅W l )

Lado Gustavo - FCEyN - UBA

 La Retropropagación del Error

Y0 Y1 Y2

Y 0 =X
Y 1=s 1(Y 0⋅W 1)
Y 2=s 2 (Y 1⋅W 2)

D2=(Z−Y 2). Y 2 '

T
ΔW1 D1 ΔW2 D2
Δ W 2=η.(Y 1⋅D2 )

∂E T
D1=(D 2⋅W 2 ) .Y 1 '
Δ wij =−η.
∂ wij T
Δ W 1=η.(Y 0⋅D1 )
Y l ' =s ' (Y l −1⋅W l )

Lado Gustavo - FCEyN - UBA

Mejoras a BackProp

Lado Gustavo - FCEyN - UBA

Lado Gustavo - FCEyN - UBA