Reconocimiento de patrones y

Redes Neuronales Artificiales

IUA
Ctedra de Inteligencia Artificial
2014
J.Gir / 2014 1
Reconocimiento de patrones - ejemplo
P1
P2
P3
Clases
Mandarinas
Naranjas
Pomelos
Vector caractersticas = { Tamao, Presencia de Rojo en el color superficial }
Tamao
R
o
j
oFunciones discriminantes
Mediciones = Tamao, Color
J.Gir / 2014 2
P 1
P 2
P 3
P 4
Clase X
Clase Y
Clase Z
Espacio de clases Espacio de patrones Espacio de caractersticas
Reconocimiento de patrones
Reconocimiento de patrones
El reconocimiento de patrones admite cuatro enfoques
principales: Algebraico, Estadstico, Sintctico y Neuronal.
M A
M B
M C
Las funciones discriminantes identifican regiones en el
espacio de patrones
J.Gir / 2014 3
Reconocimiento de patrones
Algunas aplicaciones
Anlisis e interpretacin de imgenes (rostros, imgenes
satelitales, etc).
Diagnsticos mdicos y biolgicos
Interpretacin de lenguaje natural: oral y escrito
Identificacin de huellas digitales
Reconocimiento de caracteres
Identificacin de seales de radar
Visin artificial
Pronsticos meteorolgicos
Identificacin de virus informticos
J.Gir / 2014 4
Determinacin algebraica de funciones
discriminantes
El lgebra es un excelente medio para la
determinacin de funciones discriminantes
simples.
Una seria limitacin es la complejidad de los
planteos cuando las funciones no son lineales.
El planteo algebraico requiere una formulacin
especfica para cada caso, por lo que no es
fcil de sistematizar.
J.Gir / 2014 5
Determinacin algebraica de
una funcin discriminante lineal
1 1
0 1 1 2 2
2 2
0 1 1 2 2
1 1
0 1 1 2 2
0 1 1 2 2
0
0
. . . . . . . . . . . . . . . . . . . . .
0
0
N N
N N
w w x w x
w w x w x
w w x w x
w w x w x

+ + >
+ + >
+ + <
+ + <
2
x
1
x

1 1
1 2
2 2
1 1 2
2
1 1
0
1 2
1 2
1
1
1 1
... . . . . . . . . . . . . .
1
1
1
1
N N
N N
x x
w x x
w
w
x x
x x

( +
+
(

+ +
(


(
=
` `
(

( +
)

(

) + (

| |{ } { }
| | | |{ } | | { }
{ } | | | | | | { }
{ } | | { }
| | | | | | | |
| |
1
1
2 0 2 1 2
donde
es la pseudoinversa de
y la funcin discriminante es
( )
( )

( / ) ( / )
T T
T T
T T
w y
X
w y
X X X
w y
X X X
w y
X
X X X X
X
x w w w w

+
+
=
=
=
=
=
=
0
0
0
0
0
0
0
J.Gir / 2014 6
Pseudoinversa de una matriz
Propuesta por Moore (1920) y Penrose (1955).
Permite encontrar una solucin de un sistema
con ms ecuaciones que incgnitas.
La solucin encontrada corresponder a la de
un problema de Mnimos Cuadrados.
Sus propiedades: | || | | | | |
| | | | | |
| | | | | |
| || | | |
| | | |
1
si es cuadrada y no singular
( )
X X X X
X X X
X X I
X X I
X X
+
+
+
+
+
+
=
=
=
=
=
J.Gir / 2014 7
Determinacin de funciones
discriminantes lineales de casos simples
2
x
1
x

| |
0 0 1
0 1 1
1 0 1
1 1 1
X
(
(
(
=
(
(

{ }
1
1
1
1
y



=
`

)
{ }
2
0
1
w


=
`

)
1
1
2 1 0
1
2
x
x
+ =
=
2
x
1
x


| |
0 0 1
0 1 1
1 0 1
1 1 1
X
(
(
(
=
(
(

{ }
1
1
1
1
y



=
`

)
{ }
0
2
1
w


=
`

)
2
2
2 1 0
1
2
x
x
+ =
=
Caso 1 Caso 2
0
0 0 0
J.Gir / 2014 8
Determinacin de funciones
discriminantes lineales de casos simples
| |
0 0 1
0 1 1
1 0 1
1 1 1
X
(
(
(
=
(
(

{ }
1
1
1
1
y



=
`


)
{ }
1
1
0,5
w


=
`

)
1 2
2 1
0, 5 0
0, 5
x x
x x
+ =
=
| |
0 0 1
0 1 1
1 0 1
1 1 1
X
(
(
(
=
(
(

{ }
1
1
1
1
y

=
`

)
{ }
1
1
1, 5
w


=
`

)
1 2
2 1
1, 5 0
1, 5
x x
x x
+ =
=
Caso 3 (Compuerta OR)
2
x
1
x

Caso 4 (Compuerta AND)
2
x
1
x

0
0
0 0
J.Gir / 2014 9
Determinacin de funciones
discriminantes lineales de casos simples
2
x
1
x

| |
0 0 1
0 1 1
1 0 1
2 2 1
X
(
(
(
=
(
(

{ }
1
1
1
1
y

=
`

)
{ }
0, 6
0, 6
1,3
w


=
`

)
1 2
2 1
0, 6 0, 6 1, 3 0
2, 16
x x
x x
+ =
=
| |
0 0 1
0 1 1
1 0 1
1 1 1
2 0 1
2 1 1
X
(
(
(
(
=
(
(
(
(
(

{ }
1
1
1
1
1
1
y





=
`

)
{ }
0
2
1
w


=
`

)
2
2
2 1 0
1
2
x
x
+ =
=
Caso 5 Caso 6

2
x
1
x

0
0 0
0 0 0
J.Gir / 2014 10
Determinacin algebraica de
una funcin discriminante polinomial

2 2
11 11 21 21 11 21
2 2
12 12 22 22 12 22
2
1 1 1 1 2 1 2 1 1 1 2 1
2
1
1
1
. . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1
N N N N N N
N
x x x x x x
x x x x x x
x x x x x x
x

1
2
3
4
5
2
1 2 2 1 2
6
1
1
...
1
1
1
N N N N N
w
w
w
w
w
x x x x x
w

(


(


(



(
=
` `
(

(

(

)
(


)
2 2
1 2 1 1 2 1 2 3 2 4 1 5 2 6
( , ) 0 d x x w x w x x w x w x w x w = + + + + + =
2
x
1
x

| |{ } { }
{ } | | { }
| | | | | | | |
6 x 1 N x 1 N x 6
6 x 1 N x 1 6 x N
1
6 x N 6 x N N x 6 6 x N
( )
T T
X w y
w X y
X X X X
+
+

=
=
=
0
0
0
0
0
0
0
0
0
J.Gir / 2014 11
Determinacin Neuronal de funciones
discriminantes
Las Redes Neuronales Artificiales constituyen
uno de los medios ms utilizados para la
identificacin de patrones complejos.
La capacidad de aprendizaje de las RNA es un
aspecto muy favorable para esta aplicacin.
El enfoque neuronal no requiere una
formulacin especfica para cada caso, por lo
que es fcil de sistematizar. Se utilizan RNA
que difieren en sus tipos de aprendizaje.
J.Gir / 2014 12 J. Gir - 2010 12
Clasificacin segn el tipo de aprendizaje
Supervisado
No Supervisado
Hacia adelante
Recurrentes
Parc. recurrentes
Perceptron
Adaline / Madaline
Modelo de Hopfield
Redes de Jordan
Redes de Elman
Competitivo Modelo de Kohonen
Hibrido Hacia adelante Base Radial
Tipos de redes neuronales
J.Gir / 2014 13
Perceptron y Adaline
Supervisado Hacia adelante
Perceptron
Adaline / Madaline
Perceptron y Adaline son unidades neuronales
elementales, supervisadas y no recurrentes.
Se diferencian en la funcin de activacin (en el
perceptron es sigmoidal y en Adaline es lineal).
Sus principales aplicaciones:
a) Aproximacin de funciones desconocidas (Adaline)
b) Decodificadores lineales (Adaline)
c) Reconocimiento de patrones (Adaline y Perceptrn)
J.Gir / 2014 14
Red Neuronal Elemental - Perceptron
1
0
0
y consi derando un valor
1 ;
; ( )
0 ;
; ( )
N
i i
i
N
i i
i
w
u
u w x y f u
u
u w x y f u

=
=
>
= = =

=
= =

(u-)
2
x
1
x
1
w
2
w
u y

0
w
1
1) Se proponen valores iniciales aleatorios para el vector w
2) Se ajustan los pesos sinpticos de acuerdo a la expresin:
3) Se repite el proceso de ajuste hasta que todos los errores sean
nulos.
Proceso de entrenamiento de un Perceptron
Ejemplo de Compuerta OR
{ } { } | |{ }
1
t
t t
w w s y x
+
= +
Proceso de entrenamiento Compuerta OR
J.Gir / 2014 17
Red Neuronal Elemental - Perceptron
Compuerta OR Compuerta AND
X
1
X
2
Y
0 0 0
0 1 1
1 0 1
1 1 1
2
x
1
x

2
x
1
x

0 1 1 2 2
1 2
2 1
0
0, 5 0
0, 5
w w x w x
x x
x x
+ + =
+ + =
=
0 1 1 2 2
1 2
2 1
0
1, 5 0
1, 5
w w x w x
x x
x x
+ + =
+ + =
=
X
1
X
2
Y
0 0 0
0 1 0
1 0 0
1 1 1
0
0
0 0
J.Gir / 2014 18
Red Adaline y regla Delta
2
1 1
1
( )
2
m m
p p p
p p
E E d y
= =
= =

p p p
p j
j p j
E E y
w
w y w


= =

; ( )
p p
j p p
j p
y E
x d y
w y

= =

( ) ( )
1
( ) ; ( )
j j p j p p j p p j
p p
w w w d y x d y x
+
= = +
0 0
1 0
si y 1
n n
p j j j j
j j
y w x w x w x
= =
= = = =

x
j
= entradas a la red
y = salida
n = cantidad de entradas a la red
m = cantidad de pares entrada-salida
E = error cuadrtico medio
= factor de aprendizaje ( 0 < 1 )
w
j
= peso sinaptico de entrada j
w = correccin de peso sinptico
J.Gir / 2014 19
Aplicacin de Adaline: Ejemplo 1
Decodificador que interpreta el nmero representado
en un dgito de 7 segmentos.
Procesos de entrenamiento: Errores y mdulo vector pesos
1 - Seg. 0 a 7, = 0,300, = 0
2 - Seg. 0 a 7, = 0,200, = 0
3 - Seg. 0 a 7, = 0,010 , = 0,97
4 - Seg. 1 a 7 y 9, = 0,006 , = 0,97
J.Gir / 2014 20
Decodificador de dgitos en clave Morse
Proceso de entrenamiento: Errores y vectores peso
Aplicacin de Adaline: Ejemplo 2
Caso 1 Digitos 1 a 6
Caso 2 Digitos 6 a 9 y 0
J.Gir / 2014 21
Decodificador de dgitos de barras (Cdigo 39)
Proceso de entrenamiento: Errores y vectores peso
1 Dgitos 0 a 3 y 5 a 9
2 Dgitos 1 a 9
Aplicacin de Adaline: Ejemplo 3
J.Gir / 2014 22
Decodificador de un pad numrico
1 Dgitos 0 a 3 y 5 a 9
2 Dgitos 1 a 9
Aplicacin de Adaline: Ejemplo 4
1 - Dig. 0 a 9, = 0,002, = 0,97
2 - = 0,010, = 0
3 - = 0,020 , = 0
Proceso de entrenamiento: Errores y vectores peso
J.Gir / 2014 23
Referencias Bibliogrficas
Redes Neuronales y Sistemas Borrosos, Martn del Brio,
Saenz Molina, Alfaomega, 2007.
Inteligencia Artificial, un enfoque moderno, Russell S.,
Norving P., Ed Pearson, 2004.
Inteligencia Artificial, una nueva sntesis, Nilsson N., Mc
Graw Hill, 2001.
Redes de Neuronas Artificiales, Isasi V. y Galvn L.,
Pearson Ed., 2004.