Universidad Politcnica Salesiana. , Cruz William, Barragan Leonardo, Larco Gregori.
Informe Proyecto RECONOCIMIENTO DE
VOCALES
Cruz William, Barragan Leonardo, Larco Gregori.
wcruz@est.ups.edu.ec, lbarragan@est.ups.edu.ec, glarco@est.ups.edu.ec
Universidad Politcnica Salesiana
ResumenEn este trabajo se expone un breve
panorama de la historia de las redes neuronales,
siendo el tema principal de este trabajo las redes
neuronales backpropagation, por lo que se explica el
funcionamiento de este tipo de red y se da un
ejemplo empleando un software llamado de
reconocimiento de vocales.
I.INTRODUCCIN
Las redes neuronales son ms que otra forma de
emular ciertas caractersticas propias de los
humanos, como la capacidad de memorizar y de
asociar hechos. Si se examinan con atencin
aquellos problemas que no pueden expresarse a
travs de un algoritmo, se observar que todos ellos
tienen una caracterstica en comn: la experiencia.
El hombre es capaz de resolver estas situaciones
acudiendo a la experiencia acumulada. As, parece
claro que una forma de aproximarse al problema
consista en la construccin de sistemas que sean
capaces de reproducir esta caracterstica humana.
Las redes neuronales son un modelo artificial y
simplificado del cerebro humano, que es el ejemplo
perfecto del que se dispone para un sistema que es
capaz de adquirir conocimiento a travs de la
experiencia. Una red neuronal es un nuevo sistema
para el tratamiento de la informacin, cuya unidad
bsica de procesamiento est inspirada en la clula
fundamental del sistema nervioso humano: la
neurona. Todos los procesos del cuerpo humano se
relacionan en alguna u otra forma con la
(in)actividad de estas neuronas. Las mismas son un
componente relativamente simple del ser humano,
pero cuando millares de ellas se conectan en forma
conjunta se hacen muy poderosas.
II. HISTORIA
Este algoritmo lo desarrollaron a partir de estudios
anteriores con el fin de crear una red que aprendiera
las relaciones existentes entre pares de datos. Existe
por lo menos una capa intermedia, la
regla backpropagation (BP) o el algoritmo BP
comenz a ser usado cuando, en 1986 Rumelhart, et
al., 1986 desarrollaron el modelo actual.
El proceso bsico necesita que el patrn de
informacin incluya tanto los datos de entrada
(input) como los datos de salida (output).
Inicialmente a partir de las neuronas de la capa de
entrada se van propagando los datos de las
variables input, por el resto de las neuronas y
conexiones en funcin de los pesos que inicialmente
son aleatorios. A partir del algoritmo de aprendizaje,
estos pesos se irn modificando hasta producir
determinados outputs. En el proceso de
entrenamiento se presentan simultneamente a la
red patrones de datos input - output, ya que cada
valor de entrada tiene su correspondiente valor de
salida.
Leer ms: http://www.monografias.com/trabajos95/redes-
neuronales-artificiales-metodologia-desarrollo-y-
aplicaciones/redes-neuronales-artificiales-metodologia-
desarrollo-y-aplicaciones.shtml#algoritmoa#ixzz3SNcblkNt
La importancia de la red consiste en su capacidad
de autoadaptar los pesos de las neuronas de las
capas intermedias para aprender la relacin que
existe entre un conjunto de patrones dados como
ejemplo y sus salidas correspondientes. Despus del
Universidad Politcnica Salesiana. , Cruz William, Barragan Leonardo, Larco Gregori.
entrenamiento, puede aplicar esta misma relacin a
nuevos vectores de entrada con ruido o incompletas,
dando una salida activa si la nueva entrada es
parecida a las presentadas durante el aprendizaje.
La capacidad de generalizacin es una caracterstica
importante que se exige a los sistemas de
aprendizaje, se entiende como la facilidad de dar
salidas satisfactorias a entradas que el sistema no ha
visto nunca en su fase de entrenamiento y que
puede aplicar a entradas no presentadas durante la
etapa de aprendizaje, esto para clasificarlas segn
las caractersticas que compartan con los ejemplos
de entrenamiento.
Las redes tipo Backpropagation tienen una gran
versatilidad, debido a la naturaleza de su proceso de
aprendizaje, que solamente necesita de dos
ecuaciones para propagar las seales de error hacia
atrs. Se elige entre una u otra ecuacin
dependiendo si la unidad de proceso es o no de
salida.
El algoritmo Backpropagation puede entrenar redes
multicapas feedforward, con funciones de
transferencia diferenciables para ejecutar funciones
de aproximacin, asociacin y clasificacin de
patrones. Pueden entrenarse tambin otros tipos de
redes, aunque la red multicapa es la ms
comnmente usada. El trmino Backpropagation se
refiere al proceso por el cual pueden calcularse las
derivadas de error de la red, con respecto a los
pesos de la red. Este proceso puede usarse con
varias estrategias de optimizacin diferentes.
Se han desarrollado numerosas variaciones de
Backpropagation, con el propsito de mejorar la
velocidad del proceso de entrenamiento.
III. ARQUITECTURA
Un modelo SOM est compuesto por dos capas
de neuronas. La capa de entrada (formada por N
neuronas, una por cada variable de entrada) se
encarga de recibir y transmitir a la capa de salida la
informacin procedente del exterior. La capa de
salida (formada por M neuronas) es la encargada de
procesar la informacin y formar el mapa de rasgos.
Normalmente, las neuronas de la capa de salida se
organizan en forma de mapa bidimensional como se
muestra en la figura1:
2
Figura 1: Arquitectura de los SOM
Las conexiones entre las dos capas que forman la
red son siempre hacia delante, es decir, la
informacin se propaga desde la capa de entrada
hacia la capa de salida. Cada neurona de entrada i
est conectada con cada una de las neuronas de
salida j mediante un peso wji. De esta forma, las
neuronas de salida tienen asociado un vector de
pesos Wj llamado vector de referencia (o
codebook), debido a que constituye el vector
prototipo (o promedio) de la categora representada
por la neurona de salida j. As, el SOM define una
proyeccin desde un espacio de datos en alta
dimensin a un mapa bidimensional de neuronas.
Entre las neuronas de la capa de salida, puede
decirse que existen conexiones laterales de
excitacin e inhibicin implcitas, pues aunque no
estn conectadas, cada una de estas neuronas va a
tener cierta influencia sobre sus vecinas. Esto se
consigue a travs de un proceso de competicin
entre las neuronas y de la aplicacin de una funcin
denominada de vecindad , que produce la topologa
o estructura del mapa. Las topologas ms
frecuentes son la rectangular y la hexagonal.
Las neuronas adyacentes pertenecen a una
vecindad Nj de la neurona j. La topologa y el
nmero de neuronas permanece fijo desde el
principio. El nmero de neuronas determina la
suavidad de la proyeccin, lo cual influye en el
ajuste y capacidad de generalizacin del SOM.
Durante la fase de entrenamiento, el SOM forma
una red elstica que se pliega dentro de la nube de
datos originales. El algoritmo controla la red de
modo que tiende a aproximar la densidad de los
datos. Los vectores de referencia del codebook se
acercan a las reas donde la densidad de datos es
alta.
Eventualmente unos pocos vectores el codebook
Universidad Politcnica Salesiana. , Cruz William, Barragan Leonardo, Larco Gregori.
estn en reas donde existe baja
densidad de datos.
IV. ALGORITMO DE APRENDIZAJE
En una red Backpropagation existe una capa de
entrada con n neuronas y una capa de salida con m
neuronas y al menos una capa oculta de neuronas
internas. Cada neurona de una capa (excepto las de
entrada) recibe entradas de todas las neuronas de la
capa anterior y enva su salida a todas las neuronas
de la capa posterior (excepto las de salida). No hay
conexiones hacia atrs feedback ni laterales entre
las neuronas de la misma capa. La aplicacin del
algoritmo tiene dos fases, una hacia delante y otra
hacia atrs. Durante la primera fase el patrn de
entrada es presentado a la red y propagado a travs
de las capas hasta llegar a la capa de salida.
Obtenidos los valores de salida de la red, se inicia la
segunda fase, comparndose stos valores con la
salida esperada para as obtener el error. Se ajustan
los pesos de la ltima capa proporcionalmente al
error. Se pasa a la capa anterior con una
retropopagacin del error, ajustando los pesos y
continuando con este proceso hasta llegar a la
primera capa. De esta manera se han modificado los
pesos de las conexiones de la red para cada patrn
de aprendizaje del problema, del que conocamos su
valor de entrada y la salida deseada que debera
generar la red ante dicho patrn. La tcnica
Backpropagation requiere el uso de neuronas cuya
funcin de activacin sea continua, y por lo tanto,
diferenciable. Generalmente, la funcin utilizada
ser del tipo sigmoidal. Pasos para aplicar el
Algoritmo de Entrenamiento Paso 1. Inicializar los
pesos de la red con valores pequeos aleatorios.
Paso 2. Presentar un patrn de entrada y especificar
la salida deseada que debe generar la red. Paso 3.
Calcular la salida actual de la red. Para ello se
presentan las entradas a la red y se calcula la salida
de cada capa hasta llegar a la capa de salida, sta
ser la salida de la red. Los pasos son los siguientes:
Se calculan las entradas netas para las neuronas
ocultas procedentes de las neuronas de entrada. Para
una neurona j oculta:
3
V. APLICACIONES
Aplicacin de Kohonen - mapa organizativo para el
anlisis de estructura urbana
En este artculo se presenta un estudio de caso de
la aplicacin de SOM para anlisis de la estructura
urbana de la ciudad de Nueva Orleans. Un aspecto
de este trabajo es la inclusin de los datos
ambientales de imgenes de satlite para la
agrupacin.
A. Razones de Estudio
485 Bloques
2005, Katrina
Diversidad Demogrfica
Proteccin de inundacin
B. El conjunto de datos
Diez variables socio-econmicas derivadas del
censo de 2000
Datos se utilizaron en este estudio:
1) Pop: Densidad de poblacin (personas por
kilmetro cuadrado)
2) Hou: Casa densidad (nmero de viviendas por
plaza kilmetro)
3) Vac: Tasa de vacantes (la proporcin de viviendas
vacas a un total decasas)
4) Veh: Tasa de Multi-vehculo (el tipo de hogar
ocupado que tienen dos o ms vehculos)
5) Edu: tasa de Licenciatura (la tasa de 25 aos de
edad o ms personas que tienen licenciatura o grado
superior)
6) Punto De Vista: Tasa de pobreza (la tasa de
hogares que estn por debajo nivel de pobreza)
7) absolutos en miles: Tasa de desempleo (la tasa de
25 aos o ms personas en la fuerza laboral que
estn en paro)
8) Blanco:% de blancos
9) Alquiler: renta mediana (mediana casa de alquiler
de ocupado hogar)
10) Inc: el ingreso promedio de los hogares (medio
por hogar los ingresos de los hogares ocupados)
A. Caractersticas y trminos
1) topologa Mapa
Las neuronas de salida se organizan en un mapa,
que puede ser de cualquier dimensin. Tres
topologas 2-dimensionales son ampliamente
utilizado: rejilla, hexgono, o al azar.
2) La funcin de la distancia de salida de las
neuronas
Universidad Politcnica Salesiana. , Cruz William, Barragan Leonardo, Larco Gregori. 4

La medida que se obtiene se basan en la posicin

espacial de la neuronas en el mapa SOMy permite
medir las distancia eucldea entre las posiciones
espaciales de dos neuronas de salida; mide el
nmero de neuronas compartidas para conectar dos
neuronas de salida;
3) Tasa de Aprendizaje
Tasa de aprendizaje se utiliza para ajustar el vector
de peso. Se vari de 0 a 1 y dinmicamente decado
a partir de un valor mayor (0.9) a un valor pequeo
(como 0.02) a lo largo de la red de formacin
Implementacin
11 Neuronas de Entrada
Topologa - cuadrcula 9
Diferencia entre el vector de entrada y el vector de
pesos

Resultado

En el bloque de grupos del clster 8 y 9 se encuentran

principalmente reas verdes como parques y campos de golf

Mapa organizativo para la deteccin de movimientos del

cirujano durante endoscopia
Tiene la capacidad para reconocer la accin
actual del cirujano posee una importancia crucial en
Universidad Politcnica Salesiana. , Cruz William, Barragan Leonardo, Larco Gregori.
el desarrollo de un robot capaz de ayudar a un
cirujano durante la operacin quirrgica
endoscpica.
Resultado:
La principal ventaja de la segmentacin
basada en mapa de Kohonen es que toma en
cuenta las propiedades dinmicas de
diferentes movimientos y permite una fcil
adaptacin al algoritmo de deteccin.
Permite ahorrar tiempo requerido por
humanos a la segmentacin etalon hecho a
los efectos del modelo adaptacin y puesta a
punto.
Los movimientos del Robot son mucho ms
precisos que los del ser humano.
5
VI. EJEMPLO
VII.
VIII. CONCLUSIONES
En el estudio de las redes de Kohonen se puede aplicar una
funcin de vecindad para sus clculos, el entendimiento de su
funcionamiento es un poco complicado al no tener alguna idea
del funcionamiento de las neuronas, pero con una
investigacin adecuada se puede llegar al desarrollo de la una
sistema que realizar un mejor funcionamiento y entendimiento
de las redes de Kohonen.
El primer caso permite obtener un anlisis importante para el
desarrollo socio econmico y ambiental de la ciudad de Nueva
Orleans, es interesante ya que esta ciudad est expuesta
directamente a huracanes y su poblacin es sumamente alta,
Universidad Politcnica Salesiana. , Cruz William, Barragan Leonardo, Larco Gregori. 6

de tal manera que el anlisis estructural debe realizarse

correctamente.

REFERENCIAS

[1] Kohonen T., Automatic formation of topological maps of

patterns in a self-organizing system, in Erkki Oja and Olli
Simula, editors, Proc. 2SCIA, Scand. Conf. on Image
Analysis, pages 214-220, Helsinki, Finland, 1981,
Suomen Hahmontunnistustutkimuksen Seura r. y.

[2] Kohonen T., Self-organizing formation of topologically

correct feature maps, Biol. Cyb., 43(1):59-59, 1982.

[3] Neural Networks, 2008. IJCNN 2008. (IEEE World

Congress on Computational Intelligence). IEEE
International Joint Conference on

[4] Petlenkov, E. ; Dept. of Comput. Control, Tallinn Univ. of

Technol., Tallinn ; Nomm, S. ; Vain, J. ; Miyawaki, F.