sistema de reconocimiento y clasificación de patrones basado en procesamiento digital de imágenes y redes neuronales

SISTEMA DE RECONOCIMIENTO Y CLASIFICACIÓN DE PATRONES

BASADO EN PROCESAMIENTO DIGITAL DE IMÁGENES Y REDES
NEURONALES

Autor
Hever Briceño Maraví
Universidad Peruana de Ciencias Aplicadas (UPC)
Facultad de Ingeniería – Escuela Profesional de Ingeniería Electrónica, Lima – Perú
a910085@upc.edu.pe; h_briceno@hotmail.com

Asesor
Prof. Guillermo Kemper Vásquez
pcelgkem@upc.edu.pe

RESUMEN • Diseñar y construir una estructura metal-

A través del presente trabajo, se presenta el diseño
y desarrollo de un sistema de reconocimiento y
clasificación de patrones basado en procesamiento
digital de imágenes y redes neuronales. El sistema
cuenta con una faja transportadora para la
simulación de una línea de producción. Esto
permite ingresar diferentes tipos de piezas u
objetos en forma automatizada a un recinto
cerrado denominado zona de captura. En este
recinto se realizará la adquisición de la imagen
cuando el objeto se encuentre posicionado debajo
de la cámara (utilizando para ello un sensor
proximidad) . Una vez reconocido el objeto (a
través de color y parámetros geométricos que son
ingresados a una red neuronal para la toma de
decisión) el computador enviará una señal de
mando al sistema de control del clasificador para
posicionar sus recipientes adecuadamente y
recibir la pieza reconocida. El sistema está
conformado por la faja transportadora, un sistema
clasificador con 3 recipientes, un soporte para la
cámara digital y el sensor de proximidad, además
del recinto que permite aislar la zona de captura
de la luminancia variable del medio ambiente.
OBJETIVOS
metálica que soporte una faja transportadora, un
soporte para una cámara digital, un clasificador
con 3 recipientes, además del recinto que permite
aislar la zona de captura de la luminancia variable
del medio ambiente. Dicha estructura permitirá
simular una línea de producción industrial.
• Diseñar e implementar un sistema de control, el
cual permita monitorear el movimiento de la faja
transportadora, la adquisición de la imagen y la
clasificación del objeto.
• Implementar algoritmos basados en
procesamiento digital de imágenes, los cuales
permitan extraer características visibles como:
color, tamaño y forma.
• Implementar el algoritmo de una red neuronal
multicapa como reconocedor de patrones. Esta red
neuronal podrá entrenarse para clasificar
diferentes tipos de objetos.
• Implementar un aplicativo de interfaz de usuario
basado en el entorno Visual Studio C++, en el
cual se codificarán todos los algoritmos
implementados de procesamiento digital de
señales, redes neuronales y control del proceso.

• Diseñar y construir un sistema de clasificación INTRODUCCIÓN

automático de objetos, basado en técnicas de
procesamiento digital de imágenes y redes
neuronales. El sistema tendrá la capacidad de
extraer las características visibles del objeto para
diferenciarlo y clasificarlo de acuerdo a su forma,
color y tamaño.
El desarrollo de la tecnología y el aumento de la
competencia en el sector industrial, han llevado a
las empresas a reestructurarse y perfeccionarse
optimizando sus procesos por medio de la
automatización basada en el computador. La
inteligencia artificial es parte de la informática
1

Universidad Peruana de Ciencias Aplicadas (UPC)

 sistema de reconocimiento y clasificación de patrones basado en procesamiento digital de imágenes y redes neuronales

Software de Visión

Descripción y
Procesamiento
Reconocimiento extracción de Segmentación
de la imágen
características

Toma de decisiones Adquisición

de la imágen

Iluminación Sensor de presencia

Clasificador + +
Escena Cámara digital

Hardware de Visión

Fig.1 Diagrama de bloques del sistema

avanzada que intenta aproximar algunas de las estudio. El problema se aborda mediante un
capacidades del cerebro humano, entre ellas la esquema de visión artificial, el cual se presente en
visión. la figura 1.

La visión artificial por computadora es una La adquisición de la imagen es el conjunto de

disciplina en constante crecimiento con
versatibilidad de aplicaciones, como inspección
automática, mediciones, reconocimiento de
objetos, robótica, etc. El futuro es aún más
prometedor, ya que la industria seguirá creciendo
a medida que se desarrollen investigaciones para
mejorar su performance; hasta llegar al punto en
que todo se realice mediante máquinas capaces de
tomar decisiones y realizar actividades autónomas
para la fabricación o clasificación de un
determinado producto, donde solamente se
requerirá la labor humana para el control y
mantenimiento de estas máquinas.
operaciones que se realizan para transformar la
iluminación de una escena en una señal digital,
esto por medio de una cámara digital. La
imágenes adquiridas no siempre se presentan en
un formato adecuado para su análisis, por lo que
el siguiente paso es el “pre-procesamiento” de la
imagen, en el cual se utilizan técnicas que
permitan mejorar la imagen adquirida, como son
el nivel de gris, contraste, eliminación de ruido,
realce de bordes. (Véase la figura 2)

La manipulación de objetos en líneas de

producción es una tarea donde un gran conjunto
de diferentes tipos de objetos aparecen en
posición y orientación arbitraria. En este caso el
reconocimiento y la clasificación satisfactoria del
sistema dependen de las técnicas de Fig 2. Mejoramiento de la imagen adquirida
reconocimiento de objetos confiables que se
empleen para cumplir con ciertos requerimientos
importantes para el proceso. Una vez que la imagen se encuentre en
condiciones de ser procesada, se tiene que hallar
En este trabajo se implementa un sistema de el objeto dentro de la imagen de forma
clasificación automática de colores, tamaños y independiente, lo cual se realiza a través de la
formas, el cual permitirá seleccionar y posicionar, segmentación. (Véase la figura 3)
de acuerdo a los parámetros ingresados por el
operador, el lugar respectivo de cada objeto en
2

Universidad Peruana de Ciencias Aplicadas (UPC)

 sistema de reconocimiento y clasificación de patrones basado en procesamiento digital de imágenes y redes neuronales

Soporte que evita

hacer sombra Soporte para la
cámara digital

Cámara
digital

Soporte para
emisor láser

Fig. 3: Segmentación de la imagen

Fig. 5 Soporte de la cámara digital
Una vez segmentada la imagen, se procede a
extraer las características para el reconocimiento,
para que pueda clasificarse el objeto por color, Estructura
tamaño o forma. aisladora de
zona de captura

C lasificador

M otor DC

Sistem a de
control y potencia

Fig. 6 Estructura mecánica fabricada para la

Fig. 4 Imagen binarizada de la cual se extrae la simulación de la línea de producción
información para la clasificación
Diseño e implementación del sistema de
Asimismo lo procesos industriales no son control:
constantes, razón por la cual el sistema debe ser
capaz de adaptarse a nuevos contextos, siendo La etapa de control es goberando por un
necesario implementar una red neuronal que microcontrolador PIC 16F877 y tiene como
permita flexibilidad de las operaciones. objetivo principal monitorear en su totalidad el
proceso de clasificación desde una estación
remota.
DESCRIPCIÓN DEL PROYECTO
Control de motor de
Sensor óptico de ubicación
pasos para el clasificador
de clasificador
El proyecto se divide en 4 etapas principales:
diseño mecánico, diseño e implementación del Control de Teclado

sistema de control, procesamiento digital de la Control de pantala de

imagen) y diseño de la red neuronal. cristal líquido
Optoacoplador

Comparador
Diseño mecánico:
Microcontrolador

En esta parte se describirá el diseño e Etapa de potencia

Sensor de luz (LDR)
implementación del soporte mecánico necesario
para la simulación de una línea de producción
Interfaz de
industrial. Esto comprende el soporte sobre la que Motor DC de faja
comunicación
MAX 232
se ubicará la faja transportadora, un clasificador transportadora

de objetos, el soporte para la cámara digital y

sensor de presencia, además del aislamiento de la Computadora
zona de captura de la imagen de los efectos del
medio ambiente. (Véase la figura 5 y 6).
Fig. 7. Diagrama de bloques del sistema de
control
3

Universidad Peruana de Ciencias Aplicadas (UPC)

 sistema de reconocimiento y clasificación de patrones basado en procesamiento digital de imágenes y redes neuronales

El proceso de clasificación se inicia cuando el In ic io

operador desde el computador manda la señal de

inicialización al sistema. En ese momento el C o n fig u r a c ió n g e n e r a l
d e l m ic r o c o n tr o la d o r
microcontrolador PIC 16F877 busca llevar a los |
elementos de campo conectados a él directamente, N o

a las condiciones iniciales. P ro c e s o

in ic ia d o

Primero posiciona el clasificador de objetos S i

mandando la secuencia necesaria al motor de P o s ic io n a d o d e m o to r d e

p a s o s p a r a e l c la s ific a d o r
pasos (el cual se encarga del movimiento del
clasificador). El microcontrolador deja de mandar N o
la secuencia cuando el sensor óptico (ubicado de ¿S ensor
ó p tic o
forma adecuada) es activado, el cual indica que el a c tiv a d o ?

clasificador se encuentra en la posición deseada. S i

P IC e n v ia P W M a l m o to r
d c d e fa ja tr a n s p o r ta d o r a
En ese instante el microcontrolador PIC 16F877
genera la señal PWM (modulación por ancho de N o
pulso), el cual previa interfaz de potencia inducirá ¿S ensor de
p r e c e n s ia d e
movimiento al motor de corriente continua o b je to a c tiv a d o ?

(encargado de la velocidad de la faja S i

transportadora).Una vez puesto en marcha el E n v ío d e s e ñ a l a P C p a ra

sistema, el microcontrolador esta pendiente de a d q u is ic ió n d e im á g e n

cualquier interrupción, generado por el sensor de N o

presencia, o ingreso de comandos desde el ¿S eñal de P C
p a ra
computador o periféricos conectados directamente c la s ific a c ió n ?

el microcontrolador. S i

En el caso que se produzca una interrupción por el P o s ic io n a d o d e l

c la s ific a d o r
sensor de presencia, el microcontrolador PIC
envía la señal al computador para que adquiera la
imagen. EL computador en respuesta envía al
Fig. 8. Diagrama de flujo del programa del
microcontrolador la señal de parada del proceso y
sistema de control
a través de la cámara digital captura la imagen,
luego la procesa y finalmente envía la señal de
reinicio del proceso (arranque del motor de In te rfaz s e ria l (D B 9 )

corriente continua). En un tiempo muy corto

(alrededor de milisegundos) se envía el
identificador del clasificador al cual debe ser S a lid a P W M

depositado el objeto. C o n trol d e l

En este momento el microcontrolador PIC manda LC D C o ntro l de l

s e ns o r de

la secuencia necesaria al motor de pasos (previa p re se n c ia

interfaz de potencia) hasta llegar a la posición P o s ic io n a d or d el

deseada, posterior a esto el microcontrolador C o n tro l d el

te c la do
clas ific a d o r

envía la señal al computador indicando que el A lim e n tac ió n d e

la ta rje ta
objeto fue clasificado.

Procesamiento digital de la imagen: C o n tro l d e l m o to r d e p a s o s

La imagen obtenida a partir de la cámara digital
tiene el formato RGB de 256 colores, cuenta con
la resolución de 240*320 píxeles. Esta imagen es
grabada en formato BMP en el disco duro de la
computadora. A partir de este archivo se extraen
las componentes R G B de cada píxel, que son
grabados en una matriz 240 * 320 * 3 para poder
ser procesadas por los algoritmos de encargados
de extraer características de la imagen.
Fig. 9. Tarjeta electrónica fabricada para el
sistema de control
Obtenidas las componentes RGB de la imagen, se
formaron 3 imágenes, una de ellas sólo con
componentes R, la otra con G y finalmente con B.
A estas 3 imágenes se aplicó la máscara de
SOBEL obteniendo 3 matrices las cuales son
binarizadas utilizando un valor de umbral (este
4

Universidad Peruana de Ciencias Aplicadas (UPC)

 sistema de reconocimiento y clasificación de patrones basado en procesamiento digital de imágenes y redes neuronales

valor puede variar dependiendo de la luminosidad

ambiental). Binarizadas las tres matrices se
procede a realizar una sumatoria lógica píxel a
píxel de las tres matrices obteniendo una matriz
resultante que define los bordes del objeto a
detectar sin perdida de información.

Adquisición de
imagen archivo
BITMAP

Aplicación de filtro
de SOBEL +
binarización
Fig. 12. Detección de máximos y mínimos de la
Detección de imagen
máximos y mínimos

Cálculo del perímetro.- Como resultado de la

Cálculo de
perímetro
detección de máximos y mínimos (Fig. 12) se
obtienen las coordenadas correspondientes a los
pixeles que conforman el contorno del objeto.
Cálculo del área e
Detección de color Luego, conociendo las dimensiones en cms. de
histograma
cada pixel, se procede a determinar la diferencia
Momentos de Hu euclidiana entre coordenadas del contorno, para
(detección de luego ir acumulando estos valores en una variable,
forma)
que al final del proceso tendrá el valor del
perímetro requerido. La diferencia o distancia
Identificación de formas
utilizando redes neuronales euclidiana) entre coordenadas del contorno es
expresada como:

Fig. 10. Diagrama de flujo del procesamiento S= ((x1 − x ) * t px ) + ((y1 − y ) * t py )

2 2 (1)
digital de imágenes
Donde tpx y tpy se obtienen con la calibración de la
cámara:
tpx: tamaño en cm. del píxel en el eje x
tpy: tamaño en cm. del píxel en el eje y

Cálculo del área y color.- Conociendo las

coordenadas del contorno de la imagen se
enumeran el número de píxeles contenidos en la
figura, las cuales multiplicadas por el área del
píxel obtenemos el área del objeto. Asimismo para
identificar el color del objeto, a cada pixel se
realiza una conversión de formato RGB a HIS
(H=hue proporciona información del color del
objeto).
Fig. 11: Aplicación de la máscara de Sobel y
Diseño de la red neuronal:
binarización de la imagen
En esta parte, el objetivo principal es construir
Una vez binarizada la imagen, se obtienen las
una red neuronal que permita clasificar los objetos
coordenadas de los píxel que forman en contorno
en forma automática y versátil dentro de 3 clases
de la figura para poder extraer características que
(número de clasificadores). El modelo
permitan clasificarlas por color, tamaño y forma.
desarrollado en el proyecto es el perceptrón
multicapa con el algoritmo de propagación del
5

Universidad Peruana de Ciencias Aplicadas (UPC)

 sistema de reconocimiento y clasificación de patrones basado en procesamiento digital de imágenes y redes neuronales

error. El esquema general de la red neuronal lograr el intercambio de información entre la

diseñada de muestra en la Fig. 13, donde puede PC en donde se ejecuta el aplicativo
verificarse una capa de entrada con 4 neuronas, 2 desarrollado en Visual C++ y el módulo de
capas ocultas con 40 neuronas cada uno y una control basado en PIC 16F877.
capa de salida con 3 neuronas. • Identificación de formas de objetos basados
en los momentos de Hu: Este módulo esta
2 CAPAS O CULTAS
basado en el cálculo de los momentos
CAPA DE ENTRADA
4 neuronas
CAPA DE SALIDA
3 neuronal
invariantes a traslaciones, rotaciones y
ENTRADAS SALIDAS homotecias.
X1 Y1

X2 Y2
Inicio

X3 Y3

X4 40 neuronas cada capa Creación de archivo

NO
30 muestra por
archivo
Fig. 13. Estructura de la red neuronal diseñada

SI
Interfaz Visual: NO
¿3 archivos creados?

La interfaz visual ha sido desarrollada

SI
íntegramente utilizando el lenguaje de
programación MS Visual C ++ con el cual se ha Crear archivo único y tomar muestras
logrado mayor rapidez en el tiempo de aleatorias

procesamiento de los algoritmos de procesamiento

digital de imágenes. Para el acceso a las funciones
de la cámara digital utilizada para la adquisición Escalar linealmente entradas
(4 momentos de Hu)
de las imágenes, se ha utilizado un control Active
X “videoCapX” el cual incorpora funciones
utilizadas dentro del programa. Entrenamiento de la red

La interfaz visual que se ha desarrollado cuenta

Establecer valores calculados en el
con las siguientes funcionalidades: entrenamiento

• Módulo de calibración de la cámara: Este

Proceso de clasificación
módulo permite determinar las dimensiones
de un píxel de la imagen en base a la distancia
que existe entre la superficie del objeto y la
Fig. 14. Diagrama de flujo del funcionamiento de
cámara.
la red neuronal
• Módulo de calibración de colores: Este
módulo permite definir los umbrales de color
(valores numéricos que varían entre 0 y 255).
• Módulo de configuración de criterios de CONCLUSIONES
selección: Se ha implementado los siguientes
criterios de selección: Forma, Color, Tamaño. • El sistema diseñado es capaz de clasificar
Este módulo permite definir cual será el objetos por sus colores utilizando el formato
criterio de selección. Red neuronal como HIS. El sistema actualmente esta
sistema de clasificación de patrones: Este predeterminado para trabajar con 6 colores,
módulo consta de dos partes: Generación de siendo necesario cada vez que se inicie el
Archivos de Entrenamiento y Entrenamiento proceso de clasificación calibrar los umbrales
de la Red Neuronal. de color para la diferentes tonalidades de color
• Comunicación serial: Se ha implementado el que pueden existir.
módulo de comunicación serial RS 232C para
6

Universidad Peruana de Ciencias Aplicadas (UPC)

 sistema de reconocimiento y clasificación de patrones basado en procesamiento digital de imágenes y redes neuronales

Fig. 15: Módulo principal de interfaz visual

• Para la segmentación de la imagen se utilizó el codificados. La interfaz desarrollada es de

operador de Sobel, el cual fue aplicado a cada fácil uso y comprensión.
componente de color (R,G,B) de la imagen BIBLIOGRAFÍA
capturada por la cámara digital, para luego ser
binarizada y sumada lógicamente. Este método [1] NEVES, Javier
permitió segmentar eficientemente objetos 2004 Ministerio de Trabajo y Promoción de
cuyos colores son parecidos al color de la faja Empleo
transportadora, como lo son: azul y verde. http://www.produce.gob.pe/mipe/estadisticas/bme
nsual/bindustria.pdf
• El sistema diseñado es capaz de calcular el
perímetro del objeto con un error de 0.5 cm., [2] ZILOUCHIAN, Jamshidi
mientras que el área es calculado con un error 2001, Intelligent Control Systems Using Soft
de 0.5 cm2. Para esto es necesario calibrar la Computing Methodologies.
cámara antes de iniciar el proceso de CRC Press.
clasificación, de esta manera se obtiene el
tamaño del píxel en cm. [3] VILLAVICENCIO, Alfredo
2004 Ministerio de Trabajo y Promoción de
• Para el proceso de clasificación por formas se Empleo McGraw-Hill
diseñó e implementó una red neuronal basada http://www.mintra.gob.pe/contenidos/programas/p
en el modelo del perceptrón multicapa con el eel/publicaciones/index.htm
algoritmo de retropropagación del error y
función de activación tangente hiperbólica. La [4] SOBRADO, Eddi
eficiencia de este modelo es mayor al 90% y el 2003 Sistema de visión artificial para el
tiempo de entrenamiento de la red es menor a reconocimiento y manipulación de objetos
los 10 minutos. utilizando un brazo robot. 150h.
Tesis (magister). Lima: PUCP.
• Los algoritmos de control, comunicación,
extracción, descripción y clasificación de [5] GROOVER, Mikell. MITCHELL, Roger.
objetos fueron elaborados en el entorno Visual ODREY, Nagel y Nicholas
Studio C++. Se eligió esta alternativa por el 1994, Tecnología, Programación y Aplicaciones.
tiempo de procesamiento que toma en McGraw-Hill
desarrollar, para este entorno, los algoritmos
[6] K.S, Fu. GONZALEZ, R.C. LEE, C.S.G.
7

Universidad Peruana de Ciencias Aplicadas (UPC)

 sistema de reconocimiento y clasificación de patrones basado en procesamiento digital de imágenes y redes neuronales

1994, Robótica: Control, detección, visión e

inteligencia.
McGraw-Hill

[7] GONZALES, Rafael. WOODS, Richard

1996, Tratamiento Digital de Imágenes.
Addison – Wesley

[8] UNIVERSIDAD DE CHILE

2003, Selección de Características para
Clasificadores Neuronales
Chile: U. de Chile

[9] HAYKIN, S., Ed.

1999, Neural Networks, pp. 92
Prentice Hall

Universidad Peruana de Ciencias Aplicadas (UPC)