PFC Raul Sanchez Alvarez

Departamento de Ingeniera de Sistemas y Automtica
PROYECTO FIN DE CARRERA

I.T.I.: ELECTRNICA INDUSTRIAL

DISEO E
IMPLEMENTACIN DE UN
SISTEMA DETECTOR DE
OBJETOS PARA EL ROBOT
ASIBOT

Autor: Ral Snchez lvarez

Tutor: Alberto Jardn Huete

Director: Juan Carlos Gonzlez Vctores

Legans, Julio de 2011

Ttulo: DISEO E IMPLEMENTACIN DE UN SISTEMA DETECTOR DE
OBJETOS PARA EL ROBOT ASIBOT

Autor: RAL SNCHEZ LVAREZ
Tutor: ALBERTO JARDN HUETE
Director: JUAN CARLOS GONZLEZ VCTORES

EL TRIBUNAL

Presidente:

Vocal:

Secretario:

Realizado el acto de defensa y lectura del Proyecto Fin de Carrera el da __ de _______ de
20__ en Legans, en la Escuela Politcnica Superior de la Universidad Carlos III de
Madrid, acuerda otorgarle la CALIFICACIN de

PRESIDENTE SECRETARIO VOCAL

Agradecimientos

En primer lugar, quera dar las gracias a Alberto Jardn y a Juan Gonzlez por su
ayuda y apoyo en los momentos difciles.

Junto a ellos, quiero agradecer a todos los docentes que me han formado y a todos los
compaeros que me han dado su ayuda y en muchos casos su amistad.

Gracias a mis padres y mi hermano, por comprender la absorbente dedicacin que le
he tenido que dedicar a esta carrera y porque sin su apoyo hubiera sido muy difcil su
estudio. En especial a mi padre, que siempre me anim a estudiar una carrera.

Por supuesto, gracias a todos mis amigos (en especial a Jess y su familia) por haber
estado, por estar y porque s que estarn cuando les necesite.

Quiero dar las gracias a Marta, por su apoyo y comprensin en la ltima etapa de la
carrera.

Gracias a todos los que me han brindado su apoyo durante todo este tiempo.

Resumen

El grupo Robotics Lab de la Universidad Carlos III de Madrid, desarroll en 2004 un
primer prototipo del robot asistencial ASIBOT, un robot cuya finalidad es la ayuda y
asistencia a personas discapacitadas y de la tercera edad.

Este proyecto se ha desarrollado con el objetivo de mejorar las caractersticas
funcionales del robot y facilitar su utilizacin al usuario. Estas mejoras surgen como lnea
de investigacin del diseo de un sistema de visin por computador que permita detectar
objetos, mostrando su ubicacin dentro de una pantalla.

Para ello se ha creado una aplicacin ejecutable bajo entorno Linux integrando el
diseo de una interfaz grfica para mejorar y simplificar su manejo. Dentro de esta interfaz
se pueden elegir varias opciones, siendo la ms importante el poder seleccionar la cmara
deseada para iniciar el proceso de deteccin del objeto.

Abstract

The group Robotics Lab at the University Carlos III of Madrid, in 2004 developed a
first prototype of the ASIBOT assistive robot, a robot whose purpose is to aid and assist
disabled and elderly people.

This project has been developed with the aim of improving the functional
characteristics of the robot and the user ease of use. These improvements come as a line of
research in designing a computer vision system to detect objects, showing their location
within a screen.

For this we have created an application that runs under Linux environment
integrating the design of a graphical interface to improve and simplify its management.
Within this interface several options can be choosen, the most important to select the
desired camera to start the process of object detection.

ndice general

1. INTRODUCCIN Y OBJETIVOS 1
1.1. Objetivos .................................................................................................................... 2
1.2. Descripcin de los captulos ...................................................................................... 3

2. ESTADO DEL ARTE 5
2.1. Robot ASIBOT .......................................................................................................... 5
2.2. Cmara de red (cmara IP) ........................................................................................ 8
2.2.1. Tecnologa y funcionamiento de la cmara de red ............................................. 8
2.2.2. Aplicaciones ....................................................................................................... 9
2.2.3. Cmara de red, Axis 207MW ........................................................................... 10
2.3. Visin por computador y procesamiento de imgenes ............................................ 10
2.3.1. Aplicaciones ..................................................................................................... 10
2.3.2. Etapas de un sistema de visin por computador .............................................. 11
2.3.3. Histograma de una imagen ............................................................................... 13
2.4. Librera OpenCV ..................................................................................................... 14
2.4.1. Estructura y caractersticas de la librera OpenCV .......................................... 15
2.4.2. Interfaces grficas y herramientas de la librera OpenCV ............................... 16
2.5. Mtodo de entrenamiento de un clasificador ........................................................... 16
2.5.1. Las reglas dbiles ............................................................................................. 18
2.5.2. La imagen integral ........................................................................................... 20
2.5.3. Tipos de entrenamiento .................................................................................... 22
2.5.4. Construccin de clasificadores eficientes ........................................................ 26
2.5.5. Entrenamiento de una cascada de clasificadores ............................................. 26
2.5.6. Construccin de un rbol de deteccin ............................................................ 28
2.6. Programa de entrenamiento de un clasificador ........................................................ 30
2.7. Resultados de entrenamiento ................................................................................... 34
2.7.1. El espacio ROC ................................................................................................ 36
2.7.2. Curvas en el espacio ROC ............................................................................... 37
2.8. Motores grficos ...................................................................................................... 39
2.8.1. GTK+ ............................................................................................................... 40
2.8.2. Libreras de GTK+ ........................................................................................... 40

3. DESARROLLO 43
3.1. Descripcin detallada ............................................................................................... 43
3.2. Diseo del sistema ................................................................................................... 44
3.2.1. Captura de imgenes en tiempo real ................................................................ 45
3.2.2. Generacin del clasificador .............................................................................. 47
3.2.3. Integracin del clasificador en aplicacin C++ ................................................ 60
3.2.4. Implementacin del mdulo de usuario ........................................................... 66

4. RESULTADO Y FUNCIONAMIENTO 77
4.1. Anlisis de resultados ............................................................................................... 77
4.1.1. Detectores ......................................................................................................... 79
4.2. Conclusiones de resultados ...................................................................................... 88

5. CONCLUSIONES Y POSIBLES MEJORAS 95
5.1. Anlisis crtico ......................................................................................................... 95
5.2. Conclusin ............................................................................................................... 97
5.3. Trabajos futuros ....................................................................................................... 99

REFERENCIAS Y BIBLIOGRAFA 101

ANEXOS 105

APNDICES 107

ndice de figuras
Figura 1 Robot ASIBOT ..................................................................................................... 6
Figura 2 Robot Manus ........................................................................................................ 7
Figura 3 Esquema general del reconocimiento de objetos ............................................... 12
Figura 4 Mtodo de clculo de la imagen integral .......................................................... 20
Figura 5 Ejemplo de clculo del valor de la imagen integral ........................................... 21
Figura 6 Tabla de posibles resultados con P instancias positivas y N negativas .............. 36
Figura 7 Ejemplo de curva ROC ...................................................................................... 38
Figura 8 Resultado de ejecucin del Programa 1 .......................................................... 46
Figura 9 Resultado de ejecucin del Programa 1 con otra cmara ............................... 47
Figura 10 Ejemplo del contenido del archivo de muestras negativas............................... 50
Figura 11 Ejemplos de imgenes negativas ...................................................................... 51
Figura 12 Muestra del archivo de imgenes positivas ...................................................... 53
Figura 13 Ejemplos de imgenes positivas....................................................................... 54
Figura 14 Contenido del fichero de la primera etapa del clasificador .............................. 57
Figura 15 Imagen del resultado de ejecucin del Programa 2 ...................................... 65
Figura 16 Inicio de ejecucin del Programa 3 .............................................................. 67
Figura 17 Seleccin del botn del Programa 3 ............................................................. 68
Figura 18 Resultado de ejecucin de seleccin del Programa 3 ................................... 68
Figura 19 Seleccin del botn para salir del Programa 3 ............................................. 69
Figura 20 Inicio de ejecucin del Programa 4 .............................................................. 70
Figura 21 Seleccin del botn del Programa 4 ............................................................. 70
Figura 22 Resultado de ejecucin de seleccin del Programa 4 ................................... 71
Figura 24 Imagen de la ejecucin del Programa 4 (programa base) ............................. 72
Figura 25 Ejecucin del Programa 4 con la primera mejora......................................... 73
Figura 26 Ejecucin del Programa 4 con la segunda mejora ........................................ 74
Figura 27 Ejecucin del Programa 4 con la ltima mejora ........................................... 75
Figura 28 Ejecucin de Programa 4 con Funcin 1, para una de las cmaras IP ...... 76
Figura 29 Resumen del resultado de la aplicacin Performance ...................................... 78
Figura 30 Tabla obtenida de Performance para construir la tabla ROC ........................... 79
Figura 31 Curva ROC del detector 1 ................................................................................ 81
Figura 34 Curva ROC del detector 10 .............................................................................. 84
Figura 38 Ejecucin del Programa 5 ............................................................................. 89
Figura 39 Seleccin para ejecutar la primera cmara en el Programa 5 ....................... 89
Figura 40 Resultado de ejecucin de la primera cmara en el Programa 5 .................. 90
Figura 41 Seleccin para ejecutar la segunda cmara en el Programa 5 ...................... 90
Figura 42 Resultado de ejecucin de la segunda cmara en el Programa 5.................. 91
Figura 43 Seleccin para ejecutar la tercera cmara en el Programa 5 ......................... 91
Figura 44 Resultado de ejecucin de la tercera cmara en el Programa 5 .................... 92
Figura 45 Seleccin para ejecutar la cmara web en el Programa 5 ............................. 92
Figura 46 Resultado de ejecucin de la cmara web en el Programa 5 ....................... 93
_______________________________________________________________________________
I.T.I.: Electrnica Industrial Ral Snchez lvarez

Captulo 1
Introduccin y objetivos

Segn recientes datos demogrficos la esperanza de vida est aumentando en los
ltimos tiempos de forma importante [1]. Se estima que en los pases industrializados las
personas mayores de 65 aos tendrn en 2030 una cuota superior al 20% de la poblacin
total. Este hecho hace que parte de los desarrollos tecnolgicos ms avanzados estn
encaminados a la mejora de la calidad de vida de estas personas. El desarrollo de sistemas
robticos dotados de un alto nivel de movilidad e inteligencia permitir alcanzar este
objetivo.

Varios robots cuyo enfoque era el de la mejora de la calidad de vida de ancianos y
discapacitados fueron desarrollados en el pasado. Sin embargo, se ha visto que tienen
grandes limitaciones de uso en entornos domsticos dado que necesitan de grandes y
complejos sistemas de control que hacen muy difcil su transporte. Adems, los robots
estn anclados permanentemente a una mesa o silla de ruedas limitando, de esta forma, su
aplicacin en diferentes habitaciones y dependencias domsticas.

Partiendo de estas premisas, se cre el primer prototipo del robot ASIBOT, realizado
por el grupo Robotics Lab, en el departamento de Sistemas y Automtica de la Universidad
Carlos III de Madrid. El robot es capaz de adaptarse a diferentes entornos de la casa e
inclusive desplazarse por la misma. El robot, por ejemplo, puede moverse por las paredes
de una habitacin, sobre el lavabo, estar anclado a la silla de ruedas y moverse con ella,
etc. Para ello, la casa debe estar equipada con un sencillo sistema de anclajes que sirve
tanto para alimentar al robot como para dotarlo de apoyo. Utilizando estos anclajes
(llamados Docking Station, DS) el robot es capaz de moverse, por ejemplo, de la pared del
saln a la silla de ruedas, de la silla a la encimera de la cocina, etc.

2 Introduccin y objetivos
_______________________________________________________________________________
_______________________________________________________________________________

El robot ASIBOT permite realizar una gran diversidad de tareas domsticas, tales
como dar de comer, afeitar, maquillar, lavar los dientes, etc. Para controlar estas tareas
basta con disponer de sensores que permitan conocer la posicin de cada uno de los ejes
del robot. Sin embargo, actualmente se requiere que los sistemas robticos realicen el
mayor nmero de tareas y procesos posibles, tanto las que se controlan simplemente con
una serie de sensores, como las que adems necesitan la incorporacin de sensores
exteriores que permitan obtener parmetros relacionados con el entorno o el usuario, como
por ejemplo sistemas de visin. Mediante la utilizacin de sistemas de visin se pueden
realizar otro tipo de sistemas como por ejemplo detectores de objetos.

El campo de la deteccin de objetos en imgenes ha despertado en los ltimos aos
un gran inters debido a sus posibilidades de aplicacin en diversos campos, por ejemplo,
para detectar rostros humanos u objetos, como es el caso de este proyecto.

La base del problema consiste en la creacin de un sistema capaz de procesar una
imagen y determinar si en ella se encuentra o no un determinado objeto, que constituye el
objetivo de deteccin, y en caso afirmativo obtener las coordenadas de su localizacin
exacta dentro de dicha imagen.

Se realizar un estudio de opciones para sistemas de deteccin de objetos para ver
cul es el ms adecuado dentro de nuestro sistema robtico. Finalmente se disear una
interfaz como muestra de la calidad del funcionamiento del detector, adems de
proporcionar a lo largo del documento datos empricos de las pruebas realizadas.

1.1. Objetivos

El presente proyecto tiene como objetivos:

Disear una aplicacin informtica ejecutable bajo entorno Linux que
muestre la imagen de una cmara de red (cmara IP) en una ventana.

Introduccin y objetivos 3
_______________________________________________________________________________
_______________________________________________________________________________

Detectar la presencia de un objeto y sealizarlo en la ventana creada

Incluir informacin de las coordenadas del objeto dentro de la pantalla.

Desarrollar un men que integre la visualizacin y deteccin de la
presencia de objetos de varias cmaras IP, facilitando su utilizacin al
usuario.

Para el desarrollo de este proyecto se han utilizado varias cmaras de red instaladas
en el Laboratorio de Robtica Asistencial de la Universidad Carlos III de Madrid, que
simula una dependencia de una casa, en concreto una cocina. Esto sirve como principio de
estudio de investigacin sobre los objetivos previstos. La finalidad es poder construir un
sistema cmaras-detector fiable y robusto para ser utilizado con las cmaras del
Laboratorio de Robtica Asistencial y adems, en un futuro, sobre cmaras IP instaladas en
el propio ASIBOT o en cualquier otro robot asistencial o de caractersticas similares.

A lo largo del documento se irn describiendo con todo detalle la evolucin y
consecucin de estos objetivos, durante el tiempo que se ha trabajado en ello.

1.2. Descripcin de los captulos

En este primer captulo se ha realizado una introduccin sobre el tema a tratar en el
estudio del proyecto y se han presentado los objetivos que se perseguan al inicio del
mismo.

En el segundo captulo se describir ms en profundidad el robot ASIBOT y las
cmaras de red. Se har una introduccin a la visin por computador y el procesamiento de
imgenes, se explicar una de las fundamentales libreras utilizadas para el desarrollo de la
aplicacin informtica, OpenCV [2], y se detallar el proceso de entrenamiento de un
clasificador para realizar el detector de objetos. Por ltimo, se comentarn las
caractersticas de los motores grficos en general, y GTK+ [3] en particular.

4 Introduccin y objetivos
_______________________________________________________________________________
_______________________________________________________________________________

En el tercer captulo se explicar el desarrollo completo del proyecto, desde la
creacin de una aplicacin para visualizar la imagen de una cmara de red hasta la
aplicacin final intentando alcanzar los objetivos del presente estudio. En la primera parte
del captulo se describirn detalladamente esos objetivos, y en la segunda todos los pasos
seguidos hasta alcanzarlos.

En el captulo cuarto se mostrarn y comentarn los resultados obtenidos tras
finalizar el desarrollo del proyecto y se explicar mediante imgenes el funcionamiento de
la aplicacin diseada.

Por ltimo, en el captulo quinto se finalizar el documento realizando un anlisis
crtico, presentando las conclusiones a las que se ha llegado en el desarrollo del proyecto y
la propuesta de algunas alternativas interesantes a tener en cuenta para la realizacin de
futuros desarrollos.

_______________________________________________________________________________

Captulo 2
Estado del arte

En este captulo se har una descripcin detallada de los elementos e instrumentos
fundamentales necesarios para el desarrollo del proyecto. Primero se describirn los
objetos fsicos: el robot y la cmara de red; posteriormente una introduccin a la visin
por computador y procesamiento de imgenes y la principal librera utilizada para la visin
por computador, OpenCV [2]; se detallar el proceso de entrenamiento de un clasificador
para un detector de objetos mediante Haartraining [4]; y por ltimo, el motor grfico
GTK+ [3].

2.1. Robot ASIBOT

De forma muy genrica, se podra describir ASIBOT como un robot asistencial de 5
grados de libertad de estructura simtrica que cuenta en cada uno de sus extremos con un
mecanismo de anclaje a la DS con un alcance algo superior a un brazo humano (del orden
de 1,3 m) y puede transportar un peso de hasta 2 kg en su extremo [5]. Todo el sistema de
control (computadora, electrnica, transmisiones, etc.) est embebido en el robot y su peso
no supera los 13,5 kg. Este bajo peso permite que el robot pueda ser fcilmente
transportado por una sola persona o asistente a otra dependencia o inclusive a otro piso
para poder ser usado por otros usuarios. De esta manera, el uso, los costes y los beneficios
sociales pueden ser compartidos por varios usuarios a la vez.

El robot ASIBOT se puede clasificar como escalador, ya que est diseado para
trabajar desde diferentes posiciones, all donde tenga una DS, y poder moverse de una a
otra. Tambin podra ser clasificado como manipulador, porque una vez anclado, sus
operaciones principales son coger y mover cosas o posicionar herramientas, tareas tpicas
6 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________
de los robots manipuladores. En cuanto a su uso, est enfocado a tareas de servicio, ms
concretamente las asistenciales.

Para interactuar con ASIBOT se realiza mediante comunicaciones inalmbricas. La
comunicacin hombre robot puede realizarse mediante distintas formas segn las
diferentes capacidades del usuario: por voz, en caso de carecer de movilidad en las manos,
por el manejo de un sencillo joystick en caso de discapacidades en los brazos, por un lpiz
tctil en PDA, en el caso de discapacidad en las extremidades inferiores, con el dedo, etc.
El dialogo hombre-robot se efecta mediante un sencillo sistema de mens orientados a la
tarea basado en iconos grficos.

En la figura 1 podemos ver una imagen del ASIBOT anclado en una DS de una
plataforma.

Figura 1 Robot ASIBOT

Se han desarrollado otros proyectos y prototipos de robots con objetivos similares al
ASIBOT, algunos de ellos son el robot Manus [6] y el Kares [7]. A continuacin se va a
realizar una pequea descripcin de las caractersticas ms importantes de cada uno de
ellos, ya que en un futuro se podra integrar el sistema desarrollado en este proyecto en
estos sistemas robticos.

Estado del arte 7
_______________________________________________________________________________
_______________________________________________________________________________

- Manus

El robot Manus, ver figura 2, es un sistema basado en un manipulador montado sobre
una silla de ruedas que ha conseguido un cierto liderazgo en Europa. Construido en
Holanda por el centro de investigacin TNO, el sistema consiste en un manipulador que
emplea actuadores elctricos, montado sobre una silla de ruedas adaptada para soportar
dicho robot y la interfaz para controlarlo. Para manejar tanto la silla como el robot se
emplean controles individuales seleccionables y procedimientos asistidos por computador;
normalmente se emplea un joystick junto a un pequeo teclado de seleccin de opciones,
ambos controlados por el movimiento residual del usuario. Los dos requisitos de diseo
ms importantes son la compactibilidad, para que el robot no entorpezca el movimiento del
usuario, y el alcance del manipulador, que llega incluso a poder coger algo que est en el
suelo. Opera en entornos no estructurados con muy poca o nula informacin a priori, con
lo que son de suma importancia los procedimientos de control de la pinza por parte del
usuario.

Figura 2 Robot Manus

- KARES

El robot KARES (KAIST Rehabilitation Engineering Service system) de Corea,
consiste en un robot de aluminio de seis grados de libertad movido con motores paso a
paso y montado sobre una silla de ruedas. Realiza las tareas de dar de comer y de beber,
recoger cosas del suelo, afeitar al usuario, encender y apagar interruptores, abrir y cerrar
8 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________
puertas, y tareas propias de oficina. En principio, estas tareas han sido probadas en un
entorno semi-estructurado, pero para alcanzar una mayor inteligencia se tiene
conocimiento del entorno a travs de un sistema de visin artificial y sensores de
fuerza/par ubicados en el punto extremo del robot. El usuario maneja el robot mediante un
dispositivo de diez teclas montado a un lado de la silla, tambin se puede emplear un
sistema de reconocimiento de voz.

2.2. Cmara de red (cmara IP)

Una cmara IP es una cmara que emite las imgenes directamente a la red (intranet
o internet) sin necesidad de un ordenador .

Las cmaras IP han sufrido una gran evolucin desde sus inicios. La primera webcam
del mundo se instal en la cafetera de la Universidad de Cambridge para monitorizar el
nivel de caf. Posteriormente, tomando como referencia la webcam, se desarroll la
cmara de red. Actualmente se utilizan en numerosas aplicaciones y entornos, siendo las
ms importantes la seguridad y vigilancia y la monitorizacin remota.

La caracterstica ms relevante de las cmaras IP es que permiten al usuario tener una
cmara en una localizacin y ver el video en tiempo real desde otro lugar a travs de la red
o de internet.

2.2.1. Tecnologa y funcionamiento de la cmara de red

Una cmara de red tiene su propia direccin IP y caractersticas propias de ordenador
para gestionar la comunicacin en la red [8]. Todo lo necesario desde la adquisicin hasta
el envo de la imagen a travs de la red est incorporado en la propia cmara.

Bsicamente una cmara IP se compone de: una cmara de video tradicional (lentes,
sensores, procesador digital de imagen, etc.); un sistema de compresin de imagen, para
reducir el nmero de datos y permitir una transferencia ms eficiente a travs de la red; y
Estado del arte 9
_______________________________________________________________________________
_______________________________________________________________________________
un sistema de procesamiento encargado de la gestin de las imgenes.

La resolucin de las imgenes digitales se mide en pxeles. La imagen ms detallada
es la que tiene ms datos y por tanto mayor nmero de pxeles. Las imgenes con ms
detalles ocupan ms espacio en los discos duros y precisan mayor ancho de banda para su
transmisin. Para almacenar y transmitir imgenes a travs de una red los datos deben estar
comprimidos o consumirn mucho espacio en disco o mucho ancho de banda. Si el ancho
de banda est limitado la cantidad de informacin que se enva debe ser reducida. Existen
varios estndares de compresin, por ejemplo el JPEG o el MPEG.

2.2.2. Aplicaciones

Las cmaras de red pueden emplearse en diferentes aplicaciones, siendo las ms
frecuentes la seguridad y vigilancia y la monitorizacin remota.

- Seguridad y Vigilancia

Las cmaras de red se usan en sistemas de seguridad, ya que permiten vdeo a
tiempo real. Se pueden utilizar en sistemas industriales, como instalaciones o
negocios, y en domsticas, por ejemplo en viviendas.

Adems de la vigilancia mediante la visin a tiempo real, se pueden emplear
para el control de accesos a una estancia. Puede grabarse junto con la imagen de la
cmara, por ejemplo, informacin de la fecha y la hora permitiendo en caso
necesario una sencilla revisin y localizacin.

- Monitorizacin remota

Otra aplicacin, adems de la vigilancia y seguridad, es la monitorizacin de la
imagen de la cmara. Esto puede utilizarse, por ejemplo, para conseguir que una
pgina web resulte ms dinmica e interesante, y por tanto, atraer ms visitas. Cada
da es ms frecuente promocionar zonas tursticas, lugares emblemticos de
10 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________
ciudades, etc., implementando en sus pginas web imgenes de cmaras, pudiendo
incluso ver el estado meteorolgico de la zona.

2.2.3. Cmara de red, Axis 207MW

La cmara de red AXIS 207 ofrece una buena calidad de imagen incluso en
condiciones de poca luz [9]. Tambin proporciona una buena eficiencia del ancho de banda
gracias a su implementacin de MPEG-4. El micrfono integrado permite a los usuarios
remotos no solo ver, sino tambin escuchar en un rea y aumentar las opciones de
monitorizacin.

Las caractersticas tcnicas de la cmara se detallan en la Tabla 1, correspondiente
al Anexo I del documento.

2.3. Visin por computador y procesamiento de imgenes

La finalidad de la visin artificial es la extraccin de informacin del mundo fsico a
partir de imgenes, utilizando para ello un computador.

2.3.1. Aplicaciones

La visin por computador tiene numerosas aplicaciones, a continuacin se describen
las ms importantes:

Biomedicina: Son muy numerosas las aplicaciones mdicas de la visin
artificial. Se pueden destacar el anlisis de imgenes tomadas por rayos x,
anlisis de imgenes tomadas por ultrasonidos y la aplicacin en los anlisis
de sangre.

Estado del arte 11
_______________________________________________________________________________
_______________________________________________________________________________

Identificacin: Es un campo importante dentro de la visin por computador
ya que nos permite deteccin e identificacin de caras, objetos,
identificacin de huellas dactilares, etc..

Robtica: Para el guiado de robots industriales y la navegacin de robots
mviles.

Agricultura: Anlisis de imgenes de plantaciones tomadas por satlites para
poder hacer seguimiento de los cultivos y observar posibles enfermedades
en las plantas.

Seguridad: Como ya se ha comentado, esta es una de las aplicaciones
actuales ms importantes de la visin por computador, entre sus funciones
se puede destacar: la vigilancia de edificios, deteccin de explosivos, etc.

Controles de Calidad: Es muy til para realizar controles de calidad a
diferentes productos.

2.3.2. Etapas de un sistema de visin por computador

La visin por computador intenta reproducir el procesamiento de imgenes del ser
humano: captura de luz a travs de los ojos, procesado e interpretacin de la escena en el
cerebro y actuacin en consecuencia. Por tanto se pueden definir varias fases, a
continuacin se pasarn a describir las seguidas en este estudio.

2.3.2.1. Captura de imgenes

Esta fase consiste en la adquisicin de imgenes, para ello los sensores realizan una
transformacin de la intensidad de luz que reflejan los objetos a cargas elctricas,
generando una seal elctrica de video. Posteriormente se digitaliza la seal generando una
12 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________
imagen digital interpretable por el ordenador. La resolucin de una imagen digital se mide
en pixeles, donde cada pixel representa un valor binario del tono de gris o de color de la
imagen.

2.3.2.2. Reconocimiento de caractersticas y clasificacin

En esta etapa se identifican las caractersticas que distinguen a cada uno de los
objetos que pueden aparecer en una imagen [10]. La estructura general de un clasificador
puede observarse en la figura 3. A partir de la imagen original o procesada se obtienen una
serie de caractersticas (forma, color, etc.) y/o descriptores (momentos, etc.) que definen
cada objeto. Por otro lado, se habr obtenido una base de datos que contiene los modelos
de los objetos que puedan aparecer en la imagen y se realizarn una serie de hiptesis sobre
los posibles candidatos que puedan aparecer en la imagen.

Finalmente se debe disear un clasificador que reconozca el objeto a la vista de la
informacin extrada de la imagen y los posibles candidatos.
Imagen
DetectordeDescriptorde
Caractersticasobjetos
Caractersticas Descriptores
Formacin
dehiptesis
Posibles
candidatosClasificador
Base
dedatos
Clasificacin
delobjeto
Figura 3 Esquema general del reconocimiento de objetos
Estado del arte 13

_______________________________________________________________________________
_______________________________________________________________________________

Los mtodos de clasificacin ms empleados son los estadsticos y los sintcticos.
Los estadsticos se basan en la determinacin y uso de funciones de probabilidad. Los ms
utilizados dentro de este tipo son los paramtricos, como la Regla de Bayes [11], y los no
paramtricos, como el mtodo k-nn [12]. El teorema de Bayes vincula la probabilidad de A
dado B con la probabilidad de B dado A y el mtodo k-nn est basado en un entrenamiento
mediante ejemplos cercanos al objeto en el espacio.
Los modelos sintcticos se basan en encontrar las relaciones estructurales que tienen
los objetos de estudio. Se establece una analoga entre esas estructuras y la sintaxis de un
lenguaje, cuyo anlisis sintctico se utiliza para clasificar los objetos.

2.3.3. Histograma de una imagen

El histograma de una imagen es una grfica que representa los niveles de intensidad
de color de dicha imagen con respecto al nmero de pxeles presentes con cada intensidad
de color.

La ecualizacin del histograma es un mtodo que se utiliza para lograr una
distribucin ms uniforme entre el nmero de pxeles asociado a cada nivel de intensidad.
Es decir, que exista el mismo nmero de pxeles para cada nivel de gris del histograma de
una imagen monocroma. Es una forma de manipulacin de histogramas que reduce el
contraste en las reas muy claras o muy oscuras de la imagen.
En teora, la aplicacin de esta operacin debera transformar el histograma en otro
con una forma perfectamente uniforme sobre todos los niveles de gris. Sin embargo, en la
prctica esto no se va a poder conseguir pues se estara trabajando con funciones de
distribucin discretas en lugar de continuas.

14 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________

2.4. Librera OpenCV

La librera de visin artificial y cdigo abierto The Open Computer Vision Library
(OpenCV) fue creada en el ao 2000 por un grupo de investigadores de Intel Corporation y
desde Octubre del 2008 es patrocinada por Willow Garage [13]. Proporciona un marco de
trabajo de alto nivel para el desarrollo de aplicaciones de visin por computador en tiempo
real y adems es gratuito [14].

Existen muchos paquetes de procesamiento de imgenes no comerciales en el
mercado, por ejemplo: OpenCV, Gandalf, TargetJr e ImageLib. OpenCV tiene varias
ventajas: proporciona libreras de datos estticos y dinmicos, herramientas para trabajar
con la mayora de las cmaras del mercado, entornos de desarrollo fciles y la posibilidad
de poder ejecutarse en dos de los sistemas operativos ms utilizados: Microsoft Windows y
Linux.

La librera OpenCV es una API (Application Programming Interface) de
aproximadamente 300 funciones escritas en lenguaje C que se caracterizan, adems de las
ventajas numeradas anteriormente, por lo siguiente:

Su uso es libre tanto para su uso comercial como no comercial.

No utiliza libreras numricas externas, aunque puede hacer uso de alguna
de ellas, si estn disponibles, en tiempo de ejecucin.

Es compatible con The Intel Processing Library (IPL) y utiliza The Intel
Integrated Performance Primitives (IPP) para mejorar su rendimiento, si
estn disponibles en el sistema. Sin embargo, la licencia por las que se rigen
estas aplicaciones no es software libre.

Dispone de interfaces para algunos otros lenguajes y entornos, por ejemplo
para Matlab.

Estado del arte 15
_______________________________________________________________________________
_______________________________________________________________________________

2.4.1. Estructura y caractersticas de la librera OpenCV

La librera OpenCV est dirigida fundamentalmente a la visin por computador en
tiempo real. Entre sus muchas reas de aplicacin destacaran: interaccin hombre-
mquina; segmentacin y reconocimiento de objetos; reconocimiento de gestos;
seguimiento del movimiento; estructura del movimiento; y robots mviles.

El conjunto de funciones suministradas por la librera OpenCV se agrupan en los
siguientes bloques:

Estructuras y operaciones bsicas: matrices, grafos, rboles, etc.

Procesamiento y anlisis de imgenes: filtros, momentos, etc.

Anlisis estructural: geometra, procesamiento del contorno, etc.

Anlisis del movimiento y seguimiento de objetos: plantillas de
movimiento, seguidores, flujo ptico, etc.

Reconocimiento de objetos: objetos propios), modelos HMM, etc.

Calibracin de la cmara: morphing, geometra epipolar, estimacin de la
pose, etc.

Reconstruccin tridimensional (funcionalidad experimental): deteccin de
objetos, seguimiento de objetos tridimensionales, etc.

Interfaces grficos de usuarios y adquisicin de video.

16 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________

2.4.2. Interfaces grficas y herramientas de la librera OpenCV

La librera OpenCV proporciona varios paquetes de alto nivel para el desarrollo de
aplicaciones de visin. Todos ellos se pueden agrupar en libreras de C/C++ dirigidas a
usuarios avanzados, HighGUI [15] y CvCam; y en herramientas de scripting dirigidas a
usuarios de nivel medio, Hawk y OpenCV Toolbox para Matlab.

HighGUI permite la escritura/lectura de imgenes en numerosos formatos, la captura
de stream de video de cmaras/capturadoras y la creacin de ventanas para visualizar
imgenes en ellas, entre otras caractersticas.

CvCam nos proporciona un nico interfaz de captura y reproduccin bajo Linux y
Win32 y callbacks para la gestin de stream de vdeo o ficheros AVI.

Hawk es un entorno visual que proporciona soporte para OpenCV, IPL y HighGUI.

Por ltimo, la librera OpenCV proporciona un toolbox para Matlab, utilizando sus
tipos nativos (matrices, estructuras).

2.5. Mtodo de entrenamiento de un clasificador

Un sistema de deteccin de objetos en imgenes consiste en dividir primero la
imagen en subventanas, y despus evaluar cada una para averiguar si contiene o no al
objeto que buscamos. La forma en que se decide si esa subventana contiene al objeto
depende del mtodo que se utilice, pero el sistema de deteccin siempre se basar en
buscar ciertas caractersticas propias del objeto. La aplicacin de dicho mtodo se basa en
unas reglas para decidir si la subventana en cuestin es el objeto o no. La clave est en que
con una de estas reglas no se podra nunca construir un sistema de deteccin porque
fallara demasiado, pero si se combinan las que se vea que funcionan mejor, se podr
conseguir un sistema deteccin de muy buena calidad.

Estado del arte 17
_______________________________________________________________________________
_______________________________________________________________________________

Para que un sistema de deteccin de objetos se considere de buena calidad, se han de
tener en cuenta bsicamente dos valores: la probabilidad de deteccin y la probabilidad de
falsa alarma [16]. La primera de ellas se obtiene como el nmero de objetos que ha
detectado el sistema frente al nmero de objetos que hay realmente en un conjunto de
imgenes. Este valor ser el que cualquier sistema de deteccin de objetos intentar
maximizar. En cuanto a la probabilidad de falsa alarma, se obtendr como el nmero de
detecciones incorrectas que ha realizado el sistema, es decir, el nmero de veces que el
sistema ha encontrado un objeto donde realmente no lo haba frente al nmero total de
detecciones. Y ese valor es el que siempre se intentar minimizar, adems teniendo en
cuenta que ambos valores son directamente proporcionales, con lo que si uno de ellos
aumenta, el otro tambin lo har.

Para construir un detector de objetos se requiere de un proceso que se denomina
entrenamiento, que se puede asimilar como un aprendizaje de la mquina sobre el objeto
que tendr que detectar en las imgenes. El entrenamiento consistir en encontrar las reglas
que mejor clasifiquen al objeto y combinarlas para formar cada etapa del detector.

El Boosting [17], como se denomina un mtodo de entrenamiento de un clasificador,
se encargar de probar cada una de estas reglas sobre un conjunto de imgenes ejemplo del
objeto, muestras positivas, y sobre otro conjunto de imgenes que no contengan al objeto,
muestras negativas, y elegir las mejores.

Cada regla va a permitir clasificar cada muestra en funcin de si sta encaja mejor o
peor con ella. Una vez reunidas las mejores, es decir, las que menor error presenten se
utilizarn para construir el detector de objetos de forma que se consiga una buena tasa de
deteccin. Esto se basar en darles mayor importancia a una reglas sobre otras
dependiendo de si presentaban un error menor o mayor respectivamente.

Dentro del conjunto muestral que se proporcionar, todos los ejemplos del objeto no
sern iguales, sino que tendrn diferentes caractersticas de enfoque, iluminacin, etc., por
tanto, una misma regla no tendr exactamente el mismo comportamiento para todos esos
ejemplos. Habr en algunos que se obtenga un error ligeramente mayor que para el resto.
18 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________
Esto sirve para hacer una clasificacin de todas las muestras de las que disponemos del
objeto en ms fciles o ms difciles de clasificar, se puede representar matemticamente
en forma de un valor, de un peso. Se recomienda dotar de un peso mayor a aquellos
ejemplos que son ms difciles de hacer encajar con las reglas simples. De este modo, se
fuerza a que la mquina aprendiz centre su atencin en estas imgenes ejemplo ms que en
las que siempre encajan bien. Con lo que el resultado final ser robusto y capaz de
generalizar ante diferentes variedades de visualizacin del objeto.

Una vez terminado el entrenamiento, se dispondr de un clasificador de objetos
prcticamente de uso inmediato.

2.5.1. Las reglas dbiles

Vamos a ver en qu consisten en concreto las reglas dbiles, tambin denominadas
hiptesis dbiles, en las que se fundamentar toda la deteccin.

Se van a evaluar reas rectangulares de una imagen del objeto y a compararlas entre
s. Supongamos que un rea es ABCD y otro rea distinto CDEF. Esta regla, que se va a
llamar h
t
, se calculara como indica en la ecuacin 1.

b
t
= zono
ABC
- zono
CLP
(1)

Donde zona
ABCD
es la suma de los valores de todos los pxeles que comprende el
rectngulo que encierran los puntos A, B, C y D. Y de la misma forma para zona
CDEF
y los
puntos C, D, E y F.

El valor que se obtenga al realizar este clculo se comparar con un umbral, que
habr sido elegido al probar la regla dbil sobre todo el conjunto de ejemplos del objeto,
conjunto muestral, y comprobar cul era el valor ptimo que permitira decidir si la
subventana evaluada mediante esta regla era o no el objeto.

Si la evaluacin de la regla supera el umbral entonces se afirmar que no se trata del
Estado del arte 19
_______________________________________________________________________________
_______________________________________________________________________________
objeto, y si queda por debajo entonces se dar la deteccin como positiva. En muy pocos
casos el resultado del clculo ser cero, esto quiere decir que la aplicacin de una regla
dbil sobre una subventana tiene error nulo.

Se podran construir reglas diferentes a sta simplemente haciendo el clculo a
diferentes escalas de esta misma estructura (siempre tomando como lmite las dimensiones
mximas de las imgenes del objeto que constituyan el conjunto muestral) o combinando
ms rectngulos, o rotando todas stas de forma vertical.

Se pueden diferenciar varias reglas en cuanto al nmero de reas rectangulares de las
que se pueden componer:

Dos rectngulos: Consiste en la diferencia entre la suma de los pxeles
comprendidos en ambos rectngulos. Se pueden dar cuatro posibles casos si
la rotamos 90, 180 o 270.

Tres rectngulos: Se calcula sumando los pxeles englobados dentro de los
dos rectngulos exteriores y restando al resultado el rectngulo interior.
Tambin podemos ponerla en vertical.

Cuatro rectngulos: Se obtiene restando la suma de cada par de rectngulos
de las dos diagonales.

A stas, que son las mismas que utilizaron Viola&Jones [18] en sus investigaciones,
se puede aadir otro tipo; la que estar formada por un nico rectngulo.

El clculo de estas reglas supone un coste computacional ligeramente elevado y esto
es un inconveniente para el sistema, ya que retardar la ejecucin del detector sobre cada
imagen. Para evaluar una imagen la dividir en subventanas que sern sobre las que se
calcularn estas reglas y adems las subventanas de una misma imagen se calcularn para
varias escalas, por tanto, deben poderse calcular con el menor nmero de operaciones
posible. En este sentido tiene un papel muy importante, como se ver en la siguiente
seccin, una forma de codificar la imagen denominada imagen integral que reduce el
20 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________
clculo de las reglas dbiles como las que hemos visto a unas pocas referencias a un array.

2.5.2. La imagen integral

La imagen integral es una forma de representar una imagen para conseguir una
evaluacin de las hiptesis dbiles muy rpida.

La imagen integral permite evaluar las caractersticas de tipo rectangular, de una
forma muy rpida a muchas escalas diferentes. Adems, como se ver, su clculo es muy
sencillo ya que requiere un nmero muy reducido de operaciones por pxel.

Para obtenerla se debe aplicar la ecuacin 2; la imagen integral en el punto (x, y) de
una imagen contiene la suma de todos aquellos pxeles que queden por arriba y a la
izquierda de dicho punto (incluyendo tambin en la suma el punto en cuestin):

ii(x, y) = i(x
i
, y
i
)
x
|
<x,i<
(2)

Donde ii(x,y) es la imagen integral e i(x, y) es la imagen original. En la figura 4 se puede
ver grficamente el significado de esta expresin.

Figura 4 Mtodo de clculo de la imagen integral

Para su clculo podemos utilizar la ley recursiva indicada en la ecuacin 3.
Estado del arte 21
_______________________________________________________________________________
_______________________________________________________________________________

s(x, y) = s(x, y -1) +i(x, y)
(3)
ii(x, y) = ii(x -1, y) +s(x, y)

Donde s(x, y) es la suma de las intensidades de los pxeles de la fila en la que se encuentra
el punto hasta y, con s(x, 1) = 0 e ii(1, y) = 0. De este modo, la imagen integral para
cualquier punto se puede calcular en un slo paso sobre la imagen original.

Utilizando esta representacin, cualquier suma rectangular dentro de la imagen se
puede calcular simplemente con cuatro referencias. Y la diferencia entre dos sumas de dos
rectngulos se puede obtener simplemente haciendo referencia a la imagen integral de ocho
rectngulos como mximo. Adems, teniendo en cuenta que en las caractersticas formadas
por dos rectngulos, stos son adyacentes, el resultado de la evaluacin se puede obtener
nicamente con seis referencias. Seran ocho si la caracterstica es de tres rectngulos y
nueve si est formada por cuatro de ellos.

Se puede ver esto ltimo de manera grfica en la figura 5, donde la suma de los
pxeles del rectngulo D se puede obtener nicamente con cuatro referencias a array. El
valor de la imagen integral en el punto 1 es la suma de los pxeles del rectngulo A. El
valor en el punto 2 es A + B, en el punto 3 es A + C, y en el 4 es A + B + C + D. La suma
dentro de D se puede obtener como 4 + 1 (2 + 3).

Figura 5 Ejemplo de clculo del valor de la imagen integral

22 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________

2.5.3. Tipos de entrenamiento

Dentro del mtodo de entrenamiento, Boosting, el tipo ms utilizado para construir
un clasificador de un detector de objetos es el denominado Adaboost [19]. Debe su nombre
a que se ajusta adaptativamente a los errores de las reglas de clasificacin dbiles que
genera el algoritmo evaluadas sobre la distribucin de muestras o ejemplos positivos.

El Adaboost toma como entrada un conjunto de m imgenes muestra, como se indica
en la ecuacin 4.

S = |(x
1
, y
1
), , (x
m
, y
m
)] (4)

Donde x
1
es una de esas imgenes ejemplo del objeto que se quiere detectar e y
1
es el peso
de la muestra x
1
. Se asumir para este caso que los pesos a los que puede pertenecer una
muestra son:

e |-1,1]

El mtodo de entrenamiento accede al algoritmo de aprendizaje dbil mediante
numerosas llamadas, en cada una de las cuales se evala una regla dbil sobre todas las
imgenes del conjunto muestral y por tanto, se las clasifica en funcin de los pesos
obtenidos para esa regla dbil, as que estn distribuidas de determinada forma porque unas
habrn resultado ms complicadas que otras. Si h
t
representa una hiptesis o regla dbil
perteneciente a la llamada numero t del mtodo de entrenamiento al algoritmo, entonces, el
error vendr dado por la ecuacin 5.

e
t
= P
|b
t
(x
) = y
] (5)

Siendo P
i
la probabilidad para la muestra i de no pertenecer a la clase que afirma el
clasificador o hiptesis dbil. El algoritmo se quedar por tanto, en cada vuelta del mtodo
de entrenamiento, con la hiptesis que mejor clasifique la distribucin de muestras, la que
menor error presente. Adems, la distribucin muestral en la que se basa el algoritmo para
Estado del arte 23
_______________________________________________________________________________
_______________________________________________________________________________
calcular el error, se va recalculando a cada vuelta, para ir dndole mayor peso a aquellas
muestras mal clasificadas por la hiptesis de la vuelta anterior.

Este mismo proceso continuar durante un total de T llamadas al algoritmo. Al final,
todas las hiptesis dbiles obtenidas, sern combinadas en una nica ley final.

Segn la manera de obtener la distribucin de las muestras y la forma de combinar
todas las leyes para obtener una nica, se pueden distinguir diferentes algoritmos de
Adaboost, que se han ido proponiendo desde diferentes lneas de investigacin.

Las tres variantes principales con las que se experimentan en la actualidad son:

Discrete Adaboost (DAB)

Real Adaboost (RAB)

Gentle Adaboost (GAB)

2.5.3.1. Discrete Adaboost (DAB)

Esta variante inicial del Adaboost se resume en los pasos siguientes:

- Entrada:

Secuencia de m ejemplos de imgenes

Algoritmo de entrenamiento

T, nmero de iteraciones del mtodo

1. Inicializar los pesos de las muestras que componen la distribucin de m
ejemplos, con w
i
= 1/m y repetimos para i=1,...,m.
24 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________

2. Llamar al algoritmo proporcionndole la distribucin de muestras

3. Evaluar la hiptesis dbil, h
t

4. Calcular el error para dicha hiptesis

5. Calcular el parmetro t, aplicando la ecuacin 7

[
t
=
s
t
1-s
t
(7)

6. Actualizar los pesos de la distribucin D
t
, segn la ecuacin 8

t+1
(i, y) =
t
(,)
z
t
[
t
[
1
2
(1+h
t
(x
i
,
i
)-h
t
(x
i
,))
(8)

Donde Z
t
es una constante de normalizacin elegida de modo que la suma de los
pesos siga valiendo la unidad.

- Salida:

La hiptesis final cuya expresin ser la ecuacin 9

b
]n
= orgmox (log
1
[
t
1
t=1
)b
t
(x, y) (9)

La evaluacin de la hiptesis dbil cuando se utilice, se comparar con un umbral
(th) escogido en funcin de las muestras del objeto proporcionadas para decidir si una
determinada subventana es el objeto o no.

En el DAB inicialmente todos los ejemplos presentan pesos iguales. Para obtener la
distribucin de pesos que utilizar la vuelta del mtodo t + 1, se partir de la que haba en
la vuelta anterior multiplicada por un valor
t
que har que el valor del peso de la muestra
x
i
aumente si h
t
la ha clasificado incorrectamente, y al contrario en el caso de que la
Estado del arte 25
_______________________________________________________________________________
_______________________________________________________________________________
clasificacin haya sido correcta. Despus los pesos son renormalizados, con lo que los
ejemplos sencillos, los cuales son correctamente clasificados por las primeras reglas
dbiles, van quedando en un segundo plano para darles una mayor importancia (con pesos
mayores) a aquellas muestras que resultan difciles, y que por tanto suelen ser
incorrectamente etiquetadas por el clasificador.

El peso de cada regla dbil h
t
se define como log(1/
t
), por tanto tendrn mayores
pesos aquellas hiptesis que presentasen menor error durante la ejecucin del algoritmo.
Finalmente, h
fin
permitir etiquetar el candidato como positivo o negativo en funcin de si
la evaluacin proporciona un resultado por encima o por debajo del umbral th.

2.5.3.2. Real Adaboost (RAB)

Esta variante del Adaboost es similar a la anterior, simplemente cambia la forma de
actualizar los pesos, que es la indicada en la ecuacin 10.

t+1
(i, y) =
t
(i, y)exp (y
- b
t
(x
, y
)) (10)

2.5.3.3. Gentle Adaboost (GAB)

La mejora de esta variante del Adaboost con respecto a los anteriores tipos se
fundamenta principalmente en una carga computacional menor y en una probabilidad de
deteccin mayor a unos valores de velocidad similares.

El GAB utiliza como entradas los mismos parmetros que las dems variedades, su
diferencia est en la forma de ir actualizando los pesos, ver ecuacin 11.

,t+1
=
,t
exp (-y
b
t
) (11)

26 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________

2.5.4. Construccin de clasificadores eficientes

Para poder evitar el alto coste computacional que supone la utilizacin de los
detectores obtenidos, tambin llamados clasificadores, se puede aplicar un mtodo para
combinarlos en una estructura en cascada o rbol. Esto incrementar la velocidad del
detector y permitir su uso en sistemas de tiempo real. El detector va progresivamente
centrando su atencin en las zonas que parecen ms prometedoras dentro de toda la
imagen, y por tanto se reserva el procesado ms complejo y con mayor coste
computacional slo a esas zonas seleccionadas.

Una cascada de clasificacin la podemos entender como un conjunto de
clasificadores sencillos que se agrupan formando diferentes etapas. Si los primeros
clasificadores de ese rbol dan una respuesta positiva a la subimagen de entrada, empieza
el procesado de esa subimagen con la segunda etapa, y as hasta el final del rbol. Una
respuesta negativa conduce a un rechazo inmediato de la subimagen.

Para construir el rbol de decisin de esta manera, los clasificadores de las etapas
finales se entrenan utilizando aquellas imgenes que los de las etapas previas han dejado
pasar. Con lo que cada etapa va realizando una tarea cada vez un poco ms compleja que la
inmediata anterior.

2.5.5. Entrenamiento de una cascada de clasificadores

El proceso de diseo de una cascada de deteccin se caracteriza por unas
determinadas tasas de deteccin y de falsa alarma que se desean conseguir. Se consideran
buenas tasas de deteccin valores entre 85% y 90% y de falsa alarma del orden de 10
5
.

Dada una cascada de clasificadores, la tasa de falsa alarma de toda la cascada vendr
dada por la ecuacin 12.
F =
=1
K
(12)

Estado del arte 27
_______________________________________________________________________________
_______________________________________________________________________________

Siendo K el nmero de etapas y f
i
la tasa de falsa alarma de cada una de las etapas por
separado. Y aplicando la ecuacin 13 se obtiene la tasa de deteccin.

=
=1
K
J
(13)

Siendo d
i
la tasa de deteccin de cada una de las etapas de la cascada.

Una vez elegidos los valores deseados para las probabilidades de deteccin y falsa
alarma se conocern las condiciones que deben cumplir las etapas por separado. Por
ejemplo, una tasa de deteccin de 0,9 se puede conseguir con 10 etapas que presenten una
tasa de deteccin de 0,99, ya que 0,99
10
0,9.

La mayora de clasificadores en cascada con un elevado nmero de reglas dbiles,
consiguen mejores resultados, sin embargo es evidente que requerirn un mayor coste
computacional. En principio, los parmetros que ms afectaran a las caractersticas de un
clasificador seran:

El nmero de etapas de la cascada
El nmero de hiptesis dbiles que forman cada etapa
El umbral de cada etapa (th)

Para construir un clasificador eficiente se seleccionan las tasas minimas f
i
y d
i
. Cada
etapa de la cascada se entrena mediante el Adaboost y se van aadiendo reglas dbiles
empleadas hasta alcanzar los valores para las probabilidades que se hayan elegido.

El proceso detallado en lenguaje natural, quedara de la siguiente forma:

1. Se seleccionan los valores para f
i
, d
i
, F y D

2. Se parte de dos conjuntos; uno con muestras positivas y otro con negativas;
P y N

28 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________

3. Se inicializan F
0
= 1; D
0
= 1; i = 0

4. Repetir mientras F
i
> F :

i ++

n
hiptesis_dbiles
= 0; F
i
= F
i1

o n
hiptesis_dbiles
= n
hiptesis_dbiles
+ 1

o Usar P y N para entrenar un clasificador con n
hiptesis_dbiles

mediante Adaboost

o Evaluar la cascada actual obtenida mediante el conjunto de
muestras de prueba para determinar F
i
y D
i

o Disminuir el umbral de la etapa i hasta que el clasificador actual
tenga una tasa de deteccin de al menos d
i
* D
i1

Si F
i
> F entonces evaluar la cascada de clasificacin actual sobre el
conjunto de imgenes que no contenan al objeto y colocar algunas de
las subventanas mal clasificadas, que por tanto han supuesto falsas
alarmas en el conjunto N.

2.5.6. Construccin de un rbol de deteccin

En el apartado anterior se explica cmo en una estructura en cascada, para cada
etapa, un cierto porcentaje de candidatos se rechaza y el resto son los que pasan a la
siguiente etapa de deteccin. En esta seccin se va a describir una estructura que permita
construir detectores orientados a objetos con una mayor variabilidad.

Estado del arte 29
_______________________________________________________________________________
_______________________________________________________________________________

Se puede interpretar como un rbol cuyas ramas estarn formadas por varios
clasificadores. El entrenamiento de un rbol de estas caractersticas partir del nodo raz,
ste se diferencia del resto de nodos en que no depende de ningn otro nodo padre.

El algoritmo es un procedimiento recursivo. En cada nodo, todas las muestras
positivas y negativas transmitidas por el nodo padre, se utilizan para entrenar un
clasificador. Despus de entrenar el nodo padre, el rbol se empieza a dividir en estas
ramas llamadas splits. Para el entrenamiento de cada una, se emplear el total de muestras
negativas y la parte correspondiente de positivas que habran resultado de dividir las que
provenan del nodo padre en tantos subconjuntos como ramas se hayan desplegado. El
algoritmo recursivo de construccin de las ramas se repetir sucesivamente hasta que se
alcance la profundidad requerida para los objetivos de deteccin especificados.

Una vez construido el rbol el proceso de clasificacin de una subventana ser el
siguiente: el candidato empezar siendo evaluado por el nodo raz (el de la primera etapa),
si ste ya lo rechaza la subimagen ser etiquetada como negativa y el proceso de deteccin
habr finalizado. Si por el contrario el nodo raz acepta la muestra, sta pasar a una de las
ramas en las que se habr dividido el nodo raz. Si la rama da al candidato como negativo,
la muestra probar suerte por la otra rama y as hasta encontrar un camino de aceptacin
que permita a la muestra alcanzar el final de rbol y pasar a la siguiente etapa. Si las supera
todas entonces ser clasificada como positiva. Si por el contrario, en algn punto del rbol
ya estn explorados todos los caminos posibles y la muestra ha sido rechazada por todos,
ya se etiquetar como negativa y se terminar el proceso.

Con esta estructura se consiguen una tasas de deteccin y falsa alarma de F K
K
y
J
K
, donde K es el nmero de etapas.

Este incremento respecto a los resultados con una cascada de clasificacin, se pueden
compensar entrenando un nmero superior de etapas, para calcularlo se debe aplicar la
ecuacin 14.
K =
Iog (
1
K
)
Iog (]
i
)
(14)

30 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________

Es lgico pensar que as se aumenta el coste computacional, sin embargo en la
prctica no ocurre as ya que estas etapas extra se evaluarn en raras ocasiones, as que su
contribucin al coste se podr considerar despreciable.

2.6. Programa de entrenamiento de un clasificador

La aplicacin que forma parte del SDK (Software Development Kit) de OpenCV
para el desarrollo del entrenamiento de un clasificador es la llamada Haartraining. Adems,
son necesarias las funciones que constituyen OpenCV para poder llevar a cabo con xito
tanto la ejecucin de la aplicacin principal como su compilacin.

El programa de entrenamiento, Haartraining, implementa todo un proceso de
construccin de los clasificadores de objetos que es considerablemente complejo tanto de
entender como en su ejecucin. sta presenta coste computacional muy elevado, tanto que
dependiendo de los tamaos de los objetos y de las caractersticas, puede llegar a durar ms
de una semana en un PC domstico.

Haartraining.cpp constituye la capa superior de la aplicacin. Su cdigo es muy
sencillo ya que nicamente se encarga de recoger todos los parmetros que ha introducido
el usuario en la llamada desde el interfaz de comandos y entonces llamar a la funcin que
realmente es la principal de la aplicacin, llamada cvCreateCascadeClassifier. Las acciones
de esta funcin se van a describir ahora ms detalladamente:

1. Reserva de Memoria: En primer lugar, se reserva la memoria necesaria para
albergar a todo el clasificador con el nmero de etapas que se hayan solicitado
desde la llamada. Se realizan las inicializaciones necesarias en la estructura de
datos que lo contendr, llamada CvCascadeHaarClassifier, y adems se asignan las
funciones encargadas de evaluar la cascada con las imgenes y de liberar la
memoria reservada al final de todo el proceso. La funcin encargada de estas tareas
es icvCreateCascadeHaarClassifier.

Estado del arte 31
_______________________________________________________________________________
_______________________________________________________________________________

2. Imgenes de las muestras negativas en vector: El fichero que contiene las muestras
negativas que se pasa desde la llamada, se abre ahora para lectura. Se cuentan todas
las imgenes que contiene y se almacenan todas en un vector. En esta tarea
intervienen las funciones icvInitBackgroundReaders e icvCreateBackgroundData.

3. Preparacin de la matriz con todas las muestras de entrenamiento: Todas las
muestras, tanto positivas como negativas que se emplearn para construir el
clasificador, se almacenan en una gran estructura de datos compuesta por matrices
y campos numricos. El tamao de las matrices vendr dado por el nmero de
muestras de las que se disponga y contendrn, desde las imgenes en s hasta sus
pesos o sus factores de normalizacin. Los campos numricos son datos como las
dimensiones de las muestras, o su nmero. Esta estructura de datos llamada
CvHaarTrainingData, es la que se va a manejar durante todo el entrenamiento para
extraer la informacin para el aprendizaje.

4. Construccin de las reglas dbiles: En este momento, se construyen todas las reglas
dbiles posibles para el tamao de la muestra que se ha elegido desde la llamada al
programa. Esto significa que se empiezan a construir rectngulos desde un tamao
mnimo que se elige tambin como parmetro, hasta alcanzar el tamao de la
muestra, tanto en alto, como en ancho. Esto supone una gran cantidad de reglas
dbiles que el proceso tendr que manejar y evaluar para elegir las mejores con las
que construir cada etapa. La funcin que realiza este trabajo es
icvCreateIntHaarFeatures.

A partir de este momento, se entra en un bucle cuyas acciones construyen una de las
etapas del clasificador. En cada una de las vueltas se construye (o si ya est hecha
se carga en memoria) una etapa.

5. Comprobacin de la existencia de la etapa: El Haartraining es capaz de seguir
entrenando un mismo clasificador que ya contiene alguna etapa. Si se da este caso,
el programa comenzara su ejecucin con la construccin de la etapa siguiente a la
ltima que ya hay construida. As en este paso el programa comprueba si la etapa
32 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________
ya existe. En ese caso, pasa directamente a la siguiente. Si no existe, prepara el
directorio que la albergar. La funcin encargada es
icvLoadCARTStageHaarClassifier.

6. Obtencin de las muestras positivas: Se abre el fichero que contiene las muestras
positivas, se comprueba su nmero y su tamao. Tras esto, se van evaluando una a
una para contar solo las que obtienen un resultado diferente de cero de la cascada.
La funcin principal que lleva a cabo este contaje es la
icvGetHaarTrainingDataFromVec.

7. Bsqueda de los candidatos negativos. A partir de las imgenes que se
proporcionan en el fichero de fondos desde la llamada, se han de extraer los
candidatos negativos que tendrn el mismo tamao que las muestras positivas. Para
su bsqueda se hace lo siguiente: van cargando las imgenes del fichero una a una,
y se parte desde el origen (x
0
= 0, y
0
= 0) de cada imagen. A partir de este punto se
toma una subventana del tamao de la muestra y se evala con la cascada de
clasificacin. Si el resultado es distinto de cero, esa subventana se computa como
candidato negativo. Despus se pasa a evaluar la siguiente subventana, cuyo origen
se situar en (x
0
+ ancho + 1, y
0
) y se har lo mismo. As, se barren todas las x, para
cada y, con pasos iguales al ancho y al alto respectivamente, de modo que al final
se barre toda la imagen extrayendo los candidatos negativos que existen en ella. Al
terminar de barrer una imagen se pasa a la siguiente y se hace lo mismo. Y al
finalizar toda la lista de imgenes de fondo de las que se dispona se vuelve a
empezar por la primera de ellas pero esta vez se toma como origen (x
0
= 1, y
0
= 1),
de forma que no se vuelven a repetir los candidatos vistos en la ronda anterior. Esta
bsqueda finaliza en el momento en el que se llega a reunir el nmero de
candidatos negativos que se le han solicitado al Haartraining desde la llamada.

Esta tarea de obtencin de los candidatos negativos, se repite al inicio de la
construccin de cada etapa, sin embargo, el programa tiene memoria y empieza a
buscar en el punto en el que se qued, es decir, que si hasta la etapa anterior haba
dado cuatro iteraciones a la lista de imgenes de fondo, y se haba quedado por
determinada subventana, la bsqueda comienza justo con la siguiente a esa ltima,
Estado del arte 33
_______________________________________________________________________________
_______________________________________________________________________________
el proceso no empieza desde el principio cada vez. As para cada etapa, consigue
informacin nueva con la que pueda continuar el aprendizaje. Se ve aqu la
importancia de proporcionar un fichero con un nmero de imgenes de fondo
suficiente como para que el programa pueda encontrar en ellas un numero de
candidatos igual al nmero de etapas que se van a construir por el nmero de
candidatos negativos que se le han solicitado desde la llamada. Es decir, se ha de
cumplir que, n
candidatostotales
n
etapas
n
candidatossolicitados
. Si no hay tantas imgenes, el
programa empieza a barrer subventanas que ya utiliz, con lo que ser ms
complicado extraer informacin, y por tanto el coste computacional que requerir el
Haartraining para finalizar el entrenamiento ir incrementndose de etapa en etapa
mucho ms que en el caso de que haya suficientes.

8. Asignacin de los pesos: Es necesario ir otorgando ms importancia a unas
muestras sobre las otras para que el clasificador vaya centrando su aprendizaje en
las ms difciles. Sin embargo, inicialmente, todas tienen pesos iguales. El peso que
se les asigna a cada una, tanto a las positivas como a las negativas sigue la
expresin definida en la ecuacin 15.

pcso =
1
nncg+npos
(15)

siendo nneg y npos el nmero de muestras positivas y de negativas que se
especifica en la llamada al programa. En el caso de estar construyendo la etapa 0,
los pesos de las muestras se dejan con este valor nico para todas, pero para
cualquier otra etapa, se reasigna para conseguir el efecto explicado arriba. De ello
se encarga la funcin llamada icvPrecalculate que utiliza las etapas que ya hay
construidas para evaluar todo el conjunto muestral y ordenarlo segn su dificultad
para su correcta clasificacin.

9. Eleccin y combinacin de las mejores reglas dbiles: En este punto del programa
ya est todo preparado para la aplicacin del mtodo de entrenamiento en esencia;
se dispone del espacio muestral ordenado, de la memoria necesaria para almacenar
la etapa y de todo el espacio de reglas dbiles posibles para el tamao de muestra
concreto. Por tanto, ahora entran en juego las funciones que aplican el mtodo para
34 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________
as seleccionar las mejores caractersticas de las disponibles y combinarlas de la
forma que mejor clasifiquen al conjunto muestral concreto del que se dispone en la
etapa en la que nos encontramos. La funcin principal que termina devolviendo las
caractersticas con sus pesos que formaran la etapa es
icvCreateCARTStageClassifier.

10. Guardamos la etapa recin construida: Slo resta almacenar la etapa que se termina
de construir en el archivo denominado AdaBoostCARTHaarClassifier.txt del
directorio correspondiente a la etapa.

11. Finalizacin: Este proceso se repetir para todas las etapas que se tengan que
construir, y al finalizar la ltima se liberar toda la memoria reservada al inicio y el
programa finalizar.

2.7. Resultados de entrenamiento

Para analizar los resultados obtenidos para los distintos entrenamientos de
clasificadores realizados se van a construir las curvas ROC (acrnimo de Receiver
Operating Characteristic o Caracterstica Operativa del Receptor) [20]. En la teora de
deteccin de seales una curva ROC es una representacin grfica de la sensibilidad frente
a (1 especificidad) para un sistema clasificador binario segn se vara el umbral de
discriminacin. Otra interpretacin de este grfico es la representacin de la razn de
verdaderos positivos (RVP = Razn de Verdaderos Positivos) frente a la razn de falsos
positivos (RFP = Razn de Falsos Positivos) tambin segn se vara el umbral de
discriminacin (valor a partir del cual decidimos que un caso es un positivo). ROC tambin
puede significar Relative Operating Characteristic (Caracterstica Operativa Relativa)
porque es una comparacin de dos caractersticas operativas (RVP y RFP) segn se cambia
el umbral para la decisin. En espaol es preferible mantener el acrnimo ingls, aunque es
posible encontrar el equivalente espaol COR. No se suele utilizar ROC aislado, debemos
decir curva ROC o anlisis ROC.

Estado del arte 35
_______________________________________________________________________________
_______________________________________________________________________________

El anlisis de la curva ROC, o simplemente anlisis ROC, proporciona herramientas
para seleccionar los modelos posiblemente ptimos y descartar modelos subptimos. La
curva ROC se desarroll por ingenieros elctricos para medir la eficacia en la deteccin de
objetos enemigos en campos de batalla mediante pantallas de radar, a partir de lo cual se
desarrolla la Teora de Deteccin de Seales (TDS). El anlisis ROC se aplic
posteriormente en medicina, radiologa, psicologa y otras reas durante varias dcadas.
Slo recientemente ha encontrado aplicacin en reas como aprendizaje automtico.

Un modelo de clasificacin (clasificador) es una funcin que permite decidir cules
de un conjunto de instancias estn en un grupo o en otro. El resultado del clasificador
puede ser un numero real, en el que el lmite del clasificador entre cada clase debe
determinarse por un valor umbral, o puede ser un resultado discreto que indica
directamente una de las clases.

Consideremos un problema de prediccin de dos clases o clasificacin binaria, en la
que los resultados se etiquetan como dos clases: positivos (p) o negativos (n). Hay cuatro
posibles resultados a partir de un clasificador binario como el propuesto. Si el resultado de
una prediccin es p y el valor real es tambin p, entonces se conoce como un Verdadero
Positivo (VP); sin embargo si el valor real es n entonces se conoce como un Falso Positivo
(FP). De igual modo, tenemos un Verdadero Negativo (VN) cuando tanto la prediccin
como el valor real son n, y un Falso Negativo (FN) cuando el resultado de la prediccin es
n pero el valor real es p.

Se define un experimento a partir de P instancias positivas y N negativas. Los cuatro
posibles resultados se pueden formular en una tabla de contingencias 2x2, como se
muestra en la figura 6.

36 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________

Figura 6 Tabla de posibles resultados con P instancias positivas y N negativas

2.7.1. El espacio ROC

Para dibujar una curva ROC slo son necesarias las Relaciones de Verdaderos
Positivos (RVP) y de Falsos Positivos (RFP). La RVP mide hasta qu punto un clasificador
o prueba diagnstica es capaz de detectar o clasificar los casos positivos correctamente, de
entre todos los casos positivos disponibles durante la prueba. La RFP define cuntos
resultados positivos son incorrectos de entre todos los casos negativos disponibles durante
la prueba.

Un espacio ROC se define por RFP y RVP como ejes x e y respectivamente, y
representa los intercambios entre verdaderos positivos y falsos positivos. Dado que RVP es
equivalente a la sensibilidad y RFP es tambin conocido como (1-especificidad), el grfico
ROC se llama a veces la representacin de (1-especificidad) frente a la sensibilidad.

El mejor mtodo posible de prediccin se situara en un punto en la esquina superior
izquierda, o coordenada (0,1) del espacio ROC, representando un 100% de sensibilidad
(ningn falso negativo) y un 100% tambin de especificidad (ningn falso positivo). Este
punto (0,1) es tambin llamado una clasificacin perfecta. Por el contrario, una
clasificacin totalmente aleatoria dara un punto a lo largo de la lnea diagonal, que se
llama tambin lnea de no-discriminacin, desde el extremo izquierdo hasta la esquina
superior derecha. Un ejemplo tpico de adivinacin aleatoria sera decidir a partir de los
resultados de lanzar una moneda al aire.
Estado del arte 37
_______________________________________________________________________________
_______________________________________________________________________________

2.7.2. Curvas en el espacio ROC

Fijar un valor de umbral determinar un punto en el espacio ROC. Por ejemplo, si se
fija ese umbral en 0,8, las probabilidades de las instancias iguales o inferiores sern
predichas como positivas, y los valores por debajo sern predichos como negativos. Por
tanto se podr calcular una matriz de confusin para ese umbral de 0,8, y encontrar el
punto correspondiente en el espacio ROC. Segn se va variando el umbral (por ejemplo, en
pasos de 0,1) se tendr una nueva matriz de confusin y un nuevo punto en el espacio
ROC. Dibujar la curva ROC consiste en poner juntos todos los puntos correspondientes a
todos los umbrales o puntos de corte, de tal modo que ese conjunto de puntos se parecer
ms o menos a una curva en el espacio cuadrado entre (0,0) y (1,1).

La curva ROC, ver figura 7, se puede usar para generar estadsticos que resumen el
rendimiento (o la efectividad, en su ms amplio sentido) del clasificador. A continuacin se
proporcionan algunos:

El punto de interseccin de la curva ROC con la lnea perpendicular a la lnea de
no-discriminacin.

El rea entre la curva ROC y la lnea de no-discriminacin.

El rea bajo la curva ROC, llamada comnmente AUC (Area Under the Curve).

38 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________

Figura 7 Ejemplo de curva ROC

El indicador ms utilizado en muchos contextos es el rea bajo la curva ROC o AUC.
Este ndice se puede interpretar como la probabilidad de que un clasificador ordenar o
puntuar una instancia positiva elegida aleatoriamente ms alta que una negativa. En
ocasiones puede ser ms til mirar a una regin especfica de la curva ROC ms que a toda
la curva. Es posible calcular reas parciales bajo la curva, o AUC parciales. Por ejemplo,
nos podramos concentrar en la regin de la curva con razones de falsos positivos ms
bajas.

Un resumen de la terminologa ms utilizada para la representacin y anlisis de las
curvas ROC sera la siguiente:

Verdaderos Positivos (VP): xitos

Verdaderos Negativos (VN): rechazos correctos

Falsos Positivos (FP): falsas alarmas

Estado del arte 39
_______________________________________________________________________________
_______________________________________________________________________________
Falsos Negativos (FN): no deteccin

Razn de Verdaderos Positivos (RVP): RVP= VP/V = VP/(VP+FN)

Razn de Falsos Positivos (RFP): RFP=FP/N=FP/(FP+VN)

2.8. Motores grficos

Bajo este concepto se engloban las libreras o componentes informticos que generan
imgenes a partir de modelos descritos en un lenguaje o estructuras de datos [21]. Junto a
motores fsicos, los motores grficos forman los llamados motores de juegos. A
continuacin se enumeran algunos de los motores grficos ms utilizados.

- OpenGL (Open Graphics Library). Desarrollado por Silicon Graphics desde
1992. Es el motor de infinidad de entornos de desarrollo CAD, visualizadores
de informacin cientfica y administrativa, y de juegos y simuladores en dos y
tres dimensiones. La versin actual es la 4.1.

- DirectX (DirectDraw y Direct3D). DirectDraw y Direct3D son los componentes
2D y 3D, respectivamente, de DirectX. DirectX es el paquete de desarrollo
software de Microsoft, en desarrollo desde 1995, para el control de bajo nivel
de perifricos y dispositivos. Su versin actual es la 11. Es el principal rival de
OpenGL, con la contrapartida de solo ser compatible con sistemas operativos de
Microsoft.

- Irrlicht, OGRE,... Son muchas las libreras de renderizacin 3D implementadas
sobre OpenGL y DirectX que proporcionan una API nica para el empleo de
cualquiera de las dos opciones.

- GTK, Qt, FLTK,... Existen multitud de libreras multiplataforma que integran
llamadas a las APIs nativas de los sistemas operativos objetivo.

40 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________

2.8.1. GTK+

GTK+ o The GIMP Toolkit es un conjunto de libreras multiplataforma para
desarrollar interfaces grficas de usuario (GUI), principalmente para los entornos grficos
GNOME, XFCE y ROX aunque tambin se puede usar en el escritorio de Windows,
MacOS y otros.

Inicialmente fueron creadas para desarrollar el programa de edicin de imagen
GIMP, sin embargo actualmente se usan bastante por muchos programas en los sistemas
GNU/Linux. Junto a Qt es una de las libreras ms populares para X Window System.

GTK+ se ha diseado para permitir programar con lenguajes como C, C++, C#, Java,
Ruby, Perl, PHP o Python. Licenciado bajo los trminos de LGPL, GTK+ es software libre
y es parte del proyecto GNU.

2.8.2. Libreras de GTK+

GTK+ se basa en varias libreras del equipo de GTK+ y de GNOME:

- Glib. Librera de bajo nivel estructura bsica de GTK+ y GNOME. Proporciona
manejo de estructura de datos para C, portabilidad, interfaces para
funcionalidades de tiempo de ejecucin como cicles, hilos, carga dinmica o un
sistema de objetos.

- GTK. Librera la cual realmente contiene los objetos y funciones para crear la
interfaz de usuario. Maneja widgets como ventanas, botones, mens, etiquetas,
deslizadores, pestaas, etc.

- GDK. Librera que acta como intermediario entre grficos de bajo nivel y
grficos de alto nivel.

Estado del arte 41
_______________________________________________________________________________
_______________________________________________________________________________

- ATK. Librera para crear interfaces con caractersticas de una gran accesibilidad
muy importante para personas discapacitadas o minusvlidos. Pueden usarse
utilidades como lupas de aumento, lectores de pantalla, o entradas de datos
alternativas al clsico teclado o ratn.

- Pango. Librera para el diseo y renderizado de texto, hace hincapi
especialmente en la internacionalizacin. Es el ncleo para manejar las fuentes
y el texto de GTK+2.

- Cairo. Librera de renderizado avanzado de controles de aplicacin.

42 Estado del arte
_______________________________________________________________________________
_______________________________________________________________________________

_______________________________________________________________________________

Captulo 3
Desarrollo

3.1. Descripcin detallada

Como se ha mencionado en las secciones anteriores el presente estudio est integrado
dentro del desarrollo del prototipo del robot asistencial ASIBOT. Un robot, desarrollado
por el grupo Robotics Lab de la Universidad Carlos III de Madrid, cuya finalidad es la
ayuda y asistencia a personas discapacitadas y de la tercera edad.

El objetivo de este proyecto es la mejora de las caractersticas funcionales del robot y
facilitar su utilizacin al usuario. Estas mejoras consisten en la integracin de un sistema
de visin por computador que permita detectar objetos, mostrando su ubicacin en una
pantalla. Se pens en realizar el estudio sobre un bote de Coca-Cola, siendo ste un objeto
cotidiano y de uso general.

Para alcanzar los objetivos propuestos se propuso disear una aplicacin informtica
ejecutable bajo entorno Linux que muestre la imagen de una cmara de red (cmara IP), a
elegir por el usuario entre varias disponibles. Mostrada en la pantalla de un computador la
imagen captada por la cmara, el programa informtico debe ser capaz de detectar la
presencia, dentro del campo de visin de la cmara, de un bote de Cola-Cola. En caso de
que exista, ste se marcar con un cuadrado y se mostrarn sus coordenadas espaciales en
pxeles dentro de la pantalla. Para ello se realizar un entrenamiento mediante el Adaboost
(ver seccin 2.5.3 y en concreto el utilizado en este proyecto es el correspondiente al
apartado 2.5.3.3) y se obtendr un archivo xml que se podr integrar en el cdigo de la
aplicacin utilizando funciones de las libreras OpenCV (ver seccin 2.4), dirigida
fundamentalmente a la visin por computador en tiempo real.

44 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________

Una vez conseguido que la aplicacin informtica funcione correctamente, se debe
disear una interfaz grfica e implementar el programa en ella. La funcin de dicha interfaz
es facilitar la utilizacin del programa al usuario, mejorar su aspecto visual y poder
seleccionar la cmara deseada entre las disponibles. Para su diseo nos basaremos en la
utilizacin de GTK+ (ver apartado 2.8).

3.2. Diseo del sistema

Para el desarrollo de este proyecto se ha seguido un mtodo de desarrollo en cascada
ascendente y descendente. Es decir, se permite la posibilidad de, cuando se han encontrado
problemas en una fase, volver a la fase anterior para realizar cambios.

Se puede estructurar el estudio en dos partes: primero, crear la aplicacin informtica
detector del bote de Coca-Cola; y segundo, disear la interfaz grfica implementando el
programa creado en la parte primera.

Los pasos a seguir para conseguir el resultado final son los siguientes:

- Crear la aplicacin detector del bote de Coca-Cola:

1. Mostrar la imagen en tiempo real de la cmara de red en una ventana.

2. Generar el archivo xml del clasificador mediante entrenamiento.

3. Realizar test y obtener las grficas de cada entrenamiento y hacer una
comparacin para elegir el mejor.

4. Crear la aplicacin informtica que muestre la imagen de la cmara de
red en una ventana y detecte el bote de Coca-Cola.

Desarrollo 45
_______________________________________________________________________________
_______________________________________________________________________________

- Disear una interfaz grfica para la aplicacin:

5. Implementar la aplicacin de OpenCV con GTK+.

6. Caracterizar la interfaz grfica.

7. Insertar las coordenadas del cuadro de deteccin en la pantalla.

A continuacin se va a explicar detalladamente cada paso seguido en el desarrollo del
proyecto, desde el inicio hasta conseguir la aplicacin final objeto del estudio.

3.2.1. Captura de imgenes en tiempo real

Para empezar a trabajar en el desarrollo del proyecto y familiarizarnos con la
utilizacin de las libreras de OpenCV se va a crear una aplicacin, bsica y sencilla, en la
que se muestra una ventana con la imagen en tiempo real capturada por una cmara de red.

Al programa que implementa esta funcionalidad se le ha llamado Programa 1. Su
cdigo se incluye en el Apndice A.II.

El resultado de la ejecucin de la aplicacin se muestra en la figura 8.

46 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________

Figura 8 Resultado de ejecucin del Programa 1

Si se quisiera realizar un programa para visualizar otra cmara de red simplemente
habra que cambiar la direccin IP de la cmara actual por la nueva.

Por ejemplo, en la lnea 8 del cdigo del Programa 1 cambiaramos:

Por:

El resultado sera el mostrado en la figura 9.

Desarrollo 47
_______________________________________________________________________________
_______________________________________________________________________________

Figura 9 Resultado de ejecucin del Programa 1 con otra cmara

3.2.2. Generacin del clasificador

La obtencin de un clasificador (detector de objetos) en rbol construido mediante el
mtodo de Boosting (ver seccin 2.5.6) para un objeto en concreto requiere el seguimiento
estricto de unos pasos que se van a describir con detalle en este captulo [22]. Una vez
completados dispondremos de un potente y rpido sistema que nos permitir procesar
imgenes a una muy elevada velocidad para determinar si existe o no un bote de Coca-
Cola en cada imagen y en caso afirmativo conocer su situacin exacta dentro de ella.

En primer lugar, se requerir una preparacin exhaustiva de las imgenes que
servirn como muestras, tanto positivas como negativas, para el aprendizaje del
clasificador. En un caso ideal, el algoritmo partir del total del espacio muestral,
distribuido en muestras positivas y negativas. As el clasificador obtenido tendr una
probabilidad de deteccin mxima y la probabilidad de falsa alarma mnima. Sin embargo,
por muy elevado que sea el conjunto de muestras facilitado al algoritmo, nunca podremos
48 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________
representar la totalidad del espacio muestral; motivo por el cual resulta fundamental
proporcionar muestras bien seleccionadas, que representen de la mejor forma posible al
total. Por tanto, este primer paso del proceso, la Preparacin de las imgenes de muestra,
es la base para obtener un clasificador con buena fiabilidad en la deteccin.

Ser necesario distinguir en esta parte, la preparacin de las muestras positivas y de
las negativas, ya que en el primer caso, el proceso se ha de centrar en la calidad de las
mismas y en el segundo en la variedad.

Seguidamente, se pasar a la parte de Entrenamiento del clasificador en rbol
mediante el mtodo del Boosting. Esta parte del proceso es la realizada por el programa
llamado Haartraining (ver apartado 2.5), la eleccin de los parmetros de entrenamiento,
tales como el tipo de caractersticas, el tamao de la muestra, la cantidad de ejemplos
positivos y negativos, entre otros, ser tambin motivo de estudio y pruebas. Al finalizar el
entrenamiento, se obtendrn como resultado las diferentes etapas del clasificador.

En tercer lugar, se proceder a la comprobacin del clasificador obtenido utilizando
el programa llamado Performance [23]. Durante este periodo de Uso y Pruebas del
clasificador analizaremos las curvas ROC (ver seccin 2.7), una grfica de trama de la
sensibilidad, o la tasa de verdaderos positivos frente a la tasa de falsos positivos, que nos
servirn para extraer las conclusiones sobre las calidades de los clasificadores y poder
elegir el de mejor funcionamiento.

3.2.2.1. Preparacin de las imgenes de muestra

Esta primera fase del proceso ha ido sufriendo numerosos cambios desde el inicio
de este proyecto, todos ellos motivados por la experiencia y los resultados obtenidos de los
clasificadores que se iban generando. Adems, se ha podido comprobar a lo largo de todas
las pruebas realizadas en todo el periodo de estudio, la gran importancia de esta primera
etapa preparatoria, ya que de ella depende en gran medida la calidad y fiabilidad del
clasificador obtenido con cada entrenamiento.

Desarrollo 49
_______________________________________________________________________________
_______________________________________________________________________________

El mtodo de entrenamiento debe encontrar las caractersticas que mejor clasifiquen
al objeto buscado, as como en combinarlas de la mejor forma posible para conseguir
obtener un detector de objetos en forma de rbol muy potente. Esta etapa preparatoria ser
precisamente la clave del xito para encontrar las mejores caractersticas, por tanto, se
requiere aplicar una excesiva meticulosidad a la hora de seleccionar las imgenes que
harn las veces de muestras positivas y de muestras negativas.

La preparacin de las imgenes para entrenamiento consiste bsicamente en
proporcionar al Haartraining (ver seccin 2.5) dos ficheros; el primero de ellos contendr
una lista de imgenes en las que no se encuentre el objeto a detectar, que constituirn las
muestras negativas. Las imgenes se deben proporcionar con su ruta de acceso completa
(directorio y nombre de la imagen). Pero donde reside la importancia de este proceso es en
la preparacin de las imgenes que se encontrarn en esa lista.

Y el otro fichero proporcionado al Haartraining para el entrenamiento ser el que
contendr las muestras positivas. Este archivo ser de nuevo una lista de imgenes, pero
acompaadas adems del nmero de muestras positivas (objetos a detectar) que contiene la
imagen y de las coordenadas en las que se encuentran dichas muestras dentro de ella en
formato x
1
y
1
x y, tantas veces como objetos indique el numero antes indicado, donde
(x
1
, y
1
) ser el punto correspondiente a la esquina superior izquierda de la muestra, x y
y ser respectivamente el ancho y el alto de la muestra en esa imagen, partiendo desde el
punto anterior.

Nos centraremos en la preparacin de las imgenes que formarn las dos listas para
ambos ficheros explicando su elaboracin.

3.2.2.1.1. Muestras negativas

Las imgenes negativas son aquellas tomadas de forma arbitraria. Lo ms importante
de estas imgenes, es que no contengan el objeto a clasificar, en este caso un bote de Coca-
Cola. Estas imgenes pueden ser de diferentes lugares.
50 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________

Las muestras negativas requieren un fichero de ndices de extensin txt para que el
programa pueda trabajar con ellas. Este fichero contiene el nombre de las imgenes usadas
como fondos con su direccin relativa dentro del sistema de ficheros.

Una pequea muestra del contenido de este archivo es la mostrada en la figura 10.

Figura 10 Ejemplo del contenido del archivo de muestras negativas

Se comenz por averiguar exactamente el proceso que realiza el Haartraining con las
imgenes de fondo para encontrar candidatos negativos. El sistema utiliza las imgenes
que se le facilitan para buscar dentro de ellas subventanas del tamao deseado para la
muestra positiva que aporten informacin para la construccin del clasificador.

En cuanto ha barrido todas las imgenes facilitadas en busca de candidatos vlidos
para el aprendizaje, vuelve a empezar por la primera. Este sistema se repite durante todo el
entrenamiento hasta que se finaliza la construccin del clasificador.

Desarrollo 51
_______________________________________________________________________________
_______________________________________________________________________________

El contenido de esas imgenes debe estar suficientemente cuidado como para que
sea factible sacar de ellas informacin para el aprendizaje.

En la figura 11 se puede observar una pequea muestra de imgenes negativas
utilizadas durante el desarrollo del proyecto (caracterizadas por la ausencia del bote de
Coca-Cola):

Figura 11 Ejemplos de imgenes negativas

52 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________

3.2.2.1.2. Muestras positivas

Son imgenes en las que se encuentra el objeto a clasificar de una forma clara, en
este caso imgenes de un bote de Coca-Cola.

Para crear el fichero de muestras positivas, se utiliza un programa denominado
Objectmarker [24], que es un programa realizado en C++ y que nos va a permitir sealar la
ubicacin de los botes de Coca-Cola en cada una de las muestras.

El programa toma como entrada un fichero que contenga una lista de imgenes a
visualizar (las imgenes deben estar en formato .bmp), lo abre y va leyendo lnea a lnea.
Representa por pantalla la imagen referenciada por cada lnea del fichero. Una vez
representada la primera de las imgenes, el programa permanece en estado de espera hasta
la llegada de algn evento de teclado o de ratn para los que est preparado para responder.
Los eventos de teclado y las acciones que provocan en el programa son los siguientes:

<Enter>: Guarda los rectngulos aadidos y muestra la siguiente imagen
<ESC>: Sale del programa
<Espacio>: Aade las coordenadas del rectngulo en la imagen actual

El objetivo ms importante del Objectmarker es precisamente seleccionar (recortar)
los objetos y crear un fichero de ndices con informacin sobre el conjunto de las muestras
para el entrenamiento. Este archivo de ndices (de extensin txt) tendr la siguiente
estructura:

nombre_archivo1 nmero_muestras x
11
y
11
w
11
h
11
x
12
y
12
...
nombre_archivo2 nmero_muestras x
21
y
21
w
21
h
21
x
22
y
22
...
...

Siendo nombre_archivo el nombre de la imagen donde se encuentran los objetos a buscar.
Debemos destacar que el nombre del archivo debe ir acompaado de su direccin absoluta
dentro del sistema de ficheros, nmero_muestras es el nmero de objetos positivos que se
Desarrollo 53
_______________________________________________________________________________
_______________________________________________________________________________
encuentran en la imagen, en nuestro caso el nmero de botes de Coca-Cola que contiene;
x
11
e y
11
las coordenadas del primer punto del rectngulo, w
11
y h
11
el ancho y alto del
rectngulo dibujado que contiene el bote; y as tantos parmetros x, y, w y h como botes
haya en la imagen.

El proceso es el siguiente:

Para una determinada imagen, se hace click con el ratn sobre un
determinado punto y se arrastra. Entonces se ir dibujando un rectngulo con el que
podremos englobar el objeto que deseemos. Al volver a hacer click, fijaremos el
tamao de la caja. Si entonces pulsamos la tecla espacio, se almacenar en el
fichero que se haya especificado en la entrada como fichero destino, la imagen con
las coordenadas de los dos puntos de la imagen donde se hizo click.

En la figura 12 se puede observar el contenido del archivo de ndices de las imgenes
positivas.

Figura 12 Muestra del archivo de imgenes positivas

54 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________

Las imgenes positivas utilizadas para el desarrollo de este proyecto han sido
tomadas desde diferentes ngulos, con diferentes fondos y diferente iluminacin. En la
figura 13 se puede observar una pequea muestra de estas imgenes:

Figura 13 Ejemplos de imgenes positivas

As disponemos de los ficheros preparados para que sirva como entrada a la
aplicacin Createsamples [25], el cual generar otro archivo con un formato determinado
preparado para su lectura por el Haartraining.

Desarrollo 55
_______________________________________________________________________________
_______________________________________________________________________________

3.2.2.2. Entrenamiento del clasificador

Una vez adquiridas las imgenes positivas y negativas y generados los archivos
correspondientes se pasar a la siguiente etapa, crear la muestra. Para ello se utilizar el
programa Createsamples. La llamada al programa desde el intrprete de comandos para
crear el fichero .vec ha sido, durante el transcurso de la totalidad del proyecto la siguiente:

opencvcreatesamplesinfoficheromuestrasvecfichero.vecnum
nmeromuestraswanchohalto

- info: Preceder al nombre del fichero lista que contendr todas las imgenes
de los objetos que constituyen las muestras positivas y cuya construccin se ha
descrito en la seccin anterior.

- vec: Tras esta etiqueta escribiremos el nombre del fichero .vec que crear el
Createsamples a partir de las muestras proporcionadas.

- num: Indica al Createsamples el nmero de muestras que contiene el fichero
lista y que por tanto aadir en el formato adecuado en el fichero .vec.

- w: Indica el ancho deseado para las muestras creadas en la ejecucin del
Createsamples. Su valor por defecto es de 24 pxeles.

- h: Indica el valor para el alto de las muestras. Su valor por defecto es de 24
pxeles.

Con la llamada al programa especificada arriba, donde se introducen como
parmetros de entrada al Createsamples el fichero con la lista y el fichero destino donde
almacenar las muestras con el tamao deseado, el programa ejecuta una funcin llamada
cvCreateTrainingSamplesFromInfo cuyo objetivo es redimensionar las muestras al tamao
solicitado y almacenarlas en el fichero destino .vec.

56 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________

Para la elaboracin de nuestro clasificador se crearon las muestras con un tamao de
50x65 pxeles.

En concreto la llamada a la aplicacin para nuestro detector del bote de Coca-Cola es
la siguiente:

opencvcreatesamples info positive/info.txt vec data/vector.vec
num165w50h65

Tras realizar este proceso se crear un vector que contiene las imgenes de muestra.
Una vez preparadas las imgenes, ya se puede iniciar el entrenamiento de un clasificador
mediante el mtodo de entrenamiento. Para ello se utiliz el programa construido por Intel
llamado Haartraining (ver seccin 2.5).

Un clasificador es realmente un conjunto de directorios, uno por etapa, que contienen
un archivo de texto donde se han escrito las caractersticas seleccionadas en un formato
muy similar al que hemos visto para construirlas.

En la figura 14 podemos observar el contenido real del fichero
AdaBoostCARTHaarClassifier.txt que constituye la primera etapa de un clasificador para
botes de Coca-Cola construido con 165 muestras positivas y 200 candidatos negativos
[26]. En este fichero se encuentra toda la informacin necesaria para decidir si una
subventana es el objeto buscado o no. La primera cifra del fichero indica el nmero de
clasificadores dbiles en la etapa. El siguiente es la cantidad de nodos que tiene el rbol de
clasificacin. El siguiente refleja el nmero de rectngulos de los que se compone el nodo,
seguido de las mismas lneas, una por cada rectngulo especificando sus coordenadas que
se encuentran ordenadas en la forma: x
origen
, y
origen
, ancho, alto, 0, peso. La siguiente lnea
recoge el nombre de la caracterstica en cuestin y la siguiente indica el umbral de rama (si
la respuesta <= umbral el camino a seguir es la rama izquierda, si no el camino es la rama
derecha) y los ndices de rama izquierda y derecha respectivamente. Se muestran los
parmetros de todos los nodos y finalmente se muestran las tasas de falsa alarma del nodo.
Todos los valores anteriores se repiten para todos los clasificadores que forman la etapa.
Desarrollo 57
_______________________________________________________________________________
_______________________________________________________________________________

Figura 14 Contenido del fichero de la primera etapa del clasificador.

La llamada a la funcin para entrenar el detector del bote de Coca-Cola es la
siguiente:

opencvhaartraining data data/cascade vec data/vector.vec bg
negative/infofile.txtnpos165nneg200nstages30mem1000
modeALLw50h65nsplits2minhitrate0,999

El significado de cada uno de los argumentos:

o data: Se utiliza para especificar el directorio donde el programa ir
almacenando el clasificador a medida que lo construya. Haartraining
crea un directorio para cada una de las etapas con el nombre del nmero
de la etapa, donde almacena el archivo
AdaBoostCARTHaarClassifier.txt cuya estructura hemos visto en el
apartado anterior.

58 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________
o vec: Tras esta etiqueta se especifica el fichero con extensin .vec creado
mediante Createsamples, que contiene la informacin de las muestras
positivas.

o bg: Precede al fichero que contenga la lista de imgenes de fondo en las
que se buscarn los candidatos negativos.

o npos: Se introducen tras esta etiqueta el nmero de muestras positivas
que contiene el fichero .vec. Su valor por defecto es 2000.

o nneg: Aqu se introduce el nmero de muestras negativas que se le
solicita al entrenamiento que encuentre en las imgenes de fondo del
tamao especificado. Su valor por defecto tambin es 2000.

o nstages: Sirve para especificar el nmero de etapas deseadas de las
que se compondr el clasificador. El valor por defecto es 14.

o mem: Selecciona la memoria que se va a utilizar para el proceso de
entrenamiento.

o mode: Permite escoger para las caractersticas, si se desea el conjunto
bsico (BASIC) o el conjunto extendido (ALL). La forma por defecto es
la primera.

o w: Sirve para especificar el ancho de las muestras positivas
proporcionadas. Su valor por defecto es 24 pxeles.

o h: Sirve para especificar el alto de las muestras positivas. Su valor por
defecto es tambin 24 pxeles.

o nsplits: Hace referencia a la estructura del rbol de clasificacin, que
determina la debilidad del clasificador. En nuestro caso se utilizar el
clasificador con 2 divisiones internas de nodos.
Desarrollo 59
_______________________________________________________________________________
_______________________________________________________________________________

o minhitrate: Mnima tasa de deteccin que se desea alcanzar en cada
etapa, siendo la tasa del clasificador completo ese mismo valor elevado
al nmero de etapas. El valor por defecto es 0,995.

Durante todo el transcurso del proyecto se estuvieron realizando entrenamientos de
diferentes clasificadores investigando sobre los efectos del proceso de preparacin de las
imgenes y los valores para los parmetros de entrada.

Para preparar las muestras positivas es necesario recortar una a una mediante el
Objectmarker para despus realizar todo el proceso que conduce a la creacin del fichero
.vec mediante el Createsamples. En general para el entrenamiento de un clasificador se
deben reunir ms de 1000 muestras, pero para el detector del bote de Coca-Cola y tras el
estudio y las pruebas realizadas se ver, que eligiendo correctamente las muestras, con
menos de 200 el detector tiene mejor calidad. En concreto para la construccin del
clasificador de este proyecto se han utilizado 165 muestras positivas.

En el caso de las muestras negativas, el archivo que se utiliza contiene imgenes
completas, as que el programa puede barrer cada una de las imgenes del archivo y
encontrar varios candidatos negativos. De este modo, el archivo puede contener 400
imgenes por ejemplo, y el flag -nneg puede valer 2000. Sin embargo, la mejor prctica
ser ajustar el valor de -nneg al nmero de imgenes reales que proporcione el fichero de
fondos. En este estudio se han tomado 200 imgenes como muestras negativas.

En cuanto al nmero de etapas del clasificador, se podra decir que hay un nmero
ptimo diferente para cada clasificador dependiendo del resto de parmetros y del tipo de
imgenes y muestras a las que vaya destinado. Pero por lo general, se puede asegurar que
un clasificador presentar un buen comportamiento a partir de las 14 etapas que
efectivamente es el valor por defecto del programa.

El resto de parmetros dependen totalmente del tipo de prueba que se desee realizar.

60 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________

El Haartraining genera un archivo xml cuando el proceso haya terminado. Si se desea
convertir los archivos de salida del Haartraining en un archivo xml, si ste aun no ha
concluido con el entrenamiento, se debe usar la aplicacin cascade2xml.

La llamada a la aplicacin cascade2xml para nuestro detector del bote de Coca-Cola
sera la siguiente:

./cascade2xml.exedatacascada.xml5065

Donde,

- data: Indica el directorio donde se han almacenado los archivos del
clasificador.

- cascada.xml: Se especifica el archivo con extensin .xml creado por el
cascade2xml, que contiene la informacin de los archivos del clasificador.

- 5065: Es el ancho y alto, respectivamente, de las muestras utilizadas durante
el entrenamiento con el Haartraining.

3.2.3. Integracin del clasificador en aplicacin C++

Para comenzar con el diseo de la aplicacin informtica del detector se va a realizar
un programa ejecutable que muestre la imagen de una cmara de red (cmara IP), que
cargue el archivo xml creado en el entrenamiento del clasificador del detector, que detecte
la presencia de un bote de Coca-Cola y que el resultado lo muestre por pantalla. Si hay
bote, ste se marcara con un rectngulo.

Desarrollo 61
_______________________________________________________________________________
_______________________________________________________________________________

cdigo se incluye en el Apndice A.III.

En resumen, los pasos seguidos para el diseo de esta aplicacin son los siguientes:

Funcin principal (main):

1. Crear un puntero a imagen y otro a copia de imagen.

2. Cargar clasificador segn xml creado en el entrenamiento.

3. Crear memoria de almacenamiento de clculos.

4. Tomar fuente de entrada, en este caso la direccin IP de la cmara de red.

5. Verificar fuente de entrada y clasificador.

6. Crear ventana para mostrar el resultado.

62 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________

7. Grabar y almacenar la imagen del video.

8. Crear copia modificada de la imagen.

9. Si el origen de la imagen est en la parte superior izda. se copia la imagen en el
puntero a copia de imagen (framecopy), en caso contrario (origen en la parte
inferior izda.) la voltea alrededor del eje x.

10. Llamar a la funcin Detection.

11. Liberar copia de imagen y fuente de entrada.

Funcin Detection:

Para poder detectar mejor lo primero que hay que hacer es ecualizar el histograma
(ver seccin 2.3.4) de la imagen tomada y para ello necesitamos pasar la imagen a un
tamao determinado y a escala de grises. Para ello hacemos los siguientes pasos:

Desarrollo 63
_______________________________________________________________________________
_______________________________________________________________________________

1. Crear una imagen (que pasar a escala de grises).

2. Crear otra imagen a la escala que se le indique (mayor que 1), con lo que la
imagen queda ms pequea.

3. Convertir la primera imagen creada a escala de grises.

4. Cambiar el tamao de la imagen a escala de grises igual a la imagen a escala.

5. Realizar la ecualizacin del histograma.

6. Limpiar memoria de almacenamiento de clculos.

Si se ha creado bien el clasificador:

7. Crear puntero a los rectngulos que identifican a los botes en la imagen
modificada y a escala de grises.

64 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________
Los parmetros de esta funcin son:

bote: Nombre del puntero.
small_img: Imagen.
classifier: Clasificador.
MemStorage: Memoria reservada para las imgenes con rectngulo.
1.2: Escala.
2: Nmero mnimo (menos 1) de rectngulos vecinos que quedan
encima de un objeto.
0: Modo de operacin.
cvSize(50,65): Tamao en pxeles de las imgenes muestras.

Dentro de esta imagen, para cada bote detectado:

7.1. Obtener las caractersticas de uno de los rectngulos.

7.2. Obtener las coordenadas de los dos puntos que definen este
rectngulo (teniendo en cuenta la escala).

7.3. Dibujar el rectngulo en la imagen.

Los parmetros de la funcin son:

img: Imagen.
point1: Punto 1 del rectngulo, corresponde al vrtice del
rectngulo.
D
________
________
I.T.I.

Desarrollo
__________
__________
.: Electrnic
8. Most

9. Liber

El resultad

Fig
__________
__________
ca Industria
trar imagen
rar imagen
do de la ejec
gura 15 Im
__________
__________
al
point2: P
CV_RGB
3: Define
8: Tipo d
0: Nme
punto
n en ventana
a escala de
cucin de e
magen del r
__________
__________
Punto 2 del r
B(255,0,0):
e el grosor d
de lneas del
ero de bits
s.
a.

grises e im

sta aplicaci
resultado de
__________
__________
rectngulo,
Define e
rectngul
de las lneas
l rectngulo
fraccionari
magen modif
n se puede
e ejecucin d
__________
__________
Ra
vrtice opu
el color d
lo.
s del rectng
o.
ios en las c

ficada en esc

e observar e
del Progra
__________
__________
al Snchez
uesto al pun
de las ln
gulo.
coordenada
cala de gris
en la figura
ama 2
65
_________
_________
lvarez
to 1.
neas del
as de los
ses.
15.

66 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________

3.2.4. Implementacin del mdulo de usuario

Una vez realizado el programa para mostrar la imagen de la cmara de red, cargar el
clasificador para detectar la presencia del bote de Coca-Cola y en caso afirmativo marcarlo
mediante un rectngulo vamos a disear una interfaz grfica para facilitar su manejo al
usuario y mejorar su funcionalidad. Para ello primero se crear un programa sencillo para
familiarizarse con la librera GTK+, para despus disear el programa final implementando
el Programa 2, cdigo incluido en el Apndice A.III, con la interfaz grfica.

3.2.4.1. Crear ventana con GTK+ con un botn y una funcin

Antes de disear la aplicacin final objeto del proyecto y para empezar a
familiarizarse con el uso de las libreras de GTK+ se crear un programa bsico. Al
ejecutar dicho programa se mostrar una ventana con un botn y un texto. Si se presiona en
el botn se invierte la frase mostrada y as sucesivamente. Para salir del programa
presionamos sobre el aspa en la parte superior derecha de la ventana.

cdigo se incluye en el Apndice A.IV.

El programa consta de tres funciones: la principal; la encargada de crear la ventana; y
la que realiza la inversin del texto, que es la accin deseada al pulsar el botn.

En la funcin principal inicializamos la toolkit necesaria para las funciones de
GTK+, llamamos a la funcin para crear la ventana, ajustamos el tamao deseado de la
misma, activamos los parmetros fijados al caracterizar la ventana, creamos una seal para
cerrar la ventana y ejecutamos el bucle principal hasta que demos la orden en el cdigo
para salir de l.

En la funcin para crear la ventana se pueden diferenciar cuatro partes: la declaracin
Desarrollo 67
_______________________________________________________________________________
_______________________________________________________________________________
de las variables; la definicin de esas variables; la construccin del entorno de la ventana;
y la creacin de la seal encargada de llamar a la funcin de invertir el texto al presionar el
botn de la ventana.

La funcin para invertir el texto consta de entrada, implementacin de cdigo y
salida.

El uso y resultado de ejecutar el programa se muestra en las figuras 16, 17, 18 y 19; y
es el siguiente:

Al iniciar el programa:

Figura 16 Inicio de ejecucin del Programa 3

68 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________
Al presionar el botn:

Figura 17 Seleccin del botn del Programa 3

Se puede observar:

Figura 18 Resultado de ejecucin de seleccin del Programa 3
Desarrollo 69
_______________________________________________________________________________
_______________________________________________________________________________

Para salir del programa presionamos el aspa superior derecha:

Figura 19 Seleccin del botn para salir del Programa 3

3.2.4.2. Diseo aplicacin con el Programa 2 y GTK+

Una vez realizado el programa del apartado anterior, ya se empezar a disear la
aplicacin final objeto del proyecto. Para empezar, se disear un programa que cree una
ventana, que muestre la imagen de una cmara de red, que cargue el detector del bote de
Coca-Cola y se marquen stos, en caso de que existan, con un rectngulo. Todo ello
implementado con una interfaz grfica con un botn que ejecuta el inicio de la deteccin.

cdigo se incluye en el Apndice A.V.

El uso y resultado de la ejecucin de este programa se muestra en las figuras 20, 21, 22
y 23; y es el siguiente:
70 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________
Al inicio:

Figura 20 Inicio de ejecucin del Programa 4

Al pulsar el botn que activa la visin de la cmara, en este caso slo hay un botn y
por tanto slo una cmara:

Figura 21 Seleccin del botn del Programa 4
D
________
________
I.T.I.

salir
Desarrollo
__________
__________
.: Electrnic
Fig
Para desac
del program

__________
__________
ca Industria
gura 22 Re
ctivar la im
ma pulsaram
Figura 23
__________
__________
al
esultado de
magen de la
mos el aspa
Seleccin
__________
__________
ejecucin d
cmara y e
a de la parte
del botn p
__________
__________
de seleccin
el detector
superior de
para salir del
__________
__________
Ra
n del Progr
pulsaramo
erecha de la
l Programa
__________
__________
al Snchez
ama 4
s la tecla E
a ventana:
a 4
71
_________
_________
lvarez

Esc. Para

72 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________

3.2.4.3. Caracterizar la interfaz grfica

En el apartado anterior se dise el programa base para crear la aplicacin final
deseada, en ste se va a caracterizar la interfaz grfica para mejorar su aspecto visual y la
funcionalidad del programa aumentando otras opciones dentro del men del usuario.

El resultado de la ejecucin de dicho programa, correspondiente al cdigo incluido
en el Apndice VI, se puede observar en la figura 24.

Figura 24 Imagen de la ejecucin del Programa 4 (programa base)

La primera mejora consiste en cambiarle los colores a la ventana para que tenga
mayor impacto visual y aadirle el logotipo de la Universidad Carlos III de Madrid.

Desarrollo 73
_______________________________________________________________________________
_______________________________________________________________________________

El resultado se puede ver en la figura 25.

Figura 25 Ejecucin del Programa 4 con la primera mejora

La siguiente mejora, que afecta tanto al aspecto visual como al funcional, es la
creacin de un men de usuario donde poder elegir la opcin deseada a ejecutar. En dicho
men se han incluido cuatro botones: tres de ellos para elegir entre una de las tres cmaras
de red disponibles; y el cuarto para elegir cargar el detector del bote de Coca-Cola
utilizando la imagen captada por la cmara web.

Al ejecutar el programa con esta mejora tendramos la imagen de la figura 26.

74 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________

Figura 26 Ejecucin del Programa 4 con la segunda mejora

La ltima mejora realizada en la interfaz grfica es la de aadir otro botn para poder
salir del programa sin tener que pinchar en el aspa de la parte superior derecha de la
ventana. De este modo queda establecido el men del usuario completo. Adems en cada
uno de los botones se ha subrayado la parte que identifica la cmara a utilizar para facilitar
su localizacin.

El resultado es el mostrado en la figura 27.

Desarrollo 75
_______________________________________________________________________________
_______________________________________________________________________________

Figura 27 Ejecucin del Programa 4 con la ltima mejora

3.2.4.4. Insertar las coordenadas del rectngulo de deteccin en la pantalla

Para finalizar el diseo del programa requerido se va a realizar una nueva mejora
funcional, correspondiente al segundo objetivo establecido para este estudio, que consiste
en mostrar las coordenadas espaciales en pxeles de la ubicacin del bote de Coca-Cola
dentro de la ventana del detector. Estas coordenadas se visualizarn en la parte inferior del
cuadro que seala el bote.

Por tanto, la funcin encargada de la deteccin quedara como se muestra en la
Funcin 1, cuyo cdigo se incluye en el Apndice A.I.

Para poder visualizar las coordenadas del bote de Coca-Cola en la pantalla ha sido
necesario crear una nueva funcin para convertir las coordenadas de los puntos de la
ubicacin del bote obtenidas como parmetros enteros a cadenas de caracteres y poder
impresionarlas en la pantalla.
76 Desarrollo
_______________________________________________________________________________
_______________________________________________________________________________
En la figura 28 se puede observar el resultado de la ejecucin del Programa 4 con
la Funcin 1, para una de las cmaras IP disponibles.

Figura 28 Ejecucin del Programa 4 con la Funcin 1, para una de las cmaras IP

Una vez realizado, el diseo del programa objeto del presente proyecto vamos a ver
un resumen del cdigo en lenguaje C++ del mismo.

El cdigo del programa final completo es el correspondiente al Programa 5, cuyo
cdigo se incluye en el Apndice A.VI.

Podemos observar que consta de ocho funciones. La primera es la funcin principal
(main); las tres siguientes corresponden a la activacin de la deteccin de cada una de las
tres cmaras de red disponibles; la quinta a la activacin de la deteccin mediante la
imagen de la cmara web; la sexta se encarga de salir del programa cuando es activada; la
sptima es la funcin que detecta y ubica mediante sus coordenadas espaciales la presencia
del bote de Coca-Cola en la imagen de la cmara seleccionada previamente; y la octava
hacer la conversin de parmetro entero a cadena de caracteres necesario para visualizar
correctamente las coordenadas del bote en la pantalla.
_______________________________________________________________________________

Captulo 4
RESULTADO Y FUNCIONAMIENTO

4.1. Anlisis de resultados

Una vez ejecutado el programa Haartraining, el clasificador puede ser probado con la
utilidad Performance.

La llamada a la aplicacin Performance para probar el clasificador del bote de Coca-
Cola es la siguiente:

opencvperformance data data/cascade info positive/info.txt w
50h65ni

Donde los argumentos son:

- data: Nombre del directorio donde se almacena el clasificador.

- info: Preceder al nombre del fichero lista que contendr todas las imgenes
de los objetos que constituyen las muestras positivas.

- w y h: Tamao de las muestras (en pxeles). Debe ser el mismo que el usado
durante el entrenamiento con la utilidad Haartraining.

- ni: Suprime la opcin de almacenar las imgenes del archivo de deteccin.

78 Resultado y funcionamiento
_______________________________________________________________________________
_______________________________________________________________________________
La salida por pantalla ser de la forma:
+================================+======+======+======+
| File Name | Hits | Missed | False |
+================================+======+======+======+

Donde File Name indica el nombre del archivo analizado, Hits muestra el nmero de
objetos correctos encontrados en el archivo, Missed el nmero de objetos no encontrados,
que el programa detecta que existen pero no los encuentra (falsos negativos) y False el
nmero de falsas alarmas, que no existen pero el programa los detecta (falsos positivos). Si
el objeto a buscar es encontrado correctamente, la nueva imagen contendr un rectngulo
rojo alrededor del objeto; si devolvi un falso negativo, la imagen ser igual a la original y
si devolvi un falso positivo, la imagen contendr un rectngulo rojo situado donde el
programa detect el falso positivo.

Se mostrar una lnea por cada muestra positiva y al final se muestra el total del
archivo. Tambin podemos observar otros tres parmetros: nmero de etapas, nmero de
clasificadores dbiles y tiempo total. En la figura 29 podemos ver el resumen del resultado
obtenido con la aplicacin Performance.

Figura 29 Resumen del resultado de la aplicacin Performance
Resultado y funcionamiento 79
_______________________________________________________________________________
_______________________________________________________________________________

Por ltimo, se muestra una tabla para construir el diagrama ROC (ver seccin 2.7),
como se muestra en la figura 30.

Figura 30 Tabla obtenida de Performance para construir la tabla ROC

Para dibujar dicho diagrama se puede utilizar el programa Matlab. Para ello se debe
usar el siguiente cdigo [27]:

ROC=[tabla(todaslaslneas)];
plot(ROC(:,4),ROC(:,3));

4.1.1. Detectores

Una vez explicado todo el proceso, desde la adquisicin de las muestras hasta la
creacin del archivo xml del clasificador, y las posteriores pruebas para evaluarlos, se van
a comparar los clasificadores creados a lo largo del presente estudio hasta llegar al
clasificador final con las mejores caractersticas y funcionamiento de deteccin.

_______________________________________________________________________________
_______________________________________________________________________________

Aunque para la elaboracin de este estudio se llev a cabo la realizacin de
numerosos clasificadores de deteccin, se van a ver en profundidad solo alguno de ellos,
los ms representativos. Para cada uno se mostrar el resumen de: muestras positivas,
muestras negativas, objetos encontrados, falsos negativos, falsos positivos, nmero de
etapas, tiempo total de prueba y curva ROC. En el CD adjunto a este proyecto se pueden
ver las imgenes y caractersticas de cada etapa para todos los clasificadores entrenados.

Para analizar la curva ROC del clasificador nos basaremos en dos parmetros:
cercana de la curva con el punto de clasificacin perfecta (0,1), es decir, ningn falso
negativo y ningn falso positivo; y rea entre la curva ROC y la lnea de no-
discriminacin, es decir, la diagonal trazada desde el extremo inferior izquierdo hasta la
esquina superior derecha de la grfica.

Detector 1

Muestras positivas--> 1463 ( 30x30 pxeles )
Muestras negativas--> 2053 ( 320x240 pxeles)
Objetos encontrados--> 184
Falsos negativos--> 1279
Falsos positivos--> 183
Nmero de etapas--> 27
Tiempo total--> 129 segundos

Como vemos el nivel de acierto es muy bajo, slo han sido encontrados 184
objetos y disponemos de 1463 muestras positivas, lo que supone un 12,6% de
aciertos, es decir, un 12,6% de posibilidades de que si existe un bote de Coca-Cola
en una imagen el clasificador lo encuentre. Tambin observamos que el nmero de
falsos positivos es un poco elevado y el de falsos negativos es muy alto, por tanto,
el clasificador no detectara correctamente un bote de Coca-Cola en la imagen.

La curva ROC, figura 31, no tiene apenas rea con respecto a la lnea de no-
discriminacin y dista mucho del punto de clasificacin perfecta (0,1).
_______________________________________________________________________________
_______________________________________________________________________________

Figura 31 Curva ROC del detector 1

Detector 3

Muestras positivas--> 2650 ( 30x30 pxeles)

Para realizar el entrenamiento de este detector se aument
considerablemente el nmero de muestras positivas y negativas, pensando en que
cuanto mayor fuese el nmero de stas mejor funcionamiento tendra el detector.
Como vemos el nivel de acierto ha aumentado llegando a 50,6%, pero aun sigue
siendo bajo. Tambin observamos que el nmero de falsos negativos se ha
incrementado ligeramente y el de falsos positivos se ha elevado mucho, por lo que
la imagen del detector mostrara una gran cantidad de rectngulos marcando un
_______________________________________________________________________________
_______________________________________________________________________________
bote de Coca-Cola cuando en realidad no hay. El tiempo de prueba se ha visto
incrementado sustancialmente debido a que en cada etapa resulta ms complicado
encontrar y combinar caractersticas que clasifiquen bien al conjunto muestral del
que se dispone.

La curva ROC, figura 32, tiene mejores caractersticas que la anterior pero
aun tiene poca rea con respecto a la lnea de no-discriminacin y dista mucho del
punto de clasificacin perfecta (0,1).


Detector 8


_______________________________________________________________________________
_______________________________________________________________________________

Viendo que el resultado de los anteriores clasificadores no eran
satisfactorios se decidi hacer cambios en los parmetros de entrenamiento. En este
detector se redujo el nmero de muestras positivas y negativas y se cambi el
tamao de cuadrado a rectangular, ya que un bote de Coca-Cola no es cuadrado.
Realizando estos cambios vemos que el tiempo total es bastante menor a las
anteriores pruebas, el nivel de acierto ha aumentado llegando a 91,5%, un valor
aceptable para un detector, pero el nmero de falsos positivos tiene un valor
claramente inaceptable. Utilizando este detector se veran en la imagen muchos
rectngulos indicando un bote de Coca-Cola donde realmente no lo hay.

En la curva ROC, figura 33, cabe destacar el valor muy alto de la tasa de
falsos positivos por lo que las caractersticas de este clasificador, an teniendo una
tasa de aciertos aceptable, son muy deficientes.


_______________________________________________________________________________
_______________________________________________________________________________
Detector 10

Tiempo total--> 1 segundo

Aunque el resultado de este clasificador ya se esperaba, por lo
experimentado en el anterior, se hizo otro entrenamiento disminuyendo an ms el
nmero de muestras positivas y negativas. El tiempo total en este caso es menor
que en el anterior, tenemos una tasa de acierto del 100%, pero el nmero de falsos
positivos sigue siendo muy alto. Por tanto, este clasificador no rene las
condiciones necesarias para formar parte del detector.

La curva ROC, figura 34, es similar a la anterior, el valor de la tasa de falsos
positivos es excesivo para un correcto funcionamiento.

_______________________________________________________________________________
_______________________________________________________________________________
Detector 18


Para el entrenamiento de este clasificador se aumentaron tanto el nmero de
muestras positivas como el de negativas. Adems se aument el tamao de las
muestras creadas para mejorar sus proporciones y facilitar la deteccin. El resultado
es un clasificador con una tasa de acierto del 91,5%, 9 falsos negativos y 40 falsos
positivos, por lo que es un clasificador bastante aceptable en cuanto a sus
caractersticas.

En la curva ROC, figura 35, se puede apreciar que el clasificador es bastante
bueno. El eje de la tasa de falsos positivos tiene un valor pequeo, la grfica est
bastante prxima al punto (0,1), punto de clasificacin perfecta, y el rea entre la
curva y la lnea de no-discriminacin es grande.

_______________________________________________________________________________
_______________________________________________________________________________

Se puede afirmar que este clasificador rene las caractersticas suficientes
para formar parte de un detector, se va a realizar algn cambio ms para intentar
mejorarlo y si no es posible este ser el clasificador para el detector del bote de
Coca-Cola objeto de este estudio.

Detector 21


Hasta ahora para todos los entrenamientos realizados se ha utilizado un
tamao de las imgenes adquiridas para conseguir las muestras positivas y
negativas de 320x240 pxeles. Para este clasificador vamos a aumentar el tamao
de las imgenes a 640x512 pxeles, manteniendo el tamao de las muestras
positivas en 50x65 pxeles. Tambin se han incluido ms muestras positivas.
Vemos que los resultados no son satisfactorios puesto que la tasa de aciertos ha
disminuido a 66,4% y el nmero de falsos positivos a aumentado notablemente.

En la curva ROC, figura 36, cabe destacar la alta tasa de falsos positivos y la
baja tasa de verdaderos positivos. Por tanto, esta curva dista mucho del punto de
clasificacin perfecta (0,1).
_______________________________________________________________________________
_______________________________________________________________________________


Detector 25


En este ltimo entrenamiento explicado, se aumentan aun ms el tamao de
las imgenes utilizadas para crear las muestras a 800x640 pxeles y disminuimos el
nmero de muestras positivas. El resultado no difiere mucho del anterior
clasificador ya que se alcanza una tasa de aciertos del 50,7% y el numero de falsos
positivos se ha disminuido muy ligeramente.

La curva ROC, figura 37, no presenta tampoco grandes cambios con
respecto al anterior, la tasa de falsos positivos es muy grande y la curva se aleja
mucho del punto de clasificacin perfecta (0,1).
_______________________________________________________________________________
_______________________________________________________________________________


4.2. Conclusiones de resultados

Despus de realizar el entrenamiento a diferentes clasificadores, cambiando varios
parmetros en cada uno de ellos y analizando los resultados, llegamos a la conclusin de
que el mejor clasificador para formar parte del detector del bote de Coca-Cola es el
Detector 18. Para ello se utilizaron 165 muestras positivas y 200 negativas.

Una vez elegido el clasificador a utilizar y creado el archivo xml del entrenamiento
se va a pasar a disear la aplicacin informtica para crear el detector del bote de Coca-
Cola. Para llegar a la aplicacin final se ir diseando paso a paso, primero se mostrar la
imagen de la cmara de red y se cargar el detector y despus se implementar la interfaz
grfica hasta llegar al resultado final requerido en este proyecto.

El funcionamiento y resultado de ejecucin del Programa 5 se puede observar a lo
largo de la secuencia de imgenes entre la figuras 38 y 47. Al ejecutar el programa aparece
la pantalla con el men del usuario para elegir la opcin deseada:

_______________________________________________________________________________
_______________________________________________________________________________

Figura 38 Ejecucin del Programa 5

Si presionamos uno de los tres botones primeros, marcados con amarillo, activamos la
deteccin del bote de Coca-Cola en la imagen de la cmara de red seleccionada:

Figura 39 Seleccin para ejecutar la primera cmara en el Programa 5
_______________________________________________________________________________
_______________________________________________________________________________

Figura 40 Resultado de ejecucin de la primera cmara en el Programa 5

Figura 41 Seleccin para ejecutar la segunda cmara en el Programa 5
_______________________________________________________________________________
_______________________________________________________________________________

Figura 42 Resultado de ejecucin de la segunda cmara en el Programa 5

Figura 43 Seleccin para ejecutar la tercera cmara en el Programa 5
_______________________________________________________________________________
_______________________________________________________________________________

Figura 44 Resultado de ejecucin de la tercera cmara en el Programa 5

Si presionamos el cuarto botn, marcado con magenta, activamos la deteccin del bote de
Coca-Cola en la imagen de la cmara web.

Figura 45 Seleccin para ejecutar la cmara web en el Programa 5
_______________________________________________________________________________
_______________________________________________________________________________

Figura 46 Resultado de ejecucin de la cmara web en el Programa 5

Y si presionamos el ltimo botn, marcado con verde, salimos del programa.

Figura 47 Seleccin del botn para salir del Programa 5

Por ltimo, comentar que si durante la ejecucin del detector, independientemente de
la cmara seleccionada, pulsamos la tecla Esc volvemos al men del usuario.
_______________________________________________________________________________
_______________________________________________________________________________

_______________________________________________________________________________

Captulo 5
CONCLUSIONES Y POSIBLES MEJORAS

Para finalizar este proyecto se van a comentar las conclusiones obtenidas tras todo el
estudio realizado, tanto de las aplicaciones utilizadas como del propio desarrollo del
mismo. Primero, se presentar un pequeo anlisis crtico; segundo, se comentarn las
conclusiones de todo el desarrollo del proyecto, desde el planteamiento de los objetivos
hasta la obtencin de los resultados satisfactorios cumplindolos; y por ltimo, se
propondrn unas posibles mejoras para estudiarlas en trabajos futuros que pueden mejorar,
o ampliar los objetivos planteados en este trabajo.

5.1. Anlisis crtico

La herramienta fundamental y en la que se basa este proyecto, la creacin de un
sistema detector de objetos, es el entrenamiento necesario para construir el clasificador,
que ser el encargado de decidir si en una imagen est el objeto o no. En este estudio,
como ya se ha explicado durante el mismo, se ha utilizado el Haartraining [4] para
construir dicho clasificador.

A continuacin se van a comentar los principales inconvenientes y ventajas
encontradas durante la utilizacin del Haartraining.

Inconvenientes:
o Hay que seguir unas etapas de funcionamiento estricta y
meticulosamente para llegar a un buen resultado.

o Hay que capturar varias imgenes del objeto a detectar, con pequeas
variaciones de perspectiva y en diferentes condiciones ambientales., lo
96 Conclusiones y posibles mejoras
_______________________________________________________________________________
_______________________________________________________________________________
que supone trasladar el objeto ha diferentes lugares con entornos
diferentes.

o A la hora de marcar manualmente donde se encuentra el objeto a
detectar en las imgenes (en este proyecto se ha realizado mediante la
aplicacin denominada Objectmarker [24]), hay que hacerlo una a una y
todas ellas, lo que supone un trabajo bastante laborioso.

o Construir el clasificador supone realizar por parte del computador
muchos clculos y procesamiento de datos y eso conlleva dejarlo
trabajar sin pausa durante bastante tiempo. Para crear un clasificador
que forme parte de un detector de objetos aceptable, un PC domstico
puede tardar varios das o incluso semanas en procesar toda la
informacin.

Las principales y ms importantes ventajas encontradas con las siguientes:

o Siguiendo correctamente los pasos necesarios se puede construir un
detector de objetos con buena fiabilidad.

o Se pueden disear detectores para diferentes objetos, simplemente hay
que realizar el entrenamiento con las muestras correspondientes a ese
objeto.

o Se puede integrar el detector en sistemas reales, como es el caso de este
proyecto, por lo que aumenta su utilidad.

o Una vez realizada la aplicacin final es de muy fcil utilizacin. Esto
permite adaptarse a las diferentes condiciones del usuario.

Conclusiones y posibles mejoras 97
_______________________________________________________________________________
_______________________________________________________________________________

5.2. Conclusin

El proyecto tena principalmente dos objetivos, el primero disear una aplicacin
informtica ejecutable bajo entorno Linux que mostrase la imagen de una cmara de red
(cmara IP), que detectara la presencia de un bote de Coca-Cola y lo sealizara en la
ventana creada reflejando informacin de sus coordenadas en la pantalla. Y el segundo,
implementar esa aplicacin en una interfaz grfica, facilitando su utilizacin al usuario y
permitiendo la eleccin de varias cmaras y opciones.

Durante todo el desarrollo del proyecto se ha estado trabajando con el mtodo del
Boosting [17] y con el programa que lo lleva a cabo para conseguir el objetivo de
deteccin, el Haartraining.

Se ha podido comprobar el efecto del Boosting; cmo, a partir de reglas tan sencillas
se puede llegar a construir una estructura jerrquica de decisin capaz de discernir, con
buen criterio, el objeto buscado. El mtodo requiere como entrada principal el conjunto
muestral del que aprende las caractersticas del objeto que se desea reconocer. ste se ha de
componer como se ha visto, de dos subconjuntos; el positivo que contiene ejemplos del
objeto y el negativo, con imgenes que no lo contengan. Tanto la calidad como la variedad
de ambos subconjuntos son muy importantes para poder generar un clasificador que sea
aceptable para formar parte del detector.

Hay cuatro parmetros importantes en el comando del entrenador que son los que se
han modificado para construir los distintos clasificadores: el tamao de las imgenes reales
capturadas, el nmero de muestras positivas, el nmero de muestras negativas y el tamao
de las muestras creadas. En el CD adjunto a este proyecto se pueden observar las
caractersticas e imgenes de los distintos detectores creados desde el inicio del estudio
hasta llegar a la eleccin del mejor. En el captulo Resultado y funcionamiento del
documento se comentan los resultados y la evolucin de los detectores ms representativos
del estudio.

Para obtener los valores ptimos de los parmetros del entrenamiento es necesario
realizar distintos entrenamientos con diferentes valores y analizar los resultados.
_______________________________________________________________________________
_______________________________________________________________________________

En los primeros clasificadores se utilizaron imgenes de muy variadas caractersticas
con el objetivo de producir un efecto de gran generalizacin en el clasificador final, con el
pensamiento de que al disponer de mayor variedad el detector final sera ms potente, con
mayor capacidad para detectar el objeto bajo condiciones ms diferentes. Sin embargo,
esto produce precisamente el efecto contrario, al disponer de demasiada variedad el
algoritmo no es capaz de extraer las propiedades importantes que caracterizan al objeto.
Por tanto, el nmero de muestras positivas (en este caso 165) debe ser el necesario para
contener imgenes del objeto a detectar variando un poco la perspectiva y con diversas
condiciones de fondo. Cuanto ms se varen las condiciones ambientales mejor ser el
detector. El nmero de muestras negativas (en este caso 200) puede ser aproximadamente
igual al de positivas o ligeramente superior para que el entrenador tenga mayor capacidad
de decisin.

El tamao de las imgenes reales del objeto tomadas con la cmara (para este
proyecto 320 x 240 pxeles) dependen del tamao del objeto que se quiere detectar. Si el
tamao del objeto es muy grande el tamao debe ser superior a si el objeto es pequeo. Al
igual ocurre con el tamao de las muestras creadas (50x65 en este estudio), debe de tener
un valor proporcional al tamao del objeto en realidad. Si tomamos muestras demasiado
grandes el entrenador no puede encontrar las caractersticas que definen al objeto al estar
ste muy distorsionado. Y por el contrario, si las creamos muy pequeas el entrenador no
puede obtener caractersticas relevantes del objeto. Para obtener el valor correcto para
ambos tamaos es necesario realizar varios entrenamientos y analizar los resultados
obtenidos de cada uno de ellos comparndolos con el resto y elegir el ptimo.

Este proyecto ha supuesto retos ya que el programa de entrenamiento de los
clasificadores fue ms complejo de tratar de lo que poda parecer al principio e hizo que
costara cierto esfuerzo sacarlo adelante y empezar a hacer pruebas ms frecuentes.

En cuanto al desarrollo del segundo objetivo del proyecto tambin hubo que realizar
un gran trabajo de investigacin por la poca experiencia con las interfaces grficas.

Al final, con mucho esfuerzo y dedicacin se ha conseguido alcanzar los objetivos
propuestos en este proyecto, consiguiendo una aplicacin funcional y fcil de utilizar.
Conclusiones y posibles mejoras 99
_______________________________________________________________________________
_______________________________________________________________________________

5.3. Trabajos futuros

Los objetivos establecidos en un principio se han cumplido, aunque se podran
realizar algunas mejoras para perfeccionar aun ms el resultado. Se van a proponer
diversas formas para mejorar el funcionamiento de la aplicacin. A continuacin se listan
los posibles trabajos futuros a investigar:

Aumentar la estabilidad del sistema, de forma que el funcionamiento de la
aplicacin sea ms efectivo.

Mejorar la robustez del sistema clasificador-detector, de manera que se
aumente la probabilidad de deteccin positiva.

Realizar el mismo estudio para otros objetos, como por ejemplo: un plato,
un vaso, etc.

Disear una interfaz grfica integrando la imagen final y el men de
funcionamiento del usuario en una misma ventana.

Integrar este sistema detector con el resto de la arquitectura software del
robot ASIBOT, que en la actualidad est basada en YARP [28].
_______________________________________________________________________________
_______________________________________________________________________________

_______________________________________________________________________________

REFERENCIAS Y BIBLIOGRAFA

[1] Alberto Jardn; Metodologa de robots asistenciales. Aplicacin al robot porttil
ASIBOT; Tesis doctoral 2006, Universidad Carlos III de Madrid.

[2] OpenCV, definicin Wikipedia:
http://es.wikipedia.org/wiki/OpenCV
(ltima visita Febrero 2011)

[3] GTK+, definicin Wikipedia:
http://es.wikipedia.org/wiki/GTK%2B
(ltima visita Febrero 2011))

[4] Tutorial: OpenCV Haartraining (Rapid object detection with a cascade of
boosted classifiers based on haar-like features):
http://note.sonots.com/SciSoftware/haartraining.html

[5] Ral Palencia; Migracin de la plataforma a bordo del robot asistencial ASIBOT;
Proyecto final de carrera 2009, Universidad Carlos III de Madrid.

[6] Eftring H., Boschian K.; Technical results from manus user trials; Proc. 6
th

International Conference on Rehabilitation Robotics, 136-141; 1999

[7] Z. Bien, M. Chung, P. Chang, D. Kwon, D. Kim, J. Han, J. Kim, D. Kim, H. Park,
S. Kang, K. Lee, S. Lim.; Integration of a Rehabilitation Robotic System (KARES II) with
Human-Friendly Man-Machine Interaction Units; Autonomous Robots 16, 165191;
2004.

[8] Qu es una cmara IP?:
Axis Communications; Qu es una Cmara de Red?; 2002

[9] Cmara IP Axis 207:
http://www.camara-ip.es/camara-ip-207.htm

[10] Arturo de la Escalera; Visin por computador: fundamentos y mtodos; Prentice
Hall, 2001

[11] Explicacin teorema de Bayes y ejemplos:
http://www.mitecnologico.com/Main/ReglaDeBayes

_______________________________________________________________________________

[12] Metodo K-nn, definicin Wikipedia:
http://es.wikipedia.org/wiki/Knn
(ltima visita Abril 2011)

[13] Pgina oficial de Willow Garage:
http://www.willowgarage.com/

[14] V.M. Arvalo, J. Gonzlez, G. Ambrosio; La librera de visin artificial OpenCV
Aplicacin a la docencia e investigacin; Dpto. de ingeniera de sistemas y automtica,
Universidad de Mlaga.

[15] OpenCV: HighGUI reference manual:
http://www.ai.rug.nl/vakinformatie/pas/content/Highgui/opencvref_highgui.
htm

[16] Raquel beda, Aplicacin de tcnicas de Boosting para deteccin de matriculas;
Proyecto final de carrera 2001, Universidad Politcnica de Valencia.

[17] Boosting, definicin Wikipedia:
http://en.wikipedia.org/wiki/Boosting

[18] Viola&Jones, definicin Wikipedia:
http://en.wikipedia.org/wiki/Viola-Jones_object_detection_framework

[19] Adaboost, definicin Wikipedia:
http://en.wikipedia.org/wiki/AdaBoost

[20] Receiver Operating Characteristic, definicin Wikipedia:
http://en.wikipedia.org/wiki/Receiver_operating_characteristic

[21] Juan Carlos Gonzlez Vctores; Estudio del Simulador Robtico de Anykode:
MARILOU ROBOTICS STUDIO; Mster en robtica y automatizacin,
Universidad Carlos III de Madrid.

[22] Florian Adolf; How-to buid a cascade of boosted classifiers based on Haar-like
features; 2003.

_______________________________________________________________________________

[23] OpenCV-performance:
http://manpages.ubuntu.com/manpages/intrepid/man1/opencv-
performance.1.html

[24] Objectmarker, aplicacin y tutorial:
http://www.iem.pw.edu.pl/~domanskj/haarkit.rar
(ltima visita marzo 2011)

[25] OpenCV-createsamples:
http://manpages.ubuntu.com/manpages/intrepid/man1/opencv-
createsamples.1.html

[26] Manual programador OpenCV:
http://carleos.epv.uniovi.es/~nicieza/Documentacion/Manual_Programador_Fi
nal.pdf

[27] Rapid object detection with a cascade of boosted classifiers based on haar-like
features:
http://docs.google.com/View?docID=drw35kw_6gr8r84fs

[28] YARP, pgina oficial:
http://eris.liralab.it/yarp/
(ltima visita Abril 2011)

_______________________________________________________________________________

_______________________________________________________________________________

ANEXOS

Anexo I - Tabla 1

Caiacteiisticas tcnicas cmaia IP AXIS 2u7 NW

Dimensiones

Ancho: 55 mm
Profundo: 34 mm
Alto: 85 mm

Descripcin
tcnica

Sensor de imagen: CMOS de barrido progresivo 1/4,RGB Micron
Objetivo: 4,0 mm/F2.0 iris fijo
Sensibilidad lumnica: 1-10,000
Resolucin mxima: 640x480
Peso: 190 g.

Caractersticas
generales

Secuencias de video Motion JPEG de alta calidad
Micrfono integrado
Servidor Web integrado para una monitorizacin fcil
Interfaz de usuario multilinge
Instalacin, configuracin y gestin sencillas
Seguridad: proteccin multi-usuario mediante contrasea para
restringir el acceso a la cmara.

APNDICES

A.I. Funcin 1

A.II. Programa 1

A.III. Programa 2

A.IV. Programa 3

A.V. Programa 4

A.VI. Programa 5

PFC Raul Sanchez Alvarez

Caricato da

Informazioni sul documento

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

PFC Raul Sanchez Alvarez

Caricato da

Copyright:

Formati disponibili

Departamento de Ingeniera de Sistemas y Automtica

PROYECTO FIN DE CARRERA

Figura 3 Esquema general del reconocimiento de objetos

Estado del arte 13

Potrebbero piacerti anche