Habilitación de Humanoide Rodante con

Vision 3D
Carlos Alberto Ramos López
laboratorio de robótica
instituto de ingenierı́a y tecnologı́a
universidad autónoma de ciudad juárez

Resumen 2. Trabajo Relacionado

Se plantea la idea para la creación de un robot de servi-
cio orientado a telecomunicación bidireccional teleoperado con
cierto grado de autonomı́a para ejecución de tareas comunes,
como lo son evasión de obstáculos y seguimiento de la persona
con la cual se habla, mediante visión 3D.
1. Introducción
El seguimiento de personas es una habilidad nece-
saria para un robot avatar. Un robot de esta ı́ndole debe
cumplir con dos requisitos importantes: la representación
de una persona en un lugar remoto, y la interacción con
humanos de la manera menos invasiva posible. En otros
términos, un robot avatar debe interactuar con las per-
sonas de manera natural con el objetivo de personificar
al teleoperador.
En este documento se detalla el equipo disponible para
la habilitación de un humanoide rodante cuyo objetivo es
ser teleoperado para interactuar con la gente, a la vez que
puede realizar de manera autónoma tareas como esquivar
obstáculos y seguimiento de personas. Para llevar a cabo
estas tareas se equipa al avatar con sensores propiocep-
tivos, un LIDAR, y un sensor de visión 3D, dejando lista
la plataforma para iniciar el desarrollo de algoritmos.
En la sección 2 se describen diversos enfoques utiliza-
dos para el seguimiento de personas. En seguida, se define
más propiamente qué es un robot avatar. La arquitectura
robótica es detallada en la sección 4. Posteriormente se
listan las caracterı́sticas a desarrollar o implementar (Sec-
ción 7). Finalmente, en las secciones 8 y ?? se realiza un
análisis del entorno y de las soluciones propuestas.
En [10] se desarrolló un método para el seguimiento de
personas por medio de la detección de rostros utilizando
un SVM modificado. Las SVM (Máquinas de Vectores
de Soporte) son un conjunto de métodos de aprendizaje
supervisado utilizados principalmente para clasificación.
Una vez se ha segmentado el rostro, se cambia el modo
de sensado al LIDAR dado que la persona puede girar la
cabeza, perdiendo a la persona.
Por otra parte, en [11] el seguimiento es realizado me-
diante el análisis del histograma de color y apoyado me-
diante un Laser Range Finder (LRF). El LRF determina
la distancia a un objeto mediante el principio de tiem-
po de vuelo. Con estos dos sensores se realiza una fusión
sensorial y finalmente se determina la persona a seguir
mediante el método del vecino más cercano.
Otro enfoque implementado ha sido mediante algorit-
mos de detección de piernas e inferencia difusa (lógica
difusa) en [12].
Por último, en [13] se utiliza el flujo óptico y la ex-
tracción de caracterı́sticas mediante Lucas-Kanade para
el seguimiento de personas.
3. Robot Avatar
Un robot avatar es una plataforma robótica la cual
reemplaza a la persona fı́sica desde un lugar remoto con
el propósito de interactuar con el entorno en lugar del
usuario. Actualmente existen varios robots avatar, como
el Anybots QB [1], el cual es un robot enteramente tele-
operado cuya autonomı́a se limita a mantenerse estable
al avanzar y esquivar obstáculos.

29
6to Simposio en robots autónomos, sensado y percepción, 27/M ay/11 Carlos Alberto Ramos López

A través de la saga de Star Wars se observa que el

sistema de comunicación, cuando alguna persona no se
encuentra fı́sicamente en el lugar, es por medio de holo-
gramas que hablan, se mueven, y dan la sensación de que
la persona esta realmente presente (Véase 2). Utilizando
esto como fuente de inspiración, este trabajo se enfoca en
la creación de un robot avatar con propósitos de teleco-
municación con autonomı́a para seguir a la persona con la
cual se conversa de manera automática con fines de evitar
fatiga al usuario en tareas que el usuario realiza el 90 %
de las veces al estar en una conversación.

4. Arquitectura Robótica
La infraestructura actual del humanoide rodante se
muestra en la figura 3.

Figura 1: Anybots QB.

En la ciencia ficción hay medios que permiten la

teleprescencia, tal como los hologramas en Star Wars y
los sustitutos en la pelı́cula Surrogates. A pesar de que
dicha tecnologı́a esta fuera del alcance de los avances ac-
tuales, estas obras brindan ideas para la elaboración del
trabajo actual.

Figura 3: Humanoide Rodante.

4.1. Aspectos Mecánicos

Figura 2: Holograma de Yoda (Telepresencia). El humanoide cuenta con el siguiente equipo:

30
6to Simposio en robots autónomos, sensado y percepción, 27/M ay/11 Carlos Alberto Ramos López

Cuatro ruedas de 10cm de radio. 4.3. Equipo de Control

Dos motores de 12 V. Se cuenta con dos drivers BB1245 (Figura 5), uno para
Armazón compuesto de aluminio. cada motor, del fabricante BaneBots.
Bases de delrin y acrı́lico.
En el estado actual de la plataforma, los motores y las
ruedas no se encuentran fijas al armazón. Además, la base
inferior presenta juego mecánico y posee poca resistencia
por lo cual es imperativo cambiarla a un material más
resistente o una placa de acrı́lico más gruesa. Finalmente,
es necesario trabajar el equivalente a cabeza del robot, la
cual se encuentra en mal estado.

4.2. Equipo de Cómputo Figura 5: BaneBots BB1245.

El equipo de cómputo esta conformado por un com-
putador Minibox y un Cerebot32MX4. Las especifica- Las especificaciones de este driver (Véase [3]), son :
ciones del ordenador son: Amperaje pico de 45 A.
Tarjeta Madre Micro ATX.
Voltaje de operación entre 6 y 24 Vdc.
Procesador Intel Atom.
Permite controlabilidad en ambos sentidos del mo-
512 MB de RAM. tor.
40 GB de Disco Duro.
El Cerebot32MX4 (Figura 4), fabricado por la com- 4.4. Instalación Eléctrica
pañı́a Digilent, tiene las siguientes caracterı́sticas:
Se cuenta con una baterı́a PowerSonic capaz de sumin-
Un microcontrolador PIC32MX460F512L de 32 bit istrar 12 Voltios y una corriente máxima de 12 A (Figura
de Microchip. 6, [4]).
Ocho puertos para conexión de servomotores.
Dos puertos I2C.
Dieciséis canales de conversión A/D de 10 bits.
Alimentación mediante puerto USB.

Figura 6: Baterı́a PowerSonic.

4.5. Sensores e Instrumentación

Figura 4: Cerebot32MX4.
El Cerebot será la unidad de control de los motores,
ası́ como de adquisición de datos de diversos sensores pro-
pioceptivos, como el acelerómetro y el compás magnético.
Se requiere de una forma de transmisión de datos ha-
cia un cliente remoto con propósitos de teleoperación o
simplemente supervisión de tareas. Para esto, se incor-
pora una adaptador USB para red inalámbrica Belkin N
Wireless [5]. Este adaptador soporta los estándares de red
IEEE 802.11b, IEEE 802.11g, IEEE 802.11n; tiene un ran-
go de hasta 360 metros; soporta los sistemas de cifrado

31
6to Simposio en robots autónomos, sensado y percepción, 27/M ay/11 Carlos Alberto Ramos López

WPA, WPA2, y cifrado de 64-bit/128-bit; con una antena Sensorr − V alorref ∗ 3,3 o
Rate =
omnidireccional y tecnologı́a USB 2.0 [6]. 1024 ∗ 0,15 s
El acelerómetro utilizado es un IMU de dos ejes de 1.7 Como sensores activos se cuenta con un LIDAR Hokuyo
gravedades que además proporciona la temperatura del UBG 04LX el cual será utilizado posteriormente para im-
sensor y funciona como giroscopio [7]. Un acelerómetro, plementación de algoritmos de planeación y control. Sus
como su nombre lo indica, sirve para medir la aceleración caracterı́sticas principales son [9]:
de un cuerpo. Esta aceleración se puede utilizar para cal-
cular la velocidad y la posición el vehı́culo mediante la Voltaje de operación de 12 V ± 10 %.
integración de dicho dato. Sin embargo, este sensor es in-
capaz de distinguir entre un vehı́culo en reposo y uno en Rango de detección entre 20 y 5600mm.
movimiento uniforme. Resolución angular 0,36o .
Por ultimo, el compás magnético es un sensor el cual
proporciona el desfasamiento en grados respecto al campo Interface USB2.0.
magnético terrestre. El sensor HMC6352 se comunica por
medio del protocolo de comunicación I2C [8]. Éste sen-
sor es útil para localización y navegación del robot. Los
sensores e instrumentos antes descritos se muestran en la
figura 7.

Figura 7: Sensores e instrumentos (adaptador de red,

acelerómetro, y compás). Figura 8: LIDAR Hokuyo.

Como dispositivo auxiliar para la localización se in-

cluirá un receptor GPS, el cual permitirá conocer la ubi- 4.6. Dispositivos para Comunicación
cación del robot en espacio abierto ya que el GPS pierde de Dos Vı́as
precisión de datos en ambientes techados.
El Firmware del Cerebot cuenta con una función de Como el objetivo principal del robot es la comunicación
lectura del acelerómetro. El acelerómetro es un sensor entre dos personas es necesario que el sistema posea sen-
analógico, por lo cual, es necesario realizar la conversión sores para adquisición de imágenes y sonido y receptores
analógico/digital en el Cerebot. El ADC incluido en el para la recuperación y visualización de datos de audio y
Cerebot posee una resolución de 10 bits. Al termino de vı́deo.
la conversión se interpreta el valor en sus unidades corre- Para la adquisición de imágenes se utilizará un sensor
spondientes, esto es: de visión Unibrain Fire-i BCL 1.2 (Figura 9) y para la
adquisición de audio se instalará un micrófono. Esto ha-
Sensorx ∗ 3,3 m bilitará la comunicación en una sola vı́a. Para un sistema
Accx =
1024 s2 de comunicación completo, o de dos vı́as, es imperativa la
inclusión de dispositivos para la visualización de imágenes
Sensory ∗ 3,3 m y reproducción de audio; es decir, la plataforma debe con-
Accy =
1024 s2 tar con una pantalla o monitor para desplegar imágenes
Sensort ∗3,3 de la persona en el lugar remoto y bocinas para reproducir
− 2,5
T = 1024
+ 27 o C el sonido.
0,0084

32
6to Simposio en robots autónomos, sensado y percepción, 27/M ay/11
Figura 9: Sensor Fire-i.
El Fire-i funciona mediante el estándar de transmisión
de datos a alta velocidad IEEE 1394, o FireWire. Por esta
razón se incluye la tarjeta de adquisición de vı́deo Ultra
FireWire/USB2.0 PCI Card (Figura 10) para utilizarla
como interfaz entre sensor y ordenador.
Figura 10: Tarjeta de FireWire/USB2.0.
4.7. Sensor de Visión 3D
El sensor principal de la plataforma para el desarrol-
lo e implementación de algoritmos de segmentación y
seguimiento de personas es un sensor de visión estéreo o
visión 3D. El costo de estos sensores es bastante elevado,
por lo cual se optó por la fabricación de uno utilizando dos
sensores Fire-i (Figura 9) idénticos montados sobre una
placa de aluminio a una distancia aproximada de 10cm y
nivelados perfectamente a la misma altura.
Mediante software se desarrollarán algoritmos para la
fusión de las imágenes provenientes de ambos sensores.
Para la reducción de costos y máximo aprovechamiento
de los sensores, una de las cámaras será utilizada para
dos tareas: 1) conformar la imagen 3D al ser unida con
la imagen proveniente de la otra cámara y 2) funcionar
como webcam enviando las imágenes a la persona con la
cual nos comunicamos.
Carlos Alberto Ramos López
Figura 11: Sensor de visión 3D.
5. Software del Avatar
Una distribución Linux será instalada en la Minibox.
Esta distribución Linux puede ser Debian o Gentoo. Gen-
too, a pesar de ser la mejor opción para a plataforma
robótica en términos de optimización de recursos tiene
problemas con el metasistema operativo ROS, el cual
será utilizado en conjunto con OpenCV para el desarrollo
e implementación de algoritmos para máxima eficiencia
con el objetivo de reutilización de código. Por esta razón,
y hasta que sea posible la instalación completa de ROS
sobre Gentoo, la distro a ser instalada es Debian.
Player es un servidor de red para el control de robots,
ası́ como una interfaz de dispositivos. Está diseñado para
ser independiente del lenguaje y de la plataforma. Este
será utilizado para las primeras pruebas de teleoperación
de avatar.
OpenCV es una librerı́a de funciones para el proce-
samiento de imágenes en tiempo real la cual incluye fun-
ciones para segmentación, seguimiento, extracción de car-
acterı́sticas, visión 3D, entre otras como transformadas y
descriptores geométricos. Esta librerı́a será utilizada co-
mo base de los algoritmos de visión 3D.
ROS, el metasistema operativo para robots, provee li-
brerı́as y herramientas para desarrolladores de software
de plataformas robóticas. ROS incluye abstracción de
hardware, controladores de dispositivos, librerı́as, visual-
izadores, y manejo de paquetes [15].
En caso necesario, más librerı́as para control de diver-
sos sensores serán incluidas.
Como parte del software de la plataforma se contem-
pla el Firmware del Cerebot, el cual es desarrollado en
MPLAB. El Firmware del Cerebot debe ser optimizado
para compartir tareas con el computador, con el fin de dis-
tribuir la carga computacional. El Firmware, en su estado
actual, es el encargado del control de motores y lectura
de sensores. Sin embargo, las ecuaciones de cinemática
pueden implementarse en el Firmware para ahorrar tiem-
po de procesamiento en el ordenador.
33
6to Simposio en robots autónomos, sensado y percepción, 27/M ay/11
Otro punto a considerar es la implementación de la
comunicación bidireccional. Es decir, definir si se uti-
lizará un cliente de mensajerı́a instantánea para la trans-
misión y recepción de audio y vı́deo con el procesamiento
de visión en otro hilo.
6. Cinemática Inversa
El modelo matemático que estima la posición del robot
y determina la posición siguiente es el modelo cinemático.
Este puede ser directo o inverso. En este caso, se maneja
un modelo cinemático inverso para dos motores, o difer-
encial. Esta definido como:
2 W 2 + L2
ψl = v− ω
r rW
2 W 2 + L2
ψr = v + ω
r rW
donde v es la velocidad lineal y ω es la velocidad angu-
lar a las cuales el robot se moverá. Estas velocidades serán
traducidas internamente por el Cerebot a porcentajes de
ancho de pulso.
Y para obtener el desplazamiento en x y y, ası́ como el
cambio en ángulo, tenemos que:
θk = θk−1 + ωdt
xk = xk−1 + vCosθk dt
yk = ysk−1 + vSinθk dt
donde cada nuevo instante k se basa en una nueva lec-
tura en conjunto con el historial de movimiento, o datos
anteriores.
7. Caracterı́sticas Deseadas
El sistema a ser desarrollado debe cumplir con las sigu-
ientes caracterı́sticas:
1. Encontrar a la persona correcta a seguir. Para poder
realizar un seguimiento de personas el primer pa-
so es saber a quien se debe seguir. En [10] se sigue
a la primera persona que se ve. Sin embargo, esto
no es práctico para un sistema de telecomunicación.
Aunque la implementación es aún desconocida, es
posible el seguimiento de la primera persona que se
ve siempre y cuando se mande un bit de inicio de
seguimiento o alguna otra implementación mediante
software. Otra solución menos práctica y más cos-
tosa es un transmisor colocado en la persona en la
34
Carlos Alberto Ramos López
cual se va a seguir pero, dado el número potencial de
personas con las cuales se conversa es una solución
no viable.
2. Inmune a problemas de oclusión. En entornos ur-
banos es común el tránsito de personas u objetos
entre la persona a seguir y el robot seguidor. Un
buen sistema de seguimiento involucra que, aunque
haya problemas de oclusión, el robot no pierda a la
persona a seguir.
3. Distinguir al sujeto de interés entre una multitud.
En la rutina normal, las personas al moverse a tráves
de su entorno se encuentran con otras personas. El
robot debe permanecer siguiendo a la persona de in-
terés, a pesar de la presencia de otras personas, e
incluso objetos, en la escena.
4. Inmune a cambios de iluminación. En transiciones
de interior a exterior o viceversa se produce un cam-
bio de iluminación considerable, el cual puede provo-
car la pérdida de la persona a seguir.
5. Eficiente. El tiempo de procesamiento y toma de de-
cisiones debe ser corto.
6. Inmune al movimiento propio del robot. El sensor
de visión es enteramente dependiente del movimien-
to del robot. Al desplazarse o girar, aunque sea un
poco, el sensor de visión adquiere lecturas totalmente
diferentes a la escena anterior.
7. Inmune a cambios de fondo. Dado que el avatar nave-
gará por ambientes no estructurados, es necesario
que pueda adecuarse a la mayor cantidad de condi-
ciones posibles.
En otras palabras, se requiere de un sistema de visión
robusto para el seguimiento de personas.
8. Entorno
Para un robot avatar como el que se plantea en este
documento, el entorno es totalmente no estructurado. El
objetivo es interactuar con personas de la manera mas
natural posible y, para esto, no es viable pedir a las per-
sonas establecer cierta distancia entre ellas y el robot,
o avanzar a determinada velocidad, o moverse sin hacer
movimientos bruscos.
9. Soluciones Propuestas
Las caracterı́sticas mostradas en la sección anterior de-
limitan el área de trabajo y establecen parámetros para
6to Simposio en robots autónomos, sensado y percepción, 27/M ay/11
iniciar con propuestas para la implementación de algorit-
mos. En entornos estáticos, se segmentan los objetos en
movimiento mediante una AND entre la imagen estática
y la nueva imagen adquirida. Aquellos que presenten una
diferencia significativa, pertenecen al plano de inters, u
objetos en movimiento. Sin embargo, para una cmara en
movimiento, donde cada uno de los pı́xeles cambia su val-
or al cambiar la cmara de posición, se deben utilizar otras
herramientas. El flujo óptico proporciona información so-
bre el desplazamiento de los pı́xeles por medio de vectores
de movimiento. Una vez se sabe la nueva posición de de-
terminado pı́xel, es posible determinar mediante métodos
probabilı́sticos si el pı́xel en la nueva posición conserva su
valor o este fue cambiado.
La extracción de caracterı́sticas, como la detección de
esquinas con Harris, puede ser útil para la localización
del robot en un plano global, ası́ como para la distinción
entre fondo y objetos de interés.
Por medio de la visión 3D se puede inferir profundidad
de un objeto para el seguimiento a una distancia prede-
terminada. Por ultimo, se propone un esquema de fusión
sensorial con el sistema de visión, el LIDAR Hokuyo, y
el GPS. Adicionalmente, se puede añadir el sensor lógico
del modelo cinemático, el cual también provee informa-
ción sobre el cambio de estado.
10. Conclusiones
Por medio del análisis de diversos trabajos centrados
en un tópico similar se pudieron observar diversos en-
foques los cuales pueden ser mejorados o usados como
inspiración para el desarrollo de nuevos algoritmos de
seguimiento con base a sistemas de visión 3D. También
se observó que la fusión sensorial sirve para generar re-
dundancia y mayor confiabilidad para el seguimiento de
una persona. Sin embargo, aun no se establece de manera
clara la implementación, aunque gran parte de la arqui-
tectura ya está definida. Ya que se cuente con esto total-
mente definido y funcional, se procederá al desarrollo de
algoritmos.
Referencias
[1] Anybots QB Telepresence Robot
http://spectrum.ieee.org/automaton/robotics/
industrial-robots/051810-anybots-qb-new
-telepresence-robot
Carlos Alberto Ramos López
[2] Cerebot32MX4,
http://www.digilentinc.com/Products/Detail.cfm?
NavPath=2,719,755&Prod=CEREBOT32MX4
[3] BaneBots BB1245
http://banebots.com/pc/ELECTRONICS/
BB-1245/
[4] PowerSonic PS-12100 F1
http://www.power-sonic.com/images/powersonic/
sla batteries/ps psg series/12volt/
PS-12100 11 Feb 21.pdf
[5] Belkin N Wireless USB Adapter F5D8053
http://www.belkin.com/IWCatProductPage
.process?Product Id=372137
[6] Belkin N Wireless Specifications
http://benchmarkreviews.com/index.php?option=
com content&task=view&id=223&Itemid=70&
limit=1&limitstart=1
[7] IMU Dual Axis Accelerometer
http://www.robotshop.com/ca/sfe-dual-axis
-accelerometer-triple-axis-combo.html
[8] Honeywell HMC6352 Compass Module
http://www.parallax.com/Portals/0/Downloads/
docs/prod/sens/29323
HoneywellHMC6352Compass-v1.0.pdf
[9] LIDAR Hokuyo UBG 04LX
http://www.hokuyo-aut.jp/02sensor/07scanner/
ubg 04lx f01.html
[10] Tim Braun, Kristof Szentpetery, y Karsten Berns.
Detecting and Following Humans with a Mobile
Robot, University Kaiserslautern, Robotic Systems
Group, Kaiserslautern, 67653, Alemania.
[11] Hiroshi Takemura, Zentaro Nemoto, Keita Ito y Hi-
roshi Mizoguchi. Development of Vision Based Per-
son Following Module for Mobile Robots in RT-
Middlewar e, Tokyo University of Science Japan.
[12] Samir Shaker, Jean J. Saade y Daniel Asmar. Fuzzy
Inference-Based Person-Following Robot, 2008.
[13] Zhichao Chen y Stanley T. Birchfield, Person Fol-
lowing with a Mobile Robot Using Binocular Feature-
Based Tracking, Clemson University, Octubre 2007.
[14] OpenCV
http://opencv.willowgarage.com/wiki/
[15] ROS
http://www.ros.org/wiki/
35
6to Simposio en robots autónomos, sensado y percepción, 27/M ay/11 Carlos Alberto Ramos López

Carlos Alberto Ramos

López: Estudiante de la Uni-
versidad Autónoma de Ciudad
Juárez, con interés en la pro-
gramación en C/C++ para el
desarrollo de algoritmos para
aplicaciones de servicio.

36