1

Reconocimiento de gestos y posturas de la mano:

Estado del Arte
Miguel Alejandro Parra Romero

Abstract—En la actualidad se buscan métodos de acceso a métodos más naturales que los actuales, ya que no permiten
los sistemas computacionales que permitan una mayor libertad una manipulación fácil y requieren de cierto entrenamiento.
y naturalidad, es este uno de los intereses de la Interacción De los esfuerzos dedicados al estudio de esta área han surgido
Humano Computador (HCI por sus siglas en inglés) que puede
ser logrado a través de mecanismos como el reconocimiento de diversos métodos como el reconocimiento de voz, seguimiento
gestos y posturas de la mano. El reconocimiento de posturas se de líneas de mirada, dispositivos táctiles y reconocimiento de
refiere a detectar la mano a partir de imágenes, es decir, es gestos del cuerpo, entre otros.
el procesamiento y análisis tomando información de entradas De estos métodos, el seguimiento de gestos y posturas de
estáticas. Por otro lado el reconocimiento de gestos implica un la mano ha tenido un desarrollo importante en los últimos
proceso dinámico, donde la información es tomada generalmente
de secuencias de video, esto puede ser visto como la extracción años por ser un método de interacción intuitivo, teniendo en
de información a partir de posturas, pero teniendo en cuenta la cuenta que no solamente tiene limitaciones técnicas para su
relación entre ellas en el tiempo. implementación sino que también existen limitaciones desde
En este artículo se hace una revisión de la bibliografía más el punto de vista de la ergonomía y dificultad en cuanto al uso
relevante hasta el momento sobre reconocimiento de gestos y continuo, por la incomodidad que podría representar.
posturas de la mano, considerando éstos como sistemas com-
puestos por cinco partes principales: 1. Adquisición de datos, 2.
Las áreas más importantes que componen el problema son:
Preprocesamiento, 3. Extracción, 4. Clasificación y 5. Interacción. 1) Adquisición de datos
2) Preprocesamiento, donde se considera la segmentación
Index Terms—HCI, posturas de la mano, gestos de la mano, de las imágenes
dispositivos de entrada, estado del arte. 3) Extracción de Gestos
4) Clasificación
C ONTENTS 5) Interacción
Esta clasificación, representada en la Figura 1, es ampliada a
I Introducción 1 partir de la original [39], ya que se considera la segmentación
II Reconocimiento de gestos de la mano 1 como un área separada, siendo el preprocesamiento más
II-A Motivación . . . . . . . . . . . . . . . . . . . 1 amplio e incluyente con técnicas como las transformaciones
II-B El problema de reconocimiento de gestos de geométricas. En [1] se muestra una clasificación similar pero
la mano . . . . . . . . . . . . . . . . . . . . 2 sin tener en cuenta la interacción, que es parte fundamental
del sistema.
III Trabajos Previos 3
III-A Adquisición de Datos . . . . . . . . . . . . . 3 En estas páginas se presenta el estado del arte de estos
III-B Preprocesamiento . . . . . . . . . . . . . . . 3 métodos que están en proceso de desarrollo y que ofrecen
III-C Extracción de Gestos y Posturas . . . . . . 4 muchas ventajas para la interacción con los computadores.
III-D Clasificación . . . . . . . . . . . . . . . . . . 5 En primera instancia se hace una presentación del problema
III-E Interacción . . . . . . . . . . . . . . . . . . . 6 donde se describen las áreas particulares y sus necesidades.
IV Perspectivas de Desarrollo 6 Luego se muestran las técnicas más usadas y las más efectivas.
Además se describen las aplicaciones desarrolladas de mayor
V Conclusiones 6 importancia de acuerdo a los objetivos del HCI. Por último se
presentan las perspectivas y posibilidades respecto al trabajo
References 6
futuro en el reconocimiento de gestos y posturas de la mano.

I. I NTRODUCCIÓN II. R ECONOCIMIENTO DE GESTOS DE LA MANO

El estudio de la Interacción Humano Computador (HCI)
plantea una relación mucho más natural entre las personas y
los sistemas de cómputo, para esto establece objetivos que
deben ser cumplidos para mitigar la brecha que existe entre la
información y los seres humanos que quieren accederla, crearla
o transformarla. Uno de estos objetivos es la interacción por
Estudiante de Maestría en Ingeniería de Sistemas y Computación - Univer-
sidad Nacional de Colombia.
A. Motivación
La necesidad de mejores métodos para acceso a los sis-
temas de cómputo es latente, pues los dispositivos de entrada
actuales y de uso común apenas si han evolucionado desde su
desarrollo. El ratón que permite introducir movimientos en dos
dimensiones, sigue prácticamente igual desde su desarrollo en
los años 601 . Esta limitación sumada al hecho de la dificultad
1 http://sloan.stanford.edu/MouseSite/
 2

Figure 1. Modelo Conceptual del Reconocimiento de Gestos y Posturas de la mano

para las personas con discapacidades y la necesidad de buscar

nuevas formas de interacción, han permitido e impulsado el
desarrollo en HCI, más precisamente en los dispositivos de
entrada para sistemas computacionales.
El reconocimiento de gestos y posturas de la mano propor-
ciona un método intuitivo de interacción por lo que se con-
vierte en un excelente candidato para el ingreso de información
a los computadores.

B. El problema de reconocimiento de gestos de la mano

Antes de la definición del problema es importante destacar
la diferencia entre el reconocimiento de posturas y gestos de
la mano. En [9] se muestra dicha consideración:
• Postura de la mano (hand posture): Consiste detectar la
mano a partir de imágenes, es decir, es el procesamiento
y análisis tomando información de entradas estáticas.
• Gesto de la mano (hand gesture): Involucra una se-
cuencia de posturas de la mano que están conectadas
por movimientos continuos y que proveen información
a partir de sus relaciones.
El problema de reconocimiento de gestos y posturas de la
mano puede ser considerado como el conjunto de subprob-
lemas o áreas interrelacionadas que permiten la interacción
entre un humano y un sistema computacional. En la Figura 2
se muestra un modelo del problema basado en [1] y [39].
La Adquisición de Datos consiste en tomar información
del entorno por medio de dispositivos físicos. En esta fase
se contemplan los dispositivos de entrada al sistema como
los guantes de datos [2], cámaras de video donde podemos
considerar cámaras sencillas o sistemas de cámaras en config-
uraciones diversas como en [4], dispositivos multitáctiles [40]
y electromiogramas de superficie que alimentan el sistema a
partir de señales provenientes de sensores de electricidad en
los músculos del brazo [28].
El Preprocesamiento es donde se realiza la preparación
de los datos, en esta fase se realiza la separación de la
información relevante de la que no lo es, por ejemplo la
segmentación para eliminar la información que representa el
fondo en una imagen, dejando solamente la mano de la que
luego se extraerán los gestos. En esta fase se realizan op-
eraciones de transformación como Translaciones, Rotaciones
y Escalamientos [1]. En el proceso de segmentación encon-
tramos varias técnicas como: Binarización [24]; segmentación
por color [33] y ecualización del histograma [17].
En la Extracción de Gestos se utilizan técnicas que permiten
obtener información luego del procesamiento en forma de
Figure 2. Modelo del problema de reconocimiento de gestos y posturas de
la mano
gestos, es donde las manos son identificadas y convertidas
en un gesto que luego será clasificado. Dependiendo de si se
quieren identificar gestos o posturas, existen técnicas específi-
cas para cada uno. Para la extracción de posturas las técnicas
más usadas son: Análisis en Componentes Principales (PCA)
[40]; B-Splines que es una curva basada en unos puntos de
soporte o de anclaje que determinan su forma [25], AdaBoost
y AdaBoost Modificado[9], entre otras.
La Clasificación consiste en tomar los gestos y posturas
extraidos en la fase anterior y etiquetarlos por medio de un
modelo de clasificación, entrenado previamente. Este modelo
permite caracterizar la información de entrada dentro de un
conjunto de gestos y posturas seleccionados para ejecutar
acciones determinadas por medio del subsistema de inter-
acción. En esta fase también es posible aplicar técnicas de
Agrupamiento y Modelos Ocultos de Markov. Dentro de las
técnicas más usadas en esta fase que es una de las que
ha tenido mayor investigación son: En Clasificación, Reglas
Bayesianas [8]; Orientación del Histograma [22]; Máquinas
de Estados Finitos [4]; Máquinas de Vector de Soporte (Sup-
port Vector Machines SVM)[40] y diferentes tipos de Redes
Neuronales [16], [27]. En el caso del Agrupamiento, Fuzzy
C-Mean [21]. Y con Modelos Ocultos de Markov [6].
 3

La Interacción es la interfaz entre el sistema de re- En la Tabla I se realiza una comparación de los métodos
conocimiento de gestos o de posturas y el sistema externo mencionados.
que recibe los comandos generados por los gestos, en la
Método Ventajas Desventajas
mayoría de los casos es un computador que simplemente
Guantes - Buena captura de datos - Difícil configuración
muestra los resultados, sin embargo hay casos en los que los - Costo del dispositivo
sistemas receptores son robots o Ambientes Virtuales (Virtual - Invasivo
Environments VE). Multitáctiles - Buena captura de datos - Difícil configuración
- Costo del dispositivo
- Menos Grados de Libertad
III. T RABAJOS P REVIOS EMG’s - Buena captura de datos - Difícil configuración
- Costo del dispositivo
Los trabajos más representativos en el reconocimiento de - Invasivo
gestos y posturas de la mano hacen aportes en las diferentes Cámaras - Fácil configuración - Difícil captura de datos
áreas que componen el problema. Un trabajo de investigación, - Menores costos
- Grados de Libertad
por ejemplo, puede realizar aportes importantes en Preproce- - No invasivo
samiento y a la vez en Clasificación. A continuación se
Table I
muestran los aportes realizados y una comparación por áreas. C OMPARACIÓN DE MÉTODOS DE A DQUISICIÓN DE DATOS

A. Adquisición de Datos
La Adquisición de Datos es el área en que se alimenta
el sistema, obteniendo la información de varios tipos de
dispositivos, algunos requieren implementaciones especiales
como los guantes de datos, es el caso de [2] donde se
muestra un método basado en reglas difusas o borrosas para
reconocimiento de gestos obtenidos a partir de un guante de
datos, este tipo de dispositivos implican ciertos problemas de
difícil resolución, en primera instancia es difícil configurar los
sensores del dispositivo, además debido a su carácter especial
son costosos, y tienden a limitar en cierta medida la libertad
de movimiento por su peso y cables conectados.
Los dispositivos multitáctiles proveen una interfaz bidimen-
sional para el ingreso de información. Son sistemas físicos que
reaccionan al contacto directo y que permiten interactuar con
los datos directamente. Yuan y Barner muestran en su artículo
[40] una implementación a partir de uno de estos dispositivos,
las señales de los gestos son representadas con Análisis
en Componentes Principales (Principal Component Analysis
PCA) para reducir su dimensionalidad y luego clasificadas por
medio de otras técnicas. El inconveniente con estos sistemas
de captura es que tienen que estar especialmente diseñados y
su conexión con un computador no es trivial.
Los Electromiogramas de Superficie (EMG’s) [28] son
sistemas que son capaces de detectar los gestos de la mano a
partir del movimiento muscular en el brazo, aunque el objetivo
de estos sistemas no es el de introducir información al sistema
por medio de gestos, lo hace en medio del proceso de captura
de información para el diseño de prótesis que serán controladas
por los brazos. De ahí el interés en este tipo de dispositivos
de captura.
Por último el dispositivo de Adquisición de Datos por
excelencia para el reconocimiento de gestos y posturas de
la mano es la cámara, que puede variar en la calidad de la
imagen, en la configuración y distribución en el espacio. Es así
como un sistema puede estar compuesto por una sola cámara
[31], por medio de visión estéreo con dos cámaras como en
[39] o por tres o más cámaras como en [11]. En los sistemas
que capturan información por medio de cámaras, se toman
imágenes con cierta frecuencia (frames por segundo), sobre
los cuales se realiza el preprocesamiento.
B. Preprocesamiento
El preprocesamiento prepara los datos para su extracción. La
toma de datos del sensor implica una entrada de información
innecesaria que hace lento el procesamiento y dificulta la
extracción, en esta área se hace una primera selección de la
información eliminando objetos de ruido como el fondo. En
algunos casos se usan fondos de un color determinado [16]
para realizar un preprocesamiento mucho más sencillo, pero
evidentemente esto limita la capacidad del sistema en otros
contextos más realistas donde el fondo está lleno de objetos
de diferentes formas y colores. En el procesamiento se realiza
la segmentación de las imágenes, es decir la identificación
de la mano, pero también se realizan transformaciones en la
imagen que permiten normalizar la imagen, es decir, llevarla a
una posición y una escala común, así si la imagen de una mano
está inclinada, es posible realizar una rotación que facilite la
extracción de la infomación. Las principales transformaciones
aplicables a una imagen son las traslaciones, rotaciones y
escalamientos [1]. Las transformaciones, en este caso en dos
dimensiones, se pueden definir en términos de matrices:
P0 = T + P (1)
P0 = S ∗ P (2)
P0 = R ∗ P (3)
Donde P es el punto actual, P 0 es el punto resultante
y T , S, R son las matrices de transformación Traslación,
Escalamiento y Rotación, respectivamente. Aplicando coorde-
nadas homogéneas se puede convertir la suma en la transfor-
mación de traslación (ecuación 1) en una multiplicación, pudi-
endo aplicar todas las transformaciones en una sola ecuación:
P 0 = SRT P (4)
La segmentación de imágenes consiste en la separación de
regiones de la imagen, considerando el área de interés como
 4

el objeto y el resto como fondo, de las regiones consideradas

como objetos se obtienen parámetros sobre los cuales se re-
quiere hacer un análisis posterior. En la revisión bibliográfica,
las técnicas de segmentación más usadas son:
La binarización que consiste en llevar la imagen a un
conjunto de puntos con posibles valores 0 y 1 determinando
un umbral que define el límite en que un valor de pixel
se convierte en 1 o 0, normalmente a cada número se le
asigna negro o blanco, que en el caso del área de la mano es
negro. Este proceso supone una reducción de la información Figure 3. Puntos de anclaje para B-spline. Tomado de Ma, 2004[25]
contenida en la imagen ya que interpola los valores reales de
los pixeles. Ejemplos de uso del proceso de binarización son
[8], [24]. Este proceso deja definidos los límites de la mano el valor del rasgo Haar-Like es la diferencia entre la suma de
[22] permitiendo una extracción más sencilla en términos los pixeles negros y los pixeles blancos de los rectángulos:
computacionales.
Otro método es la Ecualización del Histograma [11], [17] X X
f (x) = (valores de pixeles)− (valores de pixeles)
por el cual es posible obtener una imagen con una distribución
negro blanco
uniforme, donde para cada nivel de gris hay una cantidad igual (5)
de pixeles, este proceso maximiza el contraste y conserva al La diferencia con otros algoritmos es que no se basa en
máximo la cantidad de información contenida en la imagen, pixeles sino en áreas con información, sumado a AdaBoost
es decir, mantiene el nivel de entropía. que selecciona las mejores características en cada nivel y las
combina para formar un clasificador fuerte. En la Figura 4 se
C. Extracción de Gestos y Posturas muestran los tipos de rasgos Haar-Like considerados en [9].
La Extracción se puede dividir en dos ramas, por un lado
lo referente a reconocimiento de entradas estáticas y por otro,
entrada de información dinámica, es decir, con respecto al
tiempo. La extracción de posturas requiere unas técnicas que
analizan la imagen con el fin de obtener la forma de la mano
y la postura que se realiza en ese momento. Las técnicas más
conocidas para la extracción de posturas (Tabla II) se describen
a continuación.
El Análisis de Componentes Principales (PCA) es un
método estadístico que permite obtener la información más Figure 4. Tipos de Rasgos Haar-Like. Tomado de Chen, 2008[9]
relevante de un conjunto de datos. Se calcula a partir de
la matriz de covarianza donde los mayores valores de los
vectores propios indican la dirección de la mayor dispersión, Técnica Descripción
lo que permite identificar cuáles son las variables que proveen PCA Reducción de la dimensionalidad
B-Splines Curvas a partir de puntos de anclaje
mayor información. El objetivo es generar un nuevo sistema de Haar-Like (AdaBoost) Rectángulos de características
coordenadas en el que los datos puedan ser representados con
Table II
la menor correlación entre variables. Para este caso puede re- T ÉCNICAS PARA EXTRACCIÓN DE POSTURAS
ducir las variables de estudio disminuyendo considerablemente
el costo de procesamiento de las imágenes, este método es
usado en [1] para la selección de la información que aportará En cuanto al Reconocimiento de Gestos las técnicas son
mayores pistas sobre la imagen que se está analizando. Por más complejas y generalmente requieren un alto poder de
ejemplo a partir de un vector de características de Gabor se procesamiento, lo que implica una mayor dificultad para lograr
tienen 4840 dimensiones, que luego de aplicar PCA se reducen resultados en tiempo real.
a 20 componentes principales que representan el 96.3% de la El Análisis de Entropía [23] permite eliminar las partes
información contenida en la imagen[1]. que contienen poca o nada de información. Esta técnica es
Los B-Splines son curvas basadas en unos puntos de soporte la base para PIS (Pictorial Information System). El objetivo
o de anclaje que determinan la forma de la curva. El método es obtener una imagen a partir de una resta de otra imagen
[25] consiste en tomar 4 puntos de anclaje en la forma de secuencial, mientras se mide la entropía, separando la región
la mano, a partir de los cuales se determina la forma y de la mano del resto de la imagen. Este proceso permite
las medidas de la mano y con lo cual se podría realizar detectar el movimiento de la mano ya que cuando cambia
autenticación e identificación (Figura 3). de posición aporta nueva información a la imagen debido a la
Un método de bajo nivel, es decir, para reconocimiento de distribución de color en el área de la mano.
posturas de la mano, es llamado H AAR -L IKE [9] que consiste El método de Detección de Primitivas [7] usa las diferentes
en dos o tres rectángulos conectados de colores blanco y negro, tonalidades de la piel, formas en la imagen, cambio de

iluminación e irregularidades de las sombras. El objetivo es
detectar las manos incluso donde los fondos sean complejos
y confusos. La técnica es capaz de reiniciar el seguimiento en
una imagen, a pesar de haber perdido el objeto, en este caso
la mano. El proceso consta de cuatro pasos:
1) Detección de líneas paralelas
2) Detección de la curva de los dedos
3) Separar las primitivas detectadas en 1 y 2 por medio de
dos árboles de decisión
4) Ordenar los grupos de primitivas para obtener los can-
didatos
En [9] se realiza el reconocimiento usando el A NÁLISIS
S INTÁCTICO basado en una gramática estocástica libre de
contexto (SCFG - Stochastic Context-Free Grammar) que
considera ciertos movimientos de la mano como palabras
principales de las que se derivan los demás. En este artículo
los autores consideran que los gestos tienen una relación de
herencia con las posturas, por lo que es posible aplicar una
aproximación sintáctica. Con esta aproximación los gestos
pueden ser considerados una composición de posturas así
como las frases son composiciones de palabras y por tanto
es posible construir una gramática modelada en la ecuación 6.
GS = (VN , VT , PS , S) (6)
Donde VT y VN son conjuntos finitos terminales y no-
terminales, respectivamente, S ∈ VN es el símbolo de inicio y
PS es un conjunto finito de producción de reglas estocásticas.
En [28] se emplea una técnica llamada Análisis de Com-
ponentes Independientes (ICA), que permite revelar factores
ocultos provenientes de conjuntos de variables aleatorias, a
partir de esto se genera un modelo sobre los problemas
con múltiples variables. Normalmente los conjuntos de datos
procesados con esta técnica son de gran tamaño.
D. Clasificación
La clasificación de los gestos y las posturas de la mano,
luego de ser extraídas por los métodos mencionados ante-
riormente, se realiza por técnicas dentro de las siguientes
categorías:
• Agrupamiento
• Clasificación
• Modelos Ocultos de Markov
En el agrupamiento, la técnica más usada es Fuzzy C-
means[1], [21] que también es una de las técnicas de agru-
pamiento más usada en reconocimiento de patrones. Ésta
hace una partición en C grupos a partir de una función de
membresía a cada uno de ellos. En Fuzzy C-means un dato
pertenece a todos los grupos, pero con un grado de pertenencia
diferente para cada uno.
En los Modelos Ocultos de Markov se contemplan
los Modelos Ocultos de Markov Pseudo 3-dimensionales
(P3DHMM)[6] y el modelo simple Modelos Ocultos de
Markov (HMM)[26]. Un Modelo Oculto de Markov es un
proceso estocástico que cumple la propiedad markoviana, es
decir, su sestado actual depende solo del estado inmediata-
mente anterior, dotando al sistema de memoria, pero con
5
parámetros desconocidos u ocultos. El objetivo es determinar
dichos parámetros con los parámetros que son conocidos.
Para la clasificación existen diversas técnicas que se usan
comúnmente en el reconocimiento de gestos y posturas de la
mano. Una de estas es basada en reglas difusas o borrosas
[2] para reconocimiento de gestos obtenidos a partir de un
guante de datos, más específicamente los gestos del Lenguaje
de Gestos Brasileros (LIBRAS). El proceso se realiza teniendo
en cuenta los ángulos entre los dedos y la separación entre los
mismos.
También existen técnicas basadas en Máquinas de Estados
Finitos [4], es un método basado en la aceleración para
detectar los gestos de la mano en una secuencia de video,
teniendo en cuenta que hay muchos momentos en los que la
mano está en una transición entre un gesto y el otro. Indica
que los gestos de la mano se pueden clasificar en términos de
4 atributos mayores:
- Configuración de la mano
- Orientación de la palma
- Posición de la mano
- Movimiento de la mano
Es decir, el movimiento en el video implica trayectorias y
orientación a parte de las demás características de la mano
en imágenes estáticas. La co-articulación (que se considera en
este artículo) es un fenómeno que indica que un gesto influye
en el siguiente en una secuencia temporal.
Un método de clasificación común en la actualidad son
las Máquinas de Vector de Soporte (SVM) [10], [24]. Son
clasificadores lineales que son capaces de separar las clases
del problema por medio de un hiperplano en espacios de
alta dimensionalidad, inducidos por funciones de kernel. El
proceso (Figura 5) consiste en:
1) Transformar los datos a espacios de alta dimensionalidad
por medio de las funciones de kernel.
2) Encontrar el hiperplano que maximice el margen entre
dos clases.
3) Si los datos no son linealmente separables, se halla el
hiperplano que maximice el margen y que disminuya el
número de errores en la clasificación.
Las SVM representan una ventaja ya que eliminan el incon-
veniente de los mínimos locales, sin embargo son costosas en
términos computacionales para una cantidad considerable de
variables.
Figure 5. Máquina de Vector de Soporte (SVM). Tomado de Chen 2007
[10]

Por último, las redes neuronales son técnicas de gran uso
debido a la característica que les permite aproximar cualquier
función con ciertas características. Una red neuronal artificial
es un conjunto de neuronas interconectadas que permiten o
inhiben el paso de impulsos a otras neuronas por medio de
una función de activación, esto permite el desarrollo de un
proceso de aprendizaje al modificar los pesos sinápticos o de
interconexión. Las Redes Neuronales son usadas en [27], [16].
E. Interacción
La interacción es una característica importante a tener en
cuenta en los sistemas, en particular en los sistemas de
reconocimiento de gestos y posturas de la mano, ya que este
es el paso que garantiza la retroalimentación hacia el usuario,
ya sea por medio de robots, ambientes virtuales, aplicaciones
de edición o sistemas de realidad virtual.
IV. P ERSPECTIVAS DE D ESARROLLO
En cada área se presentan problemas particulares que deben
ser resueltos en el proceso de optimización del problema
general del reconocimiento de gestos y posturas de la mano.
En la Adquisición de Datos se requieren métodos que no
limiten a los usuarios en cuanto a usabilidad. Dispositivos
como los guantes de datos y multitáctiles impiden en cierta
medida los movimientos. El uso de cámaras es menos invasivo,
pero para hacer una buena captura de datos es necesario imple-
mentar montajes complicados como sincronización en cámaras
estéreo. El desarrollo futuro en estos dispositivos va orientado
hacia la calidad en la captura de la información, teniendo
en cuenta que esto puede afectar el comportamiento y la
complejidad en el preprocesamiento y la posterior extracción
de los datos.
En el preprocesamiento se hace necesario hallar formas de
capturar los gestos y las posturas más eficientes y menos
susceptibles a errores ya que existen problemas si por ejemplo,
en el proceso hay un movimiento de la cámara [42]. La
eliminación de regiones que no son de interés aún es un
problema que no ha sido solucionado completamente, sobre
todo en ambientes donde hay muchos colores, diferentes
intensidades de luz y formas complejas.
La Extracción de gestos y posturas también es un área donde
hay mucho por explorar, siendo la mayor dificultad identificar
las posturas de la mano desde distintos ángulos y distancias.
En el caso de los gestos, la dificultad radica en relacionar de
forma adecuada cada secuencia de posturas y diferenciar un
gesto del siguiente.
En la Clasificación se plantean problemas que son compa-
rables con muchos problemas por resolver en otras áreas de
las Ciencias de la Computación. Las adaptaciones y nuevas
aproximaciones en las técnicas como SVM, HMM y Redes
Neuronales redundan en una mejor clasificación de los gestos y
las posturas. El trabajo en esta área entonces está en optimizar
dichas técnicas de clasificación y agrupamiento. Otro aspecto a
desarrollar es un lenguaje unificado de gestos, donde un gesto
represente una acción particular. En los artículos de Stern [32],
[33] hay una aproximación a esta solución, sin embargo en
muchos trabajos actuales se siguen convenciones diferentes.
6
En la Interacción se hace necesario un mayor desarrollo
en cuanto a la interoperabilidad entre el sistema de re-
conocimiento de gestos y posturas y los sistemas que se
quieren controlar. Una tarea importante es desarrollar una
interfaz que permita unificar las acciones producidas por
los gestos en cada contexto, por ejemplo ejecutar acciones
particulares en un sistema operativo.
V. C ONCLUSIONES
En el ámbito del HCI es importante tener sistemas que sean
capaces de brindar naturalidad en el acceso a la información,
esta es una característica del reconocimiento de gestos y pos-
turas de la mano. Dentro de este sistema existen subsistemas
que a su vez tienen problemas por resolver, pero en los que se
hacen avances continuamente. Desde una perspectiva propia,
los mejores métodos usados en cada subsistema son:
• Adquisición de Datos: Cámaras simples, debido a su bajo
costo, ya que se descarga el peso de la identificación en
los algoritmos.
• Preprocesamiento: Una combinación entre la binarización
y la ecualización del histograma, evitando al máximo la
pérdida de información.
• Extracción de Gestos: Análisis en Componentes Princi-
pales, ya que permite eliminar variables con poca infor-
mación. Además se considera una buena alternativa el
Análisis Sintáctico por ser una técnica novedosa para la
identificación de gestos y que muestra buenos resultados
[9].
• Clasificación: HMM, Modelos Ocultos de Markov, pues
son los que mejores resultados han mostrado, con-
siderando diferentes variaciones sobre el modelo gen-
eral como los Modelos Ocultos de Markov Pseudo 3-
dimensionales (P3DHMM) [6].
• Interacción: El subsistema de Interacción no ha sido muy
explorado, sin embargo es importante definir una interfaz
común para cada contexto.
R EFERENCES
[1] M.A. Amin and Hong Yan. Sign language finger alphabet recognition
from gabor-pca representation of hand gestures. In Machine Learning
and Cybernetics, 2007 International Conference on, volume 4, pages
2218–2223, 2007.
[2] B.R. Callejas Bedregal, G.P. Dimuro, and A.C. Rocha Costa. Interval
fuzzy rule-based hand gesture recognition. In Scientific Computing,
Computer Arithmetic and Validated Numerics, 2006. SCAN 2006. 12th
GAMM - IMACS International Symposium on, page 12, 2006.
[3] M.K. Bhuyan, D. Ghosh, and P.K. Bora. Finite state representation of
hand gesture using key video object plane. In TENCON 2004. 2004
IEEE Region 10 Conference, volume A, pages 579–582 Vol. 1, 2004.
[4] M.K. Bhuyan, D. Ghosh, and P.K. Bora. Co-articulation detection in
hand gestures. In TENCON 2005 2005 IEEE Region 10, pages 1–4,
2005.
[5] M.K. Bhuyan, D. Ghosh, and P.K. Bora. Threshold finite state machine
for vision based gesture recognition. In INDICON, 2005 Annual IEEE,
pages 379–382, 2005.
[6] Nguyen Dang Binh and T. Ejima. Real-time hand gesture recognition
using pseudo 3-d hidden markov model. In Cognitive Informatics, 2006.
ICCI 2006. 5th IEEE International Conference on, volume 2, pages 820–
824, 2006.
[7] M.B. Caglar and Nd.V. Lobo. Self correcting tracking for articulated
objects. In Automatic Face and Gesture Recognition, 2006. FGR 2006.
7th International Conference on, pages 609–616, 2006.

[8] A. Chalechale and G. Naghdy. Visual-based human-machine interface
using hand gestures. In Signal Processing and Its Applications, 2007.
ISSPA 2007. 9th International Symposium on, pages 1–4, 2007.
[9] Qing Chen, N.D. Georganas, and E.M. Petriu. Hand gesture recognition
using haar-like features and a stochastic context-free grammar. Instru-
mentation and Measurement, IEEE Transactions on, 57(8):1562–1571,
2008.
[10] Yen-Ting Chen and Kuo-Tsung Tseng. Developing a multiple-angle
hand gesture recognition system for human machine interactions. In
Industrial Electronics Society, 2007. IECON 2007. 33rd Annual Confer-
ence of the IEEE, pages 489–492, 2007.
[11] Yen-Ting Chen and Kuo-Tsung Tseng. Multiple-angle hand gesture
recognition by fusing svm classifiers. In Automation Science and
Engineering, 2007. CASE 2007. IEEE International Conference on,
pages 527–530, 2007.
[12] A. Erol, G. Bebis, M. Nicolescu, R.D. Boyle, and X. Twombly. A review
on vision-based full dof hand motion estimation. In Computer Vision
and Pattern Recognition, 2005 IEEE Computer Society Conference on,
page 75, 2005.
[13] Yikai Fang, Jian Cheng, Kongqiao Wang, and Hanqing Lu. Hand gesture
recognition using fast multi-scale analysis. In Image and Graphics, 2007.
ICIG 2007. Fourth International Conference on, pages 694–698, 2007.
[14] Yikai Fang, Kongqiao Wang, Jian Cheng, and Hanqing Lu. A real-time
hand gesture recognition method. In Multimedia and Expo, 2007 IEEE
International Conference on, pages 995–998, 2007.
[15] Zhiquan Feng, Bo Yang, Yanwei Zheng, Zhonghua Wang, and Yi Li.
Research on 3d hand tracking using particle filtering. In Natural
Computation, 2008. ICNC ’08. Fourth International Conference on,
volume 7, pages 367–371, 2008.
[16] S.S. Ge, Y. Yang, and T.H. Lee. Hand gesture recognition and tracking
based on distributed locally linear embedding. In Robotics, Automation
and Mechatronics, 2006 IEEE Conference on, pages 1–6, 2006.
[17] Lim Wei Howe, Farrah Wong, and Ali Chekima. Comparison of
hand segmentation methodologies for hand gesture recognition. In
Information Technology, 2008. ITSim 2008. International Symposium
on, volume 2, pages 1–7, 2008.
[18] Hongmo Je, Jiman Kim, and Daijin Kim. Hand gesture recognition to
understand musical conducting action. In Robot and Human interactive
Communication, 2007. RO-MAN 2007. The 16th IEEE International
Symposium on, pages 163–168, 2007.
[19] Chia-Feng Juang, Ksuan-Chun Ku, and Shin-Kuan Chen. Temporal hand
gesture recognition by fuzzified tsk-type recurrent fuzzy network. In
Neural Networks, 2005. IJCNN ’05. Proceedings. 2005 IEEE Interna-
tional Joint Conference on, volume 3, pages 1848–1853 vol. 3, 2005.
[20] Seong Pal Kang, G. Rodnay, M. Tordon, and J. Katupitiya. A hand
gesture based virtual interface for wheelchair control. In Advanced In-
telligent Mechatronics, 2003. AIM 2003. Proceedings. 2003 IEEE/ASME
International Conference on, volume 2, pages 778–783 vol.2, 2003.
[21] S.K. Korde and K.C. Jondhale. Hand gesture recognition system
using standard fuzzy c-means algorithm for recognizing hand gesture
with angle variations for unsupervised users. In Emerging Trends in
Engineering and Technology, 2008. ICETET ’08. First International
Conference on, pages 681–685, 2008.
[22] Hyung-Ji Lee and Jae-Ho Chung. Hand gesture recognition using
orientation histogram. In TENCON 99. Proceedings of the IEEE Region
10 Conference, volume 2, pages 1355–1358 vol.2, 1999.
[23] JongShill Lee, YoungJoo Lee, EungHyuk Lee, and SeungHong Hong.
Hand region extraction and gesture recognition from video stream
with complex background through entropy analysis. In Engineering
in Medicine and Biology Society, 2004. IEMBS ’04. 26th Annual
International Conference of the IEEE, volume 1, pages 1513–1516,
2004.
[24] Yun Liu, Zhijie Gan, and Yu Sun. Static hand gesture recognition and its
application based on support vector machines. In Software Engineering,
Artificial Intelligence, Networking, and Parallel/Distributed Computing,
2008. SNPD ’08. Ninth ACIS International Conference on, pages 517–
521, 2008.
[25] YingLiang Ma, F. Pollick, and W.T. Hewitt. Using b-spline curves for
hand recognition. In Pattern Recognition, 2004. ICPR 2004. Proceedings
of the 17th International Conference on, volume 3, pages 274–277 Vol.3,
2004.
[26] Byung-Woo Min, Ho-Sub Yoon, Jung Soh, Yun-Mo Yang, and Toshiaki
Ejima. Hand gesture recognition using hidden markov models. In
Systems, Man, and Cybernetics, 1997. ’Computational Cybernetics and
Simulation’., 1997 IEEE International Conference on, volume 5, pages
4232–4235 vol.5, 1997.
7
[27] Ganesh R. Naik, Dinesh K. Kumar, Hans Weghorn, and Marimuthu
Palaniswami. Subtle hand gesture identification for hci using temporal
decorrelation source separation bss of surface emg. In Digital Image
Computing Techniques and Applications, 9th Biennial Conference of the
Australian Pattern Recognition Society on, pages 30–37, 2007.
[28] G.R. Naik, D.K. Kumar, and M. Palaniswami. Multi run ica and surface
emg based signal processing system for recognising hand gestures.
In Computer and Information Technology, 2008. CIT 2008. 8th IEEE
International Conference on, pages 700–705, 2008.
[29] V.I. Pavlovic, R. Sharma, and T.S. Huang. Visual interpretation of hand
gestures for human-computer interaction: a review. Pattern Analysis and
Machine Intelligence, IEEE Transactions on, 19(7):677–695, 1997.
[30] P. Premaratne and Q. Nguyen. Consumer electronics control system
based on hand gesture moment invariants. Computer Vision, IET,
1(1):35–41, 2007.
[31] E. Stergiopoulou and N. Papamarkos. A new technique for hand gesture
recognition. In Image Processing, 2006 IEEE International Conference
on, pages 2657–2660, 2006.
[32] H.I. Stern, J.P. Wachs, and Y. Edan. Optimal hand gesture vocabulary
design using psycho-physiological and technical factors. In Automatic
Face and Gesture Recognition, 2006. FGR 2006. 7th International
Conference on, pages 257–262, 2006.
[33] H.I. Stern, J.P. Wachs, and Y. Edan. Optimal consensus intuitive
hand gesture vocabulary design. In Semantic Computing, 2008 IEEE
International Conference on, pages 96–103, 2008.
[34] Mu-Chun Su. A fuzzy rule-based approach to spatio-temporal hand ges-
ture recognition. Systems, Man, and Cybernetics, Part C: Applications
and Reviews, IEEE Transactions on, 30(2):276–281, 2000.
[35] Kuo-Tsung Tseng, Wen-Fu Huang, and Cheng-Hua Wu. Vision-based
finger guessing game in human machine interaction. In Robotics and
Biomimetics, 2006. ROBIO ’06. IEEE International Conference on,
pages 619–624, 2006.
[36] W.-H.A. Wang and Chun-Liang Tung. Dynamic hand gesture recog-
nition using hierarchical dynamic bayesian networks through low-
level image processing. In Machine Learning and Cybernetics, 2008
International Conference on, volume 6, pages 3247–3253, 2008.
[37] Chen Xiang, Li Qiang, Yang Ji-Hai, V. Lantz, and Wang Kong-Qiao.
Test-retest repeatability of surface electromyography measurement for
hand gesture. In Bioinformatics and Biomedical Engineering, 2008.
ICBBE 2008. The 2nd International Conference on, pages 1923–1926,
2008.
[38] Deyou Xu. A neural network approach for hand gesture recognition in
virtual reality driving training system of spg. In Pattern Recognition,
2006. ICPR 2006. 18th International Conference on, volume 3, pages
519–522, 2006.
[39] Xiaoming Yin and Ming Xie. Hand gesture segmentation, recognition
and application. In Computational Intelligence in Robotics and Automa-
tion, 2001. Proceedings 2001 IEEE International Symposium on, pages
438–443, 2001.
[40] Yu Yuan and K. Barner. Hybrid feature selection for gesture recognition
using support vector machines. In Acoustics, Speech and Signal
Processing, 2008. ICASSP 2008. IEEE International Conference on,
pages 1941–1944, 2008.
[41] Haiting Zhai, Xiaojuan Wu, and Hui Han. Research of a real-time hand
tracking algorithm. In Neural Networks and Brain, 2005. ICNN&B ’05.
International Conference on, volume 2, pages 1233–1235, 2005.
[42] Qiuyu Zhang, Fan Chen, and Xinwen Liu. Hand gesture detection
and segmentation based on difference background image with complex
background. In Embedded Software and Systems, 2008. ICESS ’08.
International Conference on, pages 338–343, 2008.
[43] Yuanxin Zhu, Haibing Ren, Guangyou Xu, and Xueyin Lin. Toward
real-time human-computer interaction with continuous dynamic hand
gestures. In Automatic Face and Gesture Recognition, 2000. Proceed-
ings. Fourth IEEE International Conference on, pages 544–549, 2000.