UNIVERSIDAD DE LAS FUERZAS ARMADAS - ESPE

DEPARTAMENTO DE ELÉCTRICA, ELECTRÓNICA Y

TELECOMUNICACIONES

CARRERA DE INGENIERÍA EN ELECTRÓNICA,

AUTOMATIZACIÓN Y CONTROL

TEMA:
“SISTEMA DE NAVEGACIÓN AUTÓNOMO BASADO EN VISIÓN
PARA PISTAS DE CARRERAS DE DRONES CON LANDMARKS
DE SUPERFICIE”

PERFIL PROYECTO DE INVESTIGACIÓN

PROYECTO PREVIO A LA OBTENCIÓN DEL TÍTULO DE:

INGENIERO EN ELECTRÓNICA, AUTOMATIZACIÓN Y CONTROL

REALIZADO POR:
SR. SANTIAGO ANDRÉS GRIJALVA CAISACHANA

DIRECTOR:
DR. WILBERT G. AGUILAR

SANGOLQUÍ, 24 DE OCTUBRE DEL 2018

1. TÍTULO DEL PROYECTO:
Sistema de navegación autónomo basado en visión para pistas de carreras de drones
con landmarks de superficie
2. DATOS REFERENCIALES DEL PROYECTO

2.1 FECHA DE PRESENTACIÓN

Octubre 2018

2.2 DURACIÓN DEL PROYECTO

Seis meses (400 horas)

2.3 ÁREAS DE CONOCIMIENTO DEL DEPARTAMENTO DE ELÉCTRICA Y

ELECTRÓNICA A LAS QUE PERTENECE EL PROYECTO.

Sistemas Electrónicos - Automática y Robótica

2.4 UNIDAD RESPONSABLE

Departamento de Eléctrica y Electrónica

2.5 NOMBRE Y ESPECIALIDAD DEL RESPONSABLE DEL DESARROLLO

DEL PROYECTO.

Sr. Santiago Andrés Grijalva Caisachana

sagrijalva1@espe.edu.ec
Ingeniería en Electrónica, Automatización y Control

2.6 ORIENTADOR DEL PERFIL DE PROYECTO DE INVESTIGACIÓN

Dr. Wilbert G. Aguilar

2.7 COLABORADORES DEL PROYECTO

No aplica

2.8 NOMBRE DE LA EMPRESA O INSTITUCIÓN PARA LA QUE SE

DESARROLLA EL PROYECTO

Departamento de Eléctrica y Electrónica de la Universidad de las Fuerzas

Armadas – ESPE

Página 2 de 15
3. DEFINICIÓN DEL PROYECTO

3.1 ANTECEDENTES

Los vehículos aéreos no tripulados, por sus siglas en inglés (Unmanned Aerial Vehicle),
han tenido gran acogida en los últimos años en diferentes disciplinas, mapeo 3D,
levantamientos topográficos, agricultura de precisión, sistemas de vigilancia, rescate,
sistemas de navegación autónomos, etc. [1]- [2]- [3].

Como menciona Karpenko et al. [4], los sistemas de navegación convencionales

dependen totalmente de una Unidad de Medida Inercial (IMU) y un Sistema de
Posicionamiento Global (GPS) para cumplir con las funciones de localización. No
obstante, existen ambientes en los cuales no se puede obtener una señal fidedigna en el
GPS y el sistema es susceptible a errores o fallo total y, aunque, existen sistemas de
localización que utilizan únicamente la IMU incorporada en el sistema [5], la misma
contiene señales ruidosas, que al ser procesadas conlleva a una propagación exponencial
del error. Si desea obtener la posición a través de los datos obtenidos por un acelerómetro,
esta señal al ser ruidosa conllevará a que el error en la posición sea mayor, por la doble
integración del error de la aceleración.

En la literatura se pueden encontrar sistemas de navegación autónoma basados en

sensores externos al UAV. En el trabajo de Gageik et al. [6] se utilizaron sensores
ultrasónicos y sensores infrarrojos. Existen trabajos que basan su sistema en diferentes
tipos de cámaras como estéreo, omnidireccionales, RGB-D, etc. [7]-[8] que no son
comunes en los UAVs comerciales.

Existen MAVs, (Micro Aerial Vehicles), que por sus dimensiones y limitaciones físicas
no pueden llevar cargas superiores a la de su propia estructura, por lo que el uso de
sensores adicionales a bordo no es recomendable. En este caso los sistemas de navegación
autónoma están basados en imágenes obtenidas por una cámara monocular. A través de
las imágenes se hace una estimación de la pose y movimiento del MAV (egomotion
estimation), y se realiza un control servo visual para evadir posibles obstáculos.

La evasión de obstáculos en los sistemas de navegación autónoma en tiempo real basada

únicamente en imágenes ha representado un reto. El primer problema a enfrentar es la
detección del obstáculo, Mori et al. [9] en un primer enfoque presentan un método para
detectar los cambios relativos en el tamaño de las imágenes obtenidas por la cámara
monocular, basado en los puntos de interés. Este método utiliza SURF (Speeded-Up
Robust Features), que es un algoritmo basado en visión, capaz de detectar y describir
dichos puntos, invariante a la rotación y escala de la imagen.

Los errores de matching son un problema a afrontar en los detectores de puntos de interés,
esto lleva a una errónea detección del obstáculo. Es necesario rechazar valores atípicos

Página 3 de 15
en el modelo, Aguilar et al. [10] usa una combinación de transformaciones geométricas y
rechazo de falsos positivos (outliers rejection) basado en el Consenso de Muestreo
Aleatorio por sus siglas en inglés RANSAC (RANdom SAmple Consensus), que es un
método iterativo para calcular los parámetros de un modelo matemático de un conjunto
de datos observados que contiene valores atípicos (outliers), para diseñar un estabilizador
de video en tiempo real para MAVs. Esto puede ser extrapolado a una robusta detección
de obstáculos sin errores de matching.

Otro de los problemas que se ha afrontado es la estimación del estado del MAV en
ambientes sin señal GPS. Varios estudios [11]- [12]- [13], utilizan un filtro de Kalman
para fusionar los datos de la IMU y las imágenes monoculares de la cámara que tienen
incorporada, de esta manera obtienen una estimación óptima del estado actual del MAV.

El Bebop 2.0 es un MAV comercial de la empresa Parrot que tiene una cámara monocular
de 14 megapíxeles con una velocidad de obturación de 30 cuadros por segundo (FPS).
Adicionalmente esta cámara es tipo ojo de pescado (fisheye), lo que significa que tiene
un ángulo de visión de 180° permitiendo obtener desde imágenes frontales hasta imágenes
de la superficie sobre la que se encuentra sobrevolando. Además, cuenta con un altímetro,
que proporciona información importante sobre la distancia que existe entre el MAV y la
superficie terrestre.

Figura 1. Parrot Bebop 2 (Parrot, 2018)

Los drones de Parrot son de código abierto, por lo que son altamente utilizados en
investigación. Parrot presenta compatibilidad con las plataformas Paparazzi UAV,
Dronecode y ROS (Robot Operating System), este último, es un conjunto de librerías y
herramientas básicas para a construir aplicaciones con robots.
Dentro de estas librerías se encuentra un driver especial, bebop_autonomy, que ha sido
desarrollado por Mani Monajjemi de la Simon Fraser University y otros colaboradores,
es una herramienta compatible con el Parrot Bebop 1.0 y el Parrot Bebop 2.0, que permite
la comunicación para controlar a estos MAVs, es importante recalcar que
bebop_autonomy no provee al usuario de herramientas de control de bajo nivel para estos
MAVs, ya que Parrot no ha liberado esa funcionalidad en sus productos.

Página 4 de 15
 3.2 JUSTIFICACIÓN E IMPORTANCIA

Los sistemas de navegación autónoma comprenden un área de investigación extensa,

existen desde sistemas basados en señales GPS, hasta sistemas basados en visión con
diferentes tipos de cámara, omnidireccionales, estéreo, RGB-D, monoculares, etc. Las
aplicaciones de estos sistemas son diversas:

 En interiores (entornos controlados)

 En exteriores sin señal GPS (entornos complejos)
 Exploración de zonas desconocidas (cuevas, bosques, etc.)
 Identificación de plantaciones ilegales en zonas fronterizas
 Vigilancia privada
 Detección de eventos anormales en aglomeraciones
 Detección de plagas en plantaciones
 Agricultura de precisión
 Búsqueda y rescate de personas
 Rastreo y seguimiento de objetos
 Servicio de mensajería y entregas a domicilio

Cada uno de estos sistemas debe poseer un grado de autonomía. Los sistemas de
navegación autónomos basados en visión son ampliamente usados en la literatura, esto se
debe a que en ambientes negados de señal GPS muchos de los sistemas convencionales
son susceptibles a fallo. En este proyecto de investigación se plantea el desarrollo del
mismo para pistas de carreras de drones. Estos circuitos a pesar de ser ambientes
controlados, son diseñados para probar la destreza y robustez del controlador que se ha
diseñado. Por lo que, es importante desarrollar un sistema de navegación autónomo, en
primera instancia, en ambientes controlados, para posteriormente extrapolarlo a las
aplicaciones mencionadas en la literatura.

Adicionalmente, existen competiciones a nivel internacional de Sistemas Robóticos

Autónomos. Una de ellas es la IROS (International Conference on Intelligent Robots).
Esta se desarrolló el pasado 3 de octubre en la ciudad de Madrid – España. Existe un
evento específico para carreras de drones autónomos (Autonomous Drone Racing), en el
cual se presentan diferentes etapas que prueban la destreza del controlador. En la Figura
3, se muestra un esquema del circuito que se presentó en la IROS 2017, en el que se
incluyen diferentes secciones para medir la destreza del sistema:

 Sección recta
 Sección curva
 Sección giro en curva
 Sección dinámica

Página 5 de 15
En estas secciones se presentan diferentes tipos de obstáculos, en la Figura 2 se muestran
los obstáculos que se definen en la IROS 2018.

Figura 2. Tipos de obstáculos definidos en la IROS 2018

Figura 3. Esquema del circuito de la competencia Autonomous Drone Racing IROS

2017

Página 6 de 15
Con el desarrollo de este proyecto de investigación se ponen en práctica los conceptos de
la Ingeniería en Electrónica, Automatización y Control. Principalmente se utilizan
conceptos de Sistemas de Control, Control Digital, Robótica Industrial y Control
Inteligente.

Adicionalmente, se presenta como primer antecedente para la posible organización de un

concurso interno de sistemas robóticos autónomos a nivel superior.

3.3 ALCANCE DEL PROYECTO

En el proyecto de investigación se desarrollará un sistema de navegación autónoma

basado en visión para pistas de carreras de drones con landmarks de superficie, tomando
como referencia algoritmos de reconocimiento de puntos de interés (feature points) para
estimar la pose y movimientos que realiza el MAV (egomotion estimation).
Adicionalmente diseñar e implementar un planificador de rutas (path planning) para
navegar a través de los obstáculos.

Para diseñar el circuito de la carrera, se tomarán en cuenta los obstáculos de la sección

recta y curva del esquema de la pista de carrera de la IROS 2017, con el objetivo de una
futura participación en competiciones a nivel internacional a largo plazo.

El sistema estará constituido por una estación aérea Bebop 2.0 y una estación terrestre
Intel Core i7-6800HQ @ 2.60 GHz con 16 GB DDR4 de memoria RAM y una tarjeta
gráfica dedicada NVIDIA GTX 1060 de 3 GB de VRAM encargada de procesar las
imágenes monoculares y datos inerciales, seguido de esto, enviar las señales de control al
MAV.

Las herramientas y software necesarios para el procesamiento de la información obtenida

desde el MAV son los siguientes:

 Sistema Operativo: Ubuntu 16.04.5 LTS (Xenial Xerus)

 Robot Operating System: Distribución ROS Kinetic
 Driver bebop_autonomy
 OpenCV3

Los módulos funcionales comandados por el software y herramientas listadas están

organizados como se muestra en la Figura 4:

Página 7 de 15
 Figura 4. Diagrama esquemático del sistema
1. Comunicación inalámbrica con la estación terrestre: El Parrot Bebop 2.0
crea una red con SSID Bebop- XXXX, a la cual se conecta la estación terrestre.
2. Extracción de datos de la cámara: ROS levanta un nodelet a través del cual
pública la captura del video en el tópico image_raw como un mensaje de ROS
de tipo sensor_msgs/Image. Para seguir la trayectoria y evadir obstáculos al
mismo tiempo se observa hacia la superficie y hacia al frente. El Bebop 2.0 es
capaz de observar con un ángulo de visión de 180°, por esto se dedica 15
cuadros a las imágenes frontales y 15 cuadros a las imágenes terrestre.
3. Extracción de puntos de interés: ROS levanta un nodo de comunicación con
OpenCV. Con estas librerías se extraen puntos interés tanto para las imágenes
frontales como terrestres, determinando así, obstáculos y la ruta marcada.
4. Egomotion estimation: Se estima el estado actual del MAV, fusionando los
datos de la IMU y las imágenes monoculares.
5. Planificación de ruta: En función del estado del MAV y los puntos de interés,
se planifica la ruta tomando en cuenta dos consideraciones:
a. Seguimiento de ruta: Realizar el seguimiento de la ruta delimitada
con landmarks.
b. Detección de obstáculos: Detectar obstáculos y estimar la distancia a
la que se encuentra el MAV de estos.
6. Control servo visual: Ya planificada la ruta a través del obstáculo, se envían
las señales de control hacia el MAV para navegar a través de este, siguiendo la
ruta delimitada por landmarks.

3.4 OBJETIVOS

3.4.1 GENERAL
Diseñar un sistema de navegación autónomo basado en visión para pistas de
carreras de drones delimitadas con landmarks de superficie.

Página 8 de 15
 3.4.2 ESPECÍFICOS
 Realizar el estudio del estado del arte sobre los tipos de algoritmos
de evasión de obstáculos, seguimiento de trayectoria y planificación
de rutas.
 Comprende la dinámica y parámetros físicos del MAV Parrot Bebop
2.0
 Desarrollar el algoritmo de detección de obstáculos basado en
puntos de interés.
 Desarrollar el algoritmo de seguimiento de trayectorias a través de
landmarks superficiales.
 Diseñar el controlador y planificador de rutas a través de los
obstáculos.
 Realizar pruebas experimentales en cada uno de los ambientes de
prueba, de forma individual y de forma colectiva.
 Evaluar el desempeño del sistema frente a un piloto experto en
circuitos de destreza de drones.

3.5 CONTENIDOS

3.5.1 Temario desglosado en temas y subtemas

1. CAPITULO I. INTRODUCCIÓN
1.1. Planteamiento del problema
1.2. Antecedentes
1.3. Justificación e Importancia
1.4. Alcance del Proyecto
1.5. Objetivos
1.5.1. Objetivo General
1.5.2. Objetivos Específicos

2. CAPITULO II. ESTADO DEL ARTE

2.1. Algoritmos de reconocimiento de Puntos de Interés
2.2. Seguimiento de trayectorias basado en Landmarks
2.3. Planificación de rutas a través de un obstáculo
2.4. Estimación óptima de estados

3. CAPÍTULO III. MARCO TEÓRICO

3.1. Descripción de la dinámica del MAV
3.1.1. Parámetros físicos
3.1.2. Dinámica de movimiento
3.2. Caracterización de imágenes

Página 9 de 15
 3.2.1. Algoritmos de detección y descripción de puntos de
interés
3.3. Algoritmos de planificación de rutas
3.3.1. Obstáculos fijos
3.3.2. Obstáculos móviles
3.4. Plataformas de comunicación con el MAV Parrot Bebop 2
3.4.1. Robot Operating System (ROS)
3.4.2. Driver bebop_autonomy
3.4.2.1. Mensajes bebop_autonomy
3.4.2.2. Tópicos bebop_autonomy
3.5. Parámetros físicos del sistema
3.5.1. Parámetros físicos de la pista
3.5.2. Parámetros físicos de los obstáculos

4. CAPITULO IV: DESARROLLO DEL SISTEMA

4.1. Hardware del sistema
4.2. Software del sistema
4.3. Detección y descripción de puntos de interés
4.4. Estimación de la egomoción del MAV
4.5. Desarrollo del planificador de rutas
4.5.1. Seguimiento de ruta
4.5.2. Detección de obstáculos
4.6. Diseño del controlador servo visual del MAV

5. CAPITULO VI: PRUEBAS Y RESULTADOS

5.1. Pruebas experimentales por secciones
5.1.1. Sección recta
5.1.2. Sección curva
5.2. Análisis de Resultados
5.3. Trabajos Futuros

6. CAPITULO VII: CONCLUSIONES Y RECOMENDACIONES

6.1. Conclusiones
6.2. Recomendaciones

7. REFERENCIAS BIBLIOGRÁFICAS

8. ANEXOS

3.5.2 Fuentes de Conocimiento: libros, revistas, artículos científicos,

internet, catálogos, otros.

Página 10 de 15
3.6 ACTIVIDADES PARA EL DESARROLLO DEL PROYECTO

 Estudio del estado del arte

 Familiarización de uso con ROS, el driver bebop_autonomy y librerías
de OpenCV
 Estimación de la egomoción del MAV
 Desarrollo del algoritmo de reconocimiento de obstáculos
 Desarrollo del algoritmo de seguimiento de ruta
 Diseño del controlador y planificador de rutas
 Pruebas y Resultados
 Conclusiones y recomendaciones

3.6.1 DESCRIPCIÓN DE ACTIVIDADES

 Estudio del estado del arte

Durante esta etapa se realizará la búsqueda de información actualizada
y relevante acerca de los estudios previamente realizados y
relacionados con Sistemas de Navegación Autónomos.
 Familiarización de uso con ROS, el driver bebop_autonomy y
librerías de OpenCV para Computer Vision
En esta actividad se definirán las funcionalidades de ROS que estén
guiadas al desarrollo del proyecto, así como los tópicos y mensajes
que publica el driver bebop_autonomy, además, se establecerán que
librerías de OpenCV son útiles para el desarrollo del proyecto.
 Estimación de la egomoción del MAV
Se estimará la egomoción del MAV fusionando los datos de la IMU y
las imágenes monoculares, utilizando algoritmos de estimación
óptima.
 Desarrollo del algoritmo de reconocimiento de obstáculos
Durante esta actividad se pondrán a prueba varios algoritmos de
detección de puntos de interés (Features Points) que serán la base del
reconocimiento de los obstáculos.
 Desarrollo del algoritmo de seguimiento de ruta
Se desarrollará, al igual que en el reconocimiento de obstáculos, el
seguimiento de la ruta en base a puntos de interés.
 Diseño del controlador y planificador de rutas
En esta etapa se desarrollará el planificador de rutas, que va a la par
con el diseño del controlador que permitirá que el MAV ejecute los
movimientos necesarios en los 6 grados de libertad.
 Pruebas y resultados
En esta etapa se realizarán varios experimentos, se dividirán de la
siguiente manera, 1) Prueba de sección recta, 2) Prueba de sección
curva, 3) Prueba de sección giro en curva y 4) Prueba del circuito en

Página 11 de 15
 conjunto. A partir del análisis de los resultados obtenidos se
continuará con la siguiente actividad.
 Conclusiones y recomendaciones
En la etapa final se redactarán las conclusiones y recomendaciones que
se lograron en el desarrollo del proyecto, y, además, se presentan las
futuras investigaciones.

Página 12 de 15
3.6.2 CRONOGRAMA POR SEMANAS EN HOJAS DESPLEGABLES
(EN MICROSOFT PROJECT)

Página 13 de 15
4. REFERENCIAS

[1] F. Nex y R. Fabio, «UAV for 3D mapping applications: a review,» Applied Geomatics, vol.
6, nº 1, pp. 1-15, 2013.

[2] P. Liu y A. Chen Y., «A review of rotorcraft Unmanned Aerial Vehicle (UAV) developments
and applications in Civil Engineering,» Smart Structures and Systems, vol. 13, nº 6, pp.
1065-10694, 2014.

[3] C. Zhang y J. M. Kovacs, «The application of small unmanned aerial systems for precision
agriculture: a review,» PrecisionAgriculture, vol. 13, nº 6, pp. 693-712, 2012.

[4] S. Karpenko y I. Konovalenko, «Uav Control on the Basis of 3D Landmark Bearing-Only

Observations».

[5] J. Yi y Z. Junjie, «IMU-based localization and slip estimation for skid-steered mobile
robots,» de 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems,
San Diego, 2007.

[6] N. Gageik y P. Benz, «Obstacle Detection and Collision Avoidance for a UAV With
Complementary Low-Cost Sensors,» Digital Object Finder, vol. 3, pp. 599-609, 2015.

[7] S. Hrabar y G. Sukhatme, «Combined Optic-Flow and Stereo-Based Navgation of Urban

Canyons for a UAV,» de 2005 IEEE/RSJ International Conference on Intelligent Robots and
Systems, Edmonton, 2005.

[8] A. S. Huang y A. Bachrach, «Visual Odometry and Mapping for Autonomous Flight Using
an RGB-D Camera,» Springer Tracts in Advanced Robotics, vol. 100, pp. 235-252, 2016.

[9] T. Mori y S. Scherer, «First Results in Detection and Avoiding Front Obstacles from
Monocular Camera for Micro Unmanned Aerial Vehicles,» de IEEE International
Conference on Robotics and Automation (ICRA), Karlsruhe, 2013.

[10] W. G. Aguilar y A. Cecilio, «Real-Time Model-Based Video Stabilization for Microaerial

Vehicles,» Neural Process Lett, 2015.

[11] I. Sa, S. Hrabar y P. Corke, «Outdoor Flight Testing of a Pole Inspection UAV Incorporating
High-speed Vision,» Field and Service Robotics. Springer Tracts in Advanced Robotics, vol.
105, 2015.

[12] A. Soloviev y A. J. Rutkowski, «Fusion of inertial, optical flow, and airspeed

measurements for UAV navigation in GPS-denied environments,» Unmanned Systems
Technology XI, 2009.

[13] V. Lippiello y R. Mebarki, «Closed-Form Solution for Absolute Scale Velocity Estimation
Using Visual and Inertial Data with a Slideing Least-Squares Estimation,» Mediterranean
Conference on Control & Automation (MED), vol. 21, pp. 1261-1266, 2013.

Página 14 de 15
5. FIRMAS DE RESPONSABILIDAD

5.1 ESTUDIANTES RESPONSABLES DEL DESARROLLO DEL PROYECTO

Sr. Santiago Andrés Grijalva Caisachana

5.2 PROFESOR ORIENTADOR DEL PERFIL DE PROYECTO DE

INVESTIGACIÓN

Dr. Wilbert G. Aguilar

Página 15 de 15