Procesamiento de Imagen y Visión Hiperespectral

Departamento de Informática
Procesamiento de imagen
y visión hiperespectral
para el control de calidad
en la industria de la patata
Tesis Doctoral
para optar al grado de
Doctor por la Universidade de Vigo
Autor:
Ángel Dacal Nieto
Directores:
Dr. Arno Formella
Dra. Pilar Isabel Carrión Pardo
Ourense, Julio de 2011

v
Dirección:
Dr. Arno Formella Dra. Pilar Isabel Carrión Pardo

Profesor Contratado Doctor Profesor Contratado Doctor
Lenguajes y Sistemas Informáticos Lenguajes y Sistemas Informáticos
Departamento de Informática Departamento de Informática
Universidade de Vigo Universidade de Vigo
HACEN CONSTAR
Que la memoria titulada Procesamiento de imagen y visión hiperes-

pectral para el control de calidad en la industria de la patata ha sido
realizada por D. Ángel Dacal Nieto bajo nuestra dirección en el Departamen-
to de Informática de la Universidade de Vigo, y constituye la Tesis que presenta
para optar al grado de Doctor por la Universidade de Vigo.
Ourense, 2011
Dr. Arno Formella Dra. Pilar Isabel Carrión Pardo

Codirector de la Tesis Codirectora de la Tesis
Agradecimientos
Esta tesis es el producto de casi cuatro años de trabajo, desde Septiembre

de 2007, momento en que comencé el programa de doctorado que me ha certi-
ficado para el desarrollo de mi trabajo de tesis, hasta la fecha. Por ello, quiero
acordarme de aquellos que han ayudado, en mayor o menor parte, a que consiga
este objetivo.
En primer lugar, como no podrı́a ser de otra manera, gracias a mi familia,
que dentro de su humildad me ha permitido llegar hasta aquı́. Sin ellos nada de
esto serı́a posible. Gracias por algo tan evidente para mi generación como darme
cobijo, comida, cariño y todo aquello que posibilita que nos podamos preocupar
de otras cosas además de sobrevivir. Que nunca se nos olvide lo privilegiados
que somos en el mundo occidental.
Gracias a Antı́a por seguir acompañándome en el camino. Ya ves que, lo
que parecı́a una broma en aquel paseo por Allariz hace unos años, se ha vuelto
realidad.
Gracias a todos mis amigos por ayudarme a desconectar, por las pesicolas
nocturnas y semanales, los viajes, las dornas, las terracitas, y todos los ratos
juntos.
Gracias a mis directores de tesis, el Dr. Arno Formella y la Dra. Pilar Carrión,
por creer en mi, no solamente como estudiante de doctorado, sino también como
investigador, y apoyarme cuando más lo necesitaba.
Gracias a Esteban Vázquez por su ayuda, inspiración, y por todo lo que he
aprendido de él. Y a su director de tesis, el Dr. Fernando Martı́n, por ser un
apoyo más en este trabajo.
Gracias a José Miguel Vázquez, por su compañı́a durante las clases de los
cursos de doctorado, sus consejos y su aliento.
Gracias a mis compañeros en el Lia: Kote, Vı́ctor, Álex, Mathı́as, Leo,
Breogán, Adrián y Federico, por amenizar las horas de trabajo.
Gracias a otros investigadores que me han ayudado durante el desarrollo de
vii
viii
mi tesis: Encarnación González, el Dr. Manuel Fernández Delgado, el Dr. Daniel

González Peña, y la Dra. Alma Mª Gómez.
Gracias a la gente del Laboratorio Oficial de Metroloxı́a de Galicia (Lomg)
por mi primera experiencia laboral, durante casi tres años. Especialmente al Dr.
Higinio González por apostar por mi, y a Vı́ctor Álvarez por su ayuda en la fase
de diseño de sistemas de adquisición.
Gracias a los investigadores del Centro Tecnolóxico da Carne (Ceteca),
especialmente a la Dra. Camino Garcı́a y a Lucio Garcı́a, por su colaboración,
complicidad y profesionalidad.
Gracias al resto de socios involucrados en los proyectos de investigación rela-
cionados con esta tesis, especialmente a Manuel Castro (Vitivinı́cola do Ribeiro
S.C.G.), y al Dr. César Álvarez (Coren). También a Nicolás Avilés (Infaimon)
por su asesoramiento en la adquisición de material.
Y gracias también a todos aquellos que, sin aparecer en esta lista y a su
manera, hayan aportado su granito de arena para terminar este trabajo.
Por último, quiero nombrar a las instituciones que, directa o indirectamente,
han aportado financiación relacionada con esta tesis doctoral, o han permitido
su desarrollo:
El Laboratorio Oficial de Metroloxı́a de Galicia (Lomg), perteneciente a

la Fundación para o Fomento da Calidade Industrial e o Desenvolvemento
Tecnolóxico de Galicia, en el que trabajé como investigador durante casi
tres años, entre 2007 y 2009. En este perı́odo mi contrato fue subvencio-
nado durante dos años gracias al programa Lucas Labrada (2008) de la
Dirección Xeral de I+D+i de la Consellerı́a de Economı́a e Industria de
la Xunta de Galicia.
El grupo de investigación Laboratorio de Informática Aplicada (Lia) del
Departamento de Informática de la Universidade de Vigo, en el que tra-
bajo como investigador desde el 1 de Enero de 2010. En este perı́odo mi
contrato fue subvencionado gracias al proyecto Detepre, concedido en
los Programas Sectoriales de Investigación aplicada, Peme I+D e I+D Su-
ma del plan Incite de la Dirección Xeral de I+D+i de la Consellerı́a de
Economı́a e Industria de la Xunta de Galicia.
La Xunta de Galicia, que ha subvencionado los proyectos de investigación
Visiocal, Medgrasa y Copevi (Programas Sectoriales de Investigación
aplicada, Peme I+D e I+D Suma del plan Incite de la Dirección Xeral
de I+D+i de la Consellerı́a de Economı́a e Industria), Ovovip (Fomento
da Investigación e Innovación empresarial del plan Incite de la Dirección
ix
Xeral de I+D+i de la Consellerı́a de Economı́a e Industria), y Vitical

(Consellerı́a de Medio Rural). La Universidade de Vigo, que ha subven-
cionado el proyecto de investigación Leame (Ayudas a grupos de investi-
gación). El Ministerio de Ciencia e Innovación, que ha subvencionado el
proyecto de investigación Redilasdi (Investigación fundamental no orien-
tada, Plan Nacional de I+D 2008-2011). Estos proyectos han permitido la
realización de viajes para la asistencia a congresos, y compra de material
diverso necesario para el desarrollo de mi tesis doctoral.
x
Resumen
La automatización sigue siendo un área de trabajo esencial en algunas indus-

trias, como la agroalimentaria. Por ello, es necesario fomentar el uso de nuevas
tecnologı́as como vı́a para mejorar la competitividad y eficiencia de las empresas.
La visión por computador es un área de conocimiento multidisciplinar que
ha contribuido notablemente a la mejora de la industria durante los últimos
años. Uno de sus múltiples usos ha sido el desarrollo de sistemas para el control
de la calidad que permiten una inspección de la totalidad de la producción (en
lugar de una muestra aleatoria), de modo no destructivo, objetivo y automático.
En esta tesis doctoral se han desarrollado soluciones para el control de cali-
dad en la industria de la patata, usando visión por computador en el espectro
visible y visión hiperespectral en el espectro infrarrojo. Ası́, se detectan proble-
mas externos de los tubérculos como la sarna común, el verdeo o la podredumbre
seca, y enfermedades internas como el corazón hueco. La motivación nace de un
proyecto de investigación llamado Visiocal en el que el doctorando ha estado
involucrado durante su desarrollo.
Para ello se han desarrollado distintos sistemas de adquisición que han sido
puestos a punto y aplicados en varios proyectos de investigación relacionados
entre sı́, que han servido como punto de partida y aprendizaje.
Posteriormente, estos sistemas de adquisición han sido adaptados al caso
especı́fico del control de calidad en la industria de la patata, y se han realizado
varias campañas de captura, tras las que se han obtenido diversas bases de datos
de imágenes que representan los problemas a abordar. Tras ciertas tareas de
procesamiento de imagen, segmentación, y extracción de caracterı́sticas, dichos
problemas se han tratado como procesos de reconocimiento de patrones. Ası́, se
han aplicado unos algoritmos de selección de caracterı́sticas y clasificación que
evaluamos a través de sus porcentajes de acierto.
Por su novedad, una de los principales puntos de interés de esta tesis es la
aplicación de una tecnologı́a emergente como la visión hiperespectral para la
xi
xii
detección de caracterı́sticas externas e internas de la patata, y la puesta a punto

de un sistema de adquisición hiperespectral infrarrojo de propósito general que
ya se está utilizando en nuevos problemas. Además, se han adaptado algoritmos
de procesamiento de imagen al análisis hiperespectral, y se han utilizado algo-
ritmos de selección de caracterı́sticas como método para la determinación del
subconjunto óptimo de longitudes de onda dentro del espectro abarcado.
Abstract
Automation remains an important challenge in many industries and, as a

special case, in agrofood industries. Hence, providing new technologies to in-
crease the efficiency and the productivity in these industries is a necessary and
very welcomed contribution.
On the other hand, computer vision is a multidisciplinary field of knowledge
that has contributed to this general goal over the last years. Regarding quality
control systems, automatic computer vision systems allow to inspect the entire
production, instead of inspecting more or less well suited random samples—as
it is usually done—, in a non–destructive and objective way.
In this Ph.D. research, solutions for certain aspects of quality control in the
potato industry have been developed. They use computer vision in the visible
spectra and hyperspectral imaging in the infrared spectra. In the end, external
defects as common scab, greening, and rottening are detected, as well as the
internal disease hollow heart. The motivation of this Ph.D. stems from an R&D
project, called Visiocal. The author has belonged to the project team.
For the computer vision system, several image acquisition systems have been
developed, set up, and eventually used in several inter-related research projects.
The image acquisition systems have been adapted to specific problems in the
potato industry. The corresponding images have been acquired and supervised
pattern recognition experiments have been developed in order to find a good set
of algorithms in the different steps of computer vision system, such as segmen-
tation, image processing, feature extraction, feature selection, classification and
evaluation, by comparing their accuracy percentages.
The main challenges of this Ph.D. research are the application of an emer-
gent technology like hyperspectral imaging for detecting external and internal
features of the potato tubers, as well as the set-up of a general purpose infrared
hyperspectral image acquisition system, which is already employed in further re-
search projects. Additionally, image processing algorithms have been adapted to
xiii
xiv
specific hyperspectral analysis, and the performance of several feature selection

algorithms has been tested for a wavelength importance determination.
Índice general
1. Introducción 1
1.1. Motivación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1. El proyecto de I+D: VISIOCAL . . . . . . . . . . . . . . 2
1.1.2. Objetivos de VISIOCAL . . . . . . . . . . . . . . . . . . . 2
1.1.3. Equipos de proyecto . . . . . . . . . . . . . . . . . . . . . 4
1.1.4. Primera fase del proyecto (2008-2009) . . . . . . . . . . . 4
1.1.5. Colaboración LOMG-LIA (2010) . . . . . . . . . . . . . . 5
1.2. Objetivos y contexto . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.1. Antecedentes . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2. Objetivos principales . . . . . . . . . . . . . . . . . . . . . 6
1.2.3. Objetivos secundarios . . . . . . . . . . . . . . . . . . . . 7
1.2.4. Etapas de la tesis . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.5. Aplicabilidad . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.6. Interdisciplinaridad . . . . . . . . . . . . . . . . . . . . . . 9
1.2.7. Novedad . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.8. Impacto . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3. Producción cientı́fica . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.4. Investigaciones relacionadas . . . . . . . . . . . . . . . . . . . . . 10
1.4.1. Otros proyectos de investigación . . . . . . . . . . . . . . 10
1.4.2. Colaboraciones . . . . . . . . . . . . . . . . . . . . . . . . 14
1.5. Evolución temporal . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.6. Organización de la memoria . . . . . . . . . . . . . . . . . . . . . 15
2. Visión artificial 17
2.1. Etapas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
xv
xvi ÍNDICE GENERAL
3. Análisis de textura en el espectro visible 23

3.1. Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.1.1. Motivación . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2. Experimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.1. Adquisición de imagen . . . . . . . . . . . . . . . . . . . . 26
3.2.2. Clasificación por expertos . . . . . . . . . . . . . . . . . . 33
3.2.3. Preprocesado y segmentación . . . . . . . . . . . . . . . . 35
3.2.4. Extracción de caracterı́sticas . . . . . . . . . . . . . . . . 39
3.2.5. Clasificación . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.6. Selección de caracterı́sticas . . . . . . . . . . . . . . . . . 41
3.3. Resultados y discusión . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4. Conclusiones y lı́neas futuras . . . . . . . . . . . . . . . . . . . . 47
4. Sistema de adquisición hiperespectral 49

4.1. Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.1.1. Motivación . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.1.2. Estado del arte . . . . . . . . . . . . . . . . . . . . . . . . 51
4.1.3. Objetivo del sistema . . . . . . . . . . . . . . . . . . . . . 55
4.2. Adquisición de imagen . . . . . . . . . . . . . . . . . . . . . . . . 55
4.2.1. Material . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.2.2. Software de adquisición . . . . . . . . . . . . . . . . . . . 60
4.2.3. Construcción del cubo hiperespectral . . . . . . . . . . . . 63
4.3. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
5. Detección de sarna 65
5.1. Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
5.1.1. Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
5.2. Experimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5.2.1. Descripción . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.2.2. Segmentación . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.2.5. Algoritmos de clasificación . . . . . . . . . . . . . . . . . . 74
5.2.6. Evaluación de clasificadores . . . . . . . . . . . . . . . . . 75
5.2.7. Mapeo de la superficie afectada . . . . . . . . . . . . . . . 77
5.3. Resultados y Discusión . . . . . . . . . . . . . . . . . . . . . . . . 77
5.4. Sistema multiespectral . . . . . . . . . . . . . . . . . . . . . . . . 82
5.5. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
ÍNDICE GENERAL xvii
6. Detección de corazón hueco 85

6.1. Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
6.1.1. Motivación . . . . . . . . . . . . . . . . . . . . . . . . . . 87
6.2. Experimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
6.2.1. Segmentación . . . . . . . . . . . . . . . . . . . . . . . . . 89
6.2.4. Algoritmos de clasificación . . . . . . . . . . . . . . . . . . 94
6.2.5. Procedimiento de evaluación . . . . . . . . . . . . . . . . 94
6.3. Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
6.4. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
7. Conclusiones 109
7.1. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
7.2. Contribuciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
7.3. Lı́neas futuras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
7.4. Proyectos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
8. Publicaciones relacionadas 115

8.1. Clasificación de patatas mediante textura . . . . . . . . . . . . . 116
8.2. Sistema hiperespectral genérico . . . . . . . . . . . . . . . . . . . 124
8.3. Visión hiperespectral: corazón hueco en patatas . . . . . . . . . . 130
8.4. Visión hiperespectral: sarna común en patatas . . . . . . . . . . . 140
xviii ÍNDICE GENERAL
Índice de figuras
1.1. Ejemplos de defectos en patatas. Arriba izquierda: verdeo. Arri-

ba derecha: podredumbre. Abajo izquierda: sarna común. Abajo
derecha: corazón hueco. . . . . . . . . . . . . . . . . . . . . . . . 7
3.1. Diagrama de bloques del experimento de análisis de patatas en

el espectro visible. . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2. Cámara del sistema de análisis de patata en el espectro visible:
JAI BB-500GE, junto con su óptica. . . . . . . . . . . . . . . . . 28
3.3. Montaje para el soporte de la cámara en sistema de análisis de
patata en el espectro visible. . . . . . . . . . . . . . . . . . . . . 29
3.4. Sistema de adquisición del experimento de análisis de patata en
el espectro visible (vista lateral). Observamos a la izquierda PC
y fuente de alimentación. En la parte superior cámara e ilumina-
ción. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.5. Sistema de adquisición del experimento de análisis de patata en
el espectro visible (vista frontal). . . . . . . . . . . . . . . . . . . 31
3.6. Interfaz de usuario del software de la parte de adquisición en el
sistema de análisis de patata en el espectro visible. . . . . . . . . 32
3.7. Caja para la automatización de la iluminación necesaria en el
sistema de adquisición del experimento de análisis de patata en
el espectro visible. . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.8. Una de las n imágenes escogidas para el conjunto de aprendizaje
en el experimento de análisis de patata en el espectro visible. . . 34
3.9. Cuatro patatas afectadas por verdeo. . . . . . . . . . . . . . . . 34
3.10. Cuatro patatas afectadas por podredumbre. . . . . . . . . . . . 35
xix
xx ÍNDICE DE FIGURAS
3.11. Etapas de la detección de áreas en el experimento de análisis de

patata en el espectro visible: (a) B − S, (b) B 0 − R, (c) G − R,
(d) resultado final. . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.12. Detección de agrupaciones en patatas (imágenes y proyecciones)
en el experimento de análisis de patata en el espectro visible.
a) imagen original; b) imagen rotada 48◦ , con un valle de 109
ocurrencias de profundidad; c) imagen rotada 60◦ , con un valle
de 78 ocurrencias de profundidad; d) corte óptimo encontrado a
60◦ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.13. Patata finalmente segmentada en el experimento de análisis de
3.14. Interfaz del software de manejo del experimento de análisis de
3.15. Dos ejecuciones de ejemplo del GA en el experimento de análisis
de patata en el espectro visible: mejor fitness del ejemplo 1 (a),
mejor fitness del ejemplo 2 (b), media de fitness del ejemplo 1 (c)
y media de fitness del ejemplo 2 (d). El eje x representa el número
de generaciones (entre 1 y 500), mientras que el eje y representa
el valor de fitness. . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.1. Explicación del funcionamiento del espectrógrafo en el sistema de

adquisición hiperespectral. Imagen cortesı́a de Specim Ltd. . . . 56
4.2. Arriba: ejemplos de imágenes espectrales tomadas a distintas
lı́neas del objeto: 1) lı́nea 99, 2) lı́nea 144, 3) lı́nea 230. Abajo:
bandas en 978 nm, 1173 nm y 1608 nm, como ejemplos de la co-
rrespondencia entre imágenes espectrales y cubo hiperespectral.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.3. Posibilidades para proporcionar movimiento al sistema de adqui-
sición hiperespectral. . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4. Cuatro imágenes espaciales tras la reconstrucción del cubo hiper-
espectral. Arriba izquierda: 979.99 nm, arriba derecha: 1172.53 nm,
abajo izquierda: 1342.60 nm, abajo derecha: 1608.20 nm. . . . . . 57
4.5. Imagen frontal del sistema de adquisición hiperespectral sin (iz-
quierda) y con (derecha) difusor de luz. . . . . . . . . . . . . . . 58
4.6. Imagen frontal del sistema de adquisición hiperespectral sin (arri-
ba) y con (abajo) difusor de luz. . . . . . . . . . . . . . . . . . . 59
4.7. Imagen del sistema de adquisición hiperespectral. . . . . . . . . 60
ÍNDICE DE FIGURAS xxi
4.8. Componentes del sistema de adquisición hiperespectral: Specim

Mirror Scanner (izquierda), Specim Imspector N17E (centro) y
Xenics Xeva 1.7-320 (derecha). . . . . . . . . . . . . . . . . . . . 60
4.9. Opciones de iluminación descartadas para el sistema de adquisi-
ción hiperespectral: Schott DCR III Plus. . . . . . . . . . . . . . 61
4.10. Interfaz de usuario del software de manejo del sistema de adqui-
sición hiperespectral y de análisis de datos. . . . . . . . . . . . . 61
4.11. Sistema de adquisición hiperespectral. Izquierda: posición inicial
de escaneo, en 70◦ . Derecha: posición final de escaneo, en 110◦ .
La flecha indica el sentido de escaneo. Esquema del sistema de ad-
quisición hiperespectral: a) cámara, b) espectrógrafo, c) escáner
de espejos, d) objeto, e) difusor plástico, f) lámparas halógenas. 62
4.12. Gráfica de luminosidad media por banda de una ventana de in-
terés en el sistema de adquisición hiperespectral. . . . . . . . . . 64
5.1. Cuatro ejemplos de patatas afectadas por sarna común. . . . . . 67

5.2. Diagrama de bloques del experimento de detección de sarna común.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.3. Segmentación en el experimento de detección de sarna común.
Arriba izquierda: imagen tras la binarización de Otsu. Arriba de-
recha: imagen tras suavizado gaussiano. Centro izquierda: imagen
tras segunda binarización. Centro derecha: imagen tras etiqueta-
do de áreas conexas. Abajo izquierda: máscara para segmenta-
ción del cubo. Abajo derecha: imagen de ejemplo tras aplicar la
máscara. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.4. Extracción de caracterı́sticas en el experimento de detección de
sarna común. Roi izquierda: superficie sana. Roi derecha: super-
ficie afectada con sarna. . . . . . . . . . . . . . . . . . . . . . . . 72
5.5. Gráficas de niveles de gris por banda de dos muestras en el expe-
rimento de detección de sarna común. . . . . . . . . . . . . . . . 73
5.6. Resumen de resultados, en función del conjunto de datos y del
clasificador. El eje y representa el acierto medio de las permuta-
ciones sobre los conjuntos de test usando los parámetros óptimos
obtenidos durante la fase de validación. . . . . . . . . . . . . . . 79
5.7. Evolución de la fase de validación de la mejor opción. El eje x
representa las distintas combinaciones de parámetros, mientras
que el eje y representa el porcentaje de acierto medio de las 10
permutaciones con los conjuntos de validación. . . . . . . . . . . 79
xxii ÍNDICE DE FIGURAS
5.8. Gráficas de cuatro muestras (dos de cada clase) para mostrar

las bandas seleccionadas en el experimento de detección de sarna
común. Las columnas negras marcan las zonas seleccionadas por
el algoritmo de selección de caracterı́sticas Cfs. El resto de ban-
das no fueron seleccionadas. El eje x representa las bandas por
longitud de onda. El eje y representa el nivel de gris medio por
banda. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5.9. Cuatro ejemplos del funcionamiento del sistema de detección de
sarna. De izquierda a derecha: cubo hiperespectral original, cubo
hiperespectral segmentado, mapa de sarna preliminar, mapa de
sarna sin ruido, cubo hiperespectral segmentado con el mapa de
sarna. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
5.10. Diagrama de explicación de la creación de un sistema multiespec-
tral especı́fico a partir del sistema hiperespectral experimental. . 83
6.1. Patatas afectadas por corazón hueco. . . . . . . . . . . . . . . . 86

6.2. Diagrama de fases del experimento de detección del corazón hue-
co. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
6.3. Segmentación en el experimento de detección del corazón hueco.
1: binarización usando el método de Otsu. 2: suavizado gaussiano.
3: segunda binarización, de umbral fijo. 4: etiquetado de áreas
conexas. 5: máscara para segmentación full. 6: imagen tras aplicar
segmentación full. 7: imagen tras aplicar segmentación core. 8:
imagen tras aplicar segmentación border. 9: imagen tras aplicar
segmentación core. . . . . . . . . . . . . . . . . . . . . . . . . . . 91
6.4. Gráfica de niveles de gris por banda de una muestra en el expe-
rimento de detección del corazón hueco. . . . . . . . . . . . . . . 93
6.5. Gráfica que representa el porcentaje de acierto en función del
método de segmentación y del método de selección de caracterı́sti-
cas en el experimento de detección de corazón hueco en patata.
La lı́nea indica el acierto medio por método de segmentación. . . 103
6.6. Gráfica que representa el porcentaje de acierto en función del
método de selección de caracterı́sticas en el experimento de de-
tección de corazón hueco en patata. . . . . . . . . . . . . . . . . 104
6.7. Gráfica que representa el porcentaje de acierto en función del al-
goritmo de clasificación en el experimento de detección de corazón
hueco en patata. . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
ÍNDICE DE FIGURAS xxiii
6.8. Bandas seleccionadas tras el experimento de detección de corazón

hueco en patata. A estas bandas hay que añadir las tres carac-
terı́sticas morfológicas. . . . . . . . . . . . . . . . . . . . . . . . 106
8.1. Artı́culo del periódico La Región del 20 de Febrero de 2009. . . . 152

xxiv ÍNDICE DE FIGURAS
Índice de tablas
1.1. Principales hitos de la tesis. . . . . . . . . . . . . . . . . . . . . . 16
3.1. Matriz de confusión con 60 caracterı́sticas del experimento de

análisis de patata en el espectro visible. El porcentaje de acierto
total es del 86.26 % (226 instancias bien clasificadas de 262). . . . 46
3.2. Matriz de confusión con las 8 caracterı́sticas seleccionadas en el
experimento de análisis de patata en el espectro visible. El por-
centaje de acierto total es del 87.40 % (229 instancias bien clasi-
ficadas de 262). . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
5.1. Porcentajes de acierto en función del conjunto de datos y el cla-

sificador en el experimento de detección de sarna en patata. . . . 78
5.2. Experimento de detección de sarna en patata. Matriz de con-
fusión media obtenida con el conjunto de datos Cfs usando el
clasificador Svm. El acierto global es 97.1 %. . . . . . . . . . . . . 80
6.1. Porcentaje de acierto de las opciones correspondientes al método

de segmentación full en el experimento de detección de corazón
hueco en patata. . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
de segmentación core en el experimento de detección de corazón
hueco en patata. . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
de segmentación border en el experimento de detección de corazón
hueco en patata. La mejor opción está resaltada en color gris. . . 99
xxv
xxvi ÍNDICE DE TABLAS

de segmentación scab en el experimento de detección de corazón
hueco en patata. . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
6.5. Matriz de confusión de la mejor opción en el experimento de de-
tección del corazón hueco (border, genetic, Svm–Lin). El acierto
global es del 89.1 %, sobre las 162 muestras del conjunto de test
(25 % del total). . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
6.6. Porcentaje de acierto en función del método de segmentación y
del método de selección de caracterı́sticas en el experimento de
detección de corazón hueco en patata. . . . . . . . . . . . . . . . 102
6.7. Porcentaje de acierto en función del método de selección de ca-
racterı́sticas en el experimento de detección de corazón hueco en
patata. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
6.8. Porcentaje de acierto en función del algoritmo de clasificación en
el experimento de detección de corazón hueco en patata. . . . . . 105
ÍNDICE DE TABLAS xxvii
xxviii ÍNDICE DE TABLAS
Capı́tulo 1
Introducción
En este capı́tulo se contextualiza el trabajo de tesis, hablando de los motivos

que han llevado a su realización, sus principales objetivos, y un resumen de las
actividades llevadas a cabo para ello.
Como antecedente a esta tesis doctoral, el alumno ha cursado las titulaciones
“Ingenierı́a Técnica en Informática de Gestión” (2005) e “Ingenierı́a Informáti-
ca” (2007) en la Universidade de Vigo. Posteriormente ha cursado el programa
de doctorado “Tecnologı́as Avanzadas en el Desarrollo de Software Inteligente”
(Tadsi), en el bienio 2007/2009 por la Universidade de Vigo. Este programa de
doctorado ostenta la mención de calidad otorgada por la Agencia Nacional de
Evaluación de la Calidad y Acreditación (Aneca). En Julio de 2009 el alumno
obtiene el “Diploma de Estudios Avanzados” (Dea) que le permite continuar
con el desarrollo de su tesis.
1.1. Motivación
Detectar e identificar defectos y enfermedades en patatas (Solanum tubero-
sum) sigue siendo un desafı́o para la ingenierı́a agroalimentaria. La industria
ha usado un gran abanico de tecnologı́as, siendo la visión artificial una de las
opciones más exitosas [Lefebvre et al., 1993, Zhou et al., 1998, Muir et al.,
1999, Noordam et al., 2000, Barnes et al., 2010]. Sin embargo, existen nuevos
métodos que deben ser probados para mejorar el estado del arte en el control
de calidad no destructivo en patata.
La importancia de la industria de la patata es extrema, ya que la patata
1
2 CAPÍTULO 1. INTRODUCCIÓN
es uno de los productos más consumidos en el mundo. En 2007 era el cuarto

cultivo alimentario más importante del mundo. La producción anual se situaba
en 325 millones de toneladas y movı́a 6 billones de dólares. Además, el consumo
anual per cápita es de 31 kg [Potato World, 2008].
1.1.1. El proyecto de I+D: VISIOCAL

Visiocal (Sistema para el control de calidad en la industria de la patata y la
castaña mediante visión artificial), es un proyecto de investigación iniciado en
2008 en régimen de colaboración por dos centros tecnológicos públicos gallegos:
el Laboratorio Oficial de Metroloxı́a de Galicia (Lomg) y el Centro Tecnolóxico
da Carne e da Calidade Alimentaria (Ceteca o Ctc). En esta sección veremos
cómo el desarrollo de Visiocal ha condicionado en parte la evolución de esta
tesis.
El proyecto fue subvencionado por la Consellerı́a de Economı́a e Industria
de la Xunta de Galicia (España). Concretamente, recibió 173.398,30 euros de
los Programas Sectoriales de Investigación aplicada, Peme I+D e I+D Suma del
plan Incite de la Dirección Xeral de I+D+i, para las anualidades 2008-2011.
El Lomg es un centro tecnológico público dependiente de la Fundación para
o Fomento da Calidade Industrial e o Desenvolvemento Tecnolóxico de Galicia
(dependiente a su vez de la Consellerı́a de Economı́a e Industria de la Xunta de
Galicia, España), que oferta servicios de metrologı́a y calibración a empresas de
Galicia y otras partes de la penı́nsula Ibérica.
El Ceteca es un centro tecnológico público dependiente de la Consellerı́a
de Medio Rural de la Xunta de Galicia (España) que presta servicios a empresas
en materia de análisis, seguridad, calidad alimentaria y asesoramiento, y lleva a
cabo proyectos de I+D+i como herramienta para servir de apoyo a la industria
agroalimentaria gallega.
1.1.2. Objetivos de VISIOCAL

El objetivo principal del proyecto era diseñar un sistema de inspección no
destructivo que permitiese garantizar parámetros de calidad en la industria de
la patata.
Para ello, el proyecto fue dividido en las siguientes tareas:
1. Revisión bibliográfica y definición de requisitos (Lomg + Ceteca).
2. Diseñar en las instalaciones del Ceteca una pequeña lı́nea de produc-
ción que simule las condiciones de luminosidad, color y forma de una lı́nea
1.1. MOTIVACIÓN 3
de envasado de patata (Ceteca).

3. Seleccionar una cantidad suficiente de muestras de patata con diferentes
caracterı́sticas varietales, productivas, externas e internas a determinar
por el sistema de visión (Ceteca).
4. Crear una base de datos de fotografı́as, tomadas en el simulador, que
las relacione con sus caracterı́sticas (Ceteca).
5. Diseñar algoritmos para el reconocimiento de variedades de patata
mediante visión artificial (Lomg).
6. Diseñar algoritmos para el reconocimiento de caracterı́sticas pro-
ductivas de patata mediante visión artificial (Lomg).
7. Diseñar algoritmos para el reconocimiento de caracterı́sticas exter-
nas en patata mediante visión artificial (Lomg).
8. Diseñar algoritmos para el reconocimiento de caracterı́sticas inter-
nas de patata mediante visión artificial, utilizando para ello visión hiper-
espectral (Lomg).
9. Fusión de los algoritmos en un único software (Lomg).
10. Implementar un sistema piloto para el control de calidad en patata basa-
do en técnicas de visión artificial en una industria procesadora de patatas
(Lomg + Ceteca).
11. Estudiar la aplicabilidad de estos algoritmos a otros procesos de la indus-
tria alimentaria, como el procesado de castaña (Lomg + Ceteca).
A medida que el proyecto avanzaba, esta distribución de tareas fue evolucio-
nando. En primer lugar, y dado que la duración del proyecto era de tres años,
se decidió efectuar tres campañas de recogida, de periodicidad anual, en lugar
de una sola tarea de selección de muestras. Esto provocó que el sistema se fuese
desarrollando de manera iterativa e incremental, mejorándolo tras la llegada de
nuevas muestras, y ampliando sus funcionalidades cada anualidad.
Por otro lado, los objetivos se concretaron. La relación de primera mano del
Ceteca con la industria de la patata obligó a definir el problema de la detección
del corazón hueco en las patatas como el más importante, debido a que continúa
siendo especialmente difı́cil de resolver, incluso por un operador humano. Esta
funcionalidad condicionó la mayor parte del presupuesto para inventariable del
proyecto.
1.1.3. Equipos de proyecto

El equipo de proyecto del Ceteca estaba formado inicialmente por el Dr.
José Manuel Lorenzo (como investigador principal del subproyecto), la Dra.
Camino Garcı́a, el investigador Lucio Garcı́a, y un ingeniero/a técnico agrı́cola
a contratar durante el desarrollo del proyecto.
Por su parte, el equipo de proyecto del Lomg estaba formado inicialmente
por el Dr. Higinio González (como responsable del subproyecto), y los investiga-
dores Ángel Dacal y Esteban Vázquez. La situación contractual del doctorando
en el Lomg fue un contrato por obra en relación a una subvención “Lucas La-
brada” (plan Incite) concedida al centro por la Xunta de Galicia, con duración
de dos años a lo largo de 2008 y 2009. Con anterioridad, durante 2007, el doc-
torando trabajó en el Lomg en situación de becario.
El papel del doctorando en el subproyecto Lomg fue el de responsable técni-
co, tanto en la compra de material, como en las reuniones con el Ceteca.
Ası́ mismo, el doctorando llevaba a cabo la mayor parte de las tareas asignadas
al Lomg, apoyado en la fase de implementación de los sistemas de adquisición
por Esteban Vázquez, y Vı́ctor Álvarez.
A finales de 2008, cuando la financiación es concedida, Lomg y Laboratorio
de Informática Aplicada (Lia) de la Universidade de Vigo (grupo al que perte-
necı́an sus directores de tesis) acuerdan que la tesis del doctorando se desarrolle
en el marco del proyecto Visiocal, de modo que ciertos objetivos del proyecto
sean comunes a la tesis.
1.1.4. Primera fase del proyecto (2008-2009)

A finales de 2008, tras la concesión de la subvención al proyecto, Lomg
y Ceteca dieron comienzo a las compras necesarias para llevar a cabo las
actividades programadas. Ası́, el Ceteca adquirió una lı́nea piloto de envasado
que situó en sus instalaciones. Por su parte el Lomg adquirió algunas de las
piezas necesarias para el montaje de un sistema hiperespectral experimental
sensible en el rango infrarrojo.
Debido a retrasos provocados por los distintos plazos de ejecución del pre-
supuesto, impuestos por el agente subvencionador, el sistema hiperespectral no
pudo ser adquirido en su totalidad hasta mediados de 2009. Por ello, se de-
cidió efectuar una primera campaña de adquisición de imágenes en el rango
visible, correspondiente a muestras obtenidas en la recogida de 2008. Para ello,
el Lomg realizó un montaje usando una cámara en color matricial sobre la plan-
ta piloto del Ceteca. Esta cámara habı́a sido adquirida con anterioridad por
1.1. MOTIVACIÓN 5
el Lomg en relación a una partida presupuestaria independiente de Visiocal.

Con estas imágenes, el doctorando efectuó una primera investigación, cen-
trada en la detección de patatas afectadas por verdeo y podredumbre, mediante
análisis de textura en el espectro visible. Este trabajo será tratado en el Capı́tulo
3.
A mediados de 2009 se termina el montaje del sistema hiperespectral y se
comienza su puesta a punto. En el tercer cuarto de 2009 se finaliza dicha puesta
a punto, tras el desarrollo de un software especı́fico de captura. Veremos todo
lo relacionado con el sistema de adquisición hiperespectral en el Capı́tulo 4.
En el último cuarto del año, se comienza la adquisición de muestras de 2009
mediante el sistema hiperespectral. Esta campaña se adquiere con la intención
de ser utilizada principalmente para la detección de corazón hueco pero final-
mente se utiliza también para la identificación de sarna común. La adquisición
es realizada en su totalidad por el doctorando.
1.1.5. Colaboración LOMG-LIA (2010)

A finales de 2009, el equipo de proyecto del Lomg sufre graves contratiempos.
Ası́, a principios de 2010, el investigador principal por el Lomg pasó a ser la
Dra. Soledad Torres, en sustitución del Dr. Higinio González, que abandonaba el
centro. A finales del 2010 es José Miguel Vázquez el que toma la responsabilidad
del proyecto. También dejaba el Lomg el investigador Esteban Vázquez, rumbo
a Gradiant (Galician R&D Center in Advanced Telecommunications). Por
último, el contrato que vinculaba al doctorando Ángel Dacal con el Lomg expira.
El doctorando empezaba ası́ una nueva etapa en el grupo Lia.
Ante la imposibilidad por parte del Lomg de continuar con el proyecto por
falta de recursos humanos, Lia y Lomg alcanzan un acuerdo de colaboración.
En esta colaboración se definen una serie de objetivos comunes entre Visiocal y
la tesis del doctorando, de modo que los resultados obtenidos por el doctorando
serán compartidos con el Lomg, mientras que el Lomg pondrá a disposición
del Lia sus instalaciones, además de seguir proporcionando nuevas campañas
de adquisición de imagen.
Durante la primera mitad de 2010, el Lomg adquiere una segunda campaña
de imágenes hiperespectrales, con la intención de detectar corazón hueco, sarna
común y clasificar las muestras en función de su cantidad de materia seca.
Lamentablemente, esta segunda campaña de imágenes hiperespectrales no puede
ser utilizada debido a que el protocolo utilizado para la adquisición de imagen
no es constante y además fue distinto al de la primera campaña (se cambiaron
la iluminación y el tiempo de exposición, entre otros parámetros). La falta de
supervisión (el doctorando ya se encontraba en el Lia durante esta campaña),

impidió que estas imágenes pudiesen ser útiles para esta tesis.
Por su parte el doctorando, ya en el Lia, se dedica al estudio de dichas
enfermedades y caracterı́sticas, tal y como se reflejará en el resto de esta docu-
mentación. Durante la etapa en el Lia, se desarrolla la totalidad de los trabajos
de análisis hiperespectral (que veremos en los Capı́tulos 5 y 6).
1.2. Objetivos y contexto

1.2.1. Antecedentes
Esta tesis doctoral parte de los siguientes antecedentes en cuanto a visión
hiperespectral agroalimentaria:
La visión hiperespectral agroalimentaria es una tecnologı́a emergente, y es

necesario continuar aplicándola en nuevos problemas.
En los trabajos desarrollados hasta el momento en visión hiperespectral

agroalimentaria, pocos son los trabajos que emplean un espectrógrafo en
el rango infrarrojo, siendo la gran mayorı́a usuarios de un espectrógrafo
en el rango visible.
En lo que a visión hiperespectral agroalimentaria infrarroja aplicada a pa-

tatas se refiere, los trabajos hasta el inicio de esta tesis se habı́an limitado
a distinguir patatas de terrones. El resto de contribuciones trabajan en
otros rangos de longitudes de onda, usan otro tipo de métodos espectra-
les, o bien realizan un estudio invasivo de las muestras.
En el rango visible, ya se han realizado contribuciones en los últimos años.
1.2.2. Objetivos principales

Como se ha comentado, esta tesis doctoral comparte varios de sus objetivos
con el proyecto de investigación Visiocal. Sin embargo, no todos los objetivos
de Visiocal se recogen en esta tesis, y existen objetivos de esta tesis que no se
contemplan en Visiocal. Podemos resumir los objetivos principales en las dos
siguientes ideas:
Diseño y análisis de técnicas de procesamiento de imagen y visión hiperes-

pectral para la automatización no destructiva de ciertas tareas relativas al
1.2. OBJETIVOS Y CONTEXTO 7
control de calidad en la industria de la patata que hasta el momento se han

realizado mediante el uso de recursos humanos y/o de manera destructiva.
Entre los problemas de automatización, se afrontarán la clasificación en

el espectro visible por podredumbre, verdeo y patatas sanas, y en visión
hiperespectral infrarroja la detección del corazón hueco, y la estimación del
porcentaje de superficie afectada por sarna común. Podemos ver ejemplos
de estos defectos en la Figura 1.1
Figura 1.1: Ejemplos de defectos en patatas. Arriba izquierda: verdeo. Arriba

derecha: podredumbre. Abajo izquierda: sarna común. Abajo derecha: corazón
hueco.
1.2.3. Objetivos secundarios

Para llevar a cabo estos objetivos, ha sido necesario definir una serie de
objetivos secundarios:
1. Diseño y montaje de un sistema de adquisición en el espectro visible inte-

grado en una planta piloto de procesado de patata.
2. Diseño y montaje de un sistema hiperespectral experimental en el rango

infrarrojo.
3. En cada problema, diseño e implementación de experimentos de reconoci-

miento de patrones que apliquen y adapten algoritmos de procesamiento
de imagen para segmentación y extracción de caracterı́sticas, algoritmos
de selección de caracterı́sticas y algoritmos de clasificación.
4. En cada problema, proporcionar una solución compuesta por un subcon-
junto de caracterı́sticas que maximicen el acierto de un clasificador ajus-
tado.
5. En aquellos problemas en los que el tiempo de ejecución final no es el
adecuado, proporcionar un diseño para una solución más rápida.
1.2.4. Etapas de la tesis

La primera mitad de la tesis se puede entender como de investigación apli-
cada y desarrollo, por estar en contacto directo con el cliente–socio (Ceteca),
ser parte activa del proyecto de investigación Visiocal, y tener acceso a los
sistemas de adquisición, compras y burocracia. Durante esta fase se es también
gestor a bajo nivel del proyecto, a niveles económico, temporal, documental y
técnico.
La segunda mitad de la tesis ha supuesto mayor esfuerzo en investigación
básica, sin tanto contacto directo con el cliente final (Ceteca y empresas del
sector), ni con la parte fı́sica del sistema (sistemas de adquisición). Sin embargo,
las decisiones se toman con el conocimiento que se ha adquirido en la anterior
mitad, buscando un enfoque aplicado dentro de las limitaciones del nuevo papel.
Este cambio en el rol del doctorando se puede apreciar en su participación
en las publicaciones y en las distintas metodologı́as empleadas. Mientras en la
primera mitad el objetivo es dar una solución lo antes posible, y poner a punto
los sistemas de adquisición junto con pequeños acercamientos, en la segunda
mitad se busca contrastar más las decisiones a tomar, y el enfoque se aleja
ligeramente de la implementabilidad inmediata del trabajo desarrollado, dentro
de la aplicabilidad general de la tesis.
1.2.5. Aplicabilidad
El proyecto Visiocal parte de la necesidad de la industria gallega de la
patata de mayor automatización en sus procesos. En esta industria, el Ceteca
es organismo imparcial en la tasación de precios de producciones de patatas.
Por lo tanto, es un interlocutor válido, ya que aúna las experiencias de un gran
número de empresas envasadoras y productoras de patata con las que habrı́a
1.2. OBJETIVOS Y CONTEXTO 9
sido imposible contactar en su totalidad. Podemos decir, por consiguiente, que

el Ceteca es cliente y socio al mismo tiempo.
Ası́ pues, la toma de decisiones durante el proyecto ha contado con la visión
de realidad que provee el Ceteca, que ha puesto voz a las necesidades de la
industria. En esta lı́nea, el Ceteca puso énfasis en la detección del corazón
hueco como el mayor desafı́o del proyecto, ya que el resto de problemas eran
detectables por medios humanos no destructivos, pero el corazón hueco seguı́a
siendo un problema a resolver.
No obstante, se realizaron visitas a varias empresas de la industria de la pa-
tata para conocer de primera mano los procesos y condiciones de trabajo, tanto
a nivel procedimental, como de limpieza, distancias entre los distintos compo-
nentes, y naturaleza de los distintas piezas de los sistemas. Esto ha ayudado a
enriquecer el dı́a a dı́a para que no quedase en el tintero que el objetivo último
era aportar herramientas útiles que facilitasen estas actividades en la medida
de lo posible.
1.2.6. Interdisciplinaridad
Esta tesis ha sido desarrollada en un ambiente interdisciplinar, en el que la
relación con Ingenieros Industriales, Fı́sicos e Ingenieros en Telecomunicación,
ha sido continua. Por otra parte, el equipo de proyecto del Ceteca ha estado
formado por Ingenieros Agrónomos y Biólogos. Esto ha fomentado el intercam-
bio de conocimiento entre todas las partes, siendo la base sobre la que se ha
asentado la tesis.
Además, el campo de aplicación, la industria de la patata, y la agroalimen-
taria en general, ha marcado gran parte de la investigación. Ha sido necesario
profundizar en la problemática de este campo, hasta el punto de que más del
50 % de las referencias provienen de aplicaciones en el campo de la ingenierı́a
de alimentos.
1.2.7. Novedad
La visión hiperespectral es un campo todavı́a desconocido en el mundo in-
dustrial, especialmente en el agroalimentario. Por ello, la introducción de estas
tecnologı́as es fundamental para incentivar el continuo desarrollo innovador en
las empresas, aportando soluciones que no eran posibles con anterioridad, o
hacerlo de un modo más rápido o eficiente.
Muestra de la novedad de la tecnologı́a hiperespectral, la gran mayorı́a de
las referencias en relación a este campo datan de fechas posteriores al año 2007.
Esta tesis pretende ser una contribución más en esta temática.
1.2.8. Impacto
En una industria tan deficitaria tecnológicamente como la agroalimentaria,
la introducción de nuevas tecnologı́as que automaticen los procesos se convierte
en un elemento esencial para su modernización. Las visitas a varias empresas
de la industria de la patata fueron vitales a la hora de comprobar las abun-
dantes necesidades en materia de automatización y mecanización, que esta tesis
pretende ayudar a paliar dentro de su ámbito y en la medida de lo posible.
Como muestra, podemos observar que existen varias iniciativas en los últimos
años para realizar un control de calidad exhaustivo de la producción mediante
técnicas de visión por computador, con mayor o menor éxito, pero sin embargo
a dı́a de hoy la mayorı́a de tareas se siguen realizando de manera manual, con
operadores humanos, de modo que el personal necesario es considerable, además
de conllevar los consiguientes errores por subjetividad, fatiga o inexperiencia.
1.3. Producción cientı́fica

Fruto directo de esta tesis son cuatro publicaciones que se adjuntan en el
Capı́tulo 8. Una ya ha sido presentada [Dacal-Nieto et al., 2009a], mientras que
las otras tres han sido aceptadas para su publicación durante 2011 [Dacal-Nieto
et al., 2011a, Dacal-Nieto et al., 2011b, Dacal-Nieto et al., 2011c]. Los resultados
también fueron recogidos en un artı́culo en prensa [Dacal-Nieto et al., 2009b].
1.4. Investigaciones relacionadas

1.4.1. Otros proyectos de investigación
En esta sección hablaremos de proyectos de investigación que han conta-
do con la participación del doctorando y que están relacionados con esta tesis
doctoral.
LEAME
A lo largo de 2007 y la primera mitad de 2008, se lleva a cabo el proyecto
Sistema de lecturas automático para aplicaciones en metrologı́a mediante visión
por computador (Leame), dotado con 7500 € por la Universidade de Vigo, cuyo
1.4. INVESTIGACIONES RELACIONADAS 11
objetivo es automatizar ciertas tareas de calibración en el Lomg mediante el uso

de técnicas de visión por computador para el reconocimiento de displays de dis-
positivos digitales. Este proyecto conlleva el primer acercamiento del doctorando
con el mundo de la investigación, y supone el desarrollo de un complejo sistema
de adquisición de imagen donde la iluminación juega un papel fundamental.
Estos avances han ayudado a planificar e implementar la iluminación en las
investigaciones de estudio de patatas. La cámara utilizada es una C-Cam BCi4-
USB (con sensor Cmos color, 1280 × 1024, 14fps, Usb). Fruto de este proyecto
son varias publicaciones en revistas [Vazquez-Fernandez et al., 2009a, Martı́n et
al., 2011] y congresos internacionales [Martı́n et al., 2008a, Vazquez-Fernandez
et al., 2008] y nacionales [Martı́n et al., 2008b, Martı́n et al., 2009a, Martı́n et al.,
2009b, Vazquez-Fernandez et al., 2009c] en los que ha participado el doctorando.
VITICAL
El proyecto Sistema para el control de calidad en uva mediante visión artifi-
cial (Vitical), se desarrolla durante 2008 y 2009 en colaboración con el Ceteca
y la Cooperativa Vitivinı́cola do Ribeiro, recibiendo alrededor de 190000 € de
financiación de la Consellerı́a de Medio Rural de la Xunta de Galicia. Su sistema
de adquisición coincide con el utilizado en el análisis visible en patatas: cámara
JAI BB-500GE (sensor Ccd color 2/3”, 2456 × 2058, 15 fps, GigE Vision) y
óptica Schneider Cinegon Xenoplan 1.4/17 mm 2/3”, serie Compact 400-1000.
En este proyecto el doctorando colabora en la fase de montaje del sistema, muy
compleja al tratarse de un sistema que funciona en exteriores y que abarca una
zona de interés de más de 2 m2 . También es el responsable del software a utili-
zar por el usuario durante el desarrollo del proyecto. La parte de adquisición de
Vitical y Visiocal (visible) se realiza casi en paralelo y con una abundante
retroalimentación entre ambos. Fruto de este proyecto son dos publicaciones en
revistas [Vazquez-Fernandez et al., 2009b, Vazquez-Fernandez et al., 2010a] y
congresos nacionales [Vazquez-Fernandez et al., 2010b] en los que ha participado
el doctorando.
REDILASDI
El proyecto Patrón de referencia dimensional basado en un interferómetro
con láseres de diodo sintonizables de ancho de banda estrecho (Redilasdi),
dotado en 2008 con alrededor de 77000 € del Programa de Investigación Funda-
mental No Orientada del Ministerio de Ciencia e Innovación, utiliza un sistema
de adquisición similar a Visiocal y Vitical. Debido a las caracterı́sticas del
proyecto, se adquieren imágenes con distintas cámaras, en un intento por eva-

luar la mejor opción. Ası́, el doctorando configura sistemas de adquisición con
varias cámaras: la cámara JAI BM-500GE, exacta a la utilizada en Vitical
y Visiocal, pero en monocromo (sensor Ccd monocromo 2/3”, 2456 × 2058,
15 fps, GigE Vision), la cámara JAI CB-200GE muy similar a la anterior (sensor
Ccd color 1/1.8”, 1620 × 1236, 25 fps, GigE Vision), la cámara C-Cam BCi4-
USB utilizada en Leame (sensor Cmos color, 1280 × 1024, 14 fps, Usb), y una
cámara Thorlabs DC210C (sensor Ccd, 640 × 480, FireWire). Este proyecto
supone un desafı́o en las capacidades del doctorando en el diseño de sistemas de
adquisición, al utilizar distintas tecnologı́as, interfaces y modelos. Al igual que
con Vitical, Redilasdi se desarrolla en paralelo a Visiocal, y también usa
la misma cámara que la parte visible de Visiocal.
MEDGRASA
Producción de carne con alta infiltración intramuscular a partir de terne-
ros frisones castrados de 18 meses de edad; Calidad de la canal y de la carne
(Medgrasa) es un proyecto llevado a cabo entre el Ceteca y Coren, dotado
con aproximadamente 170000 € proporcionados por el plan Incite de la Xunta
de Galicia, que contó en su dı́a con una pequeña colaboración a lo largo de
2009 del Lomg, para la realización de un sistema de visión artificial para la
medición de grasa intramuscular en filetes de vacuno. Este sistema utiliza el sis-
tema de adquisición visible de Visiocal, adaptado a las necesidades especı́ficas
de Medgrasa. Cambia principalmente la iluminación, muy tenue para evitar
reflejos innecesarios, ya que la carne está recién cortada y brilla. También se
modificaron aspectos relacionados con el enfoque, tiempo de exposición y ba-
lance de blancos. Las labores del doctorando en este proyecto se centraron en el
sistema de adquisición y pruebas preliminares de segmentación y procesamiento
de imagen.
OVOVIP
Ovovip (Determinación in-ovo del sexo en aves mediante visión hiperespec-
tral), es un estudio de viabilidad dotado con 10000 € de la Xunta de Galicia que
coincide a lo largo de 2009 con el desarrollo del sistema hiperespectral y supone
un nuevo problema con el que ponerlo a punto. En este caso el objetivo es testar
las capacidades del sistema hiperespectral para el sexado de huevos de gallina
antes de su eclosión. Se prueba una iluminación halógena por fibra Schott DCR
III Plus, con terminación puntual. Finalmente se opta por el mismo sistema
1.4. INVESTIGACIONES RELACIONADAS 13
utilizado en Visiocal, con focos halógenos y una campana difusora, ya que la

potencia lumı́nica de la fuente no es suficiente para obtener imágenes de una
calidad razonable. Los resultados muestran porcentajes de acierto bajos, debido
principalmente a la baja resolución del sistema y a las inadecuadas condiciones
de iluminación.
DETEPRE
El proyecto Detepre (Desarrollo e implantación de nuevas tecnologı́as y
protocolos en el estudio de ecologı́a reproductiva pesquera) nace en 2008 fruto de
una colaboración entre el Instituto de Investigaciones Marinas del Csic (Iim-
Csic), el Departamento de Electrónica y Computación de la Universidade de
Santiago de Compostela y el grupo Lia del Departamento de Informática de la
Universidade de Vigo. Financiado por el plan Incite de la Xunta de Galicia, su
principal objetivo es la automatización de las tareas de estudios reproductivos
llevados a cabo en el Iim-Csic mediante la aplicación de técnicas de visión
artificial y clasificación. En este proyecto el doctorando ha supervisado la base
de datos del proyecto y colaborado con el desarrollo de la herramienta Govocitos,
que es la interfaz de usuario final de manejo del sistema.
CARNEVIP-SEGALI
En 2009 y 2010, Lomg y Lia (respectivamente) proponen un proyecto de
investigación utilizando el sistema hiperespectral, en este caso colaborando con
Ceteca. El objetivo de este proyecto es inspeccionar carne envasada de vacuno
y pollo para detectar su salubridad, utilizando el sistema existente infrarrojo, y
planteando la adquisición de nuevos componentes que permitan una inspección
en el rango visible (400 nm a 1000 nm). Se solicita financiación en convocatorias
públicas durante dos años consecutivos, con las denominaciones Carnevip y
Segali, pero en ambas ocasiones es denegada. No obstante, el proceso de pla-
nificación y análisis de requisitos resulta beneficioso para el trabajo de tesis y
de experiencia con el sistema hiperespectral.
ANHIMIGA
A mediados de 2010, en paralelo al desarrollo de los trabajos correspondientes
a la detección de sarna y corazón hueco mediante el sistema hiperespectral,
surge en el Lia la idea de usar el sistema para la clasificación de miel según
su origen floral. Para asegurar su viabilidad, se realiza un estudio previo que
arroja un porcentaje de éxito en torno al 98 % de acierto. Esto provoca que se

solicite financiación en una convocatoria pública, en colaboración con el grupo
de Palinologı́a de la Facultad de Ciencias de Ourense (Universidade de Vigo),
con la denominación Anhimiga (Estudio de la eficacia del análisis hiperespectral
en la caracterización del origen botánico de la miel). Al igual que en Ovovip,
se prueba una iluminación por transmisión y reflexión, pero la carencia de una
fuente halógena con salida puntual de potencia suficiente hizo que se utilizase
el método por reflexión. Esta iniciativa ayuda a generalizar el software creado y
el sistema hiperespectral, probando el desarrollo en un problema distinto.
COPEVI
En 2010, la empresa Josmar S.L., el Centro de Ingenierı́a Mecánica y Au-
tomoción (Cima) de la Universidad de Vigo y el grupo Lia de la Universidade
de Vigo se unen para la realización de un proyecto para automatizar el despiece
de merluza mediante la aplicación de técnicas de visión artificial. El proyecto,
denominado Copevi (Desarrollo de una herramienta de corte óptimo de mer-
luza mediante el uso de técnicas de visión artificial), pretende detectar la cola y
aletas de los individuos para cortar dichas partes de manera independiente a su
tamaño, al contrario que de manera fija, tal y como se realiza en la actualidad.
Nuevamente el proyecto supone un desafı́o para el doctorando en lo referente
a adquisición de imagen, componentes y empleo y aplicación de algoritmos de
procesamiento de imagen.
Otras actividades
Durante la fase de puesta a punto del sistema, a lo largo de 2009, también
se probó la eficacia del sistema hiperespectral en otros objetos, como fruta y
diversos plásticos. Una de las primeras pruebas del sistema se realizó en tiras de
madera, con el objetivo de detectar la lı́nea en la que el tronco cambia a su zona
central. Este ensayo se realiza por petición del centro tecnológico CIS-Madera.
Sin embargo, el problema no se pudo resolver, posiblemente debido a que las
longitudes de onda no fueron las adecuadas.
1.4.2. Colaboraciones
El sistema hiperespectral usado es de los primeros montados en España
con esas caracterı́sticas. El distribuidor en España, Infaimon, confirma que el
sistema presentado es el 5º vendido en España (conjunto Xenics Xeva 1.7-320
1.5. EVOLUCIÓN TEMPORAL 15
+ Imspector N17E), y que a mediados de 2010 se habı́an distribuido 8 sistemas

en total. Por ello, han sido varios los grupos de investigación que se han puesto
en contacto con el doctorando para el asesoramiento en el funcionamiento del
sistema.
Ası́, el Dr. Javier Tardáguila, del “Instituto de Ciencias de la Vid y del Vino”
de la Universidad de La Rioja, se puso en contacto para conocer en más detalle
las partes que conforman el sistema con el objetivo de una futura adquisición del
mismo, y para asesorı́a tecnológica acerca de las decisiones de diseño a tomar.
El alumno Enrique Muñoz, de la Ets de Ingenieros Industriales y de Tele-
comunicación de la Universidad de Cantabria, tutorizado por la Dra. Olga Mª
Conde, también contactó con el doctorando para resolver ciertas dudas técnicas
acerca del sistema y problemas encontrados. El Grupo de Ingenierı́a Fotónica
(Gif), donde el alumno desarrollaba su proyecto fin de carrera, habı́a adquiri-
do recientemente el sistema, que se encontraba en una fase de puesta a punto.
Este grupo ha comenzado una intensa actividad en visión hiperespectral en los
últimos años, aplicada a múltiples sectores como el textil y el cárnico.
1.5. Evolución temporal

Durante el desarrollo de esta tesis, y debido en parte a su carácter aplicado
y de relación directa con otros socios, ha sido necesaria la definición de una serie
de hitos que han marcado los principales acontecimientos del trabajo realizado.
Se presentan en la Tabla 1.1.
1.6. Organización de la memoria

La memoria se organiza del siguiente modo. En el Capı́tulo 2 introduciremos
brevemente los fundamentos de la visión artificial y el reconocimiento de patro-
nes. A continuación, los experimentos realizados se detallan en los Capı́tulos 3,
4, 5 y 6. Un capı́tulo de conclusiones globales (Capı́tulo 7) tratará de recoger
las principales conclusiones que dan respuesta a los objetivos e hipótesis plan-
teadas. Finalmente se adjunta la producción cientı́fica directamente relacionada
con esta tesis.
Año Fecha Hito

2007 Septiembre Inicio del primer curso del programa de doctorado
Tadsi.
Abril Solicitud de financiación del proyecto Visiocal.
Julio Fin del primer curso del programa de doctorado
2008
Tadsi.
Octubre Concesión de financiación para el proyecto Visio-
cal.
Octubre Inicio del perı́odo de Dea del programa de doctorado
Tadsi.
Enero Diseño y montaje de sistema de adquisición visible.
Febrero Fin de primera campaña de adquisición visible.
Marzo Justificación anualidad 2008 Visiocal (Lomg).
Mayo Recepción del sistema hiperespectral.
Julio Presentación y obtención de Dea.
2009 Septiembre Aprobación de proyecto de tesis por Departamento
de Informática.
Octubre Justificación anualidad 2009 Visiocal (Lomg).
Noviembre Presentación de contribución en conferencia Iecon
2009.
Noviembre Fin puesta a punto de sistema hiperespectral.
Diciembre Campaña de adquisición hiperespectral.
Todo 2010 Investigación en el área hiperespectral.
2010 Enero Fin etapa Lomg - Inicio etapa en Lia.
Octubre Justificación anualidad 2010 Visiocal (Lia).
Junio Fin del proyecto Visiocal.
2011 Julio Presentación y defensa de Tesis.
Julio Presentación de contribución en conferencia Icme
2011.
Agosto Presentación de contribución en conferencia Caip
2011.
Septiembre Presentación de contribución en conferencia Iciap
2011.
Tabla 1.1: Principales hitos de la tesis.

Capı́tulo 2
Visión artificial
La visión artificial o visión por computador (Computer Vision) es el área de

conocimiento que estudia teorı́as y métodos para el análisis automático de la
información contenida en imágenes [Shapiro & Stockman, 2001].
El desarrollo de los sistemas de visión por computador se ha visto enorme-
mente impulsado por las necesidades de la industria en materia de automati-
zación en procesos de inspección en lı́neas de montaje o envasado [Crowley &
Christensen, 1995].
Esta tecnologı́a ha hecho evolucionar especialmente a industrias tradicional-
mente deficitarias de automatización, como por ejemplo la industria agroali-
mentaria. Desde este punto de vista, la visión por computador ha ayudado a
solucionar tareas desempeñadas históricamente por el ser humano, realizándolas
de un modo automático, más rápido y controlado. Ası́, podemos decir que la
visión por computador ha colaborado en el acercamiento de la industria agroali-
mentaria al nivel de calidad de otras industrias como la automovilı́stica, la naval
o la aeronáutica [Brosnan & Sun, 2004].
La visión por computador ha trabajado también para la sustitución del ope-
rador humano en materia de detección, reconocimiento y clasificación de objetos,
y de apoyo en la toma de decisiones [Pajares & De la Cruz, 2001].
Aunque el término visión artificial es el más extendido entre los hispanoha-
blantes, la traducción más acertada del término inglés computer vision es po-
siblemente visión por computador. Conviene distinguir entre computer vision,
que son aquellos sistemas de visión artificial más orientados a la investigación,
y machine vision, más orientados a la aplicación directa en la industria, con
una vocación clara de implantación y uso, con un cliente real, y alejado de la
17
18 CAPÍTULO 2. VISIÓN ARTIFICIAL
investigación básica.
También debemos distinguir entre procesamiento de imagen (aquellas técni-
cas y algoritmos utilizados a bajo nivel) y visión por computador (un contenedor
de todas las fases necesarias para poner en marcha un sistema).
2.1. Etapas
La metodologı́a clásica de la visión por computador distribuye el proceso de
análisis en varias fases, que pueden variar según la aplicación concreta. Hablamos
de un área de conocimiento multidisciplinar y compleja que involucra a varias
tecnologı́as de naturaleza diversa.
En esta tesis doctoral realizaremos una serie de experimentos siguiendo esta
metodologı́a, adaptándola en cada caso a los problemas concretos por estudiar.
Adquisición
La primera fase parte de la adquisición del objeto a formato digital. Por

ello, la escena debe ser capturada por algún tipo de sensor. El resultado de esta
fase es una imagen o conjunto de imágenes representadas normalmente por un
array bidimensional de valores enteros o reales, existiendo tantos como canales
capturados.
A la hora de definir la parte de adquisición de imágenes de un sistema de
visión por computador, son muchas las decisiones a tomar. Un buen diseño de
esta fase evitará horas de procesamiento posterior, por lo que la retroalimenta-
ción es una buena práctica. Es frecuente realizar varias tandas de adquisición,
de modo que, tras un breve análisis de las imágenes obtenidas en la primera
fase, si se detectan fallos o se advierten mejoras, se trata de corregir el sistema
y se adquiere un segundo conjunto de imágenes.
En primer lugar debemos diferenciar entre imágenes monocromo (1 canal,
conocido habitualmente como blanco y negro), color (habitualmente 3 canales
en rojo, verde y azul) y sistemas multiespectrales e hiperespectrales (decenas o
cientos de canales).
En función del espectro inspeccionado, podemos tener imágenes en el rango
visible (lo más habitual), o en otras zonas como la infrarroja, la ultravioleta, o
el infrarrojo lejano para termografı́a.
Existen varios tipos de sensores en función de su naturaleza (Ccd, Cmos,
InGaAs, ...) y de su tamaño. Los sensores se montan normalmente en cámaras
2.1. ETAPAS 19
industriales que se conectan al computador de maneras muy diversas: Came-

raLink, Usb, GigabitEthernet, FrameGrabber, etc. También entran en juego
conceptos de óptica (para la elección de las lentes a acoplar a las cámaras, en
función del campo de visión y la distancia al objeto).
Finalmente será de extrema importancia la iluminación, que puede generarse
en distintos medios (Led, halógena, fibra, ...), y terminar en múltiples formas
(lı́nea, puntual, anular, foco, ...). Es frecuente, ası́ mismo, que sea necesaria la
construcción de utillajes y soportes para el sistema, ası́ como la automatización
de procesos, mediante la sincronización con lı́neas o motores. Por último, y a
pesar de que las cámaras ofrecen sencillas aplicaciones de captura, es probable
que sea necesario desarrollar aplicaciones propias para esta labor que cubran
todos los puntos anteriores.
Preprocesamiento y segmentación
En esta fase se prepara la imagen o imágenes para su análisis posterior.

En el preprocesado se pretende facilitar las tareas posteriores de análisis,
mientras que la segmentación es la fase en la que separamos las partes de la
imagen motivo del estudio del resto de partes no interesantes, como el fondo.
Para todas estas labores se hace imprescindible el manejo de librerı́as de pro-
cesamiento de imagen, como Vxl, Idl, OpenCV [Bradski & Kaehler, 2008] o
Intel Ipp, que trabajan sobre el lenguaje C++ en la mayorı́a de casos. En estas
librerı́as encontraremos definidos multitud de algoritmos y operaciones tı́picas
de procesamiento de imagen que conviene conocer y dominar. El tiempo es un
componente extremadamente importante en todas las tareas de procesamiento
de imagen, máxime cuando desarrollamos sistemas en tiempo real, que precisan
de una respuesta en un tiempo determinado, como son los sistemas a implantar
en una lı́nea de envasado o producción.
Las técnicas en esta etapa varı́an desde las binarizaciones a la segmenta-
ción del área de interés [Russ, 2007]. También se utilizan transformaciones de
una imagen en otra (para realzar partes o mejorar el contraste), operaciones
locales (como detección de bordes o reducción de ruido), o morfológicas (como
aperturas, cierres, filtrados, etc.) [González & Woods, 2008].
Extracción de caracterı́sticas
En esta etapa el objetivo es representar la imagen (o los objetos contenidos

en ella) mediante un vector de caracterı́sticas.
Llegados a esta fase lo habitual es haber adquirido una serie de imágenes,

haberlas procesado y segmentado, con lo que tenemos un conjunto de muestras,
de las que normalmente tenemos cierto conocimiento a priori, que nos permite
clasificarlas en una clase o grupo, mediante lo que se conoce como aprendizaje
supervisado.
Tenemos pues que representar un conjunto de muestras mediante una serie
de caracterı́sticas de propósito general (que conocemos por la bibliografı́a que
son adecuadas a nuestro problema) o especı́ficas al caso a estudiar.
Las técnicas más habituales de representación se centran en la detección de
bordes, el análisis de textura [Carrión, 2004], y la detección de áreas conexas. La
extracción de caracterı́sticas de textura está muy relacionada con la estadı́stica.
Reconocimiento de patrones
Una vez disponemos de una representación del problema, se puede desarrollar
un experimento de reconocimiento de patrones, que suele constar de una fase
de selección de caracterı́sticas y otra de clasificación.
El reconocimiento de patrones es el área de conocimiento que trabaja en la
clasificación, descripción y agrupamiento automático de objetos, que tiene por
objetivo clasificar información extraı́da de un conjunto de datos. Está ı́ntima-
mente ligada a la inteligencia artificial y la estadı́stica.
El resultado del proceso es un descriptor o modelo, que toma la decisión
sobre la clase a la que pertenece un patrón desconocido en función de sus ca-
racterı́sticas.
Los patrones parecidos forman clases, que se establecen mediante criterios
de proximidad o similitud en función de las caracterı́sticas con las que se re-
presenta el problema. La manera más sencilla de entenderlo es pensar en cada
instancia (muestra, patrón) como un punto en un espacio de caracterı́sticas de
tantas dimensiones como caracterı́sticas, en el cual los puntos cercanos entre
sı́ (utilizando una determinada métrica de distancia) son de la misma clase (o
al menos eso serı́a lo deseable).
En este contexto, un clasificador es un algoritmo que, dado un conjunto de
entrenamiento y una nueva instancia desconocida, determina la pertenencia a
una de las clases del problema. Existen multitud de algoritmos de clasificación;
entre ellos encontramos clasificadores de mı́nima distancia (que tienen en cuen-
ta la distancia al vector centroide de cada clase), k-NN (que tienen en cuenta
la distancia al vecino más próximo), bayesianos (que se basan en conocimiento
previo de las probabilidades del problema), basados en redes neuronales como
Mlp (que utilizan una red neuronal de topologı́a variable normalmente entrena-
2.1. ETAPAS 21
da previamente con el conjunto de aprendizaje), máquinas de soporte vectorial o

Svm (que construyen un hiperplano que maximiza el margen de separación entre
los ejemplos de las clases del problema), o en árboles de decisión como Random
Forest (una colección de árboles que primero evalúan individualmente la nueva
instancia y finalmente escogen la clase más votada entre los árboles) [Jain et
al., 2000].
Es común realizar una selección de caracterı́sticas previa, que elimine o pon-
dere el peso de ciertas caracterı́sticas en función de su importancia en la repre-
sentación del problema.
Evaluación del sistema

La evaluación de un experimento de reconocimiento de patrones se basa
en la medida del acierto (dado como porcentaje de muestras o instancias bien
clasificadas) de un conjunto de datos, también llamado conjunto de muestras.
Es evidente que si entrenamos un clasificador con una serie de muestras, no
podemos probar su eficacia con las mismas muestras, ya que obtendrı́amos un
resultado falseado. Por ello hay que utilizar alguna estrategia de validación cru-
zada o derivados.
Los métodos de validación cruzada (cross–validation) se basan en dividir
el conjunto de datos en varias partes, e ir utilizándolas iterativamente como
conjuntos de entrenamiento y test, dando como resultado la media de los aciertos
parciales. Si utilizamos 10 conjuntos, hablamos de 10–fold cross–validation.
Cuando el número de divisiones coincide con el número de muestras en el
conjunto de datos, hablamos de leave–one–out cross–validation [Weiss & Kuli-
kowski, 1991]. Es decir, cada muestra se clasifica contra el resto de muestras del
conjunto.
Capı́tulo 3
Análisis de textura en el
espectro visible
Los sistemas de control de calidad en la industria de la patata han mejorado

en los últimos años gracias al aumento de la automatización. En este desarrollo,
la visión artificial ha jugado un papel fundamental, proporcionando soluciones
automáticas, no destructivas y objetivas. En este capı́tulo presentamos un siste-
ma que clasifica patatas en función de sus enfermedades externas (podredumbre
y verdeo). En primer lugar se utilizan técnicas de procesamiento de imagen para
segmentar y extraer caracterı́sticas de las imágenes. Posteriormente se realiza
una fase de selección de caracterı́sticas dirigida por un algoritmo genético. El
proceso de reconocimiento de patrones supervisado se completa con la etapa
de clasificación. Se ha conseguido un 87.4 % de acierto mediante el clasificador
1-nn, utilizando solamente las caracterı́sticas de contraste, disimilaridad, homo-
geneidad y energı́a de los canales H y S (del espacio Hsv).
3.1. Introducción
La visión por computador se ha convertido en una tecnologı́a esencial para el
control de calidad en la industria agroalimentaria, que demanda continuamente
nuevas y mejores aplicaciones. Existen numerosos ejemplos de esta sinergia en
la industria de la patata [Lefebvre et al., 1993, Zhou et al., 1998, Muir et al.,
1999]. Ası́, se han implantado exitosamente complejos sistemas comerciales en
23
24 CAPÍTULO 3. ANÁLISIS DE TEXTURA EN EL ESPECTRO VISIBLE
los últimos años, lo que demuestra que la visión artificial para el control de
calidad en patata es una tecnologı́a madura.
Las técnicas de inteligencia artificial están entre las más usadas en la visión
por computador [Goyache et al., 2001, Du & Sun., 2006]. Entre ellas, se ha
hecho uso de los algoritmos genéticos (Ga’s) [Goldberg., 1989, Holland., 1992]
de manera extensiva para múltiples propósitos, como por ejemplo incluyéndolos
en un clasificador para calcular los pesos de una red neuronal [Guyer & Yang.,
2000], o para tareas de segmentación [Gong & Yang, 2004].
Sin embargo, su uso se ha extendido especialmente como técnica de selec-
ción de caracterı́sticas [Chtioui et al., 1998, Gómez-Sanchı́s et al., 2008], con el
objetivo de obtener un subconjunto con aquellos atributos más relevantes (en
función del problema) en un conjunto de datos.
El objetivo de este trabajo es desarrollar un sistema de visión artificial para el
control de calidad que clasifique patatas no lavadas en función de la presencia de
varias enfermedades externas de las mismas. Podemos ver un diagrama general
del sistema en la Figura 3.1.
Actualmente un experto selecciona muestreos de 20 kg de un productor, con
el objetivo de detectar el porcentaje de patatas defectuosas y asignar un precio
justo a la producción. Este proceso es tedioso y muy sensible a errores humanos,
por lo que se recomienda su automatización.
3.1.1. Motivación
El grueso de este trabajo se realiza entre finales de 2008 (coincidiendo con
la época de recogida de la patata) y principios de 2009. Hablamos del primer
paso del proyecto Visiocal. El proyecto parte de una serie de defectos y enfer-
medades presentes en los tubérculos que es necesario detectar.
La planificación indicaba que algunos serı́an abordados mediante visión hi-
perespectral, mientras que otros lo serı́an mediante análisis colorimétrico en el
espectro visible. Entre estos últimos encontramos la podredumbre húmeda, la
podredumbre seca, el verdeo, los daños mecánicos, el agusanado, y los gromos,
principalmente.
Se llevó a cabo una campaña de captura de imágenes, tras la que expertos del
Ceteca etiquetaron las imágenes indicando, para cada muestra, la pertenencia
a cada una de las clases definidas con anterioridad, a las que hay que añadir los
ejemplares sanos.
Tras un análisis de las estrategias a seguir, se decide que se aplicarán técnicas
de análisis de textura para la detección de aquellos defectos en los que el color y
la textura es relevante para el experto, como las podredumbres húmeda y seca
3.1. INTRODUCCIÓN 25
Figura 3.1: Diagrama de bloques del experimento de análisis de patatas en el

espectro visible.
y el verdeo. Estos defectos parecieron los idóneos para un enfoque de análisis

de textura convencional utilizando caracterı́sticas de sobra conocidas y muy
testadas en la bibliografı́a previa. Para el daño mecánico, el agusanado, y el
resto de defectos, se planifican estrategias especı́ficas, basadas en caracterı́sticas
morfológicas, pero para un estadio posterior de la investigación. El estudio de
estas otras caracterı́sticas no fue abordado finalmente por el doctorando, tras
la finalización de su relación con el Lomg y la consiguiente reordenación de sus
tareas en el Lia.
3.2. Experimento
3.2.1. Adquisición de imagen
En esta sección se describirá el sistema de adquisición diseñado para la ob-
tención de imágenes, ası́ como el procedimiento empleado.
Recogida de muestras
Un conjunto con 47 sacos de patatas (con aproximadamente 20 kg cada uno)
fue seleccionado aleatoriamente de dos empresas procesadoras de patata en Xin-
zo de Limia (Ourense, España) en la época de recolección de 2008. Los sacos
recogı́an muestras de las tres variedades más importantes de la región (Agria,
Kennebec y otras variedades rojas), conteniendo patatas sanas y defectuosas
con varias enfermedades externas. Es común que las empresas de esta zona no
laven las patatas antes de su envasado, por lo que todas las inspecciones deben
ser realizadas en presencia de polvo y tierra sobre las patatas.
Diseño de la lı́nea piloto

Con el objetivo de recrear de la manera más realista posible las condiciones
reales de funcionamiento, fue construida una pequeña lı́nea piloto de envasado
de patatas, compuesta por: una tolva de descarga, una mesa de trı́a, una cepi-
lladora, una mesa de selección y una salida. Su principal caracterı́stica era que
estaba compuesta por rodillos de Pvc por los que circulan las patatas, lo cual
permite, junto con el avance de la lı́nea (a 0.1 m/s aproximadamente), inspec-
cionar toda la superficie de las patatas mientras éstas giran. A esa velocidad,
y tomando una imagen cada 500 ms, cada patata se captura entre 8 y 9 veces.
Finalmente, el ancho de lı́nea varı́a entre 0.5 m y 0.8 m.
Diseño del sistema de adquisición

En función de la lı́nea piloto diseñada, se llevaron a cabo los cálculos ne-
cesarios para los parámetros del conjunto cámara–óptica. En primer lugar, en
lo relativo al tipo de cámara, parece una propuesta lógica emplear una cámara
lineal que permita la reconstrucción de las imágenes en función del avance de la
lı́nea. Sin embargo, nos encontramos con un problema que lo impide: el avance
de la lı́nea es causado por tubos que giran sobre sı́ mismos, por lo que las pata-
tas se mueven a la vez que avanzan. Con este método de desplazamiento (que
es el usual en las empresas envasadoras de patata) es imposible reconstruir las
3.2. EXPERIMENTO 27
patatas utilizando una cámara lineal, por lo que necesitamos una captura global
mediante una cámara matricial. Esta operación ha de realizarse, no obstante,
tomando un tiempo de exposición suficientemente bajo, tanto como permite la
iluminación en Ac utilizada (alrededor de 10 ms). A tiempos de exposición me-
nores se percibe el parpadeo de la luz, lo cual no garantiza una iluminación
estable a lo largo de las imágenes obtenidas.
A continuación se determinó la resolución necesaria para la cámara a com-
prar. Si tomamos un campo de visión (Fov) como la superficie de la lı́nea que
queremos observar (0.5 m a 0.8 m de ancho) y un sensor de 5 Mp (Mega pı́xeles)
de 2456 × 2058, obtenemos una resolución de:
F OV 0,8 m mm mm
Rc = = = 0,32 ≈ 0,4 (3.1)
Rs 2456 pixel pixel pixel
Tomando un margen doble (Nyquist), podemos trabajar con defectos en
patata de 0.8 mm, que es razonable para el análisis que se busca, teniendo en
cuenta los defectos a buscar. Se desea ese detalle de cada patata, porque el
objetivo es inspeccionar sacos de aproximadamente 20 kg de patatas, de modo
que vamos a tener varias patatas por imagen. Cuantos más pı́xeles podamos
inspeccionar por patata, más datos tendremos para poder clasificarlas (dentro
de unos lı́mites de presupuesto, capacidad de computación y disponibilidad).
Otra de las caracterı́sticas determinantes a la hora de escoger el tipo de
camara fue la conexión al PC. Dado el emplazamiento del puesto de adquisición
de imagen, el estándar emergente GigEVision parece el más adecuado, ya que
permite distancias de cableado cámara–PC de más de 100 m (frente a los 5 m
de Firewire o los 10 m de CameraLink).
El Fov a abarcar por el sistema se determina con el tamaño del sensor de
la cámara y la focal de la lente. A medida que disminuye la distancia focal,
aumenta el Fov para un determinado tamaño de sensor, pero también aumenta
la distorsión geométrica de la imagen obtenida. Tomando un tamaño de Ccd
comercial de 2/3”, que es el máximo disponible en las cámaras con la resolución
adecuada, hay que llegar a un compromiso entre la focal y el Fov que nos
permita abarcar la mayor superficie posible minimizando la distorsión.
Con todo esto, el sensor escogido es un 2/3” Bayer Color ICX625AQA, que
es el que monta la cámara finalmente escogida: JAI BB-500 GE (Figura 3.2).
Para su alimentación se adquirió una fuente de alimentación regulable, limitada
a 12 V.
A partir de las especificaciones proporcionadas por el fabricante se realizaron
los cálculos para la distancia focal, que se resumen en la Ecuación 3.2,
Figura 3.2: Cámara del sistema de análisis de patata en el espectro visible: JAI
BB-500GE, junto con su óptica.
s (mm)
β = FTOV (mm)
(3.2)
f 0 = α 1−β
β
Sea α la distancia desde la superficie a inspeccionar hasta la óptica. Si con-

sideramos la posibilidad de un ancho de lı́nea de 0.5 m o 0.8 m y tomamos una
óptica adecuada de 16 mm, tenemos unas dimensiones para el soporte razonables
(Ecuación 3.3).
ancho = 0,5 m =⇒ α ≈ 1 m
(3.3)
ancho = 0,8 m =⇒ α ≈ 1,5 m
Por otro lado, para la iluminación se realizaron pruebas in–situ en la lı́nea
piloto. Se hicieron diversas comprobaciones de posición y tipo de focos (Led,
halógenos, etc.), observándose un mejor comportamiento de focos halógenos con
difusores. Se seleccionaron dos focos de 500 W en disposición axial sobre la lı́nea,
de manera que se cubra toda la superficie, minimizando el efecto de sombras.
Se detectó un problema en la adquisición de imagen debido a las oscilaciones
por debajo de un determinado tiempo de exposición, que puede ser subsanado
sustituyendo las fuentes de Ac por Dc.
Cabe destacar la necesidad de que el PC al que se conecte la cámara disponga
de una tarjeta de red Intel PRO/1000 Gigabit Ethernet o compatible, para
asegurar el buen funcionamiento con el estándar GigEVision da cámara. En la
interfaz de red es necesario establecer ciertos parámetros de configuración, como
los Jumbo Frames a valores de más de 9000 bytes.
3.2. EXPERIMENTO 29
Para la fijación de la cámara se diseñó un soporte que permite el ajuste de

la distancia en función de la dimensión de lı́nea empleada (Figura 3.3).
Figura 3.3: Montaje para el soporte de la cámara en sistema de análisis de

patata en el espectro visible.
En las Figuras 3.4 y 3.5 se muestran varias imágenes del sistema montado y
en funcionamiento. Durante el proceso de adquisición de imagen se recogieron
un total de 5040 imágenes de resolución 2456 × 2048 en formato Tiff.
Software de adquisición
Para la toma de imágenes se ha desarrollado un software especı́fico (Figura
3.6), ya que el software proporcionado por el fabricante de la cámara (JAI)
no cubrı́a las funcionalidades mı́nimas exigibles. Este software hace uso de las
librerı́as JAI Sdk en lenguaje C++. Sus principales caracterı́sticas son:
Conexión con cámaras JAI y Pulnix de interfaz Gigabit Ethernet

Modo zoom, de manera que es posible ampliar una determinada zona de
la imagen
Figura 3.4: Sistema de adquisición del experimento de análisis de patata en

el espectro visible (vista lateral). Observamos a la izquierda PC y fuente de
alimentación. En la parte superior cámara e iluminación.
Establecimiento del tiempo de integración del sensor
Diversos modos de realizar balance de blancos: seleccionando una zona de

interés, introduciendo una serie de valores para R, G y B o automático
Diversos modos de captura: imagen simple, capturar imagen cada s se-

gundos t veces, y capturar imágenes indefinidamente hasta que se pulse el
botón de parada
Consulta de la temperatura del sensor
Control de los triggers de la cámara
Los principales desafı́os de este software han sido la comunicación con los
dispositivos, la integración de sus librerı́as, y el uso de hilos. La aplicación ha
facilitado notablemente las tareas de adquisición, automatizando la recogida de
imágenes y el encendido y apagado de la iluminación en los momentos oportunos.
3.2. EXPERIMENTO 31
Figura 3.5: Sistema de adquisición del experimento de análisis de patata en el

espectro visible (vista frontal).
Como complemento a este software, se desarrolló una aplicación para el enfo-

que automático de las imágenes, una utilidad que obtiene la medida de enfoque
Figura 3.6: Interfaz de usuario del software de la parte de adquisición en el

sistema de análisis de patata en el espectro visible.
(calidad) y hace posible estimar cómo de bien enfocados están los objetos a
inspeccionar, en nuestro caso patatas [Vazquez-Fernandez et al., 2010a]. Con-
cretamente, para cada imagen, calcula la desviación tı́pica de la transformada
Fft de la imagen. De esta manera, y teniendo una imagen fija, se garantiza que
el enfoque está establecido en la mejor posición posible.
Sistema automático de iluminación
Desde el primer momento se constató que era deseable que la iluminación se

activase a la vez que la captura de imágenes, y que se apagase al terminar ésta,
3.2. EXPERIMENTO 33
con el objetivo de facilitar las tareas de adquisición de imagen. Haciendo uso de

los registros y triggers de la cámara, fue posible activar y desactivar los focos
halógenos mediante un pequeño circuito formado por una resistencia y un relé.
La caja diseñada facilita las tareas de conexión y desconexión en el montaje,
prevee posibles errores de conexión, y da un paso más en la automatización del
sistema (Figura 3.7).
Figura 3.7: Caja para la automatización de la iluminación necesaria en el siste-

ma de adquisición del experimento de análisis de patata en el espectro visible.
3.2.2. Clasificación por expertos
Expertos del Ceteca seleccionaron un conjunto representativo de imáge-

nes a partir del conjunto original. Esta selección contenı́a n = 305 imágenes
(como las de la Figura 3.8). El conjunto de aprendizaje fue generado mediante
la selección de p = 1206 patatas. Se identificaron nueve clases en función de
las enfermedades y porcentajes de defectos: buenas, con podredumbre seca, con
podredumbre húmeda, con verdeo, deformes, agusanadas, con daños mecánicos,
con gromos y con sarna. Tras ver la distribución de estos defectos (apenas habı́a
muestras de algunas clases) se tomó la decisión de trabajar únicamente con tres
clases: buenas (sin ningún defecto), con áreas podridas (más de un 10 % de su-
perficie) y con verdeo (más de un 25 % de superficie), dejando el resto de clases
para trabajos posteriores.
En la Figura 3.9 podemos ver cuatro patatas afectadas por verdeo, mientras
que en la Figura 3.10 vemos cuatro patatas afectadas por podredumbre.
Figura 3.8: Una de las n imágenes escogidas para el conjunto de aprendizaje

en el experimento de análisis de patata en el espectro visible.
Figura 3.9: Cuatro patatas afectadas por verdeo.

3.2. EXPERIMENTO 35
Figura 3.10: Cuatro patatas afectadas por podredumbre.
3.2.3. Preprocesado y segmentación

La librerı́a de código abierto OpenCV [Bradski & Kaehler, 2008] ha sido
utilizada en la implementación, en su versión para C++.
El proceso de segmentación para separar las patatas del fondo ha sido divi-
dido en tres etapas: primero detectamos las áreas de interés, luego identificamos
estas áreas como objetos y finalmente le indicamos al sistema cómo evitar iden-
tificar agrupaciones de patatas como una única patata.
1. Detección de áreas
La imagen original en espacio de color Rgb imagen se transforma al es-
pacio de color Hsv. El color azul intenso de los rodillos se retira del canal
H (valores desde 214 a 228 en base 360 se ponen a 0). Una nueva imagen
Rgb (imagen0 ) se construye a partir de S, V y la recién modificada H.
Sean R0 , G0 y B 0 los canales Rgb de imagen0 . Si utilizamos las relaciones
existentes entre los canales Rgb y Hsv de imagen e imagen0 obtenemos:
G − R resalta las patatas en color oscuro (casi negro). Sin embargo,
ciertas partes de los rodillos y las guı́as comparten ese color.
B − S remarca las partes oscuras de los rodillos que se confunden con
las patatas.
B 0 − R remarca las partes oscuras de las guı́as y otras sombras que
se mezclan con las patatas.
La idea es retirar las partes remarcadas en B − S y B 0 − R de G − R.

Previamente se realizan ciertas operaciones de binarización, desenfocado
y cierre [Russ, 2007] en B − S y B 0 − R. Finalmente, B − S y B 0 − R son
usadas como máscaras en la binarización de G − R. Tras esta operación
se obtiene una imagen binaria de las patatas y el fondo (Figura 3.11).
Figura 3.11: Etapas de la detección de áreas en el experimento de análisis de

patata en el espectro visible: (a) B − S, (b) B 0 − R, (c) G − R, (d) resultado
final.
2. Identificación de objetos
La segunda parte del proceso de segmentación es la identificación de las
regiones conexas como objetos. En esta fase es necesario resolver ciertos
problemas, como impedir considerar como objetos independientes al ruido
que pudo pasar de la fase anterior. El resultado de esta fase es una nueva
imagen por cada región conexa, con fondo negro.
3. Segmentación de agrupaciones de patatas

En este punto es común que grupos de patatas se hayan considerado como
una única patata dentro de la misma imagen, debido a su proximidad.
3.2. EXPERIMENTO 37
Para evitarlo, vamos a detectar istmos en cada patata potencial mediante

el siguiente algoritmo (Figura 3.12).
Para cada ángulo α entre 0◦ y 180◦ , con incrementos de 6◦ :
La imagen es rotada α◦ .
Calculamos la proyección vertical de la imagen rotada.
Detectamos máximos locales en la proyección [Martı́n, 2003], buscan-
do picos en vecindades de 40 pı́xeles (adecuado para el tamaño de las
patatas).
Si hay por lo menos dos máximos locales, buscamos el mı́nimo entre
los dos mayores. Si este mı́nimo está bajo un umbral (40 % de la
altura da proyección), el mı́nimo es añadido a una lista de istmos
potenciales.
Cuando todas las rotaciones están testadas, el mejor istmo es usado para di-
vidir la imagen verticalmente, creando dos sub–imágenes. Sus cajas envolventes
(bounding–box) son ajustadas al nuevo contenido, y el algoritmo se ejecuta de
nuevo para asegurar que solo haya una patata en cada una de las dos imágenes
generadas. Este algoritmo se aplica recursivamente hasta que no existen istmos
en ninguna imagen (Figura 3.13). Se trata de una operación que consume bas-
tante tiempo, aunque es dependiente del número de patatas en la imagen. Se
han registrado tiempos de ejecución de hasta 10 segundos (en imágenes donde
las patatas se encuentran apelotonadas), aunque la media está en torno a 4 se-
gundos. De todos modos esta condición es solucionable pasando las patatas de
manera más separada en la lı́nea de envasado.
Figura 3.12: Detección de agrupaciones en patatas (imágenes y proyecciones) en

el experimento de análisis de patata en el espectro visible. a) imagen original; b)
imagen rotada 48◦ , con un valle de 109 ocurrencias de profundidad; c) imagen
rotada 60◦ , con un valle de 78 ocurrencias de profundidad; d) corte óptimo
encontrado a 60◦ .
3.2. EXPERIMENTO 39
3.2.4. Extracción de caracterı́sticas

El propósito del experimento no es implementar un modo directo de de-
tectar cada clase, sino extraer caracterı́sticas genéricas de textura y estimar el
porcentaje de acierto de manera estadı́stica sobre un conjunto de entrenamiento.
Las caracterı́sticas listadas a continuación (Ecuaciones 3.4 a 3.13), han sido
escogidas entre las propuestas para estudio de texturas presentes en [Graves &
Batchelor, 2004], y están basadas en el análisis de estadı́sticos de primer orden de
histogramas y en matrices de co–ocurrencia de niveles de gris (Glcm) [González
& Woods, 2008].
Figura 3.13: Patata finalmente segmentada en el experimento de análisis de

N
1 X
M edia = x̄ = xi (3.4)
N i=1
N
1 X
V arianza = (xi − x̄)2 (3.5)
N i=1
N
1 X
Curtosis = (xi − x̄)4 − 3 (3.6)
N ∗ V arianza2 i=1
N
1
(xi − x̄)3
P
N
i=1
Simetria = 23 (3.7)
N
1
(xi − x̄)2
P
N
i=1
N
X −1
Contraste = Pi,j (i − j)2 (3.8)
i,j=0
N
X −1
Disimilaridad = Pi,j |i − j| (3.9)
i,j=0
N −1
X Pi,j
Homogeneidad = (3.10)
i,j=0
1 + (i − j)2
v
u N −1
uX
Energia = t Pi,j 2 (3.11)
i,j=0
N
X −1
Entropia = Pi,j [−ln(Pi,j )] (3.12)
i,j=0
 
N −1
X (i − µi )(j − µj )
Correlacion = Pi,j  q  (3.13)
i,j=0 σi2 σj2
Para cada canal Rgb y Hsv se obtienen: media, varianza, curtosis y simetrı́a
del histograma y contraste (inercia), disimilaridad, homogeneidad, energı́a, en-
tropı́a y correlación de la matriz de co–ocurrencia de niveles de gris.
Utilizar estadı́sticos de primer orden de histograma y de matrices de co–
3.2. EXPERIMENTO 41
ocurrencia de niveles de gris es un acercamiento tı́pico en este tipo de problemas,

por lo que pareció una buena estrategia para este estadio del proyecto.
Quizás lo más relevante haya sido extraer dichas caracterı́sticas no solo en
los tres canales R, G y B, como es usual, sino también de los canales de otro
espacio de color como H, S y V .
Haciendo esto es evidente que estamos proporcionando información redun-
dante al clasificador. Lo permitimos contando en que existirá una fase posterior
de selección de caracterı́sticas que deberá realizar una criba de las mismas y
quedarse con las más representativas.
A continuación se propone un aprendizaje supervisado partiendo de un con-
junto de muestras representadas por f = 60 caracterı́sticas más el atributo clase.
El conjunto de aprendizaje es gestionado por una base de datos MySql.
3.2.5. Clasificación
En esta fase se ha hecho uso del software Weka [Weka, 2011] para un testeo
preliminar de los algoritmos a utilizar. Ası́, se han probado Random Forest,
Naive Bayes, entre otros, resultando finalmente el algoritmo del vecino más
próximo (1-nn) por su simplicidad y robustez [Jain et al., 2000].
En las evaluaciones llevadas a cabo, se ha hecho uso de la estrategia leave–
one–out cross–validation, un procedimiento muy extendido en los problemas de
reconocimiento de patrones [Weiss & Kulikowski, 1991]. En los próximos capı́tu-
los veremos otro método similar, basado en la generación de permutaciones del
conjunto de datos y su división en conjuntos de entrenamiento, validación y test.
Previa a la clasificación, se realizará una selección de caracterı́sticas por
medio de un algoritmo genético, de modo que las f = 60 caracterı́sticas extraı́das
hasta el momento se reduzcan a un subconjunto que maximice el acierto del
clasificador. Posteriormente se comparará la eficiencia del clasificador usando
60 caracterı́sticas y usando el subconjunto seleccionado.
3.2.6. Selección de caracterı́sticas

Efectuar una selección de caracterı́sticas es una estrategia de sobra conoci-
da en problemas de reconocimiento de patrones. Existen numerosas técnicas,
en función del método utilizado para validar. En todo caso, el núcleo del pro-
blema se basa en que tenemos 2f posibilidades distintas de subconjuntos de
caracterı́sticas. La búsqueda secuencial queda descartada por su coste compu-
tacional, por lo que la búsqueda se puede representar como un problema de
optimización en un espacio de estados. En este caso, una de las aproximaciones

clásicas son los algoritmos genéticos.
Podemos ver aplicaciones similares en otros trabajos de control de calidad
en el mundo agroalimentario [Chtioui et al., 1998, Gómez-Sanchı́s et al., 2008].
En [Gómez-Sanchı́s et al., 2008] se realiza una comparativa de los algoritmos
genéticos con otros métodos (Correlation analysis, Mutual information y Step-
wise multivariate regression), mostrando que el algoritmo genético se adapta
mejor a su problema.
El algoritmo genético usado es uno ad–hoc basado en la estructura clásica.
Sus principales pasos son:
1. Creación de la primera generación aleatoriamente (crear pop individuos
con f genes en cada uno de sus cromosomas)
2. Ejecutar los siguientes pasos mientras el número de generaciones gen no

se alcance:
Fitness: evaluar la población, calculando el fitness de cada individuo
Selección: seleccionar pop/2 individuos de entre los mejor adaptados
Cruce: cruzar los pop/2 individuos seleccionados en parejas, creando
dos nuevos individuos por cada par
Sustituir: los pop/2 individuos no cruzados por los nuevos creados
por la operación de cruce
Mutación: mutar aleatoriamente la población
3. Cuando gen se alcance, retornar el mejor individuo (aquel con el mejor
fitness a lo largo de todas las generaciones)
En este algoritmo definimos las siguientes operaciones:
cromosoma: es un array binario con f 0’s y 1’s. Definimos una relación
entre la posición i–ésima del cromosoma y la caracterı́stica i–ésima de las
patatas. Un 1 (activación) en la posición i–ésima del cromosoma significa
que esa caracterı́stica se tiene en cuenta en el clasificador. La consecuencia
es que cada cromosoma representa un espacio de caracterı́sticas distinto
donde los puntos (las patatas) se clasifican de un modo diferente.
fitness: para evaluar el acierto de un cromosoma c, evaluamos el por-
centaje de acierto del clasificador usando solamente dichos subconjunto
de caracterı́sticas, y además tenemos en cuenta el número de ceros en el
3.2. EXPERIMENTO 43
cromosoma (lo cual debe reducir el número de caracterı́sticas selecciona-

das a lo largo de las generaciones). La función de fitness se explica en los
Algoritmos 3.2.1 y 3.2.2.
Algorithm 3.2.1: fitness(chromosome c)

p

( p1
P p
evaluation(potatoesi , c))( numzeros(c))
i=1
Algorithm 3.2.2: evaluation(potato k, chromosome c)
| 1 : if (1nn(k, c).class == k.class)

| 0 : otherwise
La función fitness evalúa la adecuación de un cromosoma al problema. Pa-

ra ello evalúa todo conjunto de datos con dicho cromosoma, ponderando el
resultado (que es el porcentaje de acierto) por la raı́z cuadrada del número
de posiciones a cero en el cromosoma, para premiar aquellos cromosomas
con pocos unos (que utilizan pocas caracterı́sticas). La evaluación de ca-
da patata para un cromosoma dado utiliza el clasificador del vecino más
próximo (1-nn) con distancia Euclı́dea [Shapiro & Stockman, 2001], en el
espacio de caracterı́sticas definido por el cromosoma.
selección: se ha usado el método de la Ruleta como operador de selección.
Este método selecciona a los individuos en función de su fitness, de modo
que la probabilidad de ser seleccionado pi es directamente proporcional a
cómo de bueno fue su f itness(i):
f itness(i)
pi = N
(3.14)
P
f itness(j)
j=1
cruce: el operador de cruce utilizado ha sido el cruce por un punto (One-

Point Crossover), donde los cromosomas de los padres se cortan en un pun-
to seleccionado aleatoriamente, y las piezas resultantes se intercambian,
creando los cromosomas de los dos hijos. Tras el cruce, los cromosomas
no cruzados se sustituyen por los recién creados, hijos de los cromosomas
cruzados.
mutación: en cada generación, algunos individuos mutan dependiendo de

una probabilidad de mutación definida mut = 0, 003. Cuando un individuo
muta, uno de los f genes de su cromosoma cambia (de 0 a 1 o de 1 a 0).
gen ha sido establecido en 500, tal y como recomienda [Chtioui et al.,

1998].
El comportamiento esperado es que los mejores individuos (aquellos con me-

jores fitness o fenotipos) transmitan parte de sus códigos genéticos (cromosomas
o genotipos) a las siguientes generaciones. En este caso el algoritmo para tras
un cierto número de generaciones, siendo el resultado el cromosoma del mejor
individuo a lo largo de todas las generaciones. El algoritmo se controla con un
software especı́fico propio desarrollado por el doctorando (Figura 3.14).
Figura 3.14: Interfaz del software de manejo del experimento de análisis de

3.3. RESULTADOS Y DISCUSIÓN 45
3.3. Resultados y discusión

Se han realizado varias ejecuciones del algoritmo para la selección de carac-
terı́sticas, mostrando no solamente el descubrimiento de buenos individuos, sino
también la evolución global de las poblaciones creadas (Figura 3.15).
Figura 3.15: Dos ejecuciones de ejemplo del GA en el experimento de análisis

de patata en el espectro visible: mejor fitness del ejemplo 1 (a), mejor fitness del
ejemplo 2 (b), media de fitness del ejemplo 1 (c) y media de fitness del ejemplo
2 (d). El eje x representa el número de generaciones (entre 1 y 500), mientras
que el eje y representa el valor de fitness.
Analizando los mejores individuos tras varias ejecuciones, se han encontrado

los siguientes resultados:
Las caracterı́sticas extraı́das de los canales H y S han sido seleccionadas

en prácticamente todos los experimentos.
Homogeneidad y disimilaridad han sido las caracterı́sticas más selecciona-

das, teniendo en cuenta todos los canales.
Casi todas las caracterı́sticas de primer orden (media, varianza y simetrı́a)

no se seleccionaron, a excepción de la curtosis.
Con esta información, se ha seleccionado un subconjunto de caracterı́sticas,

formado por contraste, disimilaridad, homogeneidad y energı́a de los canales H
y S.
A continuación se presentan los resultados del clasificador (1-nn) usando una
evaluación leave–one–out cross–validation, utilizando todas las caracterı́sticas
(Tabla 3.1) y el subconjunto de caracterı́sticas seleccionado (Tabla 3.2).
```
``` Clasificada
``` Buena Podrido Verdeo
Realmente ```
Buena 65 4 9
Podrido 11 122 5
Verdeo 2 5 39
Tabla 3.1: Matriz de confusión con 60 caracterı́sticas del experimento de análisis

de patata en el espectro visible. El porcentaje de acierto total es del 86.26 %
(226 instancias bien clasificadas de 262).
```
``` Clasificada
``` Buena Podrido Verdeo
Realmente ```
Buena 67 4 7
Podrido 10 122 6
Verdeo 2 4 40
Tabla 3.2: Matriz de confusión con las 8 caracterı́sticas seleccionadas en el

experimento de análisis de patata en el espectro visible. El porcentaje de acierto
total es del 87.40 % (229 instancias bien clasificadas de 262).
El uso del subconjunto seleccionado mejora el rendimiento del clasificador,

que pasa de un 86.26 % a un 87.40 %. En cuanto a tiempo de ejecución, a pe-
sar de la mejora, el sistema no puede proporcionar una respuesta en tiempo
real para cada imagen (en 500 ms, que es el tiempo transcurrido entre cada
adquisición de imagen). Sin embargo, recordemos, el propósito del experimento
es estudiar muestreos de 20 kg para asignar el precio a pagar al productor, en
función de los defectos detectados. En ese caso, el tiempo invertido en la adquisi-
ción de imagen (breves minutos) más el tiempo de análisis (menor a 10 segundos
por imagen) compensa al dedicado por el experto (varios minutos), además de
permitir reasignar su tiempo en otras tareas de mayor cualificación. De todos
3.4. CONCLUSIONES Y LÍNEAS FUTURAS 47
modos, el sistema descrito no abarca, por el momento, todas las caracterı́sticas

exigidas a inspeccionar.
3.4. Conclusiones y lı́neas futuras

Este trabajo ha supuesto el desarrollo de un sistema de captura especı́fico
para el proyecto, que comparte muchas caracterı́sticas con el desarrollado para
el proyecto Vitical. El proceso de segmentación se basa en colorimetrı́a y
proyecciones morfológicas. La segmentación ha supuesto el desarrollo de una
técnica propia de procesamiento de imagen para la segmentación genérica de
áreas conexas tangentes que se basa en la detección de máximos locales y valles
en sus proyecciones. Se han utilizado caracterı́sticas de textura de primer y
segundo orden en las bandas de color Rgb y Hsv. Tras un proceso de selección
de caracterı́sticas guiado por un algoritmo genético, se ha usado un algoritmo
de clasificación 1-nn con distancia Euclı́dea que ha sido validado mediante la
metodologı́a leave–one–out cross–validation.
Se ha comprobado que las caracterı́sticas de contraste, disimilaridad, homo-
geneidad y energı́a sobre los canales H y S maximizan la predicción de clasifi-
cación hasta más de un 87 % de acierto. Los canales H y S se corresponden a
la tonalidad y a la saturación. Esto confirma que el color es una caracterı́stica
importante para el problema, ya que si no fuese relevante, cabrı́a esperar que se
seleccionasen caracterı́sticas del canal V , el correspondiente al brillo.
También se ha comprobado la hipótesis de que realizar una selección de
caracterı́sticas es una práctica adecuada para el experimento. El acierto se ha
incrementado de un 86.26 % a un 87.40 %, además del ahorro de cálculos al pasar
de 60 a 8 caracterı́sticas en solo 2 canales.
A partir de la selección de caracterı́sticas, concluimos también que el espacio
de color Hsv es más adecuado para el problema, ya que ninguna caracterı́stica
del espacio Rgb ha sido seleccionada.
En el futuro será necesario realizar una evaluación más rigurosa, comparando
el funcionamiento de los algoritmos utilizados en este experimento con otras
técnicas de selección de caracterı́sticas y clasificación.
Capı́tulo 4
Sistema de adquisición
hiperespectral
En este capı́tulo se describirá el sistema de adquisición hiperespectral utili-

zado en dos experimentos de esta tesis que serán presentados en los Capı́tulos 5
y 6. El sistema se ha utilizado y refinado en otros proyectos de investigación, tal
y como hemos visto en la introducción. Hablamos de un banco de pruebas para
investigación, que se ha construido con el objetivo de ser modificable, portable,
configurable y fácilmente ampliable.
Como veremos, el tiempo de ejecución tiene un cuello de botella en lo rela-
cionado con el escaneo del objeto y la construcción del cubo hiperespectral. Esto
supone que el sistema va a proporcionar una respuesta válida, en un tiempo de
ejecución que puede no resultar de implantación directa en la industria con la
tecnologı́a actual. Sin embargo, los resultados de los experimentos que vamos a
realizar nos darán las claves para el diseño de una solución más rápida.
4.1. Introducción
La visión hiperespectral es una tecnologı́a emergente diseñada originalmente
para inspección remota por satélite con propósitos militares [Goetz et al., 1985],
pero que se ha extendido para su uso en astronomı́a y observación del terreno.
Sin embargo, en los últimos años ha comenzado a aplicarse en análisis no
destructivos en la industria agroalimentaria, por proporcionar un acercamiento a
la espectrografı́a convencional. Ası́, a pesar de una pequeña pérdida de precisión,
49
50 CAPÍTULO 4. SISTEMA DE ADQUISICIÓN HIPERESPECTRAL
la visión hiperespectral permite inspeccionar un objeto en un espacio de tiempo

considerablemente menor, y siempre de modo no destructivo. Estas posibilidades
están abriendo un nuevo campo de conocimiento alrededor de la inspección
hiperespectral agroalimentaria, tal y como veremos en próximas secciones.
La visión hiperespectral aúna dos tecnologı́as diferentes que han coexistido
separadas hasta el momento: la espectrografı́a, que obtiene información espec-
tral de un objeto, y la visión artificial, que obtiene (además de otras cosas)
información espacial. La salida de un sistema de adquisición hiperespectral es
un conjunto de imágenes dentro de un rango de longitudes de onda, conocido
como cubo hiperespectral. Esto significa que, para cada pı́xel en la imagen, dis-
ponemos de un conjunto de valores que indican cómo varı́a ese pı́xel a lo largo
del rango de longitudes de onda definido.
Es interesante marcar la diferencia entre visión hiperespectral (que propor-
ciona cientos de longitudes de onda contiguas), visión multiespectral (que pro-
porciona decenas de longitudes de onda escogidas óptimamente, no necesaria-
mente contiguas), y las imágenes en color (habitualmente tres bandas, centradas
en las longitudes de onda del rojo, verde y azul).
Existen sistemas de visión hiperespectral en las zonas ultravioleta, visible,
infrarrojo cercano (Nir), infrarrojo e infrarrojo lejano. En cualquier caso, el
tiempo para analizar un objeto (normalmente varios segundos) es significativa-
mente menor que con espectrografı́a convencional.
4.1.1. Motivación
En las conversaciones de Lomg y Ceteca, el equipo de proyecto de Visio-
cal (entre los que se encontraba el doctorando), enumera unos objetivos para
los cuales es necesario plantear alternativas y soluciones. Como ya hemos dicho
con anterioridad, la detección del corazón hueco era una de las funcionalidades
más requeridas por parte de la industria, y merecı́a un tratamiento especial.
El resto de funcionalidades (caracterı́sticas externas principalmente) parecı́an
resolubles con un sistema clásico de visión artificial.
Fue entonces cuando se pusieron encima de la mesa las distintas tecnologı́as
que habı́an tratado con el problema hasta ese momento. La acústica y la espec-
trografı́a convencional habı́an tratado directa o indirectamente con el problema
con resultados razonables. Sin embargo, cabe recordar que el proyecto buscaba
otros objetivos para los cuales la visión artificial seguı́a siendo la mejor opción.
La espectrografı́a infrarroja ha sido empleada para inspección destructiva
y no destructiva en los últimos años. Por su parte, la visión hiperespectral
permite, además un análisis no invasivo, el uso de caracterı́sticas morfológicas
al disponer de imagen tradicional al mismo tiempo. Además, otro motivo para

la composición de un sistema hiperespectral eran las posibilidades que abrı́an
como banco de pruebas para otros proyectos.
El trabajo de ensamblado, puesta a punto, pruebas y desarrollo del software
de adquisición se desarrolla en el último trimestre de 2008 y primera mitad
de 2009. Los plazos y anualidades del proyecto Visiocal, del cual se obtienen
fondos para la adquisición del sistema, fuerzan que los componentes se compren
por separado en las anualidades 2008 y 2009. Ası́, en 2008 se comienza a resolver
la comunicación con la cámara infrarroja, mientras que en 2009 el conjunto
cámara–espectrógrafo se envı́a a calibrar a la sede de Specim en Finlandia, y es
en el tercer trimestre de 2009 cuando se resuelve la iluminación del sistema, la
sincronización para el escaneo y el resto de problemas encontrados.
4.1.2. Estado del arte

La investigación en visión hiperespectral ha experimentado un considerable
interés por parte de la comunidad cientı́fica en los últimos años. A continuación
presentamos algunos de los grupos que han trabajado en aplicaciones de la visión
hiperespectral para el control de calidad en la industria agroalimentaria.
University McGill
El grupo de la University McGill de Montreal, Canada, formado por Shiv

O. Prasher, Michael Ngadi, Ning Wang, y Claude Gariepy, entre otros, ha in-
vestigado desde 2007 cómo medir parámetros fı́sico–quı́micos en carne de cerdo,
como humedad, pH y color [ElMasry et al., 2007, Qiao et al., 2007a, Qiao et al.,
2007b, Xing et al., 2007].
En [ElMasry et al., 2007] se estudia el contenido de agua y nivel de acidez en
fresas, usando un espectrógrafo sensible de 400 nm a 1000 nm (Specim V10E),
consiguiendo un 89 % de acierto.
En [Qiao et al., 2007a, Qiao et al., 2007b] se utiliza un espectrógrafo sensible
en el rango visible y Nir (400 nm a 1000 nm) para clasificar carne porcina
en función de caracterı́sticas de color, logrando aproximadamente un 85 % de
acierto.
Baljinder Singh, del mismo grupo, ha intentado predecir el contenido de agua
en patatas [Singh, 2005], ası́ como clasificarlas usando técnicas de espectrografı́a.
Hokkaido University
El grupo de A. Al–Mallahi, T. Kataoka, H. Okamoto, and Y. Shibata de la
Hokkaido University ha trabajado en la aplicación de visión hiperespectral a la
detección de terrones en un conjunto de patatas [Al-Mallahi et al., 2008, Al-
Mallahi et al., 2009]. Se utiliza el espectrógrafo Specim V10, desarrollando un
experimento que finalmente da como resultado un acierto del 98 % utilizando
muestras húmedas.
Richard B. Russell Center

Bosoon Park, y Kurt C. Lawrence, entre otros, del centro de investigación
Richard B. Russell (GA, USA) han estudiado desde 2006 la detección de con-
taminantes fecales en carne de pollo [Park et al., 2006, Park et al., 2007], la
identificación de bacterias y patógenos [Park et al., 2008, Yoon et al., 2009], y
otros indicadores de seguridad alimentaria.
En [Park et al., 2006, Park et al., 2007, Park et al., 2008] se utiliza un sistema
sensible de 430 nm a 900 nm para detectar presencia de restos fecales en carne
de ave. Se desarrolla un experimento supervisado, contaminando manualmente
ciertas zonas de un individuo, logrando un acierto superior al 96 %.
Beltsville Agricultural Research Center

Kuanglin Chao, Chun-Chieh Yang, y Moon S. Kim, entre otros, del centro
de investigación Beltsville Agricultural Research Center, USA, han centrado su
investigación en la identificación de defectos en pollo y manzanas [Liu et al.,
2007, Yang et al., 2009], ası́ como en la detección de bacterias y evidencias
microbianas en biofilms [Jun et al., 2009, Chao et al., 2009].
En [Liu et al., 2007] se pretende detectar restos fecales en manzanas mediante
un experimento supervisado utilizando el rango de 447 nm a 951 nm, y se
concluye que con dos bandas es suficiente para una clasificación adecuada.
En [Yang et al., 2009] se utiliza un espectrógrafo Specim V10 sobre una lı́nea
para determinar el estado sanitario de carcasas de pollo, y se iguala el acierto
de un operador humano.
FRCFT
El Food Refrigeration & Computerized Food Technology group (Frcft) de
la National University of Ireland, con Da–Wen Sun, Cheng–Jin Du, y Aoife
Gowen, entre otros, han publicado varias reviews [Du & Sun, 2004, Du & Sun.,
2006, Zheng et al., 2006] y libros [Sun, 2006, Sun, 2009] sobre control de calidad
alimentario usando visión hiperespectral, ası́ como varias contribuciones sobre
deterioro de la calidad en champiñones [Gowen et al., 2007, Gowen et al., 2008].
Por ejemplo en [Gowen et al., 2008] encontramos un sistema para la clasi-
ficación de champiñones en función de su nivel de deterioro. Se utiliza el es-
pectrógrafo Specim V10E, y se consigue alrededor de un 70 % de acierto.
Michigan State University
Renfu Lu, Diwan P. Ariana, y Daniel Guyer entre otros, de la Michigan

State University, USA, centran su investigación en la detección de defectos en
cerezas [Guyer & Yang., 2000, Xing et al., 2008] y en la evaluación de calidad
en pepinillos [Ariana & Lu, 2008, Ariana & Lu, 2010].
En [Guyer & Yang., 2000] se utiliza un sistema óptico sensible entre 680
nm y 1280 nm. Aunque no se trata de un sistema hiperespectral tal y como se
desarrolló posteriormente, nos da una idea de las posibilidades de la tecnologı́a.
Consigue un acierto del 73 %.
En [Xing et al., 2008] se utiliza un espectrógrafo Specim V10 (400 nm a
1000 nm) para la detección de la infestación de insectos en cerezas. Se utiliza
un algoritmo genético para determinar la importancia de las bandas, quedando
claro que las más próximas al rango Nir son más interesantes, y obteniendo un
acierto de aproximadamente el 85 %.
En [Ariana & Lu, 2008, Ariana & Lu, 2010], se utiliza nuevamente el Specim
Imspector V10E sensible en rango visible y Nir, para clasificar pepinillos según
su grado de deterioro, alcanzando aciertos del 86 %.
IVIA
El grupo de J. Blasco, N. Aleixos, E. Moltó and J. Gómez–Sanchı́s del Insti-

tuto Valenciano de Investigaciones Agrarias (Ivia) es pionero en la aplicación de
visión hiperespectral para el control de calidad en frutos cı́tricos [Gómez-Sanchı́s
et al., 2007, Gómez-Sanchı́s et al., 2008, Blasco et al., 2009].
En [Gómez-Sanchı́s et al., 2008] se utilizan dos espectrógrafos sensibles en los
rangos 460 nm a 720 nm y 730 nm a 1020 nm para la detección de podredumbre
en mandarinas. Se desarrolla un experimento supervisado en el que se obtienen
aciertos del 91 %.
GIF
Pilar Beatriz Garcı́a-Allende y Olga M. Conde, entre otros, del Grupo de In-
genierı́a Fotónica (Gif) de la Universidad de Cantabria, han estado investigando
el uso de visión hiperespectral para control de calidad agroalimentario desde una
perspectiva genérica, además de clasificación de materiales [Garcı́a-Allende et
al., 2008a, Garcı́a-Allende et al., 2008b, Garcı́a-Allende et al., 2010a, Garcı́a-
Allende et al., 2010b].
INIT
Adolfo Martı́nez, Filiberto Pla y Pedro Garcı́a, miembros del Institute of

New Imaging Technologies (Init) de Castellón, anteriormente en la Universitat
Jaume I, han realizado investigaciones para el control de calidad de fruta en las
que han empleado visión multiespectral en el espectro visible para la etapa de
segmentación [Martinez et al., 2005a, Martinez et al., 2005b].
UPV
En la Universidad del Paı́s Vasco, Artzai Picón ha investigado el uso de vi-

sión hiperespectral para distinguir materiales aprovechando la distinta respuesta
espectral de los mismos [Picón, 2008].
Nebraska University
G.K. Naganathan de la Nebraska University, USA, ha trabajado en la ins-

pección de parámetros de ternura en carne vacuna [Naganathan et al., 2008]
usando visión hiperespectral. En esta contribución se utiliza un sistema de ad-
quisición basado nuevamente en el Specim V10E y se consigue un acierto del
96 % clasificando distintos niveles de ternura.
Otros
Utilizando espectrografı́a invasiva convencional, encontramos contribucio-

nes [Haase, 2006, Buning-Pfaue, 2003] que investigan caracterı́sticas en la com-
posición de patatas, como cantidad de agua, proteı́nas o almidón, mientras que
otras [Kang et al., 2004, Kang et al., 2008] predicen cantidad de materia seca y
gravedad especı́fica.
4.2. ADQUISICIÓN DE IMAGEN 55
4.1.3. Objetivo del sistema

Teniendo en cuenta las posibilidades de la visión hiperespectral, el objetivo
es desarrollar un sistema de adquisición en el rango Nir para el análisis de
múltiples enfermedades y defectos en patatas, fácilmente modificable para su
uso en múltiples propósitos.
El sistema de adquisición servirá como primer paso de un banco de pruebas
sobre el que desarrollar experimentos de reconocimiento de patrones supervisa-
dos.
4.2. Adquisición de imagen

El concepto de la visión hiperespectral es realizar un análisis espectrográfico
de la luz reflejada o transmitida por un objeto de interés. Esto se consigue, en
último término, acoplando una cámara matricial y un espectrógrafo. El sen-
sor matricial de la cámara obtiene desde ese momento información espacial y
espectral en lugar de espacial.
Sea α la resolución del eje x del sensor. Sea β la resolución del eje y del
sensor. Sea γ el número de imágenes tomadas por el sistema de adquisición en
cada sesión. Sea λi la longitud de onda inicial del sistema, y λf la final. Sea ∆λ
la distancia media entre longitudes de onda.
El espectrógrafo (Figura 4.1) tiene una única lı́nea de entrada, con α pı́xeles
de ancho y un pı́xel de alto. El eje x representa una coordenada espacial. En este
momento, cada pı́xel de la lı́nea es analizado por el espectrógrafo para estudiar
cómo este pı́xel varı́a a lo largo del rango de longitudes de onda disponible,
obteniendo β valores para cada pı́xel. De este modo, el eje y representa una
coordenada espectral.
Al estar conectados el espectrógrafo y el sensor de la cámara, el sensor ob-
tiene del eje x α valores espaciales, y del eje y β valores espectrales, en lugar de
simplemente valores espaciales. Podemos ver ejemplos de las imágenes espectra-
les obtenidas en la Figura 4.2.
El proceso explicado hasta el momento describe cómo inspeccionar una única
lı́nea espacial del objeto. Para obtener información del resto del objeto, es preciso
inspeccionar más lı́neas, lo cual se obtiene con algún tipo de movimiento (Figura
4.3).
Concretamente podemos: mover el objeto, mover el conjunto cámara–espec-
trógrafo, o proporcionar una decisión hı́brida basada en la rotación de un espejo
localizado entre la cámara y el objeto. Esta solución permite mantener estáticos
Figura 4.1: Explicación del funcionamiento del espectrógrafo en el sistema de

adquisición hiperespectral. Imagen cortesı́a de Specim Ltd.
Figura 4.2: Arriba: ejemplos de imágenes espectrales tomadas a distintas lı́neas

del objeto: 1) lı́nea 99, 2) lı́nea 144, 3) lı́nea 230. Abajo: bandas en 978 nm,
1173 nm y 1608 nm, como ejemplos de la correspondencia entre imágenes espec-
trales y cubo hiperespectral.
el objeto y el conjunto cámara–espectrógrafo.

En la Figura 4.4 se muestran algunas imágenes una vez el cubo hiperespectral
es construido.
Figura 4.3: Posibilidades para proporcionar movimiento al sistema de adquisi-

ción hiperespectral.
Figura 4.4: Cuatro imágenes espaciales tras la reconstrucción del cubo hiperes-
pectral. Arriba izquierda: 979.99 nm, arriba derecha: 1172.53 nm, abajo izquier-
da: 1342.60 nm, abajo derecha: 1608.20 nm.
4.2.1. Material
Un sistema experimental de adquisición hiperespectral fue puesto a punto
tal y como puede verse en las Figuras 4.5, 4.6 y 4.7.
Figura 4.5: Imagen frontal del sistema de adquisición hiperespectral sin (iz-
quierda) y con (derecha) difusor de luz.
El sistema ha sido diseñado para la inspección no destructiva en la industria

agroalimentaria a lo largo de la región Nir del espectro. Existen soluciones de
caja negra en el mercado, pero el objetivo era crear un sistema formado por
componentes individuales de modo que se permita intercambiar partes de otros
sistemas, e interactuar de una manera más completa con cada componente.
Ası́, se acoplaron una cámara infrarroja con un espectrógrafo Swir–Nir,
ambos sensibles desde 900 nm hasta 1700 nm. La cámara es una Xenics Xeva
1.7–320 [Xenics, 2011] (Figura 4.8, derecha) con un sensor InGaAs de resolución
320 × 256 y conexión USB. El espectrógrafo es un Specim Imspector N17E
[Specim, 2011a] (Figura 4.8, centro). Un escáner de espejos con conexión RS-422
de Specim [Specim, 2011b] (Figura 4.8, izquierda) se acopló al espectrógrafo. Es
importante destacar que el conjunto cámara–espectrógrafo es indivisible una vez
calibrado. Sin embargo, el escáner de espejos puede ser acoplado y desacoplado
del sistema sin ningún problema.
El sistema se completa con tres focos halógenos de 50 W (Ac) posicionados
Figura 4.6: Imagen frontal del sistema de adquisición hiperespectral sin (arriba)
y con (abajo) difusor de luz.
en triángulo para proporcionar iluminación al objeto a inspeccionar, que ha de

colocarse en el centro de la placa de inspección. La luz se difumina mediante la
reflexión en una estructura plástica que cubre la zona de inspección.
Se probaron otras fuentes de iluminación halógenas basadas en salidas de
fibra puntuales [Schott, 2011a, Schott, 2011b] (Figura 4.9) y focos halógenos de
500 W, pero el comportamiento del sistema (especialmente condicionado por la
sensibilidad de la cámara) no fue el deseado. Recordemos que trabajamos en
infrarrojo, por lo que un Led no nos proporciona iluminación, y otras opciones
Figura 4.7: Imagen del sistema de adquisición hiperespectral.
Figura 4.8: Componentes del sistema de adquisición hiperespectral: Specim

Mirror Scanner (izquierda), Specim Imspector N17E (centro) y Xenics Xeva
1.7-320 (derecha).
carecen de uniformidad en el rango de trabajo.
4.2.2. Software de adquisición

Para el manejo del sistema de adquisición, se ha elaborado un framework
usando librerı́as de código abierto y el lenguaje de programación C++. Este
framework (Figura 4.10) se ha completado con cada experimento, por lo que
Figura 4.9: Opciones de iluminación descartadas para el sistema de adquisición

hiperespectral: Schott DCR III Plus.
sus funcionalidades abarcan desde la adquisición al análisis de los datos.
Figura 4.10: Interfaz de usuario del software de manejo del sistema de adquisi-
ción hiperespectral y de análisis de datos.
Casi todos los componentes listados en la Sección 4.2.1 proporcionan aplica-

ciones comerciales que permiten el manejo parcial del componente. Sin embargo,
estas aplicaciones no cubren todas las funcionalidades requeridas, de modo que
el uso de las Api’s (interfaces de programación de aplicaciones) de los compo-
nentes fue el único modo de controlarlos en un modo de operación avanzado.
Cámara: Un aspecto a tener en cuenta en relación a la cámara del sistema es

que las tolerancias de un sensor InGaAs son de alrededor del 1 %, lo que
causa un alto número de pı́xeles dañados. Para solucionar esto, la Api de

Xenics proporciona archivos de calibración, que no son más que filtros de
interpolación de los pı́xeles dañados dentro de un tiempo de integración
dado. Sin embargo, debido a las caracterı́sticas propias del sistema de
adquisición, fue necesario crear nuevas calibraciones especı́ficas.
Mirror Scanner: La comunicación con el escáner de espejos se realizó usando

la interfaz RS-422. En este caso no existe Api, de modo que fue necesario
buscar algún protocolo compatible con la versión del motor del escáner.
Finalmente, un lenguaje de programación basado en el estándar MCode
de Intelligent Motion Systems permitió acceder a un pequeño espectro de
comandos, orientados principalmente al movimiento del motor. Esto ha
permitido cubrir una ventana de unos 40◦ sobre el objeto (Figura 4.11).
Figura 4.11: Sistema de adquisición hiperespectral. Izquierda: posición inicial

de escaneo, en 70◦ . Derecha: posición final de escaneo, en 110◦ . La flecha indica
el sentido de escaneo. Esquema del sistema de adquisición hiperespectral: a)
cámara, b) espectrógrafo, c) escáner de espejos, d) objeto, e) difusor plástico, f)
lámparas halógenas.
El principal desafı́o del escaneo es la sincronización entre el movimiento del

motor del escáner de espejos y la adquisición de imágenes. La cadencia de movi-
miento del motor depende de la distancia entre el objeto y el escáner de espejos.
Cuanto más cerca se encuentre, menos tiempo es necesario entre movimiento
y movimiento, de modo que mover el espejo demasiado rápido aplanará el ob-
jeto, y moverlo demasiado lento lo alargará. La distancia estándar a la que se
ha ajustado el sistema hace necesario mover el motor del escáner 780 pasos de
motor entre cada adquisición de imagen.
4.3. CONCLUSIONES 63
Finalmente, el escaneado completo de un objeto lleva aproximadamente 30

segundos al sistema. El cuello de botella se produce en el giro del espejo durante
el escaneo. Este tiempo no puede ser reducido.
4.2.3. Construcción del cubo hiperespectral

Para obtener el cubo hiperespectral, se realiza la transposición de las imáge-
nes espectrales según el Algoritmo 4.2.1. Según las definiciones, el sistema tra-
baja con α = 320, β = 256, γ = 320, λi = 900 nm, λf = 1700 nm, y ∆λ = 3 nm.
Algorithm 4.2.1: hipercube(f olderd)
for (i
= 0; i < β; i + +)
imSpectral = createImage(α x γ)

while(∃ more images in d)



column = 0

do
 do exit(column) = imSpectral(i)
column + +

 



saveImage(i);

Esto significa que del sistema se obtienen 320 imágenes espectrales de 320 ×
256 pı́xeles, que son convertidas a un cubo hiperespectral compuesto por 256
imágenes de 320 × 320 pı́xeles, correspondientes a longitudes de onda entre
900 nm y 1700 nm aproximadamente.
La construcción del cubo hiperespectral es una operación costosa compu-
tacionalmente, y su tiempo de ejecución varı́a en función del equipo donde se
realice. En un equipo reciente, se han registrado tiempos de aproximadamente
40 segundos.
Aunque las posibilidades de análisis de datos serán detalladas en los próximos
capı́tulos de la memoria, es de destacar que podemos seleccionar una zona del
cubo hiperespectral (ventana de interés) y obtener un gráfico de cómo varı́a la
luminosidad media de esa ventana a lo largo del rango de longitudes de onda
del sistema (Figura 4.12).
4.3. Conclusiones
Se ha construido y puesto a punto un sistema de visión hiperespectral in-
frarrojo utilizando componentes independientes, lo cual nos ha permitido un
Figura 4.12: Gráfica de luminosidad media por banda de una ventana de interés
en el sistema de adquisición hiperespectral.
control exhaustivo de cada dispositivo, y abre la puerta a futuras modificacio-

nes que de haber utilizado un enfoque de caja negra no serı́an posibles.
En el futuro serı́a interesante adquirir un sistema análogo en el rango vi-
sible, utilizando un enfoque similar. Podrı́a emplearse el espectrógrafo Specim
Imspector V10E (sensible de 400 nm a 1000 nm) junto con una cámara matricial
monocromo en el mismo rango (por ejemplo la JAI BM-141GE).
Disponiendo ambos sistemas en vertical (no en horizontal, como acabamos de
presentar), y desechando la posibilidad del Specim Mirror Scanner, podrı́amos
introducir un desplazador lineal bajo los dos sistemas hiperespectrales (como se
puede ver en la Figura 4.3 a), con lo cual un objeto podrı́a ser escaneado en
visible, y a continuación en infrarrojo. Ası́, obtendrı́amos información del objeto
con dos cubos hiperespectrales (de muy distinta resolución), que serı́an de gran
utilidad para ampliar el alcance y sensibilidad de los experimentos a realizar.
Esta idea ha sido desarrollada en los proyectos Carnevip–Segali y Anhi-
miga para el estudio de carne y miel, respectivamente. Complementar el sistema
presentado en este capı́tulo con otro sistema en el espectro visible que amplı́e sus
capacidades permitirı́a nuevos y más completos experimentos utilizando visión
hiperespectral.
Capı́tulo 5
Detección de sarna
La sarna común es una enfermedad cutánea de las patatas y otros tubércu-

los, causada por la bacteria Streptomyces Scabies, que sigue siendo actualmente
un problema para la industria. Su presencia reduce la calidad del producto y por
ello, su incidencia debe ser medida como indicador de calidad, ya que influencia
notablemente el precio a pagar al productor. En este capı́tulo presentamos un
nuevo método objetivo para la detección automática y no destructiva de sarna
común en patatas, basado en el uso de visión hiperespectral en el rango infra-
rrojo. Para ello utilizamos el sistema de adquisición experimental descrito en el
Capı́tulo 4. Con él adquirimos un conjunto de imágenes de patatas Agria con el
que estudiar el problema. Mediante la selección manual de ventanas de interés
en los cubos hiperespectrales, obtenemos muestras individuales de zonas sanas
y afectadas por sarna común. A continuación se ha realizado un experimento
de reconocimiento de patrones que ha constado de selección de caracterı́sticas
y clasificación. Con la selección de caracterı́sticas se prueban distintos subcon-
juntos de bandas para representar el problema. Por su parte, se han aplicado
los algoritmos de clasificación Svm (Support Vector Machines o máquinas de
soporte vectorial) y Random Forest. El sistema alcanza un 97.1 % en el acierto
usando el clasificador Svm. El funcionamiento del sistema mide la cantidad de
sarna en una patata mediante la clasificación de cada pı́xel de su cubo hiperes-
pectral. Con los resultados de las predicciones se crea un mapeo de la incidencia
de sarna. Este sistema experimental da un resultado válido, pero además pro-
porciona la información necesaria para diseñar un sistema multiespectral más
rápido.
65
66 CAPÍTULO 5. DETECCIÓN DE SARNA
5.1. Introducción
5.1.1. Objetivos
En el Capı́tulo 4 hemos comprobado las posibilidades de la visión hiperespec-
tral aplicadas al control de calidad en la industria agroalimentaria. El espectro
de actuación es muy amplio, y cubre desde fruta hasta carne, pasando por hor-
talizas y hongos.
En lo referente a patatas, algunos trabajos [Al-Mallahi et al., 2008, Al-
Mallahi et al., 2009] se han orientado a la detección de terrones entre grupos de
patatas. Sin embargo, trabajos basados en espectrografı́a convencional [Haase,
2006, Buning-Pfaue, 2003, Kang et al., 2004, Kang et al., 2008] han demos-
trado que es posible investigar caracterı́sticas internas como cantidad de agua,
almidón, proteı́nas o materia seca en patatas. Otros trabajos más antiguos [Por-
teous et al., 1981] sugieren la posibilidad de detectar sarna común, gangrena y
otras enfermedades, usando un rango de longitudes de onda entre 590 nm y
2030 nm. Estas investigaciones logran hasta un 83 % de acierto, pero o bien sus
procedimientos son destructivos, o son difı́cilmente integrables en otros sistemas
de visión artificial más complejos.
Siendo la visión hiperespectral un acercamiento a los métodos de espec-
trografı́a, pero siempre desde una perspectiva no invasiva, el objetivo de este
capı́tulo es estudiar la detección de sarna común en patatas utilizando el siste-
ma de visión hiperespectral descrito en el Capı́tulo 4.
Si bien uno de los principales objetivos de esta tesis es la detección del co-
razón hueco en patata, durante su desarrollo se planteó la hipótesis de que la
presencia de sarna común podrı́a entorpecer la detección del corazón hueco. Pa-
ra ello, se comenzó una investigación paralela para la detección de sarna común,
utilizando el mismo sistema de adquisición y un planteamiento de experimento
similar. El uso del mismo sistema de adquisición es fundamental en el ahorro
de material necesario y tiempo, ya que podemos efectuar varios análisis con la
misma imagen. Ası́, a pesar de que pueden existir otros métodos más adecuados
para este propósito, como el análisis de textura en el espectro visible, se deci-
dió investigar la adecuación del sistema para la detección de sarna por la fácil
integración en una hipotética implantación futura.
El motivo de que este capı́tulo dedicado a la detección de sarna se presente
con anterioridad al dedicado a la detección de corazón hueco, es que la detección
de sarna se va a utilizar como un módulo dentro de la investigación para la
detección de corazón hueco. La idea es poder descartar la sarna en las imágenes
de las patatas, y ası́ tener la posibilidad de estudiar la presencia de corazón
5.2. EXPERIMENTO 67
hueco de manera independiente a la sarna.

En la Figura 5.1 podemos ver cuatro ejemplos de patatas afectadas por sarna,
en imágenes obtenidas en el espectro visible.
Figura 5.1: Cuatro ejemplos de patatas afectadas por sarna común.
El grueso de este trabajo se realiza a finales de 2009 (adquisición de imágenes)

y en la primera mitad del año 2010.
5.2. Experimento
El principal propósito del experimento es desarrollar un procedimiento para
la medición de sarna común en patatas. Para ello, se desarrollará un experi-
mento en el cual, entre otras tareas, se determinará un subconjunto óptimo de
caracterı́sticas que maximice la precisión de un clasificador que mapee superficie
sana y afectada por sarna común en patatas.
En el Capı́tulo 4 vimos que cada sesión de adquisición de imagen, en la que
obtenemos un cubo hiperespectral, consume más de un minuto. Esto viene cau-
sado por el movimiento de escaneo del motor (para obtener todas las lı́neas que
componen el objeto) y el procedimiento de construcción del cubo hiperespectral
(para obtener una imagen por cada banda, en lugar de una por cada lı́nea).
Un sistema que necesita más de un minuto en obtener un cubo hiperespectral
puede tener dificultades para ser integrado en algunas industrias. Sin embargo,
el sistema presentado puede verse como un sistema experimental y no como
una solución definitiva. Este sistema experimental se define como un banco de

pruebas que permite la realización de experimentos con el objetivo de obtener
información de interés para el diseño de un sistema especı́fico que resuelva un
problema en un tiempo más adecuado para la industria:
Un subconjunto de bandas óptimo, obtenido mediante algún método de

selección de caracterı́sticas.
Un algoritmo de clasificación.
Los parámetros óptimos para el algoritmo de clasificación y las bandas
escogidas.
El porcentaje de acierto obtenido con las bandas escogidas, el algoritmo
de clasificación y sus parámetros.
En nuestro sistema, la selección de caracterı́sticas se utiliza para identificar

qué frecuencias son las mejores para solucionar el problema de la detección de
sarna común. Ası́, compararemos el comportamiento de distintos subconjuntos
de bandas, obtenidos mediante distintos métodos de selección de caracterı́sticas.
5.2.1. Descripción
El experimento usa un conjunto de 234 patatas (de variedad Agria) recogidas
en Xinzo de Limia (España) en varias compañı́as envasadoras de patatas durante
el otoño de 2009. El proceso de selección, llevado a cabo por expertos, intentó ser
representativo en cuanto al tamaño de los tubérculos.
El primer paso fue capturar las imágenes usando el sistema hiperespectral
descrito en el Capı́tulo 4. Para doblar el conjunto de datos, cada patata fue esca-
neada por dos lados. A continuación, se construyeron los cubos hiperespectrales
correspondientes.
Con este conjunto de datos, se ha desarrollado un experimento de recono-
cimiento de patrones utilizando en primer lugar técnicas de procesamiento de
imagen y extracción de caracterı́sticas, con la ayuda de la librerı́a de código
abierto OpenCV [Bradski & Kaehler, 2008].
Posteriormente se han aplicado algoritmos de selección de caracterı́sticas, con
lo que se han obtenido distintos conjuntos de datos que representan el mismo
problema usando distintas combinaciones de caracterı́sticas. Por último, estos
conjuntos de datos se han evaluado con varios algoritmos de clasificación, lo cual
permitirá evaluar cuál de los subconjuntos de caracterı́sticas es el más adecuado
para el problema.
5.2. EXPERIMENTO 69
Con esta información se puede plantear el diseño de un sistema multies-

pectral, utilizando las bandas óptimas encontradas. Esto evitarı́a el uso del
espectrógrafo, lo cual implica que se evitarı́a tanto el escaneo del objeto (que
serı́a llevado a cabo por una cámara matricial) como la construcción del cubo
hiperespectral (no necesario porque ya se obtienen imágenes espaciales). Todo
esto tiene como consecuencia un tiempo de ejecución más cercano a la industria.
En la Figura 5.2 podemos ver un diagrama de bloques del experimento.
Figura 5.2: Diagrama de bloques del experimento de detección de sarna común.
5.2.2. Segmentación
Para cada cubo hiperespectral vamos a segmentar las patatas del fondo
(background) para tareas posteriores de extracción de caracterı́sticas. Solo seg-
mentamos una imagen por cada cubo hiperespectral, con el que obtendremos
una máscara que se aplicará en todas las imágenes del cubo. La imagen es-
cogida para la segmentación (980 nm) se ha seleccionado tras varias pruebas
preliminares.
La segmentación se realiza en varios pasos secuenciales. En primer lugar,
binarizamos la imagen usando el método de Otsu [Otsu, 1979], que calcula el
umbral óptimo de binarización utilizando un análisis probabilı́stico de la ima-

gen. Luego, un suavizado gaussiano aglutina el ruido de la imagen. Una nueva
binarización (en este caso con umbral estático) se necesita antes de la siguiente
operación. Se ejecuta un etiquetado de áreas conexas para marcar áreas con-
tiguas en la imagen. En este punto, sabemos que el área conexa más grande
(excluyendo el fondo) es la patata. Seleccionamos este objeto y creamos una
máscara para segmentar el resto de imágenes del cubo hiperespectral.
El resumen de este proceso se puede ver en la Figura 5.3.

Nuestro problema se define como un problema binario con dos clases: su-
perficie sana y superficie afectada con sarna común. Para crear el conjunto de
datos, expertos del Ceteca ayudaron para identificar qué porciones estaban
afectadas por sarna y cuáles no. Las muestras se seleccionaron manualmente
usando ventanas de interés (Roi), tal y como se puede observar en la Figura
5.4.
Recordemos que cada cubo hiperespectral consiste en 256 imágenes, que se
corresponden con las 256 bandas en las que el sistema es sensible. Por esta
razón, cuando seleccionamos una ventana de interés, no estamos seleccionando
únicamente un rectángulo de pı́xeles, sino ese rectángulo a lo largo de las 256
imágenes que componen el cubo hiperespectral.
Cuando seleccionamos una ventana de interés, calculamos el valor medio
de gris de los pı́xeles en la ventana de interés, para cada banda. Esto significa
que cada muestra (independientemente del tamaño de la ventana de interés) se
representa con 256 atributos. A mayores, de cada muestra conocemos la clase a
la que pertenece (superficie sana o sarna común), lo que permite una clasificación
supervisada.
Sea HI el cubo hiperespectral, compuesto por 256 imágenes espectrales HIk .
Sea areaROI el tamaño de la ventana de interés seleccionada de tamaño wROI ×
hROI . Sea f el vector de caracterı́sticas que representará a HI. Sea k el ı́ndice
para acceder a cada una de las 256 imágenes de HI, que se corresponde con la
caracterı́stica k-ésima de f . Sean i, j los ı́ndices para acceder a la ventana de
interés. Calculamos cada caracterı́stica k con la siguiente ecuación:
 
wROI ,hROI
1 X
fk =  HIki,j  (5.1)
areaROI i=0,j=0
5.2. EXPERIMENTO 71
Figura 5.3: Segmentación en el experimento de detección de sarna común. Arri-

ba izquierda: imagen tras la binarización de Otsu. Arriba derecha: imagen tras
suavizado gaussiano. Centro izquierda: imagen tras segunda binarización. Cen-
tro derecha: imagen tras etiquetado de áreas conexas. Abajo izquierda: máscara
para segmentación del cubo. Abajo derecha: imagen de ejemplo tras aplicar la
máscara.
Finalmente, se han recogido 649 muestras: 208 correspondientes a sarna

común y 441 correspondientes a superficie sana.
Figura 5.4: Extracción de caracterı́sticas en el experimento de detección de

sarna común. Roi izquierda: superficie sana. Roi derecha: superficie afectada
con sarna.
Las muestras pueden representarse en un diagrama (Figura 5.5). El eje x

representa la longitud de onda, mientras que el eje y representa el nivel de gris
medio para cada banda, que no es más que la media aritmética de los valores
de gris de la ventana de interés con la que se obtuvo la muestra.

La selección de caracterı́sticas es una tarea muy común en el reconocimiento
de patrones, especialmente en aquellos casos en los que el número inicial de
caracterı́sticos es alto. Hay varias razones para realizar una selección de carac-
terı́sticas. Con menos caracterı́sticas, el proceso de aprendizaje es más rápido
y las capacidades de generalización mejoran, además de minimizarse el efecto
Hughes [Hughes, 1968] (un problema relacionado con espacios matemáticos de
muchas dimensiones). En nuestro caso la selección de caracterı́sticas es un paso
esencial para disminuir el tiempo de ejecución del sistema, ya que nos sirve para
identificar y minimizar las bandas que solucionan el problema.
Se han probado varios algoritmos de selección, implementados en el software
de minerı́a de datos Weka [Hall et al., 2009]. En Weka encontramos numero-
5.2. EXPERIMENTO 73
Figura 5.5: Gráficas de niveles de gris por banda de dos muestras en el experi-
mento de detección de sarna común.
sos algoritmos de selección de caracterı́sticas que implementan los principales

métodos para esta labor, basados en técnicas muy variadas. A este respecto se
consideraron interesantes los algoritmos genéticos, como método sobradamente
conocido de optimización (y haber sido utilizado, con otra implementación, en
el Capı́tulo 3). A continuación, se seleccionaron otros algoritmos en función de
su uso, y de su rendimiento provisional obtenido en pruebas preliminares con
Weka. Los algoritmos utilizados son:
Búsqueda dirigida por algoritmo genético [Goldberg, 1989], que ha selec-

cionado 11 bandas.
Búsqueda Scattered [Garcı́a-López et al., 2006], que selecciona 11 bandas.
Búsqueda Greedy Stepwise [Weihs, 1993] que selecciona 5 bandas.
Búsqueda Linear Forward Selection (Lfs) [Guetlein et al., 2009], que se-
lecciona 7 bandas.
Búsqueda Correlation-based Feature Subset Selection (Cfs) [Hall, 1998],

que selecciona 6 bandas. Es de destacar que en este caso se han selecciona-
do tres zonas contiguas: 1300 nm–1303 nm, 1336 nm–1342 nm y 1503 nm.
Las técnicas de reducción dimensional como Pca o Lda (o sus variantes

ponderadas Wpca y Wlda) están entre las más usadas en análisis espectral
[Wang & Xiao, 2005, Jarchi & Boostani, 2006]. Sin embargo, estos algoritmos
no reducen necesariamente el número de bandas requeridas, que es una de las
hipótesis de nuestro experimento, sino que generan una combinación lineal de
las 256 caracterı́sticas, creando un nuevo espacio de caracterı́sticas. Esta es la
razón por la que solamente las técnicas de selección son interesantes en este
trabajo.
Para resumir, tras este paso tenemos seis conjuntos de datos (que representan
el mismo problema de maneras diferentes): genetic, scattered, greedy, Lfs, Cfs
y full (el conjunto original con 256 caracterı́sticas).
5.2.5. Algoritmos de clasificación

El objetivo de esta fase es obtener un clasificador que maximice el acierto.
A la hora de decidir con qué algoritmos de clasificación contar, se han valorado
aspectos teóricos y prácticos.
Desde el punto de vista teórico, se ha planteado el uso de las Support Vector
Machines (Svm) y Random Forest (Rf), por ser dos de los algoritmos de última
generación más usados con éxito en los últimos años [Xu et al., 2008]. Además,
las Svm han resultado adecuadas en problemas de dos clases [Duda et al., 2000],
y en problemas en los que el ratio entre número de caracterı́sticas y número de
instancias está descompensado [Lin et al., 2003], como es nuestro caso. Además,
se ha comprobado su comportamiento en otras investigaciones durante el trans-
curso de este trabajo de tesis (proyecto Vitical) y trabajos anteriores de los
directores [Carrión, 2004].
Desde el punto de vista práctico, el trabajo con la herramienta de Data Mi-
ning Weka [Hall et al., 2009] ha supuesto el acceso a un framework de pruebas
que permite el uso de un gran número de clasificadores. En un estadio prelimi-
nar de la investigación, se han probado otros algoritmos, como redes neuronales
(Mlp), k-NN o clasificadores bayesianos, pero su comportamiento indicaba que
no se adaptaban al problema. Ası́ pues, presentamos resultados para dos algo-
ritmos de clasificación: Random Forest y Support Vector Machines.
Un Random Forest [Breiman, 2001] es una colección de árboles (un bosque)
que clasifica individualmente una muestra de entrada, y posteriormente evalúa la
respuesta individual de los árboles para dar como resultado la clase más votada.
En este caso se ha utilizado la implementación disponible en OpenCV, deno-
minada Random Trees. En este algoritmo existe un parámetro de optimización
(mtry ), que es el número de caracterı́sticas a usar en la selección aleatoria.
Las Svm [Cortes & Vapnik, 1995, Vapnik, 1995] encuentran el hiperplano
óptimo sobre un espacio dimensional superior donde los vectores de caracterı́sti-
5.2. EXPERIMENTO 75
cas son mapeados usando una función de kernel. Se ha usado la implementación

de Svm conocida como LibSVM [Chang & Lin, 2008], utilizando el kernel por de-
fecto (Rbf o Gaussian). Este kernel realiza la búsqueda de una división no linear
del espacio de muestras entre las dos clases del problema. Podemos modificar
su comportamiento cambiando dos parámetros: el parámetro de regularización
o coste (C) y dispersión del kernel (γ). Se ha demostrado que el parámetro C
no es excesivamente relevante [Valentini & Dietterich, 2004], al contrario que γ.
5.2.6. Evaluación de clasificadores

En el Capı́tulo 3 evaluamos nuestro experimento de análisis de textura en
patatas en el espectro visible utilizando una metodologı́a leave–one–out cross–
validation [Weiss & Kulikowski, 1991]. Es decir, cada muestra se clasifica contra
el resto de muestras del conjunto.
Sin embargo, existen otro tipo de métodos más restrictivos que buscan ase-
gurar más el nivel de rigurosidad de los resultados. Entre ellos, está el utilizado
en los experimentos de visión hiperespectral de esta tesis. Se ha utilizado con
anterioridad en otros trabajos del grupo Lia [González et al., 2011] gracias a
la colaboración con el Prof. Dr. Manuel Fernández Delgado, de la Universidad
de Santiago de Compostela. Además este método se combina con un ajuste de
parámetros para cada clasificador, lo cual nos sirve para mejorar su comporta-
miento y adaptarlo a cada problema concreto.
El método utilizado para la evaluación del rendimiento de los clasificadores
está basado en dividir el conjunto de datos en tres partes: una para entrena-
miento, otra para ajuste de parámetros y validación y una para test. En la
fase de ajuste de parámetros, realizamos una búsqueda en rejilla, cambiando los
parámetros especı́ficos de cada algoritmo.
√
En el caso del algoritmo Rf, el valor por defecto de mtry es p, siendo
p el número de caracterı́sticas del conjunto de datos. Seguimos el ajuste de
parámetros sugerido por [Svetnik et al., 2003], usando distintos valores de mtry :
√
mtry = p0 , mtry = p, mtry = p/4 y mtry = p/2.
El resto de parámetros se han establecido como se sugiere en [Svetnik et al.,
2003]. Por ejemplo, el número de árboles se ha fijado en 500, ya que es suficiente
y no existe penalización por tener un número excesivo de árboles.
En el caso del algoritmo Svm, se prueban pares de (C, γ), usando secuencias
exponencialmente crecientes para C y γ [Chang & Lin, 2008]. Usamos C =
2n , n = −5 : 14 y γ = 2n , n = −15 : 3, lo cual nos da 380 combinaciones. Una
vez obtenida la mejor combinación, es posible realizar un ajuste más fino, pero
la bibliografı́a lo descarta ya que la ganancia es poca.
A continuación describimos los pasos llevados a cabo para probar cada con-
junto de datos.
Primero generamos aleatoriamente 10 permutaciones del conjunto de da-

tos, de modo que cada permutación tiene las mismas muestras, pero or-
denadas de manera diferente.
Dividimos cada permutación en tres conjuntos: entrenamiento (primer

50 % de las muestras), validación (siguiente 25 % de las muestras) y test
(25 % restante).
Luego normalizamos las permutaciones, de modo que cada caracterı́stica

tenga media cero y desviación uno. Esto evita que atributos con rangos
numéricos mayores influencien excesivamente al clasificador. El procedi-
miento es, para cada permutación, calcular media y desviación para cada
caracterı́stica, usando solo el conjunto de entrenamiento. Después, norma-
lizamos entrenamiento, validación y test usando los valores de media y
desviación calculados.
Para cada combinación de parámetros, y para cada permutación, entrena-

mos el clasificador usando el conjunto de entrenamiento con los parámetros
correspondientes. Después, probamos su acierto contra el conjunto de va-
lidación. El acierto medio sobre las 10 permutaciones nos da un acierto
medio de los parámetros. Tras probar todas las combinaciones sobre los
conjuntos de validación, nos quedamos con los mejores parámetros.
Para cada permutación, entrenamos el clasificador usando el conjunto de

entrenamiento, ajustado con los mejores parámetros obtenidos antes. Des-
pués, probamos su acierto contra el conjunto de test. El acierto medio
sobre las 10 permutaciones nos da el acierto final del sistema.
El uso de permutaciones previene divisiones injustas del conjunto de datos.

Podrı́a darse el caso, usando una sola permutación, de que todas las instancias
fáciles de clasificar cayesen en el conjunto de test, lo que darı́a un resultado
excesivamente bueno. Y viceversa.
Adicionalmente, cada conjunto de datos se ha evaluado usando el método
leave-one-out cross-validation (loocv) [Weiss & Kulikowski, 1991]. En este caso,
en lugar de un nuevo ajuste de parámetros, se han usado los mejores parámetros
obtenidos usando la otra metodologı́a con los conjuntos de validación.
5.2.7. Mapeo de la superficie afectada

Antes de presentar los resultados, e indicar la mejor opción para resolver
el problema, vamos a presentar cómo serı́a el comportamiento del detector de
sarna en su uso final.
El resultado del sistema es, para cada patata (es decir, para cada cubo
hiperespectral), obtener una imagen en la que se mapeen las zonas sanas y las
zonas afectadas por sarna, y si es requerido indicar el porcentaje de superficie
afectada frente a la superficie sana.
Para el mapeo, cada pı́xel del cubo hiperespectral es clasificado individual-
mente (se toma como una muestra). Recordemos que cada pı́xel hiperespectral
tiene (en nuestro sistema) 256 valores, aunque dependiendo del método de se-
lección de caracterı́sticas, es probable que no se tengan en cuenta todos esos
valores, sino solamente un pequeño subconjunto. Con la información de perte-
nencia a una de las dos clases de cada pı́xel, creamos un mapa de la incidencia
de sarna, marcando con niveles de gris diferentes las zonas de sarna y sanas.
Esta imagen de incidencia puede tener ruido, por lo que se aplican operacio-
nes de procesamiento de imagen para mejorarla. Concretamente se ejecuta un
cerrado (closing) con un pequeño kernel de 2 × 2 pı́xeles. Y a continuación se
ejecuta una apertura (opening) con el mismo kernel. Con esta imagen mejorada,
podemos calcular el porcentaje de superficie afectada por sarna.
A pesar de que en la fase de adquisición de imagen cada patata se escaneó por
dos lados, en el funcionamiento final no se plantea ningún mecanismo de rotación
de la patata. Esto se debe a que se suelen estudiar sacos de 20 kg, por lo que
estadı́sticamente se asume que se puede aportar una medida de incidencia de la
enfermedad gracias al número de patatas en el saco.
5.3. Resultados y Discusión

El objetivo de esta sección es presentar los resultados de acierto según el
procedimiento de evaluación descrito en la Sección 5.2.6 sobre los conjuntos de
datos obtenidos tras las fases de extracción de caracterı́sticas (5.2.3) y selección
de caracterı́sticas (5.2.4).
Los resultados de los distintos conjuntos de datos y clasificadores son pre-
sentados en la Tabla 5.1. En la Figura 5.6 se resumen en un diagrama de barras.
Examinando los resultados desde el punto de vista del clasificador (Tabla
5.1), las Support Vector Machines son claramente superiores a Random Forest
en prácticamente todos los casos. Por otra parte, el conjunto de datos Cfs parece
Mej. Param.
Clas. Conj. Acierto % loocv % Valid. % Band.
mtry
√
full 95.4 96.1 p 95.6 256
genetic 94.3 96.2 p/2 93.6 11
scattered 93.8 96.9 p/4 95.0 11
Rf
greedy 95.9 97.4 p/2 96.7 5
√
Lfs 94.5 96.8 p 95.2 7
√
Cfs 95.8 96.5 p 96.1 6
C γ
full 96.2 96.6 2 −2
2−10
96.4 256
genetic 96.0 96.8 25 2−10 96.5 11
scattered 95.7 96.9 2 5
2−2 96.5 11
Svm
greedy 96.7 96.9 2 12
2−15 97.0 5
Lfs 96.0 97.7 2 7
2−1 96.9 7
Cfs 97.1 98.0 211
2−5 97.4 6
Tabla 5.1: Porcentajes de acierto en función del conjunto de datos y el clasifi-

cador en el experimento de detección de sarna en patata.
ser la mejor opción junto con el clasificador Svm. Esta opción es la que mayor
acierto proporciona.
Tal y como se ha comentado en la Sección 5.2.4, el método Pca y semejantes
han sido analizados pero no tenidos en cuenta. Sin embargo, para facilitar la
comparación con trabajos futuros, presentamos ciertos resultados preliminares.
Se ha creado un nuevo conjunto de datos tras aplicar el método Pca (implemen-
tación de Weka) al conjunto full. A continuación se ha realizado una evaluación
loocv, obteniendo un 95.2 % de acierto usando Rf, y aproximadamente un 96 %
usando Svm. Estos resultados están unos 2 puntos por debajo del resto de op-
ciones.
Estudiemos un poco más la mejor opción (conjunto de datos, clasificador).
Las diferentes combinaciones de parámetros obtienen un acierto de validación
similar usando valores altos de C. Finalmente la mejor combinación ha sido
C = 211 y γ = 2−5 . Podemos ver el proceso de validación en la Figura 5.7.
La matriz de confusión de esta opción puede verse en la Tabla 5.2. Recor-
demos que estos resultados se han obtenido usando los conjuntos de test, com-
puestos por el 25 % de las muestras (162 en nuestro caso). Esta es una matriz
de confusión media, teniendo en cuenta las 10 permutaciones.
Figura 5.6: Resumen de resultados, en función del conjunto de datos y del

clasificador. El eje y representa el acierto medio de las permutaciones sobre los
conjuntos de test usando los parámetros óptimos obtenidos durante la fase de
validación.
Figura 5.7: Evolución de la fase de validación de la mejor opción. El eje x repre-

senta las distintas combinaciones de parámetros, mientras que el eje y representa
el porcentaje de acierto medio de las 10 permutaciones con los conjuntos de va-
lidación.
```
``Clasificado
``` como Sarna común
``` Sana
Real `
Sarna Común 48.3 3.1
Sana 1.6 109
Tabla 5.2: Experimento de detección de sarna en patata. Matriz de confusión

media obtenida con el conjunto de datos Cfs usando el clasificador Svm. El
acierto global es 97.1 %.
En la Figura 5.8 presentamos cuatro muestras (dos de cada clase) para en-
tender mejor lo que supone la selección de caracterı́sticas. Las columnas negras
marcan las zonas seleccionadas por el algoritmo de selección de caracterı́sticas
Cfs. Es fácil comprender, por ejemplo, por qué el algoritmo Cfs no selecciona
ninguna banda anterior a la 100ª (1166 nm), ya que en esa zona las muestras
están muy juntas entre sı́.
Figura 5.8: Gráficas de cuatro muestras (dos de cada clase) para mostrar las
bandas seleccionadas en el experimento de detección de sarna común. Las co-
lumnas negras marcan las zonas seleccionadas por el algoritmo de selección de
caracterı́sticas Cfs. El resto de bandas no fueron seleccionadas. El eje x repre-
senta las bandas por longitud de onda. El eje y representa el nivel de gris medio
por banda.
Algunas contribuciones anteriores [Gunasekaran et al., 1985] sugieren que en

longitudes de onda superiores a 1100 nm, donde la absorción del agua domina,
la reflectancia se incrementa debido a la deshidratación, tal y como sucede con

la sarna común. Las bandas que hemos seleccionadas están en ese rango. Sin
embargo, es imposible comparar nuestros resultados con otros sistemas de de-
tección de sarna mediante métodos espectrales, ya que o bien esos sistemas usan
rangos espectrales diferentes, o incorporaban otras clases a su experimento.
Finalmente, en la Figura 5.9, presentamos un resumen del proceso completo

aplicado a varias patatas.
Figura 5.9: Cuatro ejemplos del funcionamiento del sistema de detección de

sarna. De izquierda a derecha: cubo hiperespectral original, cubo hiperespectral
segmentado, mapa de sarna preliminar, mapa de sarna sin ruido, cubo hiperes-
pectral segmentado con el mapa de sarna.
5.4. Sistema multiespectral
Hemos visto que las bandas seleccionadas por el método Cfs (1300 nm,
1303 nm, 1336 nm, 1339 nm, 1342 nm y 1503 nm) proporcionan suficiente infor-
mación para distinguir entre las zonas sanas y afectadas por sarna. Sin embargo,
con el sistema presentado en el Capı́tulo 4, por construcción no podemos evitar
adquirir imágenes para todas las longitudes de onda en las que es sensible el
sistema.
Sin embargo, este subconjunto óptimo de bandas permite diseñar un sistema
multiespectral especı́fico que trabajarı́a en las 6 longitudes de onda selecciona-
das, y que utilizarı́a el resto de algoritmos seleccionados por el experimento
que presentamos en la Sección 5.2. Un sistema multiespectral ası́ podrı́a es-
tar compuesto por una cámara matricial infrarroja (como la presentada en el
Capı́tulo 4) y tantos filtros especı́ficos como longitudes de onda necesarias. Ası́,
una sesión de adquisición de imagen no precisarı́a de ningún escaneo; simple-
mente tomar una imagen por cada filtro. Tampoco serı́a preciso construcción
del cubo hiperespectral. De modo que los dos principales cuellos de botella del
sistema hiperespectral no serı́an necesarios y el tiempo de ejecución se verı́a
considerablemente reducido.
Ası́, podemos entender el sistema hiperespectral y el experimento realizado
como un sistema experimental, un banco de pruebas, que nos aporta un resulta-
do totalmente válido, pero que precisa de un tiempo de ejecución (por la manera
en la que el sistema adquiere las imágenes) que puede complicar su implantación
directa en la industria con la tecnologı́a actual. Sin embargo, a través del expe-
rimento podemos obtener una información que nos permite diseñar un sistema
multiespectral (es decir, que solamente captura unas determinadas longitudes
de onda óptimas) especı́fico para el problema planteado (la detección de sarna
en patata en este caso). Esta opción es más rápida, por construcción. Cabe des-
tacar que si en el futuro se desarrolla un hardware que permita la adquisición
de cubos hiperespectrales desde una cámara matricial (y no de manera lineal,
como el sistema empleado), podremos obtener un comportamiento similar al
multiespectral propuesto.
En la Figura 5.10 podemos ver un esquema del concepto para la creación
del sistema multiespectral a partir de este experimento. Esta idea es trasladable
a todos los experimentos a realizar con el sistema hiperespectral, como el que
veremos en el Capı́tulo 6, o el resto de iniciativas que utilizan este material, tal
y como vimos en la introducción de esta tesis.
Figura 5.10: Diagrama de explicación de la creación de un sistema multiespec-

tral especı́fico a partir del sistema hiperespectral experimental.
5.5. Conclusiones
Los resultados presentados en este capı́tulo muestran que es posible detectar
sarna común en patatas utilizando un sistema no destructivo de visión hiperes-
pectral infrarrojo.
Para ello, hemos probado varios algoritmos de selección de caracterı́sticas,
demostrando que es un paso crı́tico que no solamente puede evitar cálculos inne-
cesarios, sino que es nuestro método para incrementar la velocidad de ejecución.
Tras comparar los algoritmos, el Cfs parece ser el que mejor se ha adaptado al
problema. En cualquier caso, la variación entre los conjuntos de datos es menor
a un 2 %.
En cuanto a la clasificación, las Svm han mostrado ser un algoritmo de cla-
sificación adecuado para el problema, sobre todo en conjunción con el conjunto
de datos Cfs, alcanzando un acierto del 97.1 %. El proceso de ajuste de paráme-
tros efectuado ha sido crucial para afinar el clasificador en busca de la mejor
combinación de parámetros (que finalmente ha sido C = 211 y γ = 2−5 ).
En el próximo capı́tulo aplicaremos la detección de sarna como paso previo
en la detección del corazón hueco en patatas.
En el futuro serı́a interesante probar el sistema con otras variedades de pa-
tatas (como Kennebec). Además, podrı́an probarse exhaustivamente métodos

como Pca o Lda.
Finalmente, deberı́a investigarse la relación entre las bandas seleccionadas y
los componentes biológicos de la sarna, desde un punto de vista de ingenierı́a
agroalimentaria y biológico. Esto podrı́a conseguirse usando un sistema de ad-
quisición diferente, sensible en otros rangos espectrales, como por ejemplo desde
500 nm a 2000 nm.
Capı́tulo 6
Detección de corazón hueco
En este capı́tulo presentamos un nuevo método para detectar la presencia

del corazón hueco, una enfermedad interna de las patatas que disminuye nota-
blemente la calidad del producto. Como veremos a continuación, en el pasado
se ha intentado realizar una detección no destructiva mediante ciertos métodos
basados en acústica, inspección mediante rayos X y espectrografı́a convencional.
En este capı́tulo proporcionamos una solución diferente, basada en el uso de vi-
sión hiperespectral en el rango infrarrojo. Para ello se ha obtenido un conjunto
de 468 cubos hiperespectrales de patatas de variedad Agria, que se han cortado
a continuación para verificar la presencia del corazón hueco. A continuación he-
mos desarrollado un procedimiento de reconocimiento de patrones supervisado
para buscar la mejor solución para el problema. Los resultados muestran que
las Support Vector Machines (Svm) consiguen un acierto en la clasificación del
89.1 %.
6.1. Introducción
En el Capı́tulo 4 hemos visto las posibilidades de la visión hiperespectral
aplicadas al control de calidad en la industria agroalimentaria. Posteriormen-
te, en el Capı́tulo 5 veı́amos una aplicación concreta: la detección de sarna
común en patata. En ambos capı́tulos hemos referenciado contribuciones en es-
pectrografı́a convencional [Al-Mallahi et al., 2008, Al-Mallahi et al., 2009, Haase,
2006, Buning-Pfaue, 2003, Kang et al., 2004, Kang et al., 2008] que demostraban
que podı́an estudiarse caracterı́sticas internas en patata, lo cual era trasladable,
85
86 CAPÍTULO 6. DETECCIÓN DE CORAZÓN HUECO
en principio, a la visión hiperespectral.

Una de estas caracterı́sticas internas es el denominado corazón hueco (hollow
heart), una cavidad de forma estrellada que crece en el interior de la patata (Fi-
gure 6.1). Esta enfermedad hace que la patata quede inservible y condiciona por
lo tanto la calidad de la producción y su precio. Por ello, la detección automática
del corazón hueco en patatas se convierte en algo necesario y deseable.
Figura 6.1: Patatas afectadas por corazón hueco.
En la práctica, el corazón hueco se detecta manualmente por personal en-

trenado, ya que parece existir una relación entre los desórdenes de crecimiento
(crecimiento rápido, patatas muy grandes y segundos crecimientos), la humedad
del suelo y la probabilidad de que la patata desarrolle corazón hueco [Rex &
Mazza, 1989]. Sin embargo, como todo procedimiento humano, este método es
subjetivo y muy sensible a errores, ya que en muchas ocasiones el corazón hueco
se desarrolla en patatas pequeñas y no siempre las grandes están huecas. La-
mentablemente no se dispone de ningún dato que mida el acierto del operador
humano.
El problema ha intentado abordarse en los últimos años usando inspección
por rayos X [Nylund & Lutz, 1950, Finney & Norris, 1978] o mediante ultraso-
nidos [Jivanuwong, 1998]. Utilizando técnicas acústicas [Elbatawi, 2008] se han
alcanzado aciertos del 98 %. Sin embargo, el método de [Jivanuwong, 1998] pre-
cisa que las patatas se encuentren aisladas de ruido externo, además de fallar
en corazones huecos pequeños (la cavidad mı́nima es de 0.5 cm3 ). Por su par-
te, el método de [Elbatawi, 2008] deja caer las patatas para analizar el sonido
efectuado al caer sobre una superficie, lo que puede producir mazaduras en las
muestras. Además, ambos enfoques son muy dependientes de la orientación de
la patata.
En lo referente al estudio espectral, vemos que algunas contribuciones [Haase,
2006, Buning-Pfaue, 2003, Kang et al., 2004, Kang et al., 2008] usan métodos
espectrales para la detección de caracterı́sticas internas de la patata. Existen

trabajos [Singh, 2005], que estiman la cantidad de agua usando visión hiperes-
pectral, e incluso que sugieren que existe una relación entre la cantidad de agua
y la existencia del corazón hueco.
Con todo esto, teniendo en cuenta las posibilidades de la tecnologı́a, y los
trabajos citados con patata, el objetivo de la investigación que presentamos
en este capı́tulo, es buscar un método que detecte el corazón hueco en patata
mediante visión hiperespectral, utilizando el sistema de adquisición descrito en
el Capı́tulo 4, y un experimento similar al descrito en el Capı́tulo 5. El método
descrito será automático (el operador humano no interviene), no destructivo (no
se invade la muestra ni se maza), no depende de la orientación, y la patata no
tiene porqué estar aislada de ruido.
6.1.1. Motivación
El grueso de este trabajo se realiza a finales de 2009 (adquisición de imágenes)
y a lo largo del año 2010, en paralelo a la investigación para la detección de sarna.
Entre los numerosos objetivos del proyecto Visiocal, habı́a uno que desta-
caba sobre los demás: la detección del corazón hueco. Tanto es ası́ que se puede
decir que éste es el principal causante del diseño del sistema de adquisición hi-
perespectral. Actualmente la detección se realiza de forma manual y atendiendo
a criterios basados en la experiencia de que las patatas grandes y deformes están
huecas. En caso de duda el operario comprueba el sonido que produce el golpear
la patata con el puño, en busca de algún indicio de que está hueca. Nuevamente
la subjetividad entra en juego y se necesita un método fiable y no destructivo.
Lamentablemente no se dispone de un porcentaje de acierto del que partir de
manera manual.
El primer enfoque es utilizar un procedimiento similar al de la sarna, utilizan-
do caracterı́sticas espectrales. Las muestras en esta ocasión no serı́an ventanas
de interés seleccionadas por expertos, sino cada una de las patatas del conjunto
de entrenamiento.
Al igual que en el Capı́tulo 5, el proceso de reconocimiento de patrones
ha precisado de decisiones para reducir el espectro de opciones. Al ser ambos
sistemas (detección de sarna y de corazón hueco) similares en cuanto a la me-
todologı́a, vamos a presentar las principales diferencias.
En cuanto a selección de caracterı́sticas y evaluación del clasificador, el ex-
perimento para la detección del corazón hueco utiliza la misma baterı́a de algo-
ritmos que el experimento de la detección de sarna.
La principal diferencia la encontramos en cómo extraer caracterı́sticas. Me-

rece la pena hacer mención al cambio de concepto entre el problema del corazón
hueco (1 cubo hiperespectral - 1 clase), y el de la detección de sarna (1 pı́xel del
cubo hiperespectral - 1 clase). Ası́, cuando analizamos un cubo hiperespectral
con el sistema de detección del corazón hueco, la respuesta del sistema es una
clase (todo el cubo es hueco o sano). Por su parte, cuando analizamos un cubo
hiperespectral con el sistema de detección de sarna, la respuesta es un mapeo
del cubo hiperespectral con la incidencia de la sarna.
Por esta razón, las muestras a proporcionarle al experimento en el problema
del corazón hueco son caracterı́sticas extraı́das de todo el cubo hiperespectral,
y no ventanas de interés, como en el caso de la sarna. Esto ha reducido las
muestras a 468 (dos por cada patata, escaneada por dos lados).
6.2. Experimento
El experimento usa la misma base de datos de imágenes empleada en la
detección de sarna (como hemos dicho, ambos trabajos se desarrollaron en pa-
ralelo y con amplia retroalimentación). De hecho, esta campaña de captura fue
pensada principalmente para el estudio del corazón hueco. La campaña obtuvo
468 cubos hiperespectrales de 234 patatas de variedad Agria durante el último
cuarto de 2009.
El procedimiento de adquisición se vio necesariamente influenciado por la
búsqueda del corazón hueco. Por ese motivo, tras escanear cada patata (por
dos lados), fue preciso cortar la patata para comprobar la presencia de corazón
hueco. En función del resultado, los cubos hiperespectrales eran etiquetados
como sanos o huecos. Esto permitió desarrollar el experimento de reconocimiento
de patrones que presentaremos en las próximas secciones, del mismo modo que
la selección de zonas afectadas por sarna y sanas mediante ventanas de interés
permitió el experimento del Capı́tulo 5.
La orientación del experimento es similar a la del anterior capı́tulo. Desa-
rrollaremos un procedimiento de reconocimiento de patrones supervisado, en el
que intentaremos reducir el tiempo de ejecución (altamente condicionado por
el motor del escáner de espejos y la creación del cubo hiperespectral) propo-
niendo un nuevo sistema multiespectral centrado en ciertas longitudes de onda
seleccionadas mediante algoritmos de selección de caracterı́sticas.
En la Figura 6.2 podemos ver un esquema del experimento.
6.2. EXPERIMENTO 89
Figura 6.2: Diagrama de fases del experimento de detección del corazón hueco.
6.2.1. Segmentación
El objetivo de este paso es proporcionar facilidades a la fase de extracción
de caracterı́sticas, de modo que un breve preprocesamiento garantice que las
caracterı́sticas extraı́das representen el problema de un modo razonable.
En primer lugar segmentamos los cubos hiperespectrales tal y como se hizo
en el Capı́tulo 5. De este modo separamos las patatas del fondo de la ima-
gen, mediante la aplicación de diversas técnicas de procesamiento de imagen de
binarización y detección de áreas conexas, principalmente.
Además de este método, que denominaremos full en adelante, se han desa-
rrollado otros tres algoritmos de segmentación, que parten del método full.
El primero, que denominamos core, pretende retirar la parte externa de las
patatas, de modo que solamente se tenga en cuenta la parte central. Esto se
obtiene mediante la aplicación de una operación de procesamiento de imagen de
erosión.
El segundo método adicional se denomina border y es lo contrario al anterior.
El objetivo es retirar la parte central de la patata, de modo que solamente
tengamos en cuenta una región similar a un anillo.
Por último desarrollamos un tipo de segmentación basado en retirar las zonas
con sarna común de la patata, que denominamos scab. Este es el paso en que
la investigación para la detección de sarna común y la investigación para la
detección del corazón hueco se unen. Vamos a usar el sistema de detección
de sarna, que da como resultado el mapeo de las zonas afectadas por sarna,
para segmentar el conjunto de cubos hiperespectrales excluyendo las zonas de
sarna. Nos basamos en la hipótesis de que la sarna común y el corazón hueco
son enfermedades independientes, por lo que en principio es de suponer que
si retiramos la sarna de los cubos hiperespectrales, será más sencillo clasificar
entre corazón hueco y patatas sanas. Los pı́xeles afectados por sarna común se
ocultan (se ponen con luminosidad cero, como el background), de modo que en
la fase de extracción de caracterı́sticas no se tienen en cuenta. Ası́ se pretende
que el conjunto de entrenamiento no esté afectado por sarna.
La utilización de esta segmentación es principalmente el motivo por el que
hemos presentado el sistema para la detección de sarna (Capı́tulo 5) con ante-
rioridad al capı́tulo actual.
En la Figura 6.3 podemos ver los pasos que explican los cuatro tipos de
segmentación desarrollados.

En primer lugar, contamos con las caracterı́sticas espectrales que ya utiliza-
mos en el Capı́tulo 5.
Sea HI el cubo hiperespectral, compuesto por 256 imágenes HIk . Sea area
el número de pı́xeles de superficie de patata a tener en cuenta. Sea f el vector de
caracterı́sticas que representará a HI. Sea k el ı́ndice para acceder a cada una
de las 256 imágenes de HI, que se corresponde con la caracterı́stica k-ésima de
f . Sean i, j los ı́ndices para acceder a la imagen, de tamaño w × h. Calculamos
cada caracterı́stica k con la siguiente ecuación:
 
w,h
1  X
fk = HIki,j  (6.1)
area i=0,j=0
Tal y como indica la bibliografı́a del problema y la experiencia de los operado-

res humanos consultados, el tamaño y el grado de deformidad de la patata puede
ser un factor determinante en la aparición del corazón hueco. Por estas razones,
se ha decidido aprovechar las posibilidades que ofrece la visión hiperespectral
de realizar análisis espacial para añadir tres caracterı́sticas morfológicas, que
habrı́a sido imposible añadir únicamente con sistemas ópticos de espectrografı́a
6.2. EXPERIMENTO 91
Figura 6.3: Segmentación en el experimento de detección del corazón hueco.

1: binarización usando el método de Otsu. 2: suavizado gaussiano. 3: segunda
binarización, de umbral fijo. 4: etiquetado de áreas conexas. 5: máscara para
segmentación full. 6: imagen tras aplicar segmentación full. 7: imagen tras apli-
car segmentación core. 8: imagen tras aplicar segmentación border. 9: imagen
tras aplicar segmentación core.
convencional (del mismo modo que habrı́a sido imposible utilizar caracterı́sticas
espectrales en un sistema de visión artificial convencional).
La caracterı́stica area 6.2 denota el espacio que ocupa la patata en la ima-
gen. Todas las patatas se han obtenido desde la misma distancia por lo que
podemos tomar esta caracterı́stica como un indicador del tamaño o volumen
de la muestra. Al disponer de una imagen segmentada (full) esta operación se
limita a sumar los pı́xeles que no son fondo (distintos de negro) en la imagen.
El área se calcula en una sola longitud de onda I, que se ha escogido tras varias
ejecuciones.
w,h
(
X 1, if (Ii,j 6= 0);
area = (6.2)
i=0,j=0
0, otherwise.
La caracterı́stica perimetro 6.3 denota la longitud del perı́metro de la patata.

Esta caracterı́stica complementa a la anterior, ya que representa su tamaño.
Contamos los pı́xeles de la patata en cuyo entorno tenemos el fondo; es decir,
los pı́xeles frontera.
w,h
(
X 1, if [(Ii,j = 1) ∧ (∃ pixel = 0 around Ii,j )];
perimetro = (6.3)
i=0,j=0
0, otherwise.
Por último, se ha añadido una caracterı́stica area–perimetro 6.4, que es

la relación entre área y perı́metro, lo cual es una medida de redondez. De es-
te modo, una patata deforme y otra redonda con la misma área tendrán un
perı́metro diferente (mayor en el caso de la deforme). En este caso su relación
área–perı́metro será determinante para indicar su deformidad.
area
area perimetro = (6.4)
perimetro
Si obviamos las tres caracterı́sticas morfológicas, podemos representar las
muestras en un diagrama de niveles de gris por banda (Figura 6.4). El eje x
representa la longitud de onda, mientras que el eje y representa el nivel de gris
medio para cada banda, que no es más que la media aritmética de los valores
de gris de la superficie segmentada de la patata, que para cada método de
segmentación será una zona diferente (más amplia, más reducida, sin sarna,
etc.).
Durante la investigación, se han realizado pruebas preliminares con resul-
tados inferiores a los alcanzados con el experimento actual. Se han probado
otras caracterı́sticas de textura, como las caracterı́sticas de Haralick (energı́a,
entropı́a, correlación, momento de la diferencia inversa, inercia, cluster shade,
cluster prominence y disimilaridad de la matriz de co–ocurrencia de niveles de
gris). Sin embargo, la existencia de 256 longitudes de onda multiplicado por di-
chas caracterı́sticas, nos da un número de caracterı́sticas 5 veces superior aproxi-
madamente al número de instancias del que se dispone. En primer lugar, el coste
computacional de esta opción es muy superior al de una sola caracterı́stica por
longitud de onda. Una de las causas puede ser el efecto Hughes [Hughes, 1968],
6.2. EXPERIMENTO 93
Figura 6.4: Gráfica de niveles de gris por banda de una muestra en el experi-
mento de detección del corazón hueco.
un problema relacionado con espacios matemáticos de muchas dimensiones, que

causa que el clasificador obtenga peores aciertos a pesar de poder representar el
problema con más información. De todos modos, el uso de otras caracterı́sticas
de textura será motivo de estudio en trabajo futuro.
Para resumir esta fase, cada cubo hiperespectral va a ser representado por
259 atributos: 256 espectrales y 3 morfológicos. De los 468 cubos hiperespectrales
(en adelante, muestras) de los que se disponı́a, 208 correspondieron a la clase
afectada por corazón hueco y 260 a patatas sanas. De este modo, hemos realizado
una extracción de caracterı́sticas a cada tipo de segmentación. A estas alturas
del proceso, tenemos cuatro conjuntos de datos que representan el problema de
cuatro maneras distintas, en función del tipo de segmentación.

En esta fase utilizamos los mismos algoritmos de selección de caracterı́sticas
utilizados en el experimento del Capı́tulo 5, detallados en la Sección 5.2.4, e
implementados en el software de minerı́a de datos Weka [Hall et al., 2009].
Es de destacar que en todas las ejecuciones de los algoritmos de selección de
caracterı́sticas se han seleccionado las caracterı́sticas morfológicas descritas con
anterioridad (area, perimetro y area–perimetro).
En nuestro experimento la selección de caracterı́sticas va a ser la clave para

reducir el tiempo de ejecución final del sistema. Nos servirá para identificar las
longitudes de onda suficientes para solucionar el problema y permitir un enfoque
multiespectral para el mismo.
Para resumir, tras este paso tenemos seis conjuntos de datos (que representan
el mismo problema de maneras diferentes) por cada método de segmentación:
genetic, scattered, greedy, Lfs, Cfs y full (el conjunto original con 259 carac-
terı́sticas). Por lo tanto, hemos representado el problema de 24 maneras dis-
tintas, mediante 24 conjuntos de datos, en función del método de segmentación
(que tiene en cuenta más o menos superficie de la patata) y de las caracterı́sticas
que se tienen en cuenta (según lo seleccionado en este paso).
6.2.4. Algoritmos de clasificación

En este experimento vamos a usar cuatro algoritmos de clasificación que
han sido seleccionados por diversas razones. En primer lugar se va a hacer uso
de Random Forest (Rf) y Support Vector Machines (Svm) con kernel radial
(Svm–Rbf). Estos algoritmos han sido empleados en el Capı́tulo 5 con éxito, lo
que augura buenos resultados.
Por otra parte se han introducido dos algoritmos más tras pruebas prelimi-
nares con el software Weka. Hablamos de las Support Vector Machines (Svm)
con kernel lineal (Svm–Lin) y del algoritmo Logistic Regression (Lr) [LeCessie
& Houwelingen, 1992], cuya utilización no formaba parte de la hipótesis inicial.
Otros métodos de clasificación como redes neuronales basadas en perceptrón
multicapa (Mlp), o en teorı́a bayesiana no han aportado buenos resultados pre-
liminares y ello ha causado que no sean utilizados en el experimento para reducir
las pruebas.
Mientras que en Svm–Rbf disponemos de dos parámetros para ajustar el
algoritmo (C y γ), con Svm–Lin solamente podemos ajustar C, el parámetro
de regularización. Utilizaremos los mismos rangos para modificar C, esto es:
C = 2n , n = −5 : 14.
En el algoritmo Lr, existe el parámetro ridge o r, que estableceremos a
r = 10k , k = −9 : 0.
6.2.5. Procedimiento de evaluación

Para evaluar el acierto de los 4 clasificadores sobre los 24 conjuntos de datos
que hemos generado, utilizamos el método explicado en el Capı́tulo 5 basado
en el uso de permutaciones en las que separamos instancias de entrenamiento,
6.3. RESULTADOS 95
validación y test. Llamaremos a cada una de las 4 × 24 pruebas que vamos

a realizar una opción. En las siguientes secciones compararemos las opciones
testadas para descubrir cual es la mejor solución a nuestro problema.
A continuación recordamos los pasos llevados a cabo para probar cada con-
junto de datos.
Primero generamos aleatoriamente 10 permutaciones del conjunto de da-

tos, de modo que cada permutación tiene las mismas muestras, pero or-
denadas de manera diferente.
Dividimos cada permutación en tres conjuntos: entrenamiento (primer

50 % de las muestras), validación (siguiente 25 % de las muestras) y test
(25 % restante).
Luego normalizamos las permutaciones, de modo que cada caracterı́stica

tenga media cero y desviación uno. Esto evita que atributos con rangos
numéricos mayores influencien excesivamente al clasificador. El procedi-
miento es, para cada permutación, calcular media y desviación para cada
caracterı́stica, usando solo el conjunto de entrenamiento. Después, norma-
lizamos entrenamiento, validación y test usando los valores de media y
desviación calculados.
Para cada combinación de parámetros, y para cada permutación, entrena-

mos el clasificador usando el conjunto de entrenamiento con los parámetros
correspondientes. Después, probamos su acierto contra el conjunto de va-
lidación. El acierto medio sobre las 10 permutaciones nos da un acierto
medio de los parámetros. Tras probar todas las combinaciones sobre los
conjuntos de validación, nos quedamos con los mejores parámetros.
Para cada permutación, entrenamos el clasificador usando el conjunto de

entrenamiento, ajustado con los mejores parámetros obtenidos antes. Des-
pués, probamos su acierto contra el conjunto de test. El acierto medio
sobre las 10 permutaciones nos da el acierto final del sistema.
6.3. Resultados
Hemos representado el problema mediante cuatro tipos de segmentación, pa-
ra posteriormente crear seis conjuntos de datos por cada uno según un método
de selección de caracterı́sticas. Después hemos evaluado estos 24 conjuntos de
datos con 4 algoritmos de clasificación diferentes. Llega el momento de deter-

minar cuál de esas 96 opciones es la que alcanza mayor éxito en la clasificación.
En primer lugar presentamos resultados en bruto de cada una de estas opcio-
nes, en función de su porcentaje de acierto (número de instancias correctamente
clasificadas). Dividimos los resultados en cuatro tablas, una por cada método
de segmentación: Tabla 6.1 (full), Tabla 6.2 (core), Tabla 6.3 (border) y Tabla
6.4 (scab).
6.3. RESULTADOS 97
Mej. Param.
mtry
full 85.56 87.82 p/2 87.18 259
genetic 86.50 85.04 p/2 87.78 16
scattered 85.81 85.47 p0 86.76 12
Rf
greedy 86.07 81.62 p/2 87.27 17
Lfs 86.50 87.82 p0 87.78 7
Cfs 87.69 89.32 p0 87.86 9
average 86.35 86.68
C γ
full 86.07 88.68 28 2−16
88.80 259
genetic 87.01 88.68 21 2−7 89.49 16
Svm scattered 87.09 88.46 2−1 2−6 88.89 12
Rbf greedy 87.09 88.89 21 2−7 89.49 17
Lfs 85.73 86.75 29 2−12 88.46 7
Cfs 87.78 88.68 20 2 88.12 9
average 86.79 88.35
C
full 86.41 88.46 2−5 88.89 259
genetic 86.75 87.82 2−5 89.06 16
Svm scattered 86.50 88.03 2−3 88.63 12
Lin greedy 86.92 87.82 2−5 89.06 17
Lfs 85.73 87.61 21 88.29 7
Cfs 87.52 88.46 2−3 87.61 9
average 86.64 88.03
r
full 85.90 88.03 1 88.29 259
genetic 86.84 88.03 1 88.80 16
scattered 86.24 87.61 1 88.72 12
Lr
greedy 86.75 87.82 1 88.89 17
Lfs 85.90 87.18 1 88.63 7
Cfs 87.69 88.46 1 87.35 9
average 86.55 87.86
Tabla 6.1: Porcentaje de acierto de las opciones correspondientes al método de

segmentación full en el experimento de detección de corazón hueco en patata.
Mej. Param.
mtry
full 86.18 88.25 p/2 87.44 259
genetic 87.01 86.32 p/2 88.03 18
scattered 88.46 85.47 p/4 88.46 17
Rf
greedy 86.58 85.90 p/4 87.44 17
√
Lfs 86.58 88.25 p 87.09 11
Cfs 87.01 87.39 p/2 87.27 8
average 86.97 86.93
C γ
full 86.41 88.46 210 2−16
89.06 259
genetic 87.27 88.46 22 2−8 89.49 18
Svm scattered 87.44 88.25 210 2−11 88.46 17
Rbf greedy 86.07 88.46 210 2−13 88.97 17
Lfs 85.81 87.39 212 2−12 87.86 11
Cfs 87.52 88.25 27 2−10 87.86 8
average 86.75 88.21
C
full 86.50 88.03 2−2 88.80 259
genetic 86.84 88.03 2−5 88.89 18
Svm scattered 87.44 88.46 2−3 87.95 17
Lin greedy 85.56 88.25 21 88.80 17
Lfs 85.98 87.61 20 87.78 11
Cfs 87.86 88.03 2−2 87.69 8
average 86.70 88.07
r
full 86.75 88.03 1 88.38 259
genetic 86.58 87.82 1 88.80 18
scattered 87.27 87.82 1 87.86 17
Lr
greedy 86.41 88.03 1 88.63 17
Lfs 86.15 87.39 1 87.78 11
Cfs 87.01 88.03 1−9 87.01 8
average 86.70 87.86

segmentación core en el experimento de detección de corazón hueco en patata.
6.3. RESULTADOS 99
Mej. Param.
mtry
full 87.44 87.18 p/4 86.50 259
genetic 87.69 86.32 p/4 86.92 14
scattered 86.41 84.62 p/2 86.92 17
Rf
greedy 86.84 84.19 p/2 84.87 19
√
Lfs 86.32 87.82 p 88.89 10
Cfs 83.33 87.82 p0 82.74 10
average 86.34 86.32
C γ
full 86.84 87.18 27 2−13
86.84 259
genetic 88.89 88.25 20 2−8 87.86 14
Svm scattered 86.92 88.03 22 2−7 89.15 17
Rbf greedy 88.12 87.40 28 2−12 87.01 19
Lfs 88.29 88.25 27 2−16 88.55 10
Cfs 87.78 88.25 27 2−16 89.06 10
average 87.81 87.89
C
full 86.84 88.03 2−4 86.58 259
genetic 89.06 88.03 2−5 87.69 14
Svm scattered 86.84 87.61 2−5 88.97 17
Lin greedy 88.38 87.82 2−5 86.50 19
Lfs 87.52 88.03 20 88.21 10
Cfs 88.21 88.46 2−4 88.89 10
average 87.81 88.00
r
full 87.27 87.61 1 86.84 259
genetic 88.72 87.18 0.1 88.12 14
scattered 86.50 88.03 1 88.89 17
Lr
greedy 88.89 87.39 1 86.32 19
Lfs 87.44 88.03 1 88.46 10
Cfs 87.18 88.03 1 86.24 10
average 87.66 87.71

segmentación border en el experimento de detección de corazón hueco en patata.
La mejor opción está resaltada en color gris.
Mej. Param.
mtry
full 86.07 88.68 p/2 87.01 259
genetic 85.90 85.68 p/4 86.50 16
scattered 86.24 86.75 p/2 87.27 18
Rf
greedy 88.55 84.19 p/2 87.35 21
√
Lfs 87.61 87.39 p 87.69 11
Cfs 86.50 87.82 p/2 87.95 10
average 86.81 86.75
C γ
full 86.84 87.61 27 2−16
88.72 259
genetic 86.41 87.82 2−1 2−6 87.78 16
Svm scattered 85.98 88.03 22 2−8 88.12 18
Rbf greedy 86.07 87.61 26 2−16 87.44 21
Lfs 86.15 87.61 20 2−4 87.78 11
Cfs 84.96 87.82 22 2−2 88.29 10
average 86.07 87.75
C
full 85.98 87.61 2−5 87.44 259
genetic 86.07 87.18 2−5 87.35 16
Svm scattered 86.50 86.54 2−5 87.61 18
Lin greedy 86.75 86.97 20 86.84 21
Lfs 86.32 87.61 2−5 87.61 11
Cfs 86.32 85.90 2−2 87.44 10
average 86.32 86.97
r
full 87.44 88.03 0.01 87.44 259
genetic 85.73 86.75 0.01 87.01 16
scattered 86.50 87.39 0.01 87.35 18
Lr
greedy 86.75 86.97 0.001 86.67 21
Lfs 85.64 86.32 1 87.18 11
Cfs 85.73 85.90 1 87.01 10
average 86.30 86.89

segmentación scab en el experimento de detección de corazón hueco en patata.
6.3. RESULTADOS 101
La mejor opción tras el experimento es la que utiliza el método de segmen-

tación border, las caracterı́sticas que sobre él seleccionó el algoritmo genético
(11 espectrales y 3 morfológicas), y el algoritmo de clasificación Svm–Lin con el
parámetros C ajustado a 2−5 . Con esta opción se consigue un acierto de 89.1 %.
En la Tabla 6.5 podemos ver la matriz de confusión media, obtenida a partir
de los resultados sobre los conjuntos de test a lo largo de las 10 permutaciones.
```
``
Clasificado
``` como Hueca
``` Sana
Real `
Hueca 57.9 6.4
Sana 6.4 46.3
Tabla 6.5: Matriz de confusión de la mejor opción en el experimento de detección

del corazón hueco (border, genetic, Svm–Lin). El acierto global es del 89.1 %,
sobre las 162 muestras del conjunto de test (25 % del total).
A continuación presentamos un análisis de estas tablas, agrupando los re-

sultados en función de su tipo de segmentación, selección de caracterı́sticas y
clasificación. Esto nos servirá para discutir los mejores métodos para cada paso.
En la Tabla 6.6 presentamos los resultados en función del método de seg-
mentación y el método de selección de caracterı́sticas. Esto nos permite ver si
la mejor opción no ha sido fruto de la casualidad. En este caso no es ası́, y el
conjunto de datos (border, genetic) es de nuevo el mejor, incluso teniendo en
cuenta los otros clasificadores. Podemos ver los mismos datos representados en
la Figura 6.5.
Segment. Conj. Acierto % Acierto loocv %

full 85.98 88.25
genetic 86.77 87.39
scattered 86.41 87.39
full
greedy 86.71 87.29
Lfs 85.96 87.34
Cfs 87.67 88.73
average 86.58 87.73
full 86.46 88.19
genetic 86.92 87.66
core
greedy 86.15 87.66
Lfs 86.13 87.66
Cfs 87.35 87.93
average 86.78 87.77
full 87.09 87.50
genetic 88.59 87.45
border
greedy 88.06 86.70
Lfs 87.39 88.03
Cfs 86.62 88.14
average 87.40 87.48
full 86.58 87.98
genetic 86.03 86.86
scab
greedy 87.03 86.43
Lfs 86.43 87.23
Cfs 85.88 86.86
average 86.37 87.09
Tabla 6.6: Porcentaje de acierto en función del método de segmentación y del

método de selección de caracterı́sticas en el experimento de detección de corazón
hueco en patata.
6.3. RESULTADOS 103
En la misma tabla podemos ver cuatro filas con el identificativo average,

ası́ como una lı́nea media en la Figura 6.5. Con ello indicamos la media de todos
los conjuntos de datos en función únicamente del método de segmentación. El
método border es el que mejor se adapta al problema.
Figura 6.5: Gráfica que representa el porcentaje de acierto en función del método
de segmentación y del método de selección de caracterı́sticas en el experimento
de detección de corazón hueco en patata. La lı́nea indica el acierto medio por
método de segmentación.
En la Tabla 6.7 agrupamos los resultados en función solamente del método

de selección de caracterı́sticas. Podemos ver los mismos datos en la Figura 6.6.
El método genetic destaca como el que mayor porcentaje de acierto alcanza. En
este punto es interesante destacar que en los 24 conjuntos de datos probados,
las tres caracterı́sticas morfológicas (area, perimeter y area–perimeter) han
sido seleccionadas por lo métodos de selección de caracterı́sticas. Esto sugiere
que la información morfológica es de vital importancia y confirma las hipótesis
de [Rex & Mazza, 1989] sobre la relación de la enfermedad con trastornos del
crecimiento.
Finalmente, en la Tabla 6.8 (e igualmente en la Figura 6.7) agrupamos los

resultados atendiendo únicamente al método de clasificación. Podemos apreciar
que el algoritmo Svm–Lin obtiene el mejor resultado.
Método Selec. Acierto % Acierto loocv %

full 86.53 87.98
genetic 87.08 87.34
greedy 86.99 87.20
Lfs 86.48 87.57
Cfs 86.88 87.91
Tabla 6.7: Porcentaje de acierto en función del método de selección de carac-

terı́sticas en el experimento de detección de corazón hueco en patata.
Figura 6.6: Gráfica que representa el porcentaje de acierto en función del método
de selección de caracterı́sticas en el experimento de detección de corazón hueco
en patata.
En la Figura 6.8 representamos gráficamente las bandas seleccionadas en

la mejor opción (marcadas en columnas negras) para un mejor entendimiento.
Dichas bandas son: 863 nm, 905 nm, 921 nm, 1026 nm, 1068 nm, 1091 nm, 1195
nm, 1398 nm, 1405 nm, y el rango 1434-1438 nm.
Como dijimos en el Capı́tulo 5, [Gunasekaran et al., 1985] sugiere que en
longitudes de onda superiores a 1100 nm, donde la absorción del agua domina,
6.3. RESULTADOS 105
Método Classific. Acierto % Acierto loocv %

Rf 86.62 86.67
Svm–Rbf 86.86 88.05
Svm–Lin 86.87 87.80
Lr 86.80 87.58
Tabla 6.8: Porcentaje de acierto en función del algoritmo de clasificación en el

experimento de detección de corazón hueco en patata.
Figura 6.7: Gráfica que representa el porcentaje de acierto en función del al-
goritmo de clasificación en el experimento de detección de corazón hueco en
patata.
la reflectancia se incrementa debido a la deshidratación. La mayor parte de las

bandas que hemos seleccionadas están en ese rango. Sin embargo, es imposible
comparar nuestros resultados con otros sistemas de detección del corazón hueco,
ya que usan rangos espectrales diferentes.
Otros estudios [Curcio & Petty, 1951] indican que a partir de 1450 nm la
absorción del agua aumenta rápidamente. Las bandas seleccionadas están bajo
ese umbral, lo que sugiere que no existe relación entre la cantidad de agua en la
patata y la posibilidad de que exista corazón hueco.
Finalmente, recordemos que los expertos humanos tenı́an problemas a la
Figura 6.8: Bandas seleccionadas tras el experimento de detección de corazón

hueco en patata. A estas bandas hay que añadir las tres caracterı́sticas mor-
fológicas.
hora de detectar corazones huecos en patatas pequeñas, ya que van ligados

normalmente a crecimientos anormales, en patatas grandes. Por el contrario, el
clasificador que acabamos de presentar obtiene unos porcentajes de clasificación
muy similares independientemente de la talla. Hemos dividido el conjunto de
datos en cuatro cuartiles en función de la caracterı́stica área, obteniendo de
mayor a menor área los siguientes porcentajes de acierto: 88.9 %, 85 %, 91 % y
88 %.
6.4. Conclusiones
La visión hiperespectral infrarroja ha resultado ser una tecnologı́a intere-
sante para la detección del corazón hueco en patatas de variedad Agria. Para
demostrarlo, se ha desarrollado un experimento no destructivo de reconocimien-
to de patrones que alcanza un 89.1 % de acierto. Este porcentaje es válido para
la industria ya que, a pesar de existir otros métodos, el operador humano sigue
siendo el único utilizado hasta ahora.
El método de segmentación border parece ser ligeramente mejor que los
métodos core o full, probablemente por el ángulo en el que la luz incide en la
patata. Se concluye que la segmentación del borde es una práctica recomendable

para el análisis de enfermedades internas de la patata usando el sistema de
adquisición descrito.
Los resultados también indican demuestran que el procedimiento de segmen-
tar la sarna de los cubos hiperespectrales (scab) no mejora el acierto del sistema.
Es más, lo empeora: de media, obtiene un 86.37 %, mientras que el conjunto por
defecto (full) obtiene 86.58 % y la mejor segmentación (border) llega al 87.40 %.
La primera conclusión es que retirar la sarna no es beneficioso para la detec-
ción de corazón hueco. Eso significa que parece existir algún tipo de correlación
entre la presencia de sarna y corazón hueco (lo cual no implica rotundamente
causalidad).
Por su parte, las tres caracterı́sticas morfológicas han demostrado ser un
buen complemento a las espectrales, ya que han sido seleccionadas por todos los
algoritmos de selección de caracterı́sticas para todas las opciones, confirmando
las hipótesis de [Rex & Mazza, 1989].
En cuanto a los algoritmos de selección de caracterı́sticas vemos que no todos
han mejorado el acierto (por ejemplo el algoritmo lfs no mejora el acierto del
conjunto original). El algoritmo genético, sin embargo, es el que mejor acierto
obtiene.
Los algoritmos de clasificación probados obtienen resultados agrupados muy
similares, pero confirman que el método Svm (con cualquiera de los dos kernels
testados) es una buena opción en problemas binarios.
Tal y como vimos en el Capı́tulo 5, con la información obtenida de la me-
jor opción (método de segmentación border, las caracterı́sticas que sobre él
seleccionó el algoritmo genético, y el algoritmo de clasificación Svm–Lin con
el parámetro C = 2−5 ) podemos diseñar un sistema multiespectral especı́fico
que trabajarı́a con tantos filtros como longitudes de onda seleccionadas (11 en
este caso) con el objetivo de reducir el tiempo de ejecución, acercándolo a los
requerimientos de la industria.
En el futuro serı́a interesante evaluar el sistema con otras variedades, ası́ co-
mo investigar la relación entre las bandas óptimas y las causas biológicas del
corazón hueco.
Capı́tulo 7
Conclusiones
En este capı́tulo se resumen las principales conclusiones, contribuciones y

lı́neas futuras de este trabajo de tesis, tanto a nivel global como para cada uno
de los capı́tulos técnicos.
7.1. Conclusiones
En esta sección presentamos un sumario de las principales conclusiones del
trabajo de tesis, una vez vistos los capı́tulos técnicos de la misma.
A nivel global, destacan las siguientes:

La visión artificial y más concretamente la visión hiperespectral son tec-
nologı́as muy adecuadas para el control de calidad no destructivo en la
industria agroalimentaria, y para el caso especı́fico de la patata.
El diseño de un framework y banco de pruebas para solucionar proble-
mas como los planteados mediante visión hiperespectral, abre un nuevo
campo de estudio y permite abordar proyectos en el futuro aplicando el
conocimiento adquirido en esta tesis.
En el Capı́tulo 3, dedicado al análisis de textura en el espectro visible, vimos

que el espacio de color Hsv puede ser un complemento interesante al espacio
Rgb en problemas de textura. Además, vimos que Contraste, Disimilaridad,
Homogeneidad y Energı́a de los canales H y S destacaron como las caracterı́sticas
109
110 CAPÍTULO 7. CONCLUSIONES
más importantes de entre las propuestas. Ası́ mismo, se concluyó que el uso
de estas 8 caracterı́sticas mejoraba el comportamiento del clasificador 1-nn,
pasando de 86.26 % a un 87.40 % de acierto.
En el Capı́tulo 5, en el que estudiamos la detección de sarna común en

patata mediante visión hiperespectral, se llegó a la conclusión de que el método
de selección de caracterı́sticas Cfs es el que mayor acierto obtiene de entre los
probados. Del mismo modo, el clasificador Svm es el que mayor acierto obtiene
de entre los clasificadores propuestos. Con esta información, la mejor opción
resuelve el problema de detección de sarna con un 97.1 % de acierto, con las
bandas en 1300 nm, 1303 nm, 1336 nm, 1339 nm, 1342 nm y 1503 nm, y los
parámetros C = 211 y γ = 2−5 para Svm–Rbf.
En cuanto a los trabajos para la detección del corazón hueco en patata

mediante visión hiperespectral (Capı́tulo 6), comprobamos que el método de
segmentación border obtiene mejor acierto que tener en cuenta toda la patata
(full) o solo el centro (core). Además, vimos que identificar la sarna común y re-
tirarla del cubo hiperespectral empeora la detección de corazón hueco en patata.
En cuanto a las caracterı́sticas utilizadas, las tres caracterı́sticas morfológicas
añadidas a las espectrales fueron seleccionadas por todos los métodos de se-
lección de caracterı́sticas, lo que prueba su importancia en el problema. Entre
estos métodos, el dirigido por algoritmo genético es el que mayor acierto obtiene
de entre los probados. En lo relativo a la clasificación, el clasificador Svm con
kernel lineal es el que mayor acierto obtiene de entre el abanico de algoritmos
testados. Como conclusión, vemos que el sistema resuelve el problema de detec-
ción del corazón hueco con un 89.1 % de acierto, con la opción de segmentación
border, algoritmo de selección genetic (el cual selecciona las bandas en 863 nm,
905 nm, 921 nm, 1026 nm, 1068 nm, 1091 nm, 1195 nm, 1398 nm, 1405 nm,
1434–1438 nm, ası́ como las tres caracterı́sticas morfológicas) y el clasificador
Svm–Lin ajustado con C = 2−5 .
7.2. Contribuciones
En esta sección se pretende aclarar cuáles son las principales contribuciones
de este trabajo de tesis, de modo que sea más sencillo comprender en qué aspec-
tos este trabajo ha supuesto una novedad en los sistemas de control de calidad
no destructivos usando visión hiperespectral infrarroja en el mundo agroalimen-
tario y más concretamente aplicado al caso de la patata.
7.2. CONTRIBUCIONES 111
A nivel general, con esta tesis se han introducido las siguientes contribucio-
nes:
La creación de un framework experimental para adquisición y análisis

hiperespectral infrarrojo, que cubre todo el proceso, y permite solucionar
problemas de mapeo y de clasificación proporcionando una respuesta en
tiempo no optimizado.
El uso de caracterı́sticas espaciales y espectrales para su uso en un sistema

de reconocimiento de patrones para la resolución de problemas utilizando
el framework experimental hiperespectral.
Un sistema de clasificación de corazón hueco en patata, y de mapeo de sar-

na común en patata, utilizando el framework experimental hiperespectral,
e información suficiente para el diseño de sistemas especı́ficos multiespec-
trales para los mismos problemas.
La creación e implementación de un sistema de adquisición en el espectro

visible para la clasificación de podredumbre y verdeo en patatas.
Para empezar, en el Capı́tulo 2 presentamos brevemente la metodologı́a clási-

ca de visión artificial, junto con una breve selección de referencias para ampliar
en el conocimiento de esta área de conocimiento.
En el capı́tulo dedicado al análisis de textura en el espectro visible (Capı́tulo

3), se presentó un nuevo método de segmentación de agrupaciones de regiones
conexas basado en colorimetrı́a y búsqueda de istmos atendiendo a proyecciones
verticales. También se utilizaron caracterı́sticas de textura en dos espacios de
color diferentes al mismo tiempo (Rgb y Hsv). Durante la fase de selección
de caracterı́sticas, fue desarrollado un algoritmo propio basado en algoritmos
genéticos. Por último, se realizó una verificación experimental de las ventajas
de realizar una selección de caracterı́sticas para mejorar el acierto de los clasi-
ficadores, ası́ como de todo el sistema diseñado.
En el Capı́tulo 4, se presenta una revisión y estado del arte de las posibilida-

des de la visión hiperespectral aplicada al control de calidad agroalimentario, y
más concretamente al caso de la patata. Además, se detalla el diseño, implemen-
tación y puesta a punto de un sistema de adquisición hiperespectral infrarrojo,
base del framework definido anteriormente.
En la parte correspondiente a la detección de sarna común (Capı́tulo 5), se

presenta la utilización del framework definido para el mapeo de sarna común
en patata. Posteriormente, se realiza una verificación experimental de la efi-
ciencia de los distintos métodos utilizados para selección de caracterı́sticas y
clasificación, ası́ como de la totalidad del sistema diseñado.
En el Capı́tulo 6, en el que se presenta el sistema para la detección del

corazón hueco, se utiliza nuevamente el framework definido, en este caso para
la detección de corazón hueco en patata. En él, verificamos experimentalmente
la eficiencia de los distintos métodos utilizados para segmentación, extracción
de caracterı́sticas, selección de caracterı́sticas y clasificación, ası́ como de todo
el sistema. Se valoran las ventajas de utilizar la parte externa de la patata para
la detección de problemas internos, ası́ como la extracción de caracterı́sticas
morfológicas para su utilización junto con las espectrales.
Es destacable que, en relación a dichas contribuciones, se han presentado o

aceptado para publicación los siguientes artı́culos:
Dacal-Nieto, A., Vazquez-Fernandez, E., Formella, A., Martı́n, F., To-
rres-Guijarro, S., González-Jorge, H.: A genetic algorithm approach for
feature selection in potatoes classification by computer vision. Industrial
Electronics, 2009. Iecon’09. 35th Annual Conference of Ieee, 1955-1960,
Isbn 978-1-4244-4648-3 (2009).
Dacal-Nieto, A., Formella, A., Carrión, P., Vazquez-Fernandez, E., Fer-
nández-Delgado, M.: Rapid infrared multi-spectral systems design using a
hyperspectral benchmarking framework. Ieee International Conference on
Multimedia and Expo (Icme 2011). Industrial Electronics, 2011. Annual
Conferences of Ieee, (2011). To be published.
nández-Delgado, M.: Non-destructive detection of hollow heart in potatoes
using hyperspectral imaging. 14th International Conference on Computer
Analysis of Images and Patterns (Caip 2011). Lecture Notes in Computer
Science, (2011). To be published.
nández-Delgado, M.: Common scab detection on potatoes using an in-
frared hyperspectral imaging system. 16th International Conference on
Image Analysis and Processing (Iciap 2011). Lecture Notes in Computer
Science, (2011). To be published.
7.3. LÍNEAS FUTURAS 113
7.3. Lı́neas futuras

Por último, en esta sección se quieren resumir las principales ideas para
trabajo futuro que se han ido presentando en el trabajo de tesis.
En primer lugar, una posibilidad es ampliar los sistemas de adquisición para

que sean sensibles en otros rangos del espectro. Por ejemplo, el sistema hiperes-
pectral existente podrı́a combinarse con otro basado en el rango visible (Specim
Imspector V10E y JAI BM-141GE), disponiendo ambos sistemas en vertical
con un desplazador lineal para proporcionar movimiento al objeto. Esto posibi-
litarı́a abordar nuevos problemas en rangos más estudiados. Independientemente
de eso, serı́a interesante implementar las soluciones multiespectrales especı́ficas
diseñadas para cada problema.
Por otro lado, los experimentos pueden ser ampliados con nuevos algoritmos
de extracción de caracterı́sticas, selección de caracterı́sticas y clasificación. Y
del mismo modo, podrı́an proporcionarse nuevas muestras a los experimentos,
especialmente de variedad Kennebec.
Ciñéndonos al Capı́tulo 3 (Textura visible), serı́a importante utilizar nuevas

caracterı́sticas especı́ficas que complementen a las de textura utilizadas para
mejorar la detección de las enfermedades planteadas (podredumbre y verdeo)
ası́ como para detectar nuevos defectos como el daño mecánico. El experimen-
to también podrı́a ser mejorado con nuevos algoritmos de clasificación, nuevos
métodos de selección de caracterı́sticas y un método de evaluación más restric-
tivo que loocv, tal y como se ha hecho en los capı́tulos posteriores.
En lo relativo a la detección de sarna común (Capı́tulo 5), podrı́a ampliarse

el experimento mediante nuevos métodos de extracción y selección de carac-
terı́sticas, ası́ como de clasificación, para intentar mejorar el acierto del sistema.
Podrı́a realizarse un experimento utilizando otras variedades (como Kennebec)
y con otros sistemas de adquisición, que amplı́en el rango de sensibilidad del
sistema al espectro visible.
Finalmente, en el Capı́tulo 6, en el que presentamos los trabajos relacionados

con la detección del corazón hueco, deberı́an ser estudiados nuevos métodos de
extracción y selección de caracterı́sticas, ası́ como de clasificación, para intentar
mejorar el acierto del sistema. Como antes, también podrı́an probarse otras
variedades de patata, y otros rangos de sensibilidad del sistema. Por último,
deberı́a ser investigada la relación entre las bandas seleccionadas y las causas
biológicas del corazón hueco.
7.4. Proyectos
Además, a nivel del sistema hiperespectral, están abiertas las siguientes ini-
ciativas:
CARNEVIP–SEGALI
A pesar de no resultar respaldado con financiación, el proyecto continúa
siendo una idea a tener en cuenta para el futuro.
ANHIMIGA
Se ha solicitado financiación para este proyecto al Ministerio de Innovación
en 2011, por lo que, en caso de ser concedida, se continuará con la lı́nea de
investigación hiperespectral en colaboración con el grupo de Palinologı́a de la
Universidade de Vigo. El proyecto servirı́a para poner en marcha una lı́nea
hiperespectral mixta en el espectro visible y Nir que amplı́e las capacidades del
sistema creado hasta el momento.
Capı́tulo 8
Publicaciones relacionadas
A continuación se resumen y comentan las contribuciones que se anexan a

esta memoria de tesis, como muestra del trabajo de investigación realizado. En
cada una de las contribuciones se detallan sus principales datos, los criterios
de calidad que se han sopesado para su inclusión en esta memoria, y las tareas
llevadas a cabo por el doctorando.
115
116 CAPÍTULO 8. PUBLICACIONES RELACIONADAS
8.1. Clasificación de patatas mediante textura

El artı́culo “A genetic algorithm approach for feature selection in potatoes
classification by computer vision” fue presentado en la conferencia 35th Inter-
national Annual Conference of the Ieee Industrial Electronics Society (Iecon
2009), celebrada del 3 al 5 de Noviembre de 2009 en Porto (Portugal).
Posteriormente fue recogida en los proceedings del congreso (Industrial Elec-
tronics, 2009. Iecon’09. 35th Annual Conference of Ieee, pp. 1955-1960. Isbn:
978-1-4244-4648-3).
Autores
Angel Dacal-Nieto Lomg y Universidade de Vigo
Esteban Vazquez-Fernandez Lomg
Arno Formella Universidade de Vigo
Fernando Martı́n Universidade de Vigo
Soledad Torres-Guijarro Lomg
Higinio Gonzalez-Jorge Lomg
Criterios de calidad
Proceedings Industrial Electronics, Annual Conferences of Ieee
Editorial Ieee
SJR If = 0.031 (2009)
Q3 ’Engineering - Electrical and Electronic Engineering’
(266/381)
Rol del doctorando

En esta ocasión, el doctorando ha sido el autor principal del artı́culo, partici-
pando y siendo responsable de todas y cada una de sus partes. Esteban Vázquez
colaboró durante la parte de adquisición de imagen. El Dr. Higinio González y
la Dra. Soledad Torres actuaron como responsables por parte del Lomg. Por su
parte, el Dr. Arno Formella, de la Es de Enxeñerı́a Informática de la Universi-
dade de Vigo, actuó como tutor del doctorando, mientras que el Dr. Fernando
Martı́n, de la Ets de Enxeñerı́a en Telecomunicación de la Universidade de
Vigo, actuó como tutor de Esteban Vázquez.
8.1. CLASIFICACIÓN DE PATATAS MEDIANTE TEXTURA 117
A genetic algorithm approach for feature selection in

potatoes classification by computer vision
Angel Dacal-Nieto1,2, Esteban Vázquez-Fernández1,3, Arno Formella2, Fernando Martin3, Soledad Torres-Guijarro1, Higinio
González-Jorge1,
1
Laboratorio Oficial de Metroloxia de Galicia (LOMG),
Parque Tecnolóxico de Galicia, San Cibrao das Viñas 32901 Ourense, Spain
2
Computer Science Department, University of Vigo, Spain
3
Communications and Signal Theory Department, University of Vigo, Spain
adacal@lomg.net
The diagram of system overview (Figure 1) shows the main

Abstract-Potato quality control has improved in the last years parts of the paper. It is organized as follows. Image taking
thanks to automation techniques like machine vision, mainly and expert classification steps will be described in section II.
making the classification task between different quality degrees Segmentation and feature extraction tasks will be shown in
faster, safer and less subjective. We present a system that
classifies potatoes depending on their external defects and section III. Classification optimization by means of a GA will
diseases. Firstly, some image processing techniques are used to be presented in section IV. Finally, some results and
segment and analyze the potatoes. Then, a classifier is used to conclusions will be discussed in sections V and VI,
decide the group the potato belongs to. For the feature selection respectively.
task, we have designed an ad-hoc genetic algorithm which
maximizes the classification percentage. This approach is used to
perform an optimization in the search of the better feature
combination. The system shows to be effective in real operation
simulations (working with unwashed potatoes covered with dust
and sand,), what seems to be a good starting point in the
development of the system.
I.INTRODUCTION
Computer vision has become an essential technology for
quality control in the food industry, which continuously
demands new and better applications. There are many
examples of this synergy in potato industry [1-3]. Complex
commercial systems have also been developed with great
success, which shows computer vision in potato quality
control as a mature technology. However, there are still
challenges to be solved.
Artificial Intelligence (AI) techniques are among the most Fig. 1. Diagram of system overview.
used in computer vision [4-5]. However, Genetic Algorithms
(GA's) [6-7] have been less used in this field in comparison
II.IMAGE ACQUISITION AND EXPERT CLASSIFICATION
with other AI technologies. Previous work show that GA
have been tested as part of the classifier itself, for calculating A. Image acquisition
the weights of an Artificial Neural Network [8]. Sometimes A set of 47 bags of potatoes (with 20Kg. of potatoes each
they are used for object segmentation purposes [9], although one) were randomly selected from two potato packing
recent work suggest many other applications. companies in Xinzo de Limia (Spain), on 2008 harvest. The
Some contributions show that GA's can be used for feature bags had samples from the more important varieties in the
selection [10-11], providing those features that maximize the region (Agria, Kennebec and red varieties), and contained
performance of the selected classifier. Some of the features healthy and unhealthy potatoes. It is usual that companies
could be spurious or even noise. A good feature selector is a from this region do not wash the potatoes before the packing
basic aid when building a robust classifier, because it can process, so all the inspections had to be done in the presence
reveal us unknown relationships between classes and features. of dust and sand. Real operation conditions in a potato
In this paper, we present a computer vision based quality packing company were recreated by making a small roller
control system to detect defects and diseases on not washed line that moved at 0.1m/s. The prototype is shown in Figure
potatoes. It uses a GA as a tool to reduce the number of 2.
features of the classifier.
978-1-4244-4649-0/09/$25.00 ©2009 IEEE 1955

A Jai BB-500GE 5Mp color camera was used for the image III. SEGMENTATION AND FEATURE EXTRACTION
taking process. A total of 5.040 pictures with 2456x2048 tiff A. Segmentation
resolution were taken from the 47 bags, covering a region of The OpenCV libraries [12] have been used in the
50x40 cm. For the illumination, two 500W halogen lamps implementation, in combination with C++ programming
have been used. The system took a picture every 500ms, so language.
that every potato was present in 8-9 pictures. The idea was to The segmentation process to separate potatoes from the
capture the potatoes from different points of view, as they roll background has been divided into three sub processes: first
on the line. A matrix camera was chosen instead of a linear we detect the interest areas, then we identify those areas as
camera because otherwise it would have been impossible to objects, and finally we prevent segmenting groups of
reconstruct the images while the potatoes are rolling. touching potatoes into a single object.
B. Expert Classification
Experts from the 'Centro Tecnolóxico da Carne (CTC)'
selected a representative set of pictures from the original set.
This selection contained n=305 pictures (Figure 3). A
learning set was built by the selection of p=1206 potatoes.
Nine classes were identified depending on their diseases and
the unhealthy percentage of potato. For this work three
classes were taken into account: good (with no problem at
all), with rotten areas (up to 10%), and with green areas (up to
25%).
Fig. 2. System description.
Fig. 4. Area detection steps: (a) B-S image, (b) B'-R image, (c) G-R
Fig. 3. One of the n pictures from where potatoes were extracted for the image, (d) final result.
learning set.
978-1-4244-4649-0/09/$25.00 ©2009 IEEE 1956

1. Area detection 2. Object identification

The original image in RGB colour space was converted to The second part of the segmentation process is the
HSV colour space. The intense blue colour of the rollers was identification of every connected region as an object. Some
removed from channel H (values from 214 to 228 in 360 base problems should be avoided at this time, mainly considering
were set to 0). A new RGB image (image’) was built from S, noise as objects. The result of this sub process will be a new
V and the modified H channel. Let us call image’ to the set of image for every found connected region, with a black
RGB channels R’, G’, B’. background.
We took advantage from some existing relationships
between image and image’ RGB and HSV channels: 3. Segmentation of touching potatoes
- G minus R remarks potatoes in dark (almost black) At this point, it is common that some groups of potatoes
colour. Parts from the rollers and vertical guides mix with the have been considered as a single potato, inside the same
potatoes. image. We will ensure there is only one potato in each image
- B minus S highlights the dark parts in the rollers that by detecting “cuts” in it with the next algorithm (Figure 5):
usually mix with the potatoes. For every angle α between 0º and 180º, in 6º steps,
- B’ minus R highlights the vertical guides and other - The image is rotated αº.
shadows that mix with the potatoes. - We calculate the vertical projection of the rotated image
img'.
The idea is to remove those highlighted parts in B-S and - We detect local maximums in the projection [14] by
B’-R from G-R. Previously, some binarization, blurring and searching peaks in 40 pixels neighborhoods (adequate for
closing operations [13] are performed in B-S and B’-R. potato size).
Finally, B-S and B’-R are used as masks in G-R binarization. - If there are at least two local minimums, we look for the
After this operation we obtain a binary image of potatoes and minimum between the two highest peaks. If this minimum is
background (Figure 4). under a threshold (40% of projection's height), the value is
added to a list of cuts.
When all the rotations are tested, the best cut is used to
divide the image vertically. Two sub-images are then created.
Their bounding boxes are adjusted to the new content, and the
algorithm is performed again to ensure there is only one
potato in them. This algorithm is recursively executed until
all the images have no good “cuts” (Figure 6).
Fig. 6. Segmented potato.
B. Feature extraction
The proposed method is not intended to directly detect
every class (i.e. worm dots), but to extract several general
purpose features and let the classifier infer the relationships
between features and classes. These features have been
selected from texture analysis proposed in [15], and are listed
Fig. 5. Touching potatoes detection (images and projections): (a) original in Table I (Eq. 1-10).
object, (b) 48º rotation with 109 occurrences valley, (c) 60º rotation with 78
occurrences valley, (d) optimal cut found at 60º.
978-1-4244-4649-0/09/$25.00 ©2009 IEEE 1957

TABLE I means we have a f-dimensional space with p points into it. It

FEATURES would be desirable that points from the same class were close
For every RGB and HSV channel (using an Euclidean distance in our case), so that they get
N clustered. If this happened, the Nearest Neighbor algorithm
∑ xi
1
histogram mean x= would work efficiently while assigning the nearest neighbor
N
i =1 class to the potato we want to classify.
(1)
The problem is that it is possible that some of the features
N we have extracted are not useful in the classification process.
1
variance =
N ∑ ( xi − x ) 2
Some of the features could be noise, and do not offer any help
histogram variance i =1
(or even make worse the result) when we try differentiate
(2)
between classes. So we need to choose those features that are
1
N actually important to classify potatoes. This means we could
histogram kurtosis kurtosis =
N variance 2 i =1
∑ ( xi − x )4 − 3 have to decrease the number of dimensions in our feature
(3) space, where the useful features would remain. Time is a key
factor in the system, so that avoiding useless calculus
N becomes an essential point.
∑ ( xi − x )3
1
N We have 2f different possibilities to find the best feature
histogram asymmetry assimetry = i =1 performance. It would be computationally expensive (or even
N
impossible) to make a sequential search to find the best
∑ ( xi − x )2)3 / 2
1
(
N combination, so it seems we need some optimization method
i =1 (4)
to find a quite good combination.
N −1
co-occurrence matrix
contrast contrast = ∑
Pi , j (i − j )2
B.Genetic Algorithm Optimization
i, j = 0 (5)
Some contributions in food analysis present GA's as a good
N −1 option managing the randomness of natural samples, and
dissimilarity dissimilar ity = ∑ Pi , j i − j seems to be suitable for potatoes analysis. This method has
i, j = 0 (6) been tested by Y. Chtioui et al [10] on seed discrimination
and by J. Gomez-Sanchis et al [11] on early detection of
co-occurrence matrix N −1 Pi , j rottenness in mandarins. In their work, J. Gomez-Sanchis et al
homogeneity homogeneit y = ∑ compare GA with other methods (Correlation analysis,
i , j = 0 1 + (i − j )
2 (7)
Mutual information and Stepwise multivariate regression),
co-occurrence matrix N −1
showing that the GA gets the best performance.
energy energy = ∑ Pi , j 2
(8)
i, j = 0 Our genetic algorithm is an ad-hoc one based on a classical
structure. The main steps are:
N −1 1. Random creation of the first generation of pop
entropy entropy = ∑ ( ( ))
Pi , j − ln Pi , j chromosomes with f genes each one.
i, j = 0 (9)
2. Do the next steps while the number of generations
gen is not reached:
⎡ ⎤
co-occurrence matrix N −1 ( )
⎢ (i − μ i ) j − μ j ⎥ a) Fitness: Evaluate the population, calculating the
correlation correlatio n = ∑ Pi, j ⎢
⎢
⎥
⎥
fitness of every chromosome.
i, j = 0 σ i2σ 2j (10) b) Selection: Select pop/2 chromosomes from the
⎣⎢ ⎥⎦
better adapted chromosomes.
c) Crossover: Cross those pop/2 selected
Supervised training is possible because every potato has chromosomes in pairs, creating two new
f=60 features and we also know the class the potato belongs chromosomes by pair.
to. The learning set is stored into a MySQL database. This d) Substitute the pop/2 non-crossed chromosomes
will be make its management easier in the future. by the new ones created by the crossover
operation.
e) Mutation: Mutate randomly the population.
IV. CLASSIFICATION AND GENETIC ALGORITHM 3. When gen is reached, return the best chromosome
OPTIMIZATION
(the one with the best fitness throughout all
A.Classification generations).
The classifier we have chosen is the Nearest Neighbor
Classifier, because of its simplicity and robust performance
[16]. We have extracted f features from p potatoes, which
978-1-4244-4649-0/09/$25.00 ©2009 IEEE 1958

In our case we define these operations as follows: - crossover: the crossover operator chosen was the One-Point
crossover, where parents’ chromosomes are cut in a randomly
– chromosome: it is a binary array with f 0's and 1's. We selected point and the pieces we get are swapped creating the
define a relation between the ith position of the chromosome children's chromosomes.
and the ith feature of the potatoes. A 1 (activation) at the ith After the crossover, the non-crossed chromosomes are
position of a chromosome means the ith feature is taken into substituted by the just generated ones, which are the children
account when calculating the distance in the classification of the crossed chromosomes. The consequence of this
process. A 0 (no activation) at the ith position of a rearrangement is that the new population has pop/4 families
chromosome means, actually, that we remove the ith (composed by 2 parents and 2 children). This maintains good
dimension from the feature space. The consequence of this fitness (the parents), and possible combinations of good
definition is that each chromosome represents a new feature fitness (the children). The evolution of the population is
space where the points (potatoes) get classified in a different guaranteed by the randomness of the crossover operation and
way. by the possible mutations.
– fitness: to evaluate how good a chromosome c is, we just - mutation: some chromosomes of each generation can get
have to evaluate the combination of features that c represents. mutated depending on a defined mutation probability mut =
This measure is the degree of classification of the potatoes, 0,003. When a chromosome is mutated, one of its f genes
taking into account the distance function that we are using swaps (from 0 to 1 or from 1 to 0).
(Euclidean) and the number of zeros in the chromosome (this
will reduce the number of selected features as the generations - generations: gen has been set to 500, as recommended by
follow one another). The fitness function is defined in Table [10].
II (Equations 11-14).
TABLE II The expected behavior from the GA is that the best
FITNESS FUNCTIONS chromosomes (those which have a better phenotype) will
fitness(chromosome c) =
transmit parts of their genetic code to the next generations,
p creating new chromosomes that may improve the fitness of
∑
1 their ancestors, which means that better combinations of
( correct _ classification( potatoes i , c))·( # zeros in c ) (11)
p features will be found. The GA stops when a certain number
i =1
of generations are created. Its result is the better chromosome
correct_classification(potato k, chromosome c) = found in the totality of generations.
1: if ( 1nn(k, c).class == k.class)
(12) V. RESULTS AND FUTURE LINES
0: otherwise
A. Results
1nn (potato k, chromosome c) = Several executions of the GA have been performed,
potatoesj | (potatoesj ≠ k) ^ showing not only good chromosomes selections, but also
(potatoesj has the minimum (13) global evolutions of the created populations (Figure 7).
distance to k in the feature
space defined by c)
distance (potato k, potato j, chromosome c)=

f
( ∑ (k feature i
− j featurei ) 2
(14)
i =1
where the feature i is evaluated only if (cgen i == 1)
- selection: we have used the Roulette Wheel selection

method as selection operator. This method selects the
chromosomes depending on their fitness, so that the
probability of being selected pi is directly proportional to how
good their fitness fitness(i) has been:
fitness (i)
pi =
N Fig. 7. Two executions of the GA: best fitness from example 1 (a), best
∑ fitness( j) (15)
fitness from example 2 (b), mean of fitness from example 1 (c) and mean of
fitness from example 2 (d).
j =1
978-1-4244-4649-0/09/$25.00 ©2009 IEEE 1959

Analizing the best chromosomes from all the executions, projections. Then, features have been extracted from HSV
some results have been found: and RGB channels from every segmented potato, using
- Features extracted from channels H and S were the most histogram and co-occurrence matrix texture characteristics,
selected ones in almost all the experiments. creating a learning set. A classifier has been developed by
- Homogeneity and dissimilarity were the two most using 1-NN algorithm. This classifier has been optimized
selected features, taking into account all the channels. with an ad-hoc GA that selects the most discriminant features
- Almost all 1st order features (mean, variance and subset. With this optimization, the dimensional complexity of
asymmetry) were unselected, except kurtosis. the classifier has been decreased so that it will be possible to
Using this information, an optimized classifier has been build a faster final application, because useless calculations
created. The difference with the previous one is it only takes have been removed.
into account the features selected by GA's executions
ACKNOWLEDGMENTS
(contrast, dissimilarity, homogeneity and energy from
channels H and S). Its performance with 8 features (Table IV) This work was partially supported by “Xunta de Galicia”
improves the previous 60 features classifier performance (project code 08TIC004CT and HR programs “Lucas
(Table III). Labrada” and “Parga Pondal”). We want to acknowledge
TABLE III researchers from “CTC” for their helpful collaboration.
60 FEATURES CLASSIFIER CONFUSION MATRIX
REFERENCES
Classified as →
[1] L. Zhou, V. Chalana and Y. Kim, “PC-Based Machine Vision System
Good Rotten Green
Actually ↓ for Real-Time Computer-Aided Potato Inspection,” International
Journal of Imaging Systems and Technology, 9 (1998) 423-433.
Good 83,30% 5,20% 11,50% [2] M. Lefebvre, S. Gil, D. Brunet, E. Natonek, C. Baur, P. Gugerli and T.
Pun, “Computer vision and agricultural robotics for disease control:
Rotten 7,90% 88,50% 3,60% The Potato Operation,” Computers and Electronics in Agriculture, 9
(1993) 85-102.
Green 4,20% 11,10% 84,70%
[3] A.Y. Muir, D.W. Ross, C.J. Dewar, and D. Kennedy, Defect and
disease detection in potato tubers, Scottish Agricultural College Crop
Science Research Report, (1999) pp 5-9.
TABLE IV
[4] C. Du, D. Sun, “Learning techniques used in computer vision for food
8 SELECTED FEATURES CLASSIFIER CONFUSION MATRIX
quality evaluation: a review,” Journal of Food Engineering, 72 (2006)
Classified as → 39-55.
Good Rotten Green [5] F. Goyache, A. Bahamonde, J. Alonso, S. Lopez, J.J. Del Coz, J.R.
Actually ↓ Quevedo, J. Ranilla, O. Luaces, I. Alvarez, L.J. Royo and J. Diez, “The
usefulness of artificial intelligence techniques to assess subjective
Good 86,00% 5,10% 8,90% quality of products in the food industry,” Food Science and
Technology, 12 (2001) 370-381.
Rotten 7,10% 88,70% 4,20% [6] J. H. Holland, Adaptation in Natural and Artifical Systems, University
Green 4,90% 8,90% 86,20% of Michigan Press.
[7] D. Goldberg, Genetic Algorithms in Search, Optimization and Machine
Learning, Reading, MA.: Addison-Wesley.
B. Future lines [8] D. Guyer, X. Yang, “Use of genetic artificial neural networks and
By the moment we have used general purpose features spectral imaging for defect detection on cherries,” Computers and
Electronics in Agriculture, 29 (2000) 179-194.
instead of ad-hoc features. We will implement at least one [9] Minglun Gong, Yee-Hong Yang, “Quadtree-based genetic algorithm
new feature by class trying to detect particularities that define and its applications to computer vision,” Pattern Recognition, 37
why a potato belongs to one class and not to the others. When (2004) 1723-1733.
[10] Y. Chtioui, D. Bertrand, and D. Barba, “Feature selection by a genetic
adding these new features to the system we are changing algorithm. Application to seed discrimination by artifical vision,” J Sci
chromosomes, and adding new genes. We will study how to Food Agric, 1998, 76, 77-86.
suggest the system that these new features are truly important [11] J. Gómez-Sanchís, L. Gómez-Chova, N. Aleixos, G. Camps-Valls, C.
Montesinos-Herrero, E. Moltó and J. Blasco, “Hyperspectral system for
(for example initializing these new genes to 1). early detection of rottenness caused by Penicillium digitatum in
Other dimensional reduction and feature selection mandarins,” Journal of Food Engineering, 89 (2008) 80-86.
techniques like PCA (Principal Component Analysis) or GCS [12] G. R. Bradski and A. Kaehler, Learning OpenCV, Computer Vision
with the OpenCV library, (2008) O'Reilly.
(Growing Cell Structures) [17] will be tested to assess if the [13] John C. Russ, The Image Processing Handbook, Fifth Edition (2007)
results given by the GA can be improved. In addition, other CRC-Press.
classification methods like Random Forest or Artificial [14] F. Martín, “Analysis Tools for Gray Level Histograms”. Proceedings of
SPPRA-2003. June 2003.
Neural Networks will be studied. [15] M. Graves and B. Batchelor, Machine Vision for the Inspection of
Natural Products, (2004) Springer.
VI. CONCLUSIONS [16] A. K. Jain, R. P W. Duin and J, Mao, “Statistical Pattern Recognition: A
Review,” IEEE Transactions on Pattern Analysis and Machine
Intelligence, 22 (2000).
This work is the first step towards a potatoes quality [17] F. Diaz, F. Fdez-Riverola, D. Glez-Pena and J.M. Corchado, “Applying
control system based on computer vision. Potato GCS network to fuzzy discretized microarray data for tumour
diagnosis,” 7th International Conference IDEAL 2006. Proceedings
segmentation has been performed by image processing (Lecture Notes in Computer Science), 4224 (2006) 1095-102.
techniques, specially taking into account color and
978-1-4244-4649-0/09/$25.00 ©2009 IEEE 1960

Tabla Resumen
Tı́tulo A genetic algorithm approach for feature selection in
potatoes classification by computer vision.
Datos Iecon 2009. Industrial Electronics, 2009. Iecon’09.
35th Annual Conference of Ieee.
Calidad 0.031 Sjr (Q3)
Papel del autor Fundamental.
Motivación Detecta enfermedades requeridas en los objetivos del
proyecto Visiocal.
Resultados Se consigue un 87.4 % de acierto utilizando el cla-
sificador 1-nn, utilizando las caracterı́sticas de con-
traste, disimilaridad, homogeneidad y energı́a de los
canales H y S (espacio Hsv).
Conclusiones Se mejora el acierto con la selección de caracterı́sti-
cas.
Trabajo futuro Nuevas caracterı́sticas. Nuevos métodos de selección
de caracterı́sticas.
8.2. Sistema hiperespectral genérico

El artı́culo “Rapid infrared multi-spectral systems design using a hypers-
pectral benchmarking framework” va a ser presentado en la conferencia Ieee
International Conference on Multimedia and Expo (Icme 2011), a celebrar del
11 al 15 de Julio de 2011 en Barcelona (España).
Ha sido aceptado para su presentación y posteriormente va a ser recogido en
los proceedings del congreso.
Autores (modificar)
Angel Dacal-Nieto Universidade de Vigo
Pilar Carrión Universidade de Vigo
Esteban Vazquez-Fernandez Gradiant
Manuel Fernández-Delgado Universidade de Santiago de
Compostela (Usc)
Criterios de calidad (modif)

Congreso Ieee International Conference on Multimedia and
Expo (Icme 2011)
Core B
’Artificial Intelligence and Image Processing’
Rol del doctorando

El doctorando ha sido el autor principal del artı́culo, apoyado por los directo-
res de la tesis, Arno Formella y Pilar Carrión. Esteban Vázquez, de Gradiant,
colaboró en la introducción y en la fase de adquisición. Manuel Fernández, de
la Usc, colaboró en la parte de clasificación.
8.2. SISTEMA HIPERESPECTRAL GENÉRICO 125
RAPID INFRARED MULTI-SPECTRAL SYSTEMS DESIGN USING A HYPERSPECTRAL

BENCHMARKING FRAMEWORK
A. Dacal-Nieto1 , A. Formella1 , P. Carrión1 , E. Vazquez-Fernandez2 and M. Fernández-Delgado3
Computer Science Department, Universidade de Vigo, Spain

1
angeldacal@uvigo.es
2
GRADIANT, Galician R&D Center in Advanced Telecommunications, Spain
3
CITIUS, Universidade de Santiago de Compostela, Spain
ABSTRACT The scientific community has started in the last years to

We present a benchmarking framework to design multi- show interest in hyperspectral imaging possibilities for food
spectral systems working in the NIR range for multiple pur- quality. Thus, some groups have worked or are working in
poses. This framework is composed of a hyperspectral imag- applications of hyperspectral imaging in food quality assess-
ing hardware and an ad-hoc software that performs pattern ment. We can find contributions oriented to multiple products
recognition experiments (image acquisition, segmentation, like chicken [2], mushrooms [3], cucumbers [4] and man-
feature extraction, feature selection, classification and evalu- darins [5], as well as extensive reviews, e.g., [6].
ation steps) comparing different algorithms in every step. For Hyperspectral systems usually take hundreds of images
each experiment, we obtain a solution using a generic hyper- that correspond to consecutive wavelengths in the spectra, but
spectral system, but we also obtain enough data to design a in the practice, each problem of detection or classification
specific multi-spectral system in order to decrease the overall uses a limited number of wavelengths, so the problem can
execution time. This improvement is based in the feature se- be handled as a multi-spectral system.
lection step, that provides the most relevant wavelengths for
the problem. The framework has been tested for detecting in- 2. HYPERSPECTRAL FRAMEWORK
ternal and external features in potatoes, determining the origin
of honey, and studying fecundity parameters in hen eggs. 2.1. Motivation
Index Terms— hyperspectral, multi-spectral, computer Designing specific multi-spectral systems is a tedious and
vision, image processing, infrared complex task. Using a multiple purpose benchmarking sys-
tem, we have the chance of testing multiple options in the
1. INTRODUCTION search of the optimum combination of algorithms to solve the
problem. This benchmarking system should be hyperspectral
Hyperspectral imaging is an emerging technology originally to allow a continuous search within a wavelength range.
designed for military remote satellite inspection [1], but is A generic hyperspectral system is usually slower than a
also used for remote sensing, astronomy and Earth observa- specific multi-spectral one, because it needs to scan the ob-
tion. It is a reliable approach to classical spectroscopy, be- ject in some way to obtain one spectral image for each in-
cause despite a little loss of accuracy, an object can be ana- spected line building eventually the hyperspectral cube. A
lyzed in significantly less time and in a non-destructive way. multi-spectral approach avoids the scanning of the object and
Hyperspectral imaging joins two quite different technolo- no movement is needed, just acquiring one image for each
gies: spectroscopy, which obtains spectral information from wavelength of interest, previously selected using some fea-
an object, and computer vision, which obtains spatial infor- ture selection algorithm. From this point of view, and for
mation from an object. The output of a hyperspectral acqui- each problem, an experimental general–purpose hyperspec-
sition system is a set of images within a wavelength range, tral system provides a valid solution possibly in an inadequate
known as a hyperspectral cube. This means that, for each time (depending on the user requirements), meanwhile each
pixel in the image, we have a set of values indicating how this specific multi-spectral system gives the same solution in less
pixel varies along a certain frequency range. time, but it is oriented to just one problem. Figure 1 presents
the system diagram.
This work was partially supported by the Spanish regional government
of the “Xunta de Galicia” (project PGIDIT08TIC004CT). We want to ac-
This work presents a hyperspectral benchmarking system
knowledge the “Laboratorio Oficial de Metroloxı́a de Galicia (LOMG)” and for multi-spectral systems design in the NIR range. The pro-
the “Centro Tecnolóxico da Carne (CTC)” for their helpful collaboration. cedure will be capture the images from the objects using a
Fig. 1. Diagram of the framework.
general purpose infrared hyperspectral system. Then, hyper- Fig. 2. Left: scanning initial position. Right: scanning final
spectral cubes will be built from the frequency images. Image position. The arrow shows the direction of scanning. Hyper-
processing algorithms are executed both for segmentation and spectral system scheme: a) camera, b) spectrograph, c) mirror
for feature extraction purposes as described in the sequel. Af- scanner, d) object, e) diffuse chamber, f) halogen lamp.
terwards, feature selection algorithms are executed, obtaining
datasets that represent the same data using different combi-
nations of features. These datasets are then tested with some
classification algorithms in order to classify the objects into
the proposed classes. A result is obtained, as well as enough
information to design a specific multi-spectral system.
2.2. Image acquisition
The concept of hyperspectral imaging is to perform a spec-

troscopic analysis of the light reflected or transmitted by the
object of interest. This is accomplished by coupling a spec-
Fig. 3. Up: Spectral images taken from different lines of the
trograph with a matrix camera, hence, obtaining both spectral
object. Down: 978 nm, 1173 nm, and 1608 nm spatial images.
and spatial information. Our hyperspectral system has been
designed for non-destructive food inspection in the NIR re-
gion. We coupled an infrared camera and a swir-nir spectro- 2.3. Segmentation
graph, both sensitive from 900 nm to 1700 nm. The camera
is a Xenics Xeva 1.7–320 with an InGaAs 320 × 256 pixel We are going to handle two types of problems depending on
sensor and USB connection. The spectrograph is a Specim the result that the user requires. The first type of problems
Imspector N17E. The system has also three 50 W AC halogen are those where each hyperspectral cube has only one object,
lamps placed in the inspection plate to provide diffuse illumi- and this object is related with one class (1o1c). The result of
nation to the object surface. The diffuse light is obtained by analyzing the hyperspectral cubes will be the class the object
the reflection in a plastic dome over the plate made. belongs to. For instance, we have studied the origin of honey
The spectrograph has a linear input (one pixel height), samples, where one sample belongs only to one class.
where the x-axis represents the same x-axis (spatial) of the The other type of problems are intended to classify each
object. The y-axis (spectral) is then studied to obtain how pixel in the hyperspectral cube in order to build a map that
every pixel in the row varies along the spectral range. With indicates which zones in the object belong to a specific class
one spectral image, we are inspecting only one spatial line, (mapping). For instance, we have studied the detection of
so we need to inspect the whole object. This is accomplished common scab (a skin disease) in potato tubers. Thus, some
joining a rotatory Mirror Scanner to the spectrograph. The pixels are classified as scab, and others as healthy surface.
complete scanning of an object takes approximately 30 sec- The user obtains an incidence map and incidence percentages.
onds. It is based on performing a rotation of the mirror to Independently of the type of problem, we need to segment
scan the object, taking care of the synchronization between the object from the background in every hyperspectral cube
mirror stepping and image acquisition (Figure 2). Then, these for later feature extraction tasks. We segment only one image
images are transposed to create the hyperspectral cube (Fig- from the hyperspectral cube so that we obtain a mask that will
ure 3). Our system obtains 320 spectral images (320 × 240 be applied in the rest of the hyperspectral cube.
pixels), that are transposed into hyperspectral cubes formed Segmentation runs in several steps using the open source
by 256 images with 320 × 320 pixels, corresponding to 256 library OpenCV [7]. First, we binarize the image with Otsu’s
consecutive wavelengths from 900 nm to 1700 nm. method [8] that calculates the optimum binarization thresh-
old. Then, a Gaussian blurring clusters the noise in the im- we use feature selection to identify which wavelengths are
age. A connected-component labelling is performed to re- sufficient to solve each problem in order to design a specific
mark contiguous areas in the image. At this point, we know multi-spectral system with this information.
that the blob with the largest area (excluding the background) We have tested some techniques regarding spectral bands
is the object of interest. We select this blob and create the selection on hyperspectral imaging systems (implemented
mask to segment all the images in the hyperspectral cube on Weka [9]): Genetic Search [10], Scattered Search [11],
(full). Other segmentation algorithms have been implemented Greedy Stepwise, Linear Forward Selection (LFS) [12], and
to capture zones where the incidence of light is different, tak- Correlation-based Feature Subset Selection (CFS) [13]. Other
ing into account central (core) and external (border) portions. techniques such as PCA and LDA do not reduce the number
The Figure 4 visualizes examples of these processes. of wavelengths needed, as required, rather they generate a lin-
ear combination of the 256 features into a new feature space
composed of less dimension.
2.6. Classification
We have tested the problems with four classification algo-

rithms: Random Forest (RF) [14], Support Vector Machines
(SVM) [15] with Gaussian kernel (SVM-RBF) and linear ker-
nel (SVM-LIN), and Logistic Regression (LR) [16].
For each dataset, we evaluate the classification algorithms
using a method based on randomly generating 10 permuta-
tions of the dataset, so that each permutation has the same
samples, but differently ordered. Then, each permutation is
divided into three parts: training (50% of the samples), vali-
Fig. 4. 1: Otsu’s binarization. 2: smooth operation. 3: blob dation and parameter tuning (25%), and test (25%). The sam-
analysis. 4: full mask. 5: core mask. 6: border mask. ples are normalized (zero mean and standard deviation one)
to avoid that attributes in greater numeric ranges influence ex-
cessively over those with smaller variation.
2.4. Feature extraction For each combination of tunable parameters and for each
permutation, we train a classifier using the training sets. Then,
The different types of problems need specific algorithms to we test its performance by using the validation sets. We select
extract their features. With mapping problems, the samples the parameter values which provide the best average accuracy
are provided by selecting manually regions of interest (ROI). over the 10 permutations. These parameters are: mtry (the
From each hyperspectral cube, we can select many samples, number of features to be used in random selection) for RF,
√
always indicating the class each sample belongs to. In the using mtry = p0 , mtry = p, mtry = p/4 and mtry = p/2,
case of 1o1c problems, each hyperspectral cube provides just with p =number of features; the regularization parameter (C)
one sample. We take into account just the zone selected by a and kernel spread (γ) for SVM-RBF, using C = 2n , n =
segmentation algorithm (full, core or border). −5..14 and γ = 2n , n = −15..0; C for SVM-LIN, using
The objective of feature extraction is to represent each C = 2n , n = −5..14, and LR has the ridge estimator (r),
sample with one vector of values. Hyperspectral imaging pro- using r = 10k , k = −9..0. Finally, for each permutation, we
vides spectral information, so we calculate the average lumi- train the classifier using the training sets tuned with the best
nance value of the pixels in the ROI or in a segmented zone parameters found, evaluating its accuracy on the test sets only.
for each image in the hyperspectral cubes (i.e., for each of the
256 wavelengths). In some 1o1c problems, we included three
morphological features to the feature list, namely the area, 3. EXPERIMENTS AND RESULTS
the perimeter, and the relation area–perimeter of the object,
that could be useful depending on the problem. In the Table 1 some results are presented in order to sum-
marize the problems that have been tested. For each problem,
different alternatives have been compared, and the best option
2.5. Feature Selection
is chosen as the final solution.
Feature selection is a common task in pattern recognition The common scab is a skin disease of the potato tubers
problems, specially in those cases where the initial number that decreases the quality of the product and influences sig-
of features is high. In our case feature selection is a funda- nificantly the price. We have used the presented framework
mental step to decrease the overall execution time, because to solve the problem, achieving a 97.1% of accuracy using
5. REFERENCES
Table 1. Accuracy percentages for the tested problems.
Problem Acc. % Segm. Classif. Bands [1] A. F. H. Goetz et al., “Imaging spectrometry for earth
scab 97.1 ROI SVM 6 remote sensing,” Science, vol. 228, pp. 1147-1153, 1985.
hollow heart 89.1 border SVM 11
honey 99 full SVM tests [2] C. Yang et al., “Machine vision system for online inspec-
egg sex < 60 full many tests tion of freshly slaughtered chickens,” Sens. & Instrumen.
egg fecund. 100 full many tests Food Qual., vol. 3, pp. 70-80, 2009.
[3] A. A. Gowen et al., “Hyperspectral imaging for the in-
vestigation of quality deterioration in sliced mushrooms
(Agaricus bisporus) during storage,” Sens. & Instrumen.
Support Vector Machines (C = 211 , γ = 2−5 ) and a specific Food Qual., vol. 2, pp. 133-143, 2008.
subset of spectral features selected by the CFS algorithm.
The hollow heart is an internal disorder of the potato [4] D. Ariana and R. Lu, “Quality evaluation of pickling cu-
tubers, that causes a star–shaped cavity that grows into the cumbers using hyperspectral reflectance and transmittance
potato. Acoustics and X–Ray examination have tried to detect imaging,” Sens. & Instrumen. Food Qual., vol. 2, pp. 144-
the hollow heart in the last years, but none of the approaches 160, 2008.
provide a non–destructive, orientation–independent and size– [5] J. Gomez-Sanchı́s et al., “Hyperspectral system for early
independent solution. Our system has found that using the detection of rottenness caused by Penicillium digitatum in
border segmentation method and the SVM-LIN classification mandarins,” J. Food Eng., vol. 89, pp. 80-86, 2008.
algorithm (C = 2−5 ), we get a 89.1% of accuracy detect-
ing the hollow heart. This option uses a specific subset of [6] D. Sun, “Hyperspectral Imaging for Food Quality Analy-
spectral features selected by the genetic algorithm feature se- sis and Control”. San Diego, CA: Elsevier, 2009.
lection method, as well as three morphological features that [7] G. Bradski and A. Kaehler, “Learning OpenCV: Com-
represent size and roundness of the samples. puter Vision with the OpenCV Library”. O’Reilly, 2008.
The characterization of different types of honey, on the
basis of their botanical origin, is an interesting tool for the [8] N. Otsu, “A threshold selection method for gray level his-
food industry. A preliminary stage of the analysis has been tograms,” IEEE Trans. Syst. Man Cybern., vol. 9, pp. 62-6,
performed, getting accuracies next to 99% (SVM-RBF, C = 1979.
27 , γ = 2−12 ) that should be confirmed in the future. [9] M. Hall et al., “The WEKA Data Mining Software: An
Our system was also tested with the aim to classify hen Update,” SIGKDD Explorations. vol. 11(1), 2009.
eggs, while they are being incubated, according to their sex.
In the past, some methods have been used for this purpose, but [10] D.E. Goldberg, “Genetic Algorithms in Search, Opti-
none got remarkable non–destructive results. Unfortunately, mization and Machine Learning” Reading, MA: Addison-
no more than a 60% of accuracy was achieved. Wesley, 1989.
After the in-ovo sex study, a fecundity determination was [11] F. Garcı́a-López et al., “Solving feature subset selection
tested, getting a 100% of accuracy. Although this problem can problem by a Parallel Scatter Search,” Eur. J. Oper. Res.,
be solved using faster and simpler methods, the application of vol. 169(2), pp. 477-489, 2008.
our hyperspectral system shows it is a reliable technology that
may be applied to multiple sets of problems. [12] M. Guetlein et al., “Large Scale Attribute Selection Us-
ing Wrappers,” Proc IEEE Symp. on Comput. Intell. and
Data Mining, pp. 332-339, 2009.
4. CONCLUSIONS [13] M. Hall, “Correlation-based Feature Subset Selection
for Machine Learning,”. Hamilton, New Zealand, 1998.
We presented a multiple purpose benchmarking hyperspectral [14] L. Breiman, “Using Iterated Bagging to Debias Regres-
framework for the designing of specific multi-spectral sys- sions,” Mach. Learn., vol. 45, pp. 261-277, 2001.
tems, that has been tested in some food quality problems. The
specific systems are faster than the equivalent ones in the hy- [15] C.C. Chang and C.J. Lin “LIBSVM:a library for
perspectral approach, because less wavelengths are inspected, support vector machines,” http://www.csie.ntu.
after using feature selection algorithms. Pattern recognition edu.tw/˜cjlin/libsvm/, 2008.
experiments have been performed for deciding which other
[16] S. Le Cessie and J.C. Van Houwelingen, “Ridge Estima-
algorithms are required to solve the given problem. Moreover,
tors in Logistic Regression,” Appl. Stat., vol. 41, 191-201,
NIR hyperspectral imaging has shown to be an interesting ob-
1992.
jective non–destructive choice for food quality assessment.
Tabla Resumen
Tı́tulo Rapid infrared multi-spectral systems design using a
hyperspectral benchmarking framework.
Datos Icme 2011. Industrial Electronics, 2011. Annual
Conferences of Ieee.
Calidad Core B
Motivación Exponer los avances acerca del sistema hiperespec-
tral aplicados tanto a los problemas de patatas como
al resto de problemas abordados.
Resultados Diversos porcentajes en el análisis de sarna común
en patatas, corazón hueco en patatas, determinación
de origen floral de miel, detección de sexo in–ovo en
gallina y detección de fecundidad in–ovo en gallina.
Trabajo futuro Ampliación del sistema al rango visible.
8.3. Visión hiperespectral: corazón hueco en pa-

tatas
El artı́culo “Non–destructive detection of hollow heart in potatoes using
hyperspectral imaging” va a ser presentado en la conferencia 14th Internatio-
nal Conference on Computer Analysis of Images and Patterns (Caip 2011),
a celebrar del 29 al 31 de agosto de 2011 en Sevilla (España). Posteriormen-
te será publicado en la revista Lecture Notes in Computer Science (Springer–
Verlag) durante 2011.
Autores
Manuel Fernández-Delgado Universidade de Santiago de Compos-
tela
Congreso 14th International Conference on Computer Analysis
of Images and Patterns (Caip 2011)
Core B
Revista Lecture Notes in Computer Science (Lncs)
Editorial Springer Verlag.
SJR If = 0.033 (2009)
Q3 ’Computer Science, miscellaneous’ (66/108)
Q3 ’Hardware and Architecture’ (81/118)
Q4 ’Mathematics - Theoretical Computer Science’
(67/74)
8.3. VISIÓN HIPERESPECTRAL: CORAZÓN HUECO EN PATATAS 131
Non–Destructive Detection of Hollow Heart in

Potatoes Using Hyperspectral Imaging
Angel Dacal-Nieto1 , Arno Formella1 , Pilar Carrión1 ,

Esteban Vazquez-Fernandez2 , and Manuel Fernández-Delgado3
1
Computer Science Department, Universidade de Vigo,
Campus As Lagoas 32004 Ourense, Spain
angeldacal@uvigo.es
2
3
Centro de Investigación en Tecnoloxı́as da Información (CITIUS),
Universidade de Santiago de Compostela, Spain
Abstract. We present a new method to detect the presence of the hollow

heart, an internal disorder of the potato tubers, using hyperspectral imag-
ing technology in the infrared region. A set of 468 hyperspectral cubes
of images has been acquired from Agria variety potatoes, that have been
cut later to check the presence of a hollow heart. We developed several
experiments to recognize hollow heart potatoes using different Artifi-
cial Intelligence and Image Processing techniques. The results show that
Support Vector Machines (SVM) achieve an accuracy of 89.1% of correct
classification. This is an automatic and non-destructive approach, and it
could be integrated into other machine vision developments.
Keywords: Hyperspectral, Infrared, Potato, SVM, Random Forest
1 Introduction
Potatoes (Solanum tuberosum) are nowadays one of the most consumed products
in the world: they are the world’s fourth largest food crop. The annual production
is 325 million tons and it moves an amount of global transactions of about 6
billion US dollars (2007 data). Thus, the world potato average consumption is
31 Kg per capita and year [1].
One of the internal characteristics of the potato tubers is the called hollow
heart, a star–shaped cavity that grows into the potato. Some early studies point
that there exist a relation between growing disorders and probability of the
presence of a hollow heart [2]. Some contributions in the last years have tried
to detect hollow hearts in potatoes using X–Ray examination [3] and acoustics
[4,5], providing successful results (98%). However, [4] needs the potatoes to be
isolated from noise and it can not detect tiny hollow hearts, meanwhile in [5] the
potatoes are dropped to study the sound produced by the fall, which eventually
bruises the samples. Moreover, both approaches are strongly dependent on the
orientation of the potato. Despite these contributions, the main packaging com-
panies in the North of Spain still use a human operator to deal with the problem,
2 Angel Dacal-Nieto et al.
by removing bigger and amorphous tubers after destructively checking a small

sample of the production, which causes subjectivity mistakes and possibly lower
(but unknown) accuracy rates.
We propose a new automatic non–destructive method based on hyperspectral
imaging, not dependent on the orientation, and with no potato isolation required.
Hyperspectral imaging is a reliable approach to classical spectroscopy, because an
object can be analysed in significantly less time, and always in a non-destructive
way, despite a little loss of accuracy. This technology has become interesting in
the field of food quality assessment [6], being used to predict the water content
in potatoes [7], and to detect clods between a set of potato tubers [8]. Other
contributions [9] use near–infrared (NIR) spectroscopy to predict specific gravity
and dry matter in potatoes.
2 Image Acquisition System

The objective of hyperspectral imaging is to perform a spectroscopic analysis of
the light reflected or transmitted by the object of interest. This is accomplished
by coupling a spectrograph and a matrix camera, which obtains both spectral
and spatial information. Our hyperspectral system has been designed for non-
destructive food inspection in the NIR region. We coupled an infrared camera
and a SWIR-NIR spectrograph, both sensitive from 900 nm to 1700 nm. Specif-
ically, we used a Xenics Xeva 1.7-320 camera with an InGaAs 320 × 256 pixel
sensor and USB connection. The spectrograph is a Specim Imspector N17E. The
system has also three 50 W AC halogen lamps placed in the inspection plate to
provide diffuse illumination to the potato surface. The diffuse light is obtained
by the reflection in a plastic dome over the plate.
The spectrograph has a linear input (one pixel height), where the x-axis
represents the same x-axis (spatial) of the object. The y-axis (spectral) is then
studied to obtain how every pixel in the row varies along the spectral range.
With one spectral image, we are inspecting only one spatial line, so that we
need to perform the inspection over the whole object. This is accomplished by
joining a rotatory mirror scanner to the spectrograph. It is based on performing
the mirror rotation, covering a 40◦ window over the object, taking care of syn-
chronization between mirror stepping and image acquisition (Figure 1). Finally
the images are transposed in order to obtain the hyperspectral cube (Figure 2).
To sum up, our system obtains 320 spectral images (320 × 240 pixels), that
are transposed into a hyperspectral cube formed by 256 images with 320 × 320
pixels, corresponding to 256 consecutive wavelengths, equally spaced from 900
nm to 1700 nm.
3 Experiment
The objective of the experiment is to compare different algorithms for each
Pattern Recognition stage in order to compose the combination of methods that
maximizes the accuracy classifying hollow heart affected and healthy potatoes.
A hyperspectral non–destructive detection of hollow heart in potatoes 3
Fig. 1. Left: scanning initial position at 70◦ . Right: scanning final position at 110◦ .
The arrow shows the direction of scanning. Hyperspectral system scheme: a) camera,
b) spectrograph, c) mirror scanner, d) object, e) diffuse chamber, f) halogen lamp.
Fig. 2. Up: Three spectral images taken from different lines of the object. Down:
978 nm, 1173 nm, and 1608 nm spatial images.
The experiment uses 234 potato tubers (variety Agria) from Xinzo de Limia
(Spain), that have been collected from some potato packing companies during
2009. The potatoes have been captured from two sides, using the system de-
scribed in Section 2, and cut later to check the presence of hollow heart. They
have been placed in a stable position, so that the biggest area is acquired.
3.1 Segmentation
Segmentation runs in several steps to obtain a mask to remove the background
for the hyperspectral cube using the open source library OpenCV [10]. First,
we binarize the image using Otsu’s method [11], that calculates the optimum
binarization threshold. Then, a Gaussian blurring clusters the noise in the image.
Another binarization is needed for the next operation. A connected-component
labelling is performed to remark contiguous areas in the image. At this point,
we know that the blob with the largest area (excluding the background) is the
potato. We select this blob and create the mask used to segment all the images
in the hyperspectral cube. We call this segmentation method full.
Additionally, we have implemented three other segmentation methods. The

core algorithm is intended to remove the external area of the potatoes, using a
heavy erosion operation, so that we only take into account their central part. In
the border algorithm, the aim is to remove the centre of the potato, so that the
segmentation only makes visible a portion similar to a ring.
The last segmentation method (scab) has been developed in a parallel re-
search [12], aimed to detect common scab (a skin disease in the potatoes) in
an automatic and non-destructive way, using the same acquisition system. We
use the result of the scab segmentation to obtain a hyperspectral cube free of
common scab, which might be more accurate in the detection of hollow heart.
The Figure 3 visualizes examples of the results given by these processes.
Fig. 3. 1: Binarization using Otsu’s method. 2: smooth operation. 3: second binariza-

tion. 4: blob analysis. 5: mask used for hyperspectral cube segmentation. 6: full mask.
7: core mask. 8: border mask. 9: scab mask.
3.2 Feature Extraction
We calculated the average luminance value of the pixels belonging to the potato
for each image in the hyperspectral cubes (i.e. for each of the 256 wavelengths).
Depending on the segmentation method, we use the whole potato for this calcu-
lation (full mask), or different zones of the tuber (core, border and scab masks).
Additionally, we included three morphological features in the feature list, namely
the area, perimeter and roundness of the potato. Our objective is to test
whether the potato size and roundness are relevant for the hollow heart de-
tection. Hence, every hyperspectral cube is represented with 259 attributes (256
spectral and 3 morphological features). We used 468 samples (208 hollow heart
affected and 260 healthy potatoes).
3.3 Feature Selection
This stage identifies which wavelengths are the optimal to detect hollow heart
potatoes, in order to decrease the number of images to analyse. We used some
algorithms implemented in Weka [13], using their default parameters: Genetic
Search [14], Scattered Search [15], Greedy Stepwise [16], Linear Forward Selec-
tion (LFS ) [17], and Correlation-based Feature Subset Selection (CFS ) [18]. We
also included the data set with all the features (full ). We have discarded tech-
niques such as Principal Component Analysis and Linear Discriminant Analysis,
because they perform a linear combination of all the wavelengths, instead of se-
lecting a subset, as the used feature selection methods do.
3.4 Classification
We present results of four classification algorithms: Random Forest (RF) [19],

Support Vector Machines (SVM) [20] with Gaussian (SVM-RBF) and linear
(SVM-LIN) kernels, and Logistic Regression (LR) [21]. Although LR is not
among the most popular algorithms, it has been included in the experiment
after good preliminary results with Weka [13].
Note that we have 4 segmentation methods and 6 feature selection methods
(24 data sets) and 4 classification algorithms. In this stage we test each of these
96 options to solve our problem in order to evaluate which is the best solution.
We randomly generated 10 permutations of the data sets. Each permutation was
divided into three parts: training (50% of the samples), validation (25% of the
samples, used for parameter tuning), and test (the remaining 25%). The samples
were normalized (zero mean and standard deviation one) to avoid that attributes
in greater numeric ranges influence excessively over those with smaller variation.
For each classifier, for each combination of tunable parameters and for each
permutation, we trained the classifier using the 10 training sets. We tested its
performance on the validation sets, selecting the parameter values with the best
average accuracy over the 10 permutations. These parameters are: mtry (the
number of features to use in random selection) for RF, using mtry = p0 , mtry =
√
p, mtry = p/4 and mtry = p/2, with p =number of features; the regularization
parameter (C) and kernel spread (γ) for SVM-RBF, using C = 2n , n = −5 : 14
and γ = 2n , n = −15 : 0; SVM-LIN has just (C), using C = 2n , n = −5 : 14,
and LR has the ridge estimator (r), using r = 10k , k = −9 : 0. Finally, for each
permutation, we trained the classifier using the training sets tuned with the best
parameters values, evaluating its accuracy on the 10 test sets.
4 Results and Discussion
The results are presented in Figure 4. Some average results using all the data sets
are provided, in order to determine the best segmentation method (upper left
panel in Figure 4), the best feature selection method (upper right panel), and the
best classifier (lower left panel). The best data set uses the border segmentation
method, the genetic feature selection method, and the SVM-LIN classification
algorithm, achieving 89.06% of accuracy (lower right panel). The Table 1 shows
the average confusion matrix achieved by the best data set–classifier pair using
the test sets (117 samples).
Fig. 4. Upper left: average segmentation results using all the data sets. Upper right:
average feature selection results using all the data sets. Lower left: average classification
results using all the data sets. Lower right: results of the best data set (border–genetic).
Table 1. Average test confusion matrix achieved with the best combination of seg-
mentation, feature selection and classification methods.
XXX
XClassified
XXX as Hollow heart Healthy
Real XX
Hollow heart 57.9 6.4
Healthy 6.4 46.3
It is interesting to note that the three morphological features were selected

by all the feature selection algorithms in all the data sets, so that it seems they
are very important information for the problem, which confirms [2] conclusions.
Finally, the Figure 5 presents the 10 wavelengths selected by the best feature
selector (genetic), marked with black columns (wavelengths in 863, 905, 921,
1026, 1068, 1091, 1195, 1398, 1405, and 1434-1438 nm) over an example potato
spectral chart. Although water absorption increases rapidly after 1450 nm [22], it
is remarkable that all the selected wavelengths are below 1438 nm. This suggests
that the water amount is not an important factor in the hollow heart detection.
Fig. 5. Selected wavelengths on the best data set, marked with columns. The x-axis
represents the bands. The y-axis represents the average grey level.
5 Conclusions
Infrared hyperspectral imaging has shown to be a good choice for hollow heart
detection in potatoes of Agria variety. We developed an objective and non–
destructive detection method using Pattern Recognition and Image Processing
techniques, achieving accuracies of about 89.1%. The result can be interesting for
the industry, because nowadays the process is still handled by human operators.
The border segmentation method seems slightly better than using the full
potato. The results also indicate that removing the common scab from the hy-
perspectral cubes does not help the classification procedure and decreases the
accuracy. The correlation between common scab and the presence of hollow heart
will be studied in the future.
Regarding feature selection, size and roundness were detected to be essen-
tial features for the hollow heart detection, and should be taken into account.
Besides, genetic has shown to be the most suitable feature selection algorithm.
In future work, it would be interesting to evaluate the system with other
potato varieties, as well as researching the relationship between the optimal
wavelengths and the biological causes of hollow heart.
Acknowledgements. This work was partly supported by the “Xunta de Gali-

cia” (projects PGIDIT08TIC004CT and PGIDIT08MMA010402PR). We want
to acknowledge the “Laboratorio Oficial de Metroloxı́a de Galicia (LOMG)” and
the “Centro Tecnolóxico da Carne (CTC)” for their helpful collaboration.
References
1. Potato World, World-wide potato production statistics. International Year of the
Potato 2008. http://www.potato2008.org/en/world/index.html (2008)
2. Rex, B.L., Mazza, G.: Cause, control and detection of hollow heart in potatoes: A
review. Am. J. Potato Res. 66, No 3 (1989)
3. Finney, E.E., Norris, K.H.: X-Ray scans for detecting hollow heart in potatoes. Am.
J. Potato Res. 55, No 2 (1978)
4. Jivanuwong, S.: Nondestructive detection of hollow heart in potatoes using ultra-
sonics. Master Thesis. Virginia Polytechnic Institute (1998)
5. Elbatawi, I.E.: An acoustic impact method to detect hollow heart of potato tubers.
Biosyst. Eng. 100, 206-213 (2008)
6. Sun, D.: Hyperspectral Imaging for Food Quality Analysis and Control. Academic
Press Elsevier, San Diego, California, USA (2009)
7. Singh, B.: Visible and near-infrared spectroscopic analysis of potatoes. M.Sc. Thesis,
McGill University, Montreal, PQ, Canada (2005)
8. Al-Mallahi, A., Kataoka, T., Okamoto, H., Shibata, Y.: Detection of potato tubers
using an ultraviolet imaging-based machine vision system. Biosyst. Eng. 105, 257-
265 (2009)
9. Kang, S., Lee, K., Son, J.: On-line internal quality evaluation system for the process-
ing potatoes. Food Process. Autom. Conf. Proc., Providence, Rhode Island (2008)
10. Bradski, G., Kaehler, A.: Learning OpenCV: Computer Vision with the OpenCV
Library. O’Reilly Media (2008)
11. Otsu, N.: A threshold selection method for gray level histograms. IEEE Trans.
Syst. Man Cybern. 9, 62-66 (1979)
12. Dacal-Nieto, A., Formella, A., Carrión, P., Vazquez-Fernandez, E., Fernández-
Delgado, M.: Common scab detection on potatoes using an infrared hyperspectral
imaging system. To appear in Proceedings of ICIAP 2011, LNCS (2011)
13. Hall, M., Frank, E., Holmes, G., Pfahringer, B., Reutemann, P., Witten, I.H.: The
WEKA Data Mining Software: An Update. SIGKDD Explorations 11 (1) (2009)
14. Goldberg, D.: Genetic Algorithms in Search, Optimization and Machine Learning.
Reading, Ma: Addison-Wesley (1989)
15. Garcı́a-López, F., Garcı́a-Torres, M., Melián-Batista, B., Moreno-Pérez, J.A.,
Moreno-Vega, J.M.: Solving feature subset selection problem by a Parallel Scat-
ter Search. Eur. J. Oper. Res. 169 (2), 477-489 (2008)
16. Weihs, C.: Multivariate Exploratory Data Analysis and Graphics, A tutorial. J.
Chemom. 7, 305-340 (1993)
17. Guetlein, M., Frank, E., Hall, M. Karwath, A.: Large Scale Attribute Selection
Using Wrappers. Proc IEEE Symposium on Computational Intelligence and Data
Mining, 332-339 (2009)
18. Hall, M.: Correlation-based Feature Subset Selection for Machine Learning. Hamil-
ton, New Zealand (1998)
19. Breiman, L.: Using Iterated Bagging to Debias Regressions. Mach. Learn. 45, 261-
277 (2001)
20. Chang, C.C., Lin, C.J.: LIBSVM:a library for support vector machines. http:
//www.csie.ntu.edu.tw/~cjlin/libsvm/ (2008)
21. Le Cessie, S., Van Houwelingen, J.C.: Ridge Estimators in Logistic Regression.
Appl. Stat. 41, 191-201 (1992)
22. Curcio, J.A., Petty, C.C.: The Near Infrared Absorption Spectrum of Liquid Water.
J. Opt. Soc. Am. 41, 302-302 (1951)
Tabla Resumen
Tı́tulo Non–destructive detection of hollow heart in pota-
toes using hyperspectral imaging.
Datos Caip 2011. Lecture Notes in Computer Science
(Springer).
Calidad 0.033 Sjr (Q3 x 2, Q4), Core B
Motivación Es una enfermedad requerida en los objetivos del pro-
yecto VISIOCAL.
Resultados Se consigue un 89.1 % de acierto utilizando el clasifi-
cador Svm (kernel lineal) con el parámetro C = 2−5 ,
utilizando solamente las bandas en 863 nm, 905 nm,
921 nm, 1026 nm, 1068 nm, 1091 nm, 1195 nm, 1398
nm, 1405 nm, 1434-1438nm, ası́ como las tres carac-
terı́sticas morfológicas, seleccionadas mediante algo-
ritmo genético sobre el conjunto de datos que genera
la segmentación border.
Conclusiones Mejor segmentación: border. Detectar la sarna no
mejora la precisión. Mejor algoritmo de selección
de caracterı́sticas: genético. Las caracterı́sticas mor-
fológicas son muy importantes. Mejor algoritmo de
clasificación: Svm.
Trabajo futuro Probar nuevas variedades. Probar métodos Pca y
Lda.
8.4. Visión hiperespectral: sarna común en pa-

tatas
El artı́culo “Common scab detection on potatoes using an infrared hypers-
pectral imaging system” va a ser presentado en la conferencia 16th International
Conference on Image Analysis and Processing (Iciap 2011), a celebrar del 14 al
16 de septiembre de 2011 en Ravenna (Italia). Posteriormente será publicado en
la revista Lecture Notes in Computer Science (Springer–Verlag) durante 2011.
Autores
Manuel Fernández-Delgado Universidade de Santiago de Compos-
tela
Congreso 16th International Conference on Image Analysis and
Processing (Iciap 2011)
Core B
Revista Lecture Notes in Computer Science (Lncs)
Editorial Springer Verlag.
SJR If = 0.033 (2009)
Q3 ’Computer Science, miscellaneous’ (66/108)
Q3 ’Hardware and Architecture’ (81/118)
Q4 ’Mathematics - Theoretical Computer Science’
(67/74)
8.4. VISIÓN HIPERESPECTRAL: SARNA COMÚN EN PATATAS 141
Common scab detection on potatoes using an

infrared hyperspectral imaging system
Angel Dacal-Nieto1 , Arno Formella1 , Pilar Carrión1 ,

Esteban Vazquez-Fernandez2 , and Manuel Fernández-Delgado3
1
Computer Science Department, Universidade de Vigo,
Campus As Lagoas 32004 Ourense, Spain
angeldacal@uvigo.es
2
3
Centro de Investigación en Tecnoloxı́as da Información (CITIUS),
Universidade de Santiago de Compostela, Spain
Abstract. The common scab is a skin disease of the potato tubers that
decreases the quality of the product and influences significantly the price.
We present an objective and non-destructive method to detect the com-
mon scab on potato tubers using an experimental hyperspectral imaging
system. A supervised pattern recognition experiment has been performed
in order to select the best subset of bands and classification algorithm for
the problem. Support Vector Machines (SVM) and Random Forest clas-
sifiers have been used. We map the amount of common scab in a potato
tuber by classifying each pixel in its hyperspectral cube. The result is the
percentage of the surface affected by common scab. Our system achieves
a 97.1% of accuracy with the SVM classifier.
Keywords: Hyperspectral, Infrared, Potato, SVM, Random Forest
1 Introduction
Detecting and identifying defects and diseases in potato tubers (Solanum tubero-
sum) continue to be an important challenge for food engineering and automation.
Industry uses a large variety of technologies and computer vision methods have
been a specially successful choice. Nevertheless, some new technologies should
be taken into account for improving non-destructive potato quality assessment.
The importance of the potato industry is extreme, since potatoes are still one
of the most consumed products in the world; they are the world’s fourth largest
food crop. The annual production is 325 million tons and it moves an amount
of global transactions of about 6 billion US dollars (2007 data). Thus, the world
potato average consumption is 31 kg per capita and year [1].
Hyperspectral imaging is an emerging technology originally designed for mil-
itary remote satellite inspection [2], but also used for remote sensing, astronomy
and earth observation. It is also a reliable approach to classical spectroscopy, be-
cause despite a little loss of accuracy, an object can be analysed in significantly
less time, in a non-destructive way.
The scientific community has started to show its interest in the last years in
hyperspectral imaging possibilities for food quality [3]. Regarding the research
in potato quality assessment, there are systems to predict the water content in
potatoes using classical spectroscopy techniques [4]. Some other contributions are
oriented to the detection of clods between a set of potato tubers using hyperspec-
tral imaging [5]. Finally, there are contributions [6] that investigate composition
characteristics from potato tubers like water, starch and proteins, using invasive
spectroscopy techniques, meanwhile others [7] use NIR spectroscopy to predict
specific gravity and dry matter in potatoes. Using other optical spectral methods
[8], there are contributions for the detection of common scab, dry rot, gangrene,
and other diseases, using wavelength ranges between 590 nm and 2030 nm, and
getting accuracies up to 83%. Unfortunately, these systems are either destructive
or they can not be easily included in classical machine vision developments in
order to use the same image acquisition for all the processes.
Our objective is to map the common scab affected areas in potato tubers.
This has been achieved in the past by using different technologies, as it has been
described before. However, mapping the common scab is not only a required
objective itself: we also use this mapping as a preprocessing stage into a wider
potato inspection system, which detects internal and external defects and dis-
eases. Some of these diseases require a morphological study, so hyperspectral
technology seems to be the best approach. It would be interesting to provide a
solution using the same image acquisition system, in order to unify the inspec-
tion process, so hyperspectral imaging has been also the selected technology to
solve the common scab mapping problem.
Our solution is objective, automatic and non–destructive. Nevertheless, this

choice makes difficult the comparison with other common scab detection meth-
ods. In fact, there are not hyperspectral solutions yet for detecting common scab,
due to the novelty of the technology. Moreover, previous spectral contributions
used different wavelength ranges, or performed a combined searching of other
diseases, so a partial comparison is presented.
Fig. 1. Three examples of common scab affected potatoes.

A hyperspectral non–destructive detection of common scab in potatoes 3
2 Image Acquisition System
The concept of hyperspectral imaging is to perform a spectroscopic analysis of

the light reflected or transmitted by the object of interest. We couple a spec-
trograph and a matrix camera to obtain both spectral and spatial information.
The camera is a Xenics Xeva 1.7–320 with an InGaAs 320 × 256 pixel sensor and
USB connection (http://xenics.com); the spectrograph is a Specim Imspector
N17E (http://specim.fi). Both are sensitive from 900 nm to 1700 nm. The
system has also three 50 W AC halogen lamps placed in the inspection plate.
The illumination is diffused by the reflection in a plastic dome over the plate.
The spectrograph has a linear input (one pixel height), where the x-axis
represents the same x-axis (spatial) of the object. The y-axis (spectral) is then
studied to obtain how every pixel in the row varies along the spectral range.
With one spectral image, we are inspecting only one spatial line, so we need
to perform the inspection over the whole object. This is accomplished by joining
a rotatory Mirror Scanner (http://specim.fi) to the spectrograph. It is based
on performing the mirror rotation over the object, taking care of synchronization
between mirror stepping and image acquisition (Figure 2). Finally, the obtained
images are transposed in order to obtain the hyperspectral cube (Figure 3).
Fig. 2. Left: scanning initial position at 70◦ . Right: scanning final position at 110◦ .
The arrow shows the direction of scanning. Hyperspectral system scheme: a) camera,
b) spectrograph, c) mirror scanner, d) object, e) diffuse chamber, f) halogen lamp.
To sum up, our system obtains 320 spectral images (320 × 240 pixels), that
are transposed into hyperspectral cubes formed by 256 images with 320 × 320
pixels, corresponding to 256 consecutive wavelengths from 900 nm to 1700 nm.
3 Experiment
We use a set of 234 potato tubers (variety Agria) from Xinzo de Limia (Spain),
with different degrees of common scab incidence, that have been collected from
some potato packing companies during the 2009 harvest.
Fig. 3. Up: Three spectral images taken from different lines of the object. Down:
978 nm, 1173 nm, and 1608 nm spatial images.
3.1 Segmentation
In every hyperspectral cube, we need to segment the potatoes from the back-
ground for later mapping tasks. We segment only one image from the hyper-
spectral cube (the wavelength 980 nm has been found after several performance
tests). We obtain a mask that is applied in the rest of the cube.
Segmentation runs in several steps (Figure 4), helped by the open source
library OpenCV [9]. First, we binarize the image using Otsu’s method [10] that
calculates the optimum binarization threshold using a probabilistic analysis of
the image. Then, a Gaussian blurring clusters the noise in the image. Another
binarization is needed before a connected-component labelling, performed to
remark contiguous areas in the image. At this point, we know that the blob with
the largest area (excluding the background) is the potato. We select this blob
and create the mask used to segment all the images in the hyperspectral cube.
Fig. 4. 1: Binarization using Otsu’s method. 2: Smooth operation. 3: Blob analysis. 4:

Example image after applying the full mask.
3.2 Feature extraction

In our problem, we have to distinguish two classes: common scab and healthy. To
create a dataset with both common scab affected samples and healthy samples,
experts helped us to identify which portions (ROI) were affected and which were
not. Some hyperspectral cubes provided more samples (especially those more
affected by common scab) meanwhile others provided just one healthy sample.
Note that every hyperspectral cube consists of 256 images that correspond
to the 256 bands of the hyperspectral system. For this reason, when we select a
ROI, we are not selecting just a rectangle of pixels, but that rectangle all over
the 256 images that are part of the hyperspectral cube.
When selecting the ROI, the average intensity value of the pixels in the ROI
is calculated for each band. Hence, every sample (independently of its size) is
represented with 256 attributes and an extra attribute that denotes the class
(common scab or healthy). Eventually, we have obtained 649 samples (208 cor-
responding to common scab class and 441 corresponding to healthy class).
The samples can be visualized in a chart where the x-axis represents the
wavelength range and the y-axis the grey level in the band, which is actually the
arithmetic mean of pixels in every band of the ROI. In the Figure 5 we can see
ROI selection of two samples and the corresponding luminance charts.
Fig. 5. Left: healthy and common scab affected (the brightest) ROI’s. Right: Lumi-
nance charts from two different samples. The x-axis represents the wavelength. The
y-axis represents the average grey level in the ROI, for each band.
3.3 Feature Selection

Feature selection is a common task in pattern recognition, specially if the initial
number of features is high. With less features, the learning process is faster and
the generalization capabilities of the classifier are improved. In our case feature
selection is a fundamental step to decrease the overall execution time, identifying
which wavelengths are sufficient to solve the common scab detection problem.
We have tested some techniques regarding spectral bands selection on hy-
perspectral imaging systems, implemented on Weka [11]: Genetic Search [12]
(which selects 11 bands), Scattered Search [13] (11 bands), Greedy Stepwise
[14] (5 bands), Linear Forward Selection (LFS) [15] (7 bands), and Correlation-
based Feature Subset Selection (CFS) [16], (6 bands). Note that with CFS, three
contiguous zones have been selected: 1300 nm–1303 nm, 1336 nm–1342 nm and
1503 nm. Techniques such as Principal Component Analysis (PCA) and Linear
Discriminant Analysis (LDA) are the most commonly used unmixing techniques
in spectral imaging. However, these algorithms do not reduce the number of
wavelengths needed, rather they generate a linear combination of the 256 fea-
tures into a new feature space. This is the reason why only feature selection
operations are interesting in this research.
To summarize, after this step of the experiment, we provide six datasets to
the classification procedure: genetic, scattered, greedy, LFS, CFS and full.
3.4 Classification algorithms
We present results for two classification algorithms: Random Forest (RF) and
Support Vector Machines (SVM). Other classifiers have been tested in a prelim-
inary stage (Logistic Regression, MLP and k-NN), but they performed poorly.
A Random Forest [17] is a collection of trees that classifies individually an
input sample, and then evaluates the individual responses of the trees to output
the mostly voted class. We used the OpenCV implementation of RF, tuning the
mtry parameter, which is the number of features to be used in random selection.
SVM find the optimal hyperplane over a high dimensional space where the
feature vectors have been mapped using a kernel function (Gaussian in our case).
We can tune its behaviour with the regularization parameter (also known as cost,
or C), which is not very relevant for the results [18], and the kernel spread (γ),
with high relevance on the classification accuracy. SVM has been introduced in
our system with the library LibSVM [19].
3.5 Classification evaluation procedure
For each dataset, we evaluated the classification algorithms using a method based
on randomly generating 10 permutations of the dataset, so that each permuta-
tion has the same samples, but differently ordered. Then, each permutation is
divided into three parts: training (50% of the samples), validation and param-
eter tuning (25% of the samples), and test (remaining 25%). The samples are
normalized (zero mean and standard deviation one) to avoid that attributes in
greater numeric ranges influence excessively over those with smaller variation.
For each combination of tunable parameters and for each permutation, we
train a classifier using the training sets. Then, we test its performance by using
the validation sets. We selected the parameter values which provide the best
average accuracy over the 10 permutations.
√
In the case of RF, the default value of mtry is p, being p the number of
features of the problem. We follow a parameter tuning as being suggested by [20].
√
We use different values of mtry : mtry = p0 , mtry = p, mtry = p/4 and mtry =
p/2. The rest of the parameters have been established as [20] recommends. Thus,
the number of trees has been set to 500, since it is enough, and there is no penalty
for having an excessive number of trees.
In the case of SVM, we try pairs of (C, γ) using exponentially growing se-
quences for C and γ [19]. Thus, we use C = 2n , n = −5..14 and γ = 2n , n =
−15..3, which gives 380 combinations. A finer adjustment has been discarded
after some preliminary tests.
Finally, for each permutation, we train the classifier using the training sets
tuned with the best parameters found, evaluating its accuracy on the test sets.
Note that using more permutations prevents unfair divisions of the dataset.
For example, using only one permutation, if all the easy-to-classify samples are
filled in the test set, it would cause unfairly good results. Additionally, each
dataset has also been evaluated using leave-one-out cross-validation (loocv).
3.6 Affected surface measurement
Once being able to classify, the objectives are, for each potato (actually for each
hyperspectral cube), obtaining an image that marks which zones are affected
and computing the percentage of common scab affected surface.
First, we segment the potato, removing the background from the hyperspec-
tral cube. Then, each pixel in the hyperspectral cube is classified individually
(excluding the background, that has been localized previously in the segmen-
tation step). Each hyperspectral pixel has (in our system) 256 values: however,
depending on the feature selection procedure, we will have only a few of them.
With the information of membership of each pixel to one class or another, we
create a common scab map image. To reduce noise in the final map, a closing
operation is performed followed by an opening operation with the same kernel.
Finally, we calculate the percentage of the affected surface.
The objective of our system is to inspect 20 Kg samplings. Each potato will
be inspected only by one side. Inspecting such an amount of potatoes averages
individual errors, since we provide a statistical measurement. The result will be
the average affected surface in the whole 20 Kg sampling.
4 Results and Discussion
The results of all datasets and classifiers can be seen in Table 1 including the
leave-one-out cross-validation. Support Vector Machines show to be more ef-
fective than Random Forest in all the datasets. On the other hand, the CFS
dataset seems to have the better subset of features, so that the pair SVM and
CFS dataset is the best option to solve our problem.
As commented in Section 3.3, PCA and similar methods have been analysed
but considered not adequate. However, some preliminary work has been done to
check their performance. Thus, a new dataset has been created using Weka, after
applying the PCA method to the full dataset. The loocv results show that this
dataset gets a 95.2% of accuracy with RF, and approximately a 96% of accuracy
using SVM. These results are 2 points under the feature selection algorithms
results, and even worse the full dataset.
Best params.
Classifier Dataset Accuracy % loocv Acc. % Valid. Acc. % Bands
mtry
√
full 95.4 96.1 p 95.6 256
genetic 94.3 96.2 p/2 93.6 11
scattered 93.8 96.9 p/4 95.0 11
RF
greedy 95.9 97.4 p/2 96.7 5
√
LFS 94.5 96.8 p 95.2 7
√
CFS 95.8 96.5 p 96.1 6
C γ
full 96.2 96.6 2−2 2−10 96.4 256
genetic 96.0 96.8 25 2−10 96.5 11
5 −2
scattered 95.7 96.9 2 2 96.5 11
SVM 12 −15
greedy 96.7 96.9 2 2 97.0 5
LFS 96.0 97.7 27 2−1 96.9 7
CFS 97.1 98.0 211 2−5 97.4 6
Table 1. Accuracy (in %) for each dataset and classification algorithm.
Now we are going to study further the best dataset–classifier pair. The best
combination of parameters found was to be C = 211 and γ = 2−5 . The confusion
matrix can be seen in Table 2. Note that these results were obtained using the
test sets, composed by 25% of the samples (162 in our case). This is an average
confusion matrix taking into account the ten permutations.
XX
XXClassified
XXX as Common Scab Healthy
Real XX
Common Scab 48.3 3.1
Healthy 1.6 109
Table 2. Average confusion matrix obtained with the CFS dataset using SVM.
Four samples (two of each class) are presented in their luminance chart in Fig-
ure 6. Columns in black mark zones being selected in the CFS dataset. Previous
contributions [21] show that at wavelengths greater that 1100 nm, where ab-
sorption by water dominates, the reflectance increases due to dehydration in the
affected area, as in the case of common scab. Our automatically selected wave-
lengths lie in that range. However, by the moment it is impossible to compare
our results with other common scab detection methods, since they use different
wavelength ranges, or searched for other diseases in the same experiment.
5 Conclusions
Hyperspectral imaging has shown to be an good technology applied to food
quality assessment. We have used an objective and non-destructive infrared hy-
perspectral system to identify the surface affected by common scab on potatoes.
Fig. 6. Four samples, two from each class. Columns in grey mark the zones used by
the CFS dataset. The rest of the bands were not selected. The x-axis represents the
wavelength. The y-axis represents the grey level.
Several feature selection algorithms have been tested, showing that this is a
critical step to increase the system speed, because only 6 bands achieve the best
accuracy. The selected bands with the CFS method (1300 nm, 1303 nm, 1336 nm,
1339 nm, 1342 nm and 1503 nm) provide enough information to classify common
scab and healthy surface with a 97.1% of accuracy using the SVM classifier
(tuned with C = 211 and γ = 2−5 ).
This information could be useful for the designing of a specific multispectral
image acquisition system, which would not have any mechanical device to move
the camera or the object, because images could be captured within a reduced and
specifically chosen group of wavelengths (in our case around 1301 nm, 1339 nm
and 1503 nm). Hyperspectral cube reconstruction would not be needed any more.
Hence, the time spent in an acquisition session would be considerably reduced.
The system will be used as a preprocessing step to remove the common
scab for improving other disease identification algorithms on potatoes, as hollow
heart, or the dry matter estimation amount. In future work, it would be inter-
esting to evaluate the system with other potato varieties. On the other hand,
methods like LDA should be tested in order to compare with the feature selection
methods used in this paper. Finally, the relationship between the wavelengths
selected with the best dataset and the biological components of common scab
should be researched. This could be achieved by using a different image acqui-
sition system (i.e. sensitive from 500 nm to 2000 nm), in order to compare our
results with the obtained in [8].
Acknowledgements. This work was partially supported by the Spanish re-

gional government of the “Xunta de Galicia” (projects PGIDIT08TIC004CT
and PGIDIT08MMA010402PR). We want to acknowledge the “Laboratorio Ofi-
cial de Metroloxı́a de Galicia (LOMG)” and the “Centro Tecnolóxico da Carne
(CTC)” for their helpful collaboration.
References
1. Potato World - International Year of the Potato 2008. http://www.potato2008.
org/en/world/index.html (2008). Accessed 01 January 2011.
2. Goetz, A., Vane, G., Solomon, J.E., Rock, B.N.: Imaging spectrometry for earth
remote sensing. Sci. 228 (4704), 1147-1153 (1985)
3. Sun, D.: Hyperspectral Imaging for Food Quality Analysis and Control. Academic
Press Elsevier, San Diego, California, USA (2009)
4. Singh, B.: Visible and near-infrared spectroscopic analysis of potatoes. M.Sc. Thesis,
McGill University, Montreal, PQ, Canada (2005)
5. Al-Mallahi, A., Kataoka, T., Okamoto, H., Shibata, Y.: Detection of potato tubers
using an ultraviolet imaging-based machine vision system. Biosyst. Eng. 105, 257-265
(2009)
6. Buning-Pfaue, H.: Analysis of water in food by near-infrared spectroscopy. Food
Chem. 82, 107-115 (2003)
7. Kang, S., Lee, K., Son, J.: On-line internal quality evaluation system for the process-
ing potatoes. Food Process. Autom. Conf. Proc., Providence, Rhode Island (2008)
8. Porteous, R.L., Muir, A.Y., Wastie, R.L.: The Identification of Diseases and Defects
in Potato Tubers from Measurements of Optical Spectral Reflectance. J. Agric. Eng.
Res. 26, 151-160 (1981)
9. Bradski, G., Kaehler, A.: Learning OpenCV: Computer Vision with the OpenCV
Library. O’Reilly Media (2008)
10. Otsu, N.: A threshold selection method for gray level histograms. IEEE Trans.
Syst. Man Cybern. 9, 62-6 (1979)
11. Hall, M., Frank, E., Holmes, G., Pfahringer, B., Reutemann, P., Witten, I.H.: The
WEKA Data Mining Software: An Update. SIGKDD Explorations 11 (1) (2009)
12. Goldberg, D.: Genetic Algorithms in Search, Optimization and Machine Learning.
Reading, Ma: Addison-Wesley (1989)
13. Garcı́a-López, F., Garcı́a-Torres, M., Melián-Batista, B., Moreno-Pérez, J.A.,
Moreno-Vega, J.M.: Solving feature subset selection problem by a Parallel Scatter
Search. Eur. J. Oper. Res. 169 (2), 477-489 (2008)
14. Weihs, C.: Multivariate exploratory data analysis and graphics, a tutorial. J.
Chemom. 7, 305-340 (1993)
15. Guetlein, M., Frank, E., Hall, M. Karwath, A.: Large Scale Attribute Selection
Using Wrappers. Proc IEEE Symposium on Computational Intelligence and Data
Mining, 332-339 (2009)
16. Hall, M.: Correlation-based Feature Subset Selection for Machine Learning. Hamil-
ton, New Zealand (1998)
17. Breiman, L.: Using Iterated Bagging to Debias Regressions. Mach. Learn. 45, 261-
277 (2001)
18. Valentini, G., Dietterich, T.G.: Bias-variance analysis of support vector machines
for the development of SVM-based ensemble methods. J. Mach. Learn. Res. 5, 725-
775 (2004)
19. Chang, C.C., Lin, C.J.: LIBSVM:a library for support vector machines.
http://www.csie.ntu.edu.tw/ cjlin/libsvm/ (2008)
20. Svetnik, V., Liaw, A., Tong, C., Culberson, J.C., Sheridan, R.P. Feuston, B.P.:
Random Forest: A Classification and Regression Tool for Compound Classification
and QSAR Modeling. J. Chem. Inf. Comput. Sci. 43, 1947-1958 (2003)
21. Gunasekaran, S., Paulsen, M.R., Shove, G.C.: Optical methods for nondestructive
quality evaluation of agricultural and biological materials. J. Agr. Eng. Res. 32,
209-241 (1985)
Tabla Resumen
Tı́tulo Common scab detection on potatoes using an infra-
red hyperspectral imaging system.
Datos Iciap 2011. Lecture Notes in Computer Science
(Springer).
Calidad 0.033 Sjr (Q3 x 2, Q4), Core B
Motivación Es una enfermedad requerida en los objetivos del pro-
yecto Visiocal. Además, se utiliza como método pa-
ra intentar mejorar la detección del corazón hueco.
Resultados Se consigue un 97.1 % de acierto utilizando el clasi-
ficador Svm con los parámetros C = 211 y γ = 2−5 ,
utilizando solamente las bandas en 1300 nm, 1303
nm, 1336 nm, 1339 nm, 1342 nm y 1503 nm, selec-
cionadas por el algoritmo CFS sobre el conjunto de
datos inicial.
Conclusiones Mejor algoritmo de selección de caracterı́sticas: Cfs.
Mejor algoritmo de clasificación: Svm.
Trabajo futuro Probar nuevas variedades. Probar métodos Pca y
Lda.
Repercusión en la prensa
El periódico ourensano La Región recogió en su edición del 20 de Febrero de
2009 los inicios del proyecto Visiocal (Figura 8.1).
Figura 8.1: Artı́culo del periódico La Región del 20 de Febrero de 2009.

Bibliografı́a
[Al-Mallahi et al., 2008] Al-Mallahi, A., Kataoka, T., Okamoto, H.: Discrimi-
nation between potato tubers and clods by detecting the significant wave-
bands. Biosystems Engineering 100, 329-337 (2008)
[Al-Mallahi et al., 2009] Al-Mallahi, A., Kataoka, T., Okamoto, H., Shibata,
Y.: Detection of potato tubers using an ultraviolet imaging-based machine
vision system. Biosystems Engineering 105, 257-265 (2009)
[Ariana & Lu, 2008] Ariana, D., Lu, R.: Quality evaluation of pickling cucum-
bers using hyperspectral reflectance and transmittance imaging. Sens. Ins-
trumen. Food Qual. 2, 144-160 (2008)
[Ariana & Lu, 2010] Ariana, D., Lu, R.: Evaluation of internal defect and sur-
face color of whole pickles using hyperspectral imaging. Journal of Food
Engineering 96, 583-590 (2010)
[Blasco et al., 2009] Blasco, J., Aleixos, N., Gomez–Sanchis, J., Molto, E.: Re-
cognition and classification of external skin damage in citrus fruits using
multispectral data and morphological features. Biosystems Engineering,
103, 137-145 (2009)
[Barnes et al., 2010] Barnes, M., Duckett, T., Cielniak, G., Stroud, G., Harper,
G.: Visual Detection of Blemishes in Potatoes using Minimalist Boosted
Classifiers. J. Food Eng. 98, 339-346 (2010)
[Bradski & Kaehler, 2008] Bradski, G. Kaehler, A.: Learning OpenCV: Compu-
ter Vision with the OpenCV Library. O’Reilly Media (2008)
[Breiman, 2001] Breiman, L.: Using Iterated Bagging to Debias Regressions.

Mach. Learn. 45, 261-277 (2001)
153
154 BIBLIOGRAFÍA
[Brosnan & Sun, 2004] Brosnan, T., Sun, D.W.: Improving Quality Inspection
of Food Products by Computer Vision, A Review. Journal of Food Engi-
neering 61, 3-16 (2004).
[Buning-Pfaue, 2003] Buning-Pfaue, H.: Analysis of water in food by near-

infrared spectroscopy. Food Chemistry, 82, 107-115 (2003)
[Carrión, 2004] Carrión, P.: Algoritmos de clasificación de texturas para la de-

terminación del origen floral del polen apı́cola. Tesis Doctoral, Universidade
de Vigo, Ourense, España (2004)
[Chang & Lin, 2008] Chang, C.C., Lin, C.J.: LIBSVM: a library for support
vector machines. http://www.csie.ntu.edu.tw/ cjlin/libsvm/ (2008)
[Chao et al., 2009] Chao, K., McNaughton, J.L., Won, J., Kim, M.S., Lefcourt,
A.M., Roberts, M.S.: Detection of microbial biofilms on food processing
surfaces: hyperspectral fluorescence imaging study. Proceedings of the SPIE
- The International Society for Optical Engineering, 7315 (2009)
[Chtioui et al., 1998] Chtioui, Y., Bertrand, D., Barba, D.: Feature selection by
a genetic algorithm. Application to seed discrimination by artifical vision.
J Sci Food Agric 76, 77-86 (1998)
[Cortes & Vapnik, 1995] Cortes, C., Vapnik, V.: Support-Vector Networks.
Mach. Learn. 20(3), 273-297 (1995)
[Crowley & Christensen, 1995] Crowley, J.L., Christensen, H.I.: Vision as Pro-
cess. Springer (1995)
[Curcio & Petty, 1951] Curcio, J.A., Petty, C.C.: The near infrared absorption
spectrum of liquid water. J. Opt. Soc. Am. 41, 302-302 (1951)
[Dacal-Nieto et al., 2009a] Dacal-Nieto, A., Vazquez-Fernandez, E., Forme-

lla, A., Martı́n, F., Torres-Guijarro, S., González-Jorge, H.: A genetic algo-
rithm approach for feature selection in potatoes classification by computer
vision. Industrial Electronics, 2009. IECON’09. 35th Annual Conference of
IEEE, 1955-1960, ISBN 978-1-4244-4648-3 (2009)
[Dacal-Nieto et al., 2009b] Dos laboratorios aplican la visión artificial a

la agroalimentación http://www.laregion.es/noticia/82472/Ourense/
laboratorio/metrolog%C3%ADa/, La Región (2009)
BIBLIOGRAFÍA 155
[Dacal-Nieto et al., 2011a] Dacal-Nieto, A., Formella, A., Carrión, P.,

Vazquez-Fernandez, E., Fernández-Delgado, M.: Rapid infrared multi-
spectral systems desing using a hyperspectral benchmarking framework.
To appear in: Industrial Electronics, 2011. Annual Conferences of IEEE
(2011)
[Dacal-Nieto et al., 2011b] Dacal-Nieto, A., Formella, A., Carrión, P.,

Vazquez-Fernandez, E., Fernández-Delgado, M.: Non-destructive detection
of hollow heart in potatoes using hyperspectral imaging. To appear in: Lec-
ture Notes in Computer Science (2011)
[Dacal-Nieto et al., 2011c] Dacal-Nieto, A., Formella, A., Carrión, P.,

Vazquez-Fernandez, E., Fernández-Delgado, M.: Common scab detection
on potatoes using an infrared hyperspectral imaging system. To appear in:
Lecture Notes in Computer Science (2011)
[Du & Sun, 2004] Du, C., Sun, D.: Recent developments in the applications
of image processing techniques for food quality evaluation. Food Science
Technology, 15, 230-249 (2004)
[Du & Sun., 2006] Du, C., Sun, D.: Learning techniques used in computer vision
for food quality evaluation: a review. Journal of Food Engineering, 72, 39-
55 (2006)
[Duda et al., 2000] Duda, R.O., Hart, P.E. Stork, D.G.: Pattern Classification.
Wiley. USA (2000)
[Elbatawi, 2008] Elbatawi, I.E.: An acoustic impact method to detect hollow

heart of potato tubers. Biosystems Engineering, 100, 206-213 (2008)
[El-Manzalawy & Honavar, 2005] EL-Manzalawy, Y., Honavar, V.: WLSVM

: Integrating LibSVM into Weka Environment. Software available at
http://www.cs.iastate.edu/ yasser/wlsvm (2005)
[ElMasry et al., 2007] ElMasry, G., Wang, N., ElSayed, A., Ngadi, N.: Hypers-
pectral imaging for non–destructive determination of some quality attribu-
tes for strawberry. Journal of Food Engineering, 81, 98-107 (2007)
[Finney & Norris, 1978] Finney, E.E., Norris, K.H.: X-Ray scans for detecting
hollow heart in potatoes. American Journal of Potato Research, 55, No 2
(1978)
156 BIBLIOGRAFÍA
[Garcı́a-Allende et al., 2008a] Garcı́a-Allende, P. B., Conde, O. M., Mirapeix,

J., Cobo, A., López-Higuera, J.M.: Quality Control of Industrial Processes
by Combining a Hyperspectral Sensor and Fishers’s Linear Discriminant
Analysis. Sensors and Actuators B Chemical, 129, Nº 2, pp. 977-984 (2008)
[Garcı́a-Allende et al., 2008b] Garcı́a-Allende, P. B., Anabitarte, F., Conde, O.
M., Mirapeix, J., Madruga, F. J., López-Higuera, J.M.: Support Vector Ma-
chines in Hyperspectral imaging spectroscopy with application to material
identification. Defense and Security 2008, pp. 69661V-1 / 69661V-11 (2008)
[Garcı́a-Allende et al., 2010a] Garcı́a-Allende, P. B., Conde, O. M., Mira-
peix, J., Cobo, A., López-Higuera, J.M.: Hyperspectral imaging sustains
production-process competitiveness. SPIE Newsroom 2, pp. 1-4 (2010)
[Garcı́a-Allende et al., 2010b] Garcı́a-Allende, P. B., Conde, O. M., Mirapeix,
J., Cobo, A., López-Higuera, J.M.: Hyperspectral imaging for diagnosis and
quality control in agro-food and industrial sectors. SPIE Photonics Europe
(2010)
[Garcı́a-López et al., 2006] Garcı́a-López, F., Garcı́a-Torres, M., Melián-
Batista, B., Moreno-Pérez, J.A., Moreno-Vega, J.M.: Solving feature subset
selection problem by a Parallel Scatter Search. Eur. J. Oper. Res. 169 (2),
477-489 (2008)
[Goetz et al., 1985] Goetz, A., Vane, G., Solomon, J.E., Rock, B.N.: Imaging
spectrometry for earth remote sensing. Science, 228(4704), 1147-1153
(1985)
[Goldberg., 1989] D. Goldberg: Genetic Algorithms in Search, Optimization and

Machine Learning. Reading, Ma: Addison-Wesley (1989)
[Gómez-Sanchı́s et al., 2007] Gomez-Sanchis, J., Blasco, J., Molto, E., Camps-
Valls, G.: Hyperspectral detection of citrus damage with Mahalanobis ker-
nel classifier. Electronic Letters, 43(20), 1082-1084 (2007)
[Gómez-Sanchı́s et al., 2008] Gomez-Sanchis, J., Gomez-Chova, L., Aleixos, N.,

Camps-Valls, G., Montesinos-Herrero, C., Molto, E., Blasco, J.: Hyperspec-
tral system for early detection of rottenness caused by Penicillium digita-
tum in mandarins. Journal of Food Engineering, 89, 80-86 (2008)
[Goldberg, 1989] Goldberg, D.: Genetic Algorithms in Search, Optimization and

Machine Learning. Addison-Wesley (1989)
BIBLIOGRAFÍA 157
[Gong & Yang, 2004] Gong, M., Yang, Y.: Quadtree-based genetic algorithm
and its applications to computer vision. Pattern Recognition 37, 1723-1733
(2004)
[González et al., 2011] González, E., Carrión, P., Formella, A., Fernández-
Delgado, M., Cernadas, E.: Statistical and wavelet based texture features
for fish oocyte classification. Lecture Notes in Computer Science (2011)
[González & Woods, 2008] González, R.C., Woods, R.E.: Digital Image Proces-
sing. Prentice Hall (2008).
[Gowen et al., 2007] Gowen, A.A., O’Donnell, C.P., Cullen, P.J., Downey, G.,
Frias, J.M.: Hyperspectral imaging - an emerging process analytical tool
for food quality and safety control. Food Science Technology, 18, 590-598
(2007)
[Gowen et al., 2008] Gowen, A.A., O’Donnell, C.P., Taghizadeh, M., Gaston,
E., O’Gorman, A., Cullen, P.J., Frias, J.M., Esquerre, C., Downey, G.:
Hyperspectral imaging for the investigation of quality deterioration in sli-
ced mushrooms (Agaricus bisporus) during storage. Sens. Instrumen. Food
Qual., 2, 133-143 (2008)
[Goyache et al., 2001] F. Goyache, A. Bahamonde, J. Alonso, S. Lopez, J.J. Del

Coz, J.R. Quevedo, J. Ranilla, O. Luaces, I. Alvarez, L.J. Royo, J. Diez: The
usefulness of artificial intelligence techniques to assess subjective quality of
products in the food industry. Food Science and Technology 12, 370-381
(2001)
[Graves & Batchelor, 2004] Graves, M., Batchelor, B.: Machine Vision for the
Inspection of Natural Products. Springer (2004)
[Guetlein et al., 2009] Guetlein, M., Frank, E., Hall, M. Karwath, A.: Large Sca-
le Attribute Selection Using Wrappers. Proc IEEE Symposium on Compu-
tational Intelligence and Data Mining, 332-339 (2009)
[Guyer & Yang., 2000] Guyer, D., Yang, X.: Use of genetic artificial neural net-
works and spectral imaging for defect detection on cherries. Computers and
Electronics in Agriculture, 29, 179-194 (2000)
[Gunasekaran et al., 1985] Gunasekaran, S., Paulsen, M.R., Shove, G.C.: Opti-
cal methods for nondestructive quality evaluation of agricultural and bio-
logical materials. J. Agr. Eng. Res. 32, 209-241 (1985)
158 BIBLIOGRAFÍA
[Haase, 2006] Haase, N.U.: Rapid estimation of potato tuber quality by near-
infrared spectroscopy. Starch, 58, 268-273 (2006)
[Hall, 1998] Hall, M.: Correlation-based Feature Subset Selection for Machine
Learning. Hamilton, New Zealand (1998)
[Hall et al., 2009] Hall, M., Frank, E., Holmes, G., Pfahringer, B., Reutemann,
P., Witten, I.H.: The WEKA Data Mining Software: An Update. SIGKDD
Explorations, 11(1) (2009)
[Holland., 1992] J.H. Holland: Adaptation in Natural and Artificial Systems.

University of Michigan Press (1992).
[Hughes, 1968] Hughes, G.F: On the mean accuracy of statistical pattern recog-
nizers. IEEE Trans. Inform. Theory IT-14, 55-63 (1968)
[Jain et al., 2000] Jain, A. K., Duin, R. P. W., Mao,J.: Statistical Pattern Re-
cognition: A Review. IEEE Transactions on Pattern Analysis and Machine
Intelligence 22 (2000)
[Jarchi & Boostani, 2006] Jarchi, D., Boostani, R.: A New Weighted LDA Met-
hod in Comparison to Some Versions of LDA. World Academy of Science,
Engineering and Technology 24, 28-33 (2006)
[Jivanuwong, 1998] Jivanuwong, S.: Nondestructive detection of hollow heart in

potatoes using ultrasonics. M.S. Thesis, Virginia Polytechnic Institute and
State University, Blacksburg, VA, U.S.A. (1998)
[Jun et al., 2009] Jun, W., Kim, M.S., Lee, K., Milner, P., Chao, K.: Assessment
of bacterial biofilm on stainless steel by hyperspectral fluorescence imaging.
Sens. Instrumen. Food Qual., 3, 41-48 (2009)
[Kang et al., 2004] Kang, S., Lee, K., Choi, W., Son, J., Choi, D., Kim, G.: A
Near-Infrared Sensing Technique for Measuring the Quality of Potatoes.
ASAE Annual Meeting, (Paper number 033137) (2004)
[Kang et al., 2008] Kang, S., Lee, K., Son, J.: On-line internal quality evaluation
system for the processing potatoes. Food Processing Automation Conferen-
ce Proceedings, Providence, Rhode Island (2008)
[LeCessie & Houwelingen, 1992] Le Cessie, S., Van Houwelingen, J.C.: Ridge
Estimators in Logistic Regression. Applied Statistics, 41, 191-201 (1992)
BIBLIOGRAFÍA 159
[Lefebvre et al., 1993] Lefebvre, M., Gil, S., Brunet, D., Natonek, E., Baur, C.,
Gugerli, P., Pun, T.: Computer vision and agricultural robotics for disease
control: The Potato Operation. Comput. Electron. Agric. 9, 85-102 (1993)
[Lin et al., 2003] Lin, C. J., Hsu, C. W., Chang, C. C.: A practical guide to sup-
port vector classification, http://www.csie.ntu.edu.tw/cjlin/papers/
guide/guide.pdf (2004)
[Liu et al., 2007] Liu, Y., Chen, Y., Kim, M.S., Chan, D.E., Lefcourt, A.M.:
Development of simple algorithms for the detection of fecal contaminants on
apples from visible/near infrared hyperspectral reflectance imaging. Journal
of Food Engineering, 81, 412-418 (2007)
[Martı́n, 2003] Martı́n, F.: Analysis Tools for Gray Level Histograms. Procee-
dings of SPPRA (2003)
[Martı́n et al., 2008a] Martı́n, F., Vazquez-Fernandez, E., Formella, A.,
González-Jorge, H., Dacal-Nieto, A.: Automatic reading of digital ins-
trumentation. Industrial Electronics, 2008. ISIE’08, 913-918, ISBN 978-1-
4244-1665-3 (2008)
[Martı́n et al., 2008b] Martı́n, F., Vazquez-Fernandez, E., Formella, A.,
González-Jorge, H., Dacal-Nieto, A.: Sistema de calibrado de instrumen-
tación mediante visión artificial. Proceedings of the XXIII Simposium Na-
cional de la Unión Cientı́fica Internacional de Radio (URSI 2008), ISBN
978-84-612-6291-5 (2008)
[Martı́n et al., 2009a] Martı́n, F., Saavedra, D., Vazquez-Fernandez, Dacal-
Nieto, A., González-Jorge, H.: Localización de caracteres en imágenes
de instrumentación digital. Proceedings of the XXIV Simposium Nacional
de la Unión Cientı́fica Internacional de Radio (URSI 2009), ISBN 978-84-
8102-550-7 (2009)
[Martı́n et al., 2009b] Martı́n, F., Vazquez-Fernandez, E., Formella, A.,
Alvarez-Valado, V., González-Jorge, H., Dacal-Nieto, A.: SCIMVA: Sis-
tema de calibración de instrumentación mediante visión artificial. Procee-
dings of the IX Reunión Nacional de Óptica (RNO 2009), ISBN 978-84-
692-5024-2 (2009)
[Martı́n et al., 2011] Martı́n, F., Vazquez-Fernandez, E., Dacal-Nieto, A.,
Formella, A., Alvarez-Valado, V., González-Jorge, H.: Digital instrumenta-
tion calibration using computer vision. Lecture Notes in Computer Science
6112, 335-344, ISBN 978-3-642-13774-7 (2010)
160 BIBLIOGRAFÍA
[Martinez et al., 2005a] Martı́nez-Usó, A., Pla, F., Garcı́a-Sevilla, P.: Multis-
pectral Image Segmentation by Energy Minimization for Fruit Quality Es-
timation. Lecture Notes in Computer Science 3523, 689-696, ISBN 978-3-
540-26154-0 (2005)
[Martinez et al., 2005b] Martı́nez-Usó, A., Pla, F., Garcı́a-Sevilla, P.: Multis-
pectral Image Segmentation for Fruit Quality Estimation. Artificial Inte-
lligence Research and Development, Frontiers in Artificial Intelligence and
Applications 131, 51-58, ISBN 978-1586035606 (2005)
[Muir et al., 1999] Muir, A.Y., Ross, D.W., Dewar, C.J., Kennedy, D.: Defect
and disease detection in potato tubers. Scott. Agric. Coll. Crop Sci. Res.
Rep., 5-9 (1999)
[Naganathan et al., 2008] Naganathan, G.K., Grimes, L.M., Subbiah, J., Cal-
kins, C.R., Samal, A., Meyer, G.E.: Visible/near-infrared hyperspectral
imaging for beef tenderness prediction. {Computers and Electronics in Agri-
culture, 64, 225-233 (2008)
[Noordam et al., 2000] Noordam, J.C., Otten, G.W., Timmermans, A.J.M., van
Zwol, B.H.: High speed potato grading and quality inspection based on a
color vision system (2000)
[Nylund & Lutz, 1950] Nylund, R.E., Lutz, J.M.: Separation of hollow heart
potato tubers by means of size grading, specific gravity, and X-Ray exami-
nation. American Journal of Potato Research, 27, No 6 (1950)
[Otsu, 1979] Otsu, N.: A threshold selection method for gray level histograms.
IEEE Trans. Syst. Man Cybern., 9, 62-6 (1979)
[Pajares & De la Cruz, 2001] Pajares, G., De la Cruz, J.M.: Visión por compu-
tador. Ra-Ma (2001)
[Park et al., 2006] Park, B., Lawrence, K.C., Windham, W.R., Smith, D.P.: Per-
formance of hyperspectral imaging system for poultry surface fecal conta-
minant detection. Journal of Food Engineering, 75, 340-348 (2006)
[Park et al., 2007] Park, B., Kise, M., Lawrence, K.C., Windham, W.R., Smith,
D.P., Thai, C.N.: Real-time multispectral imaging system for online poultry
fecal inspection using unified modeling language. Sens. Instrumen. Food
Qual., 1, 45-54 (2007)
BIBLIOGRAFÍA 161
[Park et al., 2008] Park, B., Kise, M., Windham, W.R., Lawrence, K.C., Yoon,
S.C.: Textural analysis of hyperspectral images for improving contaminant
detection accuracy. Sens. Instrumen. Food Qual., 2, 208-214 (2008)
[Picón, 2008] Picón-Ruiz, A.: Classification of materials through the integration

of spectral and spatial features from hyperspectral data. Tesis Doctoral,
Universidad del Paı́s Vasco, España (2008)
[Porteous et al., 1981] Porteous, R.L., Muir, A.Y., Wastie, R.L.: The Identifi-
cation of Diseases and Defects in Potato Tubers from Measurements of
Optical Spectral Reflectance. J. Agric. Engng Res. 26, 151-160 (1981)
[Potato World, 2008] Potato World - World-wide potato production statistics

http://www.potato2008.org/en/world/index.html Website for the In-
ternational Year of the Potato 2008.
[Qiao et al., 2007a] Qiao, J., Ngadi, M.O., Wang, N., Gariepy, C., Prasher, S.O.:
Pork quality and marbling level assesment using a hyperspectral imaging
system. Journal of Food Engineering, 83, 10-16 (2007)
[Qiao et al., 2007b] Qiao, J., Wang, N., Ngadi, M., Gunenc, A., Monroy, M.,
Gariepy, C., Prasher S.O.: Predicition of drip-loss, pH, and color for pork
using a hyperspectral imaging technique. Meat Science, 76, 1-8 (2007)
[Rex & Mazza, 1989] Rex, B.L., Mazza, G.: Cause, control and detection of
hollow heart in potatoes: A review. American Journal of Potato Research,
66, No 3 (1989)
[Russ, 2007] Russ, J.C.: The Image Processing Handbook, Fifth Edition. CRC-
Press (2007)
[Schott, 2011a] Schott DCR III Plus DDL Light Source http://www.schott.
com/lightingimaging/english/download/04.21.09_dcr_iii_plus_
row_.qxd.pdf
[Schott, 2011b] Schott Single Randomized Bundle http://www.schott.com/

lightingimaging/english/download/04.23.09_random_calibrated_
row.qxd.pdf
[Shapiro & Stockman, 2001] Shapiro, L.G., Stockman, G.C.: Computer Vision.
Prentice Hall. (2001)
162 BIBLIOGRAFÍA
[Singh, 2005] Singh, B.: Visible and near-infrared spectroscopic analysis of po-
tatoes. M.Sc. Thesis, McGill University, Montreal, PQ, Canada (2005)
[Specim, 2011a] Specim Spectral Imaging Ltd. Imspector N17E
http://www.specim.fi/media/pdf/imspector-datasheets/
nir-swir-imspectors-ver1-2007.pdf
[Specim, 2011b] Specim Spectral Imaging Ltd. Mirror Scanner
http://www.specim.fi/products/hyperspectral-cores/scanners.html
[Sun, 2006] Sun, D.: Computer Vision Technology for Food Quality Evaluation.
Academic Press Elsevier, San Diego, California, USA (2008)
[Sun, 2009] Sun, D.: Hyperspectral Imaging for Food Quality Analysis and Con-
trol. Academic Press Elsevier, San Diego, California, USA (2009)
[Svetnik et al., 2003] Svetnik, V., Liaw, A., Tong, C., Culberson, J.C., Sheridan,
R.P. Feuston, B.P.: Random Forest: A Classification and Regression Tool
for Compound Classification and QSAR Modeling. J. Chem. Inf. Comput.
Sci. 43, 1947-1958 (2003)
[Valentini & Dietterich, 2004] Valentini, G., Dietterich, T.G.: Bias-variance
analysis of support vector machines for the development of SVM-based
ensemble methods. J. Mach. Learn. Res. 5, 725-775 (2004)
[Vapnik, 1995] Vapnik, V.: The nature of statistical learning theory. Springer-
Verlag (1995)
[Vazquez-Fernandez et al., 2008] Vazquez-Fernandez, E., González-Jorge, H.,
Dacal-Nieto, A., Martı́n, F., Formella, A.: Human feature perception
as a complementary method for digit recognition. Proceedings of the IAS-
TED 8th International Conference on Visualization, Imaging and Image
Processing (VIIP 2008), ISBN 978-0-88986-759-8 (2008)
[Vazquez-Fernandez et al., 2009a] Vazquez-Fernandez, E., Dacal-Nieto, A.,
González-Jorge, H., Martı́n, F., Formella, A., Alvarez-Valado, V.: A ma-
chine vision system for the calibration of digital thermometers. Measure-
ment Science and Technology 20, 065106, 7pp, ISSN 0957-0233-20-6-065106
(2009)
[Vazquez-Fernandez et al., 2009b] Vazquez-Fernandez, E., Dacal-Nieto, A.,
Martı́n, F., Formella, A., Torres-Guijarro, S., González-Jorge, H.: A com-
puter vision system for visual grape grading in wine cellars. Lecture Notes
BIBLIOGRAFÍA 163
in Computer Science (LNCS) 5815, pp. 335-344, ISBN 978-3-642-04666-7

(2009)
[Vazquez-Fernandez et al., 2009c] Vazquez-Fernandez, E., Dacal-Nieto, A.,

Torres-Guijarro, S., González-Jorge, H., Martı́n, F., Formella, A., Alvarez-
Valado, V.: Sistema de visión artificial para calibración de instrumentación
con display digital. Proceedings of the 4º Congreso Español de Metrologı́a
(2009)
[Vazquez-Fernandez et al., 2010a] Vazquez-Fernandez, E., Dacal-Nieto, A.,

Martı́n, F., Torres-Guijarro, S.: Entropy of Gabor Filtering for Image Qua-
lity Assessment. Lecture Notes in Computer Science (LNCS) 6111, pp.
52-61, ISBN 978-3-642-13771-6 (2010)
[Vazquez-Fernandez et al., 2010b] Vazquez-Fernandez, E., Dacal-Nieto, A.,

Martı́n, F., Formella, A., Torres-Guijarro, S., González-Jorge, H.: Control
de calidad en uva mediante visión artificial. Proceedings of the XXV Sim-
posium Nacional de la Unión Cientı́fica Internacional de Radio (URSI 2010)
(2009)
[Wang & Xiao, 2005] Hui-Yuan, W., Xiao-Juan, W.: Weighted PCA space and
its application in face recognition. Proc. Int. Conf. Mach. Learn. Cybern.
(Guangzhou, China) 7, 4522-4527 (2005)
[Weihs, 1993] Weihs, C.: Multivariate exploratory data analysis and graphics,
a tutorial. J. Chemom. 7, 305-340 (1993)
[Weiss & Kulikowski, 1991] Weiss, S.M., Kulikowski, C.A.: Computer Systems
That Learn. Morgan Kaufmann (1991)
[Weka, 2011] Weka - Data mining software http://www.cs.waikato.ac.nz/

ml/weka
[Xenics, 2011] Xenics Xeva 1.7-320 http://www.xenics.com/en/infrared_

camera/visnir-nir_camera_-visual_near_and_near_infrared_
cameras_-_ingaas/xeva_near_ir_night_vision_camera_-_ingaas_
fpa.asp
[Xing et al., 2007] Xing, J., Ngadi, M., Gunenc, A., Prasher, S.O., Gariepy, C.:
Use of visible spectroscopy for quality classification of intact pork meat.
Journal of Food Engineering, 82, 135-141 (2007)
164 BIBLIOGRAFÍA
[Xing et al., 2008] Xing, J., Guyer, D., Ariana, D., Lu, R.: Determining optimal
wavebands using genetic algorithm for detection of internal insect infesta-
tion in tart cherry. Sens. Instrumen. Food Qual., 2, 161-167 (2008)
[Xu et al., 2008] Wu, X., Kumar, V., Quinlan, J.R., Ghosh, J., Yang, Q., Moto-
da, H., McLachlan, G.J., Ng, A.F.M., Liu, B., Yu, P.S., Zhou, Z.H., Stein-
bach, M., Hand, D.J., Steinberg, D.: Top 10 Algorithms in Data Mining,
Knowledge and Information Systems 14, no. 1, pp. 1-37, (2008)
[Yang et al., 2009] Yang, C., Chao, K., Kim, M.S.: Machine vision system for
online inspection of freshly slaughtered chickens. Sens. Instrumen. Food
Qual., 3, 70-80 (2009)
[Yoon et al., 2009] Yoon, S.C., Lawrence, K.C., Siragusa, G.R., Line, J.E., Park,
B., Feldne, P.W.: Hyperspectral reflectance imaging for detecting a food-
borne pathogen: Campylobacter. Transactions of ASABE, 52(2), 651-662
(2009)
[Zheng et al., 2006] Zheng, C., Sun, D., Zheng, L.: Recent developments and
applications of image features for food quality evaluation and inspection -
a review. Food Science Technology, 17, 642-655 (2006)
[Zhou et al., 1998] Zhou, L., Chalana, V., Kim, Y.: PC-Based Machine Vision
System for Real-Time Computer-Aided Potato Inspection. International
Journal of Imaging Systems and Technology, 9, 423-433 (1998)

Procesamiento de Imagen y Visión Hiperespectral

Caricato da

Informazioni sul documento

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Procesamiento de Imagen y Visión Hiperespectral

Caricato da

Copyright:

Formati disponibili

Departamento de Informática

Ourense, Julio de 2011

Dr. Arno Formella Dra. Pilar Isabel Carrión Pardo

Que la memoria titulada Procesamiento de imagen y visión hiperes-

Dr. Arno Formella Dra. Pilar Isabel Carrión Pardo

Esta tesis es el producto de casi cuatro años de trabajo, desde Septiembre

mi tesis: Encarnación González, el Dr. Manuel Fernández Delgado, el Dr. Daniel

El Laboratorio Oficial de Metroloxı́a de Galicia (Lomg), perteneciente a

Xeral de I+D+i de la Consellerı́a de Economı́a e Industria), y Vitical

La automatización sigue siendo un área de trabajo esencial en algunas indus-

detección de caracterı́sticas externas e internas de la patata, y la puesta a punto

Automation remains an important challenge in many industries and, as a

specific hyperspectral analysis, and the performance of several feature selection

3. Análisis de textura en el espectro visible 23

4. Sistema de adquisición hiperespectral 49

6. Detección de corazón hueco 85

8. Publicaciones relacionadas 115

1.1. Ejemplos de defectos en patatas. Arriba izquierda: verdeo. Arri-

3.1. Diagrama de bloques del experimento de análisis de patatas en

3.11. Etapas de la detección de áreas en el experimento de análisis de

4.1. Explicación del funcionamiento del espectrógrafo en el sistema de

4.8. Componentes del sistema de adquisición hiperespectral: Specim

5.1. Cuatro ejemplos de patatas afectadas por sarna común. . . . . . 67

5.8. Gráficas de cuatro muestras (dos de cada clase) para mostrar

6.1. Patatas afectadas por corazón hueco. . . . . . . . . . . . . . . . 86

6.8. Bandas seleccionadas tras el experimento de detección de corazón

8.1. Artı́culo del periódico La Región del 20 de Febrero de 2009. . . . 152

1.1. Principales hitos de la tesis. . . . . . . . . . . . . . . . . . . . . . 16

3.1. Matriz de confusión con 60 caracterı́sticas del experimento de

5.1. Porcentajes de acierto en función del conjunto de datos y el cla-

6.1. Porcentaje de acierto de las opciones correspondientes al método

6.4. Porcentaje de acierto de las opciones correspondientes al método

En este capı́tulo se contextualiza el trabajo de tesis, hablando de los motivos

es uno de los productos más consumidos en el mundo. En 2007 era el cuarto

1.1.1. El proyecto de I+D: VISIOCAL

1.1.2. Objetivos de VISIOCAL

de envasado de patata (Ceteca).

1.1.3. Equipos de proyecto

1.1.4. Primera fase del proyecto (2008-2009)

el Lomg en relación a una partida presupuestaria independiente de Visiocal.

1.1.5. Colaboración LOMG-LIA (2010)

supervisión (el doctorando ya se encontraba en el Lia durante esta campaña),

1.2. Objetivos y contexto

La visión hiperespectral agroalimentaria es una tecnologı́a emergente, y es

En los trabajos desarrollados hasta el momento en visión hiperespectral

En lo que a visión hiperespectral agroalimentaria infrarroja aplicada a pa-

En el rango visible, ya se han realizado contribuciones en los últimos años.

1.2.2. Objetivos principales

Diseño y análisis de técnicas de procesamiento de imagen y visión hiperes-

control de calidad en la industria de la patata que hasta el momento se han

Entre los problemas de automatización, se afrontarán la clasificación en

Figura 1.1: Ejemplos de defectos en patatas. Arriba izquierda: verdeo. Arriba

1.2.3. Objetivos secundarios

1. Diseño y montaje de un sistema de adquisición en el espectro visible inte-

2. Diseño y montaje de un sistema hiperespectral experimental en el rango

3. En cada problema, diseño e implementación de experimentos de reconoci-

1.2.4. Etapas de la tesis

sido imposible contactar en su totalidad. Podemos decir, por consiguiente, que

Esta tesis pretende ser una contribución más en esta temática.

1.3. Producción cientı́fica

1.4. Investigaciones relacionadas

objetivo es automatizar ciertas tareas de calibración en el Lomg mediante el uso

proyecto, se adquieren imágenes con distintas cámaras, en un intento por eva-

utilizado en Visiocal, con focos halógenos y una campana difusora, ya que la