INTRODUCCIN A LA DETECCIN DE OBJETOS

Formacin de la Imagen

Maria Vanrell
DEPARTAMENTO DE CIENCIAS DE LA COMPUTACIN

Introduccin a la deteccin de objetos Formacin de la Imagen

Esquema general:
Sistema detector de objetos
Extraccin de
caractersticas
Generacin de
candidatos

Generacin de
candidatos
Extraccin de
caractersticas

Clasificacin de
candidatos

Refinacin de
la decisin

Introduccin a la deteccin de objetos Formacin de la Imagen

La entrada del sistema: La imagen

Imagen

+
Objeto
(cara, mano, persona, ...)

Sistema detector de objetos

Extraccin de
Generacin de
caractersticas
candidatos
Clasificacin de
candidatos
Refinacin de
la decisin

Ventana/-s

cara
mano
persona

Introduccin a la deteccin de objetos Formacin de la Imagen

La imagen, matriz de pxeles

Imagen Color
232 x 144

Ventana
80 x 80

Ventana
16 x 16
Pxel

Imagen
Intensidad

132 255 255

( R + G + B)

255
max( Ri + Gi + Bi )
iI

Canal R
16 x 16

Canal G
16 x 16

Canal B
16 x 16

Introduccin a la deteccin de objetos Formacin de la Imagen

Dos preguntas:
Cmo se asignan estos valores?
Por qu tres canales?

Introduccin a la deteccin de objetos Formacin de la Imagen

Tres componentes del color de un punto

El color de la luz
El material de la superficie
La sensibilidad de la cmara

Introduccin a la deteccin de objetos Formacin de la Imagen

Tres componentes del color de un punto

El color de la luz
El material de la superficie
La sensibilidad de la cmara

Introduccin a la deteccin de objetos Formacin de la Imagen

El color de la luz
La luz es una forma de energa que se caracteriza por sus componentes que se pueden
representar como una onda con una determinada longitud o frecuencia.
Componentes de la luz:

Longitud de onda

El color es una caracterstica de la luz que puede ser

observada por los humanos, y depende de la longitud
de onda

log10 ( (m)) 3
2
1
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

Radio
TV
Radar
Microondas

(m)
10

1000

700

Infrarojos
Luz visible
Ultravioletas

400

Rayos X

Rayos Gamma

(nm)

10 7

100

Introduccin a la deteccin de objetos Formacin de la Imagen

400nm

450nm

500nm

550nm

NARANJA

AMARILLO

VERDE

VIOLETA

El color y la longitud de onda de la luz

(1nm = 10 9 m)

600nm

650nm

700nm

[400nm,700nm]

El espectro visible por el ojo humano

Introduccin a la deteccin de objetos Formacin de la Imagen

Tres componentes del color de un punto

El color de la luz
El material de la superficie
La sensibilidad de la cmara

Introduccin a la deteccin de objetos Formacin de la Imagen

El material de la superficie
La naturaleza de cada material, por ejemplo sus pigmentos, determina las longitudes
de onda que refleja y las que absorbe.

I ( )
El color de la luz es una funcin,
I, de la longitud de onda
I ( )

S ( )

S( )

Luz emitida

% Luz reflejada

El porcentaje de luz que refleja el

material es una funcin, S, de la
longitud de onda

Introduccin a la deteccin de objetos Formacin de la Imagen

El material de la superficie

I ( )

I ( ) S ( )
S ( )

I ( )

S( )

Luz emitida

La luz reflejada es el resultado

de un producto entre las funciones
de la luz y de la superficie

I ( ) S ( )

% Luz reflejada

Luz reflejada

Introduccin a la deteccin de objetos Formacin de la Imagen

Tres componentes del color de un punto

El color de la luz
El material de la superficie
La sensibilidad de la cmara

Introduccin a la deteccin de objetos Formacin de la Imagen

La sensibilidad de la cmara
Las cmaras tienen 3 tipos de sensores que integran sobre diferentes longitudes de
onda con el objetivos de cubrir todo el espectro visible

B ( ) G ( ) R ( ) La sensibilidad de la

cmara viene dada por

3 funciones, R, G y B

I ( )
S ( )

( R, G , B ) =

% Sensibilidad

( I ( )S ( ) R( )d , I ( )S ( )G( )d , I ( )S ( ) B( )d )

Introduccin a la deteccin de objetos Formacin de la Imagen

Dos preguntas:
Cmo se asignan estos valores?
Por qu tres canales?

Introduccin a la deteccin de objetos Formacin de la Imagen

Las cmaras que usamos habitualmente trabajan con 3 sensores de color (RED, GREEN, BLUE)
basados en tecnologa de silicio y filtros especficos.

B G R

Inspiracin en el sistema visual humano, persiguen representar el espectro de luz que es visible por los
humanos. En el ojo humano encontramos 3 tipos de clulas sensibles al color: los conos
Conos: son las clulas foto-receptoras del color que se encuentran

S M L

en la retina del ojo humano, son de tres tipos, L, M y S que se

distinguen por las longitudes de ondas a las que son sensibles
(Long, Medium y Short, trminos en ingls para referirse a las longitudes de
onda largas, medias y cortas)

Curiosidad: En el ojo humano la densidad de estos tres tipos de conos no es uniforme, la

relacin por tipos de conos es:

Ojo

L : M : S
11,2 : 5,33 : 1
Porcin
de retina

Conos

Densidad espacial
de conos

Introduccin a la deteccin de objetos Formacin de la Imagen

Otros tipos de imgenes (ms all de la visin humana)

Infrarrojos (RGB-NIR, trmicas)
Profundidad (RGBD)

Imgenes de infrarrojos cercanos RGB-NIR (Near Infrared):

Imgenes que aaden un canal no visible que engloba las longitudes de ondas de los infrarrojos de
700nm hasta 1100nm.
log10 ( (m)) 3

RGB

NIR
Credits: RGB-NIR Scene Dataset at ivrl.epfl.ch

2
1
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

Radio
TV

(m)

Radar
Microondas

10

1000

NIR Infrarrojos
700

Infrarojos
Luz visible
Ultravioletas

Luz visible

Rayos X

Rayos Gamma

(nm)

400

10 7

100

Imgenes trmicas (Long-wavelength Infrared):

Las imgenes trmicas reproducen la correlacin existente entre la temperatura y la emisin infrarroja
de los objetos. Esta emisin infrarroja se encuentra en el intervalo de longitudes de onda que va de
8m a 15m (infrarrojo de onda larga).
( m )
15 m

log10 ( (m)) 3
2
1
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

Radio
TV

Infrarrojo Trmico
(onda larga)

Radar
Microondas

Infrarojos
Luz visible
Ultravioletas

8 m

Rayos X

Onda media

3 m
Rayos Gamma

1.4 m Onda corta

NIR Infrarrojos
0 m

Imgenes de profundidad RGBD (D: Depth):

Imgenes capturadas con dispositivos especficos que aaden un canal en el que se estima un mapa
de profundidad de la escena que codifica la distancia de cada punto de una superficie con el sensor.

RGB

D
(Imagen adquirida con Kinect II)

Introduccin a la deteccin de objetos Formacin de la Imagen

En resumen:
Cmo se representa una imagen
Cmo se forma el color de cada pixel de la imagen
Los componentes del color: luz, superficie, cmara
Paralelismo con el ojo humano
Otros tipos de imgenes: NIR-RGB, trmica, RGBD.