Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
computazionale
Alberto Borghese
Universit degli Studi di Milano
Laboratorio di Motion Analysis and Virtual Reality (MAVR)
Dipartimento di Scienze dellInformazione
borghese@dsi.unimi.it
A.A. 2003-2004
1/71
http:\\homes.dsi.unimi.it\borghese
A.A. 2003-2004
2/71
http:\\homes.dsi.unimi.it\borghese
Computer Vision
Obbiettivo: determinazione delle propriet geometriche, fisiche e
dinamiche del mondo che ci circonda mediante elaborazione di
immagini o sequenze di immagini.
Low level vision (o early vision): estrazione dalle immagini o
sequenze di immagini delle informazioni necessarie al livello
superiore.
High level vision: riconoscimento, associazione di un significato
semantico allatto del vedere.
A.A. 2003-2004
3/71
http:\\homes.dsi.unimi.it\borghese
Processing visivo.
Low-level vision (early vision) Pre-elaborazione delle immagini (estrazione di feature).
Calcolo del Flusso ottico.
Calcolo delle sorgenti di illuminazione e stima dellalbedo e del colore.
Riconoscimento di tessiture.
Contorni (edge)
Low-level vision (intermediate representations).
Forme dai contorni.
Forme da tessitura (shape from texture).
Forme da ombreggiatura (shape from shading).
Stereo-matching.
Determinazione della stuttura 3D e del movimento 3D di oggetti da sequenze di immagini
monoculari e da sistemi di specchi (Structure from Motion).
Ricostruzione 3D da stereo di oggetti della scena.
Ricostruzione di superfici.
Parametri geometrici del sistema di visione (calibrazione).
High-level vision.
Interpretazione (la visione artificiale deriva storicamente dallIntelligenza Artificiale).
A.A. 2003-2004
4/71
http:\\homes.dsi.unimi.it\borghese
Visione 3D:
Immagini
Immagini
Immagini
Statiche
Dinamiche
Shape from
Feature
Differential
Monocular View
Extraction
Motion Analysis
3D Shape
Features
Optical Flow
A.A. 2003-2004
5/71
http:\\homes.dsi.unimi.it\borghese
A.A. 2003-2004
6/71
http:\\homes.dsi.unimi.it\borghese
Applicazioni: Video-sorveglianza
A.A. 2003-2004
7/71
http:\\homes.dsi.unimi.it\borghese
A.A. 2003-2004
8/71
http:\\homes.dsi.unimi.it\borghese
Applicazioni: Telepresenza
A.A. 2003-2004
9/71
http:\\homes.dsi.unimi.it\borghese
A.A. 2003-2004
10/71
http:\\homes.dsi.unimi.it\borghese
A.A. 2003-2004
11/71
http:\\homes.dsi.unimi.it\borghese
Multiview reconstruction
A.A. 2003-2004
12/71
http:\\homes.dsi.unimi.it\borghese
A.A. 2003-2004
13/71
http:\\homes.dsi.unimi.it\borghese
A.A. 2003-2004
14/71
http:\\homes.dsi.unimi.it\borghese
A.A. 2003-2004
15/71
http:\\homes.dsi.unimi.it\borghese
1) Localit.
2) Significativit.
3) Riconoscibilit.
A.A. 2003-2004
16/71
http:\\homes.dsi.unimi.it\borghese
A.A. 2003-2004
17/71
http:\\homes.dsi.unimi.it\borghese
Riconoscimento di spigoli
A.A. 2003-2004
18/71
http:\\homes.dsi.unimi.it\borghese
Estrazione di regioni
A.A. 2003-2004
19/71
http:\\homes.dsi.unimi.it\borghese
Marker detection
-8
-8
-8
-8
-8
-8
-8
-8
-8
-8
-8
-8
-8
-8
-8
-8
-8
-8
-8
-8
A.A. 2003-2004
20/71
http:\\homes.dsi.unimi.it\borghese
10
Il flusso ottico
A.A. 2003-2004
21/71
http:\\homes.dsi.unimi.it\borghese
A.A. 2003-2004
22/71
http:\\homes.dsi.unimi.it\borghese
11
23/71
http:\\homes.dsi.unimi.it\borghese
Dal 3D al 2D
A.A. 2003-2004
24/71
http:\\homes.dsi.unimi.it\borghese
12
Ricostruzione 3D
E il problema fondamentale della Visione e della Grafica 3D
Argomenti:
Processo di formazione di un' immagine su fotocamera/videocamera.
Descrizione del processo mediante trasformazione prospettica.
Ricostruzione della posizione di 3D di punti della scena a partire dalla
loro immagine su fotocamere/videocamere.
Calibrazione delle camere.
Errori sistematici introdotti dall'ottica (distorsioni).
Correzione delle distorsioni (linearizzazione delle camere).
A.A. 2003-2004
25/71
http:\\homes.dsi.unimi.it\borghese
Dal 3D al 2D al 3D
Come si forma unimmagine?
Scena con oggetti riflettenti.
Sorgente di illuminazione
Piano di rilevazione della luce riflessa.
A.A. 2003-2004
26/71
http:\\homes.dsi.unimi.it\borghese
13
Locchio umano
27/71
http:\\homes.dsi.unimi.it\borghese
La pin-hole camera
Proiezione prospettica:
tutti i raggi di proiezione
passano per un unico punto,
detto centro di proiezione .
Pinhole camera
A.A. 2003-2004
28/71
http:\\homes.dsi.unimi.it\borghese
14
La lente
Pinhole camera
Lente convergente
A.A. 2003-2004
29/71
http:\\homes.dsi.unimi.it\borghese
Geometria dellottica
Oggetti allinfinito
30/71
http:\\homes.dsi.unimi.it\borghese
15
Messa a fuoco
31/71
http:\\homes.dsi.unimi.it\borghese
Esempi di Distorsioni
32/71
http:\\homes.dsi.unimi.it\borghese
16
A.A. 2003-2004
33/71
http:\\homes.dsi.unimi.it\borghese
Raddrizzamento dellimmagine
34/71
http:\\homes.dsi.unimi.it\borghese
17
Raddrizzamento dellimmagine e
proiezione semplice
l/2
xa
XA
P
L/2
xa= XA f / ZA
a(xa ; ya ; za ) -> ya = YA f / ZA
za = f
35/71
Si ipotizza
P(0,0,0) e o(0,0).
http:\\homes.dsi.unimi.it\borghese
I parametri esterni
Traslazione:
3 componenti:
T(XC, YC, ZC ).
Rotazione
R3x3(, , k)
A.A. 2003-2004
36/71
http:\\homes.dsi.unimi.it\borghese
18
A.A. 2003-2004
37/71
http:\\homes.dsi.unimi.it\borghese
Dal 3D al 2D
xa = x*A f / z*A
a(xa ; ya ; za ) -> ya = y*A f / z*A
za = f
pA* = R (PA - T)
A.A. 2003-2004
38/71
http:\\homes.dsi.unimi.it\borghese
19
Equazioni di collinearit
(rappresentazione perspettica)
x*A = r11 (XA-XO) + r12 (YA-YO) + r13 (ZA-ZO)
y*A = r21 (XA-XC) + r22 (YA-YC) + r23 (ZA-ZO)
z*A = r31 (XA-XO) + r32 (YA-YO) + r33 (ZA-ZO)
39/71
http:\\homes.dsi.unimi.it\borghese
Distorsioni
Distorsioni radiali.
Distorsioni tangenziali.
Shrinkage (x = x, y = y).
A.A. 2003-2004
40/71
xm = x + f(x,y)
ym = y + g(x,y)
http:\\homes.dsi.unimi.it\borghese
20
Distorsioni radiali
A cuscinetto
dr(p) = k0r + k1r3 + k2r5 + ...
A botte
r = |p po|
Rappresentazione polare:
x = rcos
y = rsin
41/71
http:\\homes.dsi.unimi.it\borghese
Decentramento
Componente tangenziale e radiale con andamento sinusoidale.
o
dr(p) = 3(j1 r2 + j2 r4 +....)sin( - o )
dt(p) = (j1 r2 + j2 r4 +....)cos( - o )
dx ( p) cos( ) sin( ) dr ( p)
dy ( p) = sin( ) cos( ) dt ( p)
p1 = -j1 sin( o )
p2 = j1 cos(o )
42/71
http:\\homes.dsi.unimi.it\borghese
21
s1 = -i1 sin( 1 )
s2 = i1 cos( 1 )
43/71
http:\\homes.dsi.unimi.it\borghese
Modelli di distorsione
dx(p) = s1 (x2 + y2 ) + 3p1 x2 + p1 y2 +2p2 xy + k1 x(x2 + y2 ) + x
dy(p) = s2 (x2 + y2 ) + 3p2 y2 + p2 x2 +2p1 xy + k1 y(x2 + y2 )
g1 = s1 + p1
g2 = s2 + p2
g3 = 2p1
g4 = 2p2
44/71
http:\\homes.dsi.unimi.it\borghese
22
Radial
45/71
http:\\homes.dsi.unimi.it\borghese
I modelli di distorsioni
Semplificazioni possibili delle equazioni
che modellano i parametri di distorsione
1
A.A. 2003-2004
46/71
x = k1r 2 x
(1)
y = k1r 2 y
x = k1r 2 x + k 2 r 4 x
(2)
y = k1 r2 y + k 2 r 4 y
(
y + k (r
)
+ 2 y )+ k 2 xy
x = k1r 2 x + k 2 r 2 + 2 x 2 + k3 2 xy
y = k1r
(3)
http:\\homes.dsi.unimi.it\borghese
23
x xo + f ( x, y, xo , y o ) = f
A.A. 2003-2004
47/71
http:\\homes.dsi.unimi.it\borghese
A.A. 2003-2004
48/71
http:\\homes.dsi.unimi.it\borghese
24
IMMAGINI
Fotogrammetria/Vision techniques
fotografie/immagini
Macchine
fotografiche o
sensori
Scanner
(foto analogiche)
A.A. 2003-2004
49/71
Digitalizzazione
di video sequenze
http:\\homes.dsi.unimi.it\borghese
ZImaging
DMC
RC 30
analogiche
Aeree / satelliti
metriche
(marche fiduciali)
Macchine
fotografiche o
sensori
semi-metriche
(reseau)
non metriche
digitali
terrestri
Sony Cybershot
DSC F505
webcam
A.A. 2003-2004
Rolleiflex 6008
http:\\homes.dsi.unimi.it\borghese
(analogica semi-metric)
25
Sensori satellitari
Sensori aerei
Still-video camera
A.A.
Video-camera
2003-2004
Lineari / matrice
51/71
http:\\homes.dsi.unimi.it\borghese
Epson CP 900
Sony Cybershot
DSC F505
Ziimaging
DMC
A.A. 2003-2004
52/71
http:\\homes.dsi.unimi.it\borghese
26
5
Number of Pixels
E-10 (OLIMPUS)
4
QV-3000EX
(CASIO)
FinePix 2700
(FUJI FILM)
C-2500L
FinePix700
(OLIMPUS)
(FUJI FILM)
C-1400L
PowerShotPro 70
(OLYMPUS)
(Canon)
C-800L
(OLYMPUS)
RC-701
(Canon:1986)
MAVICA
(SONY:1981)
0
1983
1985
A.A. 2003-2004
MVC- C1
(SONY)
1987
DS-X
(FUJIX)
1989
53/71
PowerShot600
(Canon)
1991
1993
1995
1997
1999
2002
Year of Issue
http:\\homes.dsi.unimi.it\borghese
(b) CP -900Z
(EPSON)
(c)FinePix 700
(FUJI FILM)
(e) Q-M100V
(Konica)
(f) C-2000ZOOM
(OLYMPUS)
(g) C-3030ZOOM
(OLYMPUS)
(h) DC-3
(RICOH)
(i) RDC-7
(RICOH)
A.A. 2003-2004
(j) GC-X1
(Victor)
54/71
27
A.A. 2003-2004
55/71
DSC-F77(SONY) 4.0 Mega
http:\\homes.dsi.unimi.it\borghese
Num. pixel
Accuracy/RMS
anno
Num.pixel
A.A. 2003-2004
56/71
http:\\homes.dsi.unimi.it\borghese
28
Video-camere
Features
Asynchronous trigger.
Multiple frame rates
Example source code for quick start within the programming environment
A.A. 2003-2004
57/71
http://www.ptgrey.com/products/dragonfly/index.html
http:\\homes.dsi.unimi.it\borghese
IMMAGINI da video
Digitalizzazione di video
acquisizione in formato video (VHS, DV) e digitalizzazione dei singoli frame
software
A.A. 2003-2004
58/71
http:\\homes.dsi.unimi.it\borghese
29
IMMAGINI da video
Digitalizzazione di video
Formazione del video in vecchie videocamere :
combinazione continua di 2 fields (interlace)
1 field
2 fields
59/71
http:\\homes.dsi.unimi.it\borghese
IMMAGINI da video
Digitalizzazione di video
Esempi di interlace effect
A.A. 2003-2004
60/71
http:\\homes.dsi.unimi.it\borghese
30
IMMAGINI DIGITALI
Una matematica del pixel non ancora disponibile.
pixel
ny
nx
nx
ny
http:\\homes.dsi.unimi.it\borghese
IMMAGINI DIGITALI
Quantizzazione:
62/71
31
Immagini a colori
3-Chip CCD
Color Wheel
Foveon Technology
Bayer Pattern + Demosaicing
Bayer Pattern + Multishot
A.A. 2003-2004
63/71
http:\\homes.dsi.unimi.it\borghese
Colore
Colour is the colour which is perceived, seen, that is the colour which
is reflected by the objects surface.
Colour images: are obtained as additive mixture of Red Green Blue
(additive mix).
Another important coding is in terms of:
Hue. Describes the colour (red, green)
Saturation. Quantity of the colour. It differentiates red from rose. It
can be viewed as the difference from the colour and a grey with the
same brightness.
Lightness. Intensit del colore, it depends on the hue and saturation.
It can be viewed as the colour of the image in B/W. It is due to the
illumination intensity.
A.A. 2003-2004
64/71
http:\\homes.dsi.unimi.it\borghese
32
White
Grey
Dark grey
Colors
(examples)
Black
Red
Yellow
Pale blue
Green
A.A. 2003-2004
65/71
http:\\homes.dsi.unimi.it\borghese
66/71
http:\\homes.dsi.unimi.it\borghese
33
Color Wheel
one color channel is captured at one shot
3 times the acquisition time
static images only
A.A. 2003-2004
67/71
http:\\homes.dsi.unimi.it\borghese
Foveon Technology
3 layers capture RGB at the same location.
A.A. 2003-2004
68/71
http:\\homes.dsi.unimi.it\borghese
34
Bayer Pattern
La maggior parte delle camere registra un unico colore per ogni pixel
mediante filtro. Gli altri due colori devono essere ricostruiti
(interpolati).
Non tutti i colori vengono
acquisiti con la stessa
frequenza spaziale: il canale
verde campionato a
frequenza superiore (pattern
di Bayer).
(locchio umano ha una
maggiore sensibilit alla
luminanza che alla
crominanza) .
A.A. 2003-2004
69/71
http:\\homes.dsi.unimi.it\borghese
A.A. 2003-2004
70/71
http:\\homes.dsi.unimi.it\borghese
35
Sommario
Visione basata su acquisizione ed elaborazione
di immagini o sequenze di immagini.
Il modello di base il modello prospettivo +
distorsioni.
I nuovi sistemi di visione e fotogrammetrici
stanno sempre di pi orientandosi
allelaborazione automatica e real-time,
accettando alcuni compromessi (e.g.
Trasformata di Bayer).
A.A. 2003-2004
71/71
http:\\homes.dsi.unimi.it\borghese
36