Fondamenti di Visione Artificale

Marco QUAGLIA
SE Visione & Motion

Visita il mio BLOG sulla Visione:

http://vision-marcoq.blogspot.com/
Agenda :

Fondamenti di Visione Artificiale:
 Cos’è una immagine
 Come si compone un Sistema di Visione
 Introduzione alle Telecamere e Bus di comunicazione
 Introduzione alle Ottiche
 Introduzione agli Illuminatori
 Dimensionamento di un Sistema di Visione

Ambiti Applicativi:
 Case History

Introduzione al Software di Elaborazione immagini

Introduzione al Vision Builder

Hands-on di Visione Artificiale:
 Esercizi

Novità Software ed Hardware
Agenda :

Fondamenti di Visione Artificiale:
 Cos’è una immagine
 Come si compone un Sistema di Visione
 Introduzione alle Telecamere e Bus di comunicazione
 Introduzione alle Ottiche
 Introduzione agli Illuminatori
 Dimensionamento di un Sistema di Visione

Ambiti Applicativi:
 Case History

Introduzione al Software di Elaborazione immagini

Introduzione al Vision Builder

Hands-on di Visione Artificiale:
 Esercizi

Novità Software ed Hardware

Cos’è una immagine

Visione Artificiale

Catturare una immagine da uno scenario e rilevarne una

informazione utile o significativa.

Catturare un fenomeno in modo non invasivo per

recuperarne una informazione.

Trasformare una grandezza fisica, luminosa,

fotovoltaica, etc. In una grandezza elettrica in modo da
poter elaborare algortimicamente una azione successiva

Cos’è una immagine

Visione: Machine Vision

Catturare una immagine in modo non invasivo per
recuperare algoritmicamente una informazione atta a
scatenare una successione di automatismi.

Visione implementata in campo industriale a bordo di

macchine automatiche.

Cos’è una immagine

Immagine: cos’è ?!

Rappresentazione visiva di una matrice di misure.

Pixel: singola “misura” di intensità luminosa.

125315546515542515212231655212
454321352789787545132465774444
123489778945346548677898943514
456789789744321231234869778941
489679756413213217943241231324
564765432187897513116578793211
878975641321687979843513241344
ACQUISIZIONE 579742317974644498789765446544
857139762568631689452315631548
125315546515542515212231655212
454321352789787545132465774444
123489778945346548677898943514
125315546515542515212231655212
454321352789787545132465774444
12348977894534654867789894351

Scena reale Matrice di numeri

Cos’è una immagine

Agenda :

Fondamenti di Visione Artificiale:
 Cos’è una immagine
 Come si compone un Sistema di Visione
 Introduzione alle Telecamere e Bus di comunicazione
 Introduzione alle Ottiche
 Introduzione agli Illuminatori
 Dimensionamento di un Sistema di Visione

Ambiti Applicativi:
 Case History

Introduzione al Software di Elaborazione immagini

Introduzione al Vision Builder

Hands-on di Visione Artificiale:
 Esercizi

Novità Software ed Hardware

Come si compone un Sistema di Visione

Componenti di un sistema di Visione:

FireWire
USB
CameraLink
OS

Sistema di VISIONE

Come si compone un Sistema di Visione

Componenti di un sistema di Visione:
Software di Elaborazione

Sistema di Elaborazione

Come si compone un Sistema di Visione

Agenda :

Fondamenti di Visione Artificiale:
 Cos’è una immagine
 Come si compone un Sistema di Visione
 Introduzione alle Telecamere e Bus di comunicazione
 Introduzione alle Ottiche
 Introduzione agli Illuminatori
 Dimensionamento di un Sistema di Visione

Ambiti Applicativi:
 Case History

Introduzione al Software di Elaborazione immagini

Introduzione al Vision Builder

Hands-on di Visione Artificiale:
 Esercizi

Novità Software ed Hardware

Introduzione alle Telecamere ad ai Bus di comunicazione

Sistemi per la cattura delle immagini

Videocamere

Scanner

Altri dispositivi
 Interferometri
 SEM
 Videoregistratori
 Dorsi elettronici
 ...

Introduzione alle Telecamere ad ai Bus di comunicazione

Tecnologie di acquisizione di immagini

Area scan
 Analogici
 Digitali
• Monocromatici
• A colori

Line scan

Introduzione alle Telecamere ad ai Bus di comunicazione

Tecnologie di acquisizione di immagini (IC)

CCD

CMOS

Introduzione alle Telecamere ad ai Bus di comunicazione

Videocamere analogiche standard

Aderiscono alle specifiche dei “vecchi” standard televisivi

Standard: CCIR, RS170, PAL, NTSC

Risoluzione:
 CCIR / PAL: 768x586
 RS170 / NTSC: 640x480

Velocità: 25 fps (CCIR, PAL) o 30 fps (RS170, NTSC)

Introduzione alle Telecamere ad ai Bus di comunicazione

Segnali analogici

Composite video (b/w, colore)

 Coassiale RG58 75 Ohm

S-Video (colore)
 Luma,chroma

RGB (colore)
 Migliore qualità fra i tre

Introduzione alle Telecamere ad ai Bus di comunicazione

Videocamere digitali standard

Bus Digitali
 RS422/LVDS
 CameraLink (Base, Medium, Full)
 GigE Vision
 FireWire A/B
 USB 2.0

Introduzione alle Telecamere ad ai Bus di comunicazione

Videocamere digitali

Area scan cameras
 Risoluzione 1000x1000 fino a 4000x4000
 Velocità da 1 fps a 10.000 fps
 Profondità 8, 10, ... ,16 bit (32 bit: full color)

Line scan cameras

 Acquisizione di una singola linea alla volta su trigger esterno
 Necessitano movimentazione dell’oggetto
 Ideali per ispezioni su nastro o rulli
 Risoluzioni fino a 8000 pixels in linea

Introduzione alle Telecamere ad ai Bus di comunicazione

Videocamere on the market

Maggiori produttori
 Basler
 Pulnix
 Dalsa
 JAI
 AVT
 .......

Introduzione alle Telecamere ad ai Bus di comunicazione

Sistemi di Acquisizione-Elaborazione Immagini

• PC Based (Windows)

• Embedded (RealTime)

• SmartCamera

Introduzione alle Telecamere ad ai Bus di comunicazione

Agenda :

Fondamenti di Visione Artificiale:
 Cos’è una immagine
 Come si compone un Sistema di Visione
 Introduzione alle Telecamere e Bus di comunicazione
 Introduzione alle Ottiche
 Introduzione agli Illuminatori
 Dimensionamento di un Sistema di Visione

Ambiti Applicativi:
 Case History

Introduzione al Software di Elaborazione immagini

Introduzione al Vision Builder

Hands-on di Visione Artificiale:
 Esercizi

Novità Software ed Hardware

Introduzione alle Ottiche

Ottiche
Le Ottiche sono difatto “gli occhiali” della telecamera:
 Consentono l’inquadratura del Campo di Vista
 Consentono di mettere a fuoco l’oggetto da rilevare
 Consentono la regolazione della luminosità

Le Ottiche si compongono di:

 Struttura meccanica per sostegno lente, regolazione fuoco/iris
 Lente
 Aggancio standard C-mount

Introduzione alle Ottiche

Ottiche

Parametri tipici:
 F-number (f/#): Indica la capacità della lente di raccogliere luce.
Definisce la qualità della lente.
E’ descritto nel datasheet.
Influenza il costo dell’ottica.

 Depth of Field (DOF):Qualità immagine.

 Focal Lenght: Distanza Sensore-Lente

Introduzione alle Ottiche

Ottiche: Depth of Field (DOF)
Capacita’ della lente di mantenere buona la qualita’ dell’immagine
proiettata sul sensore e mantenere l’oggetto a fuoco.

La chiusura del diaframma

puo’ aumentare il DOF
attenuando le difettosita’ !

Introduzione alle Ottiche

Ottiche: Distanza Fuocale (Focal Length)
Distanza tra il retro della lente ed il Sensore della telecamera
 Puo’ influenzare la scelta dell’illuminazione e la risoluzione, causa di distorsioni ottiche.
 Valore distintivo delle ottiche (la misura diventa la nomenclatura).

Focal Length:
3.5 mm
4.5 mm
6 mm
8 mm
12 mm
16 mm
25 mm
35 mm
50 mm

Introduzione alle Ottiche

Ottiche: Formato del sensone CCD
Le Ottiche si scelgono in funzione della dimensione del CCD

Le 4 dimensioni più comuni:

1” (X=12.7 mm, Y=9.6 mm) D (in
pollici)
½” (X=6.4 mm, Y=4.8 mm) Y
2/3 “ (X=8.8 mm, Y=6.6 mm)
1/3” (X=4.8 mm, Y=3.6 mm)
X

Introduzione alle Ottiche

Ottiche: come si calcola l’ottica giusta

Determinazione dell’ottica:
FOV(mm) = [Wd(mm) x CCD(mm)] / Lf(mm)

Lente

CCD FOV

Wd

Introduzione alle Ottiche

Ottiche: Alcuni parametri fondamentali

 Field of View: FOV

 Working Distance: Wd
 Resolution
 Depth of Field: DOF
 Sensor Size
 Focal Lenght: CCD to Lens

Introduzione alle Ottiche

Ottiche: un esempio...
Data la dimensione del campo da inquadrare FOV e la distanza Wd,
determinare l’ottica:

Da FOV(mm) = [Wd(mm) x CCD(mm)] / Lf(mm)

Si ottiene Lf(mm) = [Wd(mm) x CCD(mm)] / FOV(mm)

Es. FOV=192 cm, Wd= 10 m , sensore da ½” (X=6.4 mm, Y=4.8 mm)

Lf = [10000mm x 4.8mm] / 1920mm = 25 mm

L’ottica sarà da 25mm

Introduzione alle Ottiche

Ottiche: FOV vs. Working Distance

Introduzione alle Ottiche

Ottiche Speciali: Telecentriche
Errore Prospettico: PARALLASSE

Introduzione alle Ottiche

Ottiche: Esempio Applicativo

Introduzione alle Ottiche

Agenda :

Fondamenti di Visione Artificiale:
 Cos’è una immagine
 Come si compone un Sistema di Visione
 Introduzione alle Telecamere e Bus di comunicazione
 Introduzione alle Ottiche
 Introduzione agli Illuminatori
 Dimensionamento di un Sistema di Visione

Ambiti Applicativi:
 Case History

Introduzione al Software di Elaborazione immagini

Introduzione al Vision Builder

Hands-on di Visione Artificiale:
 Esercizi

Novità Software ed Hardware

Introduzione agli Illuminatori

Illuminatori: Caratteristiche

 Banda di emissione (Visibile, IR, UV, RX)

 Colore (Bianco, Rosso, ...)

 Fonte (Fluorescente, LED, ...)

 Struttura Meccanica

Introduzione agli Illuminatori

Illuminatori: Fondamentali

“ Un Sistema di Visione funziona ed è affidabile SOLO

con opportuna illuminazione condizionata “

L’illuminazione conferisce stabilità, affidabilità,

robustezza al Sistema

Introduzione agli Illuminatori

Illuminatori: Tecnologie di costruzione

 LED
 Fibre ottiche
 Fluorescenza
 Laser

Introduzione agli Illuminatori

Illuminatori: Tipologie di costruzione

 Ringlight
 Backlight
 Spotlight
 Lineare
 Coassiale
 Dome light
Introduzione agli Illuminatori
Illuminatori: Ringlight

Pros:
 Montaggio semplice
 Uniformità se utilizzato alla
distanza corretta

Cons:
 Pattern circolare su superfici
speculari
 Corto raggio d’azione

Introduzione agli Illuminatori

Illuminatori: Backlight

Pros:
 Alto contrasto per edge detection

Cons:
 Elimina ogni informazione inerente
alla superficie dell’oggetto

Introduzione agli Illuminatori

Illuminatori: Spotlight

Pros:
 Luminosità
 Flessibilità
 Economica

Cons:
 Ombre
 Riflessi

Introduzione agli Illuminatori

Illuminatori: Lineare
 Utilizzata per videocamere lineari o per luce radiale

Introduzione agli Illuminatori

Illuminatori: Long-Angle

Pros:
 Visualizzazione di Irregolarita’
 Evidenziazione di scalini

Cons:
 Sorgente Luminosa vicino
all’oggetto
 Ombre e Spot

Introduzione agli Illuminatori

Illuminatori: Coassiale

Pros:
 Minimizza ombre e riflessi

Cons:
 Ingombrante
 Campo illuminato limitato
 Costoso

Introduzione agli Illuminatori

Illuminatori: Dome
Pros:
 Estremamente uniforme
 Luce omnidirezionale

Cons:
 Elevato costo
 Ingombrante

Introduzione agli Illuminatori

Illuminatori: Luce Polarizzata

Pros:
 Rimozione di Riflessi
 Cattura immagine attraverso packaging

Cons:
 Riduzione di intensita’ luminosa

Introduzione agli Illuminatori

Illuminatori:
L’illuminazione è una componente fondamentale del sistema di visione.
Spesso determina il successo o l’insuccesso del sistema

Buona immagine di partenza: meglio del miglior

algoritmo software!

Introduzione agli Illuminatori

Agenda :

Fondamenti di Visione Artificiale:
 Cos’è una immagine
 Come si compone un Sistema di Visione
 Introduzione alle Telecamere e Bus di comunicazione
 Introduzione alle Ottiche
 Introduzione agli Illuminatori
 Dimensionamento di un Sistema di Visione

Ambiti Applicativi:
 Case History

Introduzione al Software di Elaborazione immagini

Introduzione al Vision Builder

Hands-on di Visione Artificiale:
 Esercizi

Novità Software ed Hardware

Dimensionamento di un Sistema di Visione

Dimensionamento di un sistema di visione

 Dimensionamento CCD

 Dimensionamento Velocità

 Dimensionamento Ottica

 Dimensionamento Luce

Dimensionamento di un Sistema di Visione

Dimensionamento di un sistema di visione: CCD

Risoluzione del Sistema di Visione: FOV(mm) / Pixels CCD

 Occorre conoscere la Precisione, cioè la dimensione del minimo

dettaglio da percepire.
 Occorre conoscere la dimensione del FOV da inquadrare

Dimensionamento di un Sistema di Visione

Dimensionamento di un sistema di visione: CCD Esempio
 FOV Dimensione Orizzontale = 30 mm
 FOV Dimensione Verticale = 20 mm
 Precisione richiesta: 0.1 mm

Per sicurezza si considera di apprezzare la risoluzione richiesta con almeno 3 pixels

3 pixel = 0.1 mm quindi 1 pixel = 0.03 mm

Da cui 30 mm / 0.03 mm = 1000 pixel

20 mm / 0.03 mm = 667 pixel

Occorre un CCD da almeno 1000x1000 pixel

Dimensionamento di un Sistema di Visione

Dimensionamento di un sistema di visione: Velocità

Velocità del Sistema di Visione: FOV(mm) x Velocità del singolo mm

 Solo se l’oggetto si muove

 Occorre conoscere la velocità dell’oggetto (nastro, ...)
 Occorre conoscere la dimensione del FOV da inquadrare

Dimensionamento di un Sistema di Visione

Dimensionamento di un sistema di visione:Velocità Esempio
 Velocità oggetto: 1 m/sec (1000 mm/sec, da cui 1mm si muove in 1msec)
 FOV Dimensione direzione di movimento = 10 mm

FOV(mm) x Velocità del singolo mm

10 mm x 1 msec = 10 msec

Da cui 10msec = 0.01 sec quindi 100 Fps

Occorre una telecamera capace di acquisire ad almeno 100 Fps

Dimensionamento di un Sistema di Visione

Dimensionamento di un sistema di visione: Ottica

Ottica del Sistema di Visione: FOV(mm) = [Wd(mm) x CCD(mm)] / Lf(mm)

 Occorre conoscere la Distanza di lavoro (Wd)

 Occorre conoscere la dimensione del CCD (pixels)
 Occorre conoscere la dimensione del FOV da inquadrare

Dimensionamento di un Sistema di Visione

Dimensionamento di un sistema di visione: Ottica Esempio
Data la dimensione del campo da inquadrare FOV e la distanza Wd,
determinare l’ottica:

Da FOV(mm) = [Wd(mm) x CCD(mm)] / Lf(mm)

Si ottiene Lf(mm) = [Wd(mm) x CCD(mm)] / FOV(mm)

Es. FOV=192 cm, Wd= 10 m , sensore da ½” (X=6.4 mm, Y=4.8 mm)

Lf = [10000mm x 4.8mm] / 1920mm = 25 mm

L’ottica sarà da 25mm

Dimensionamento di un Sistema di Visione

Dimensionamento di un sistema di visione: Luce

Luce del Sistema di Visione: Tipicamente empirica/sperimentale

 Occorre conoscere l’oggetto da ispezionare (forma, colore, materiale, ...)

 Occorre conoscere l’ambiente circostante
 Occorre conoscere l’informazione che si vuole ricavare
 ...

Dimensionamento di un Sistema di Visione

Agenda :

Fondamenti di Visione Artificiale:
 Cos’è una immagine
 Come si compone un Sistema di Visione
 Introduzione alle Telecamere e Bus di comunicazione
 Introduzione alle Ottiche
 Introduzione agli Illuminatori
 Dimensionamento di un Sistema di Visione

Ambiti Applicativi:
 Case History

Introduzione al Software di Elaborazione immagini

Introduzione al Vision Builder

Hands-on di Visione Artificiale:
 Esercizi

Novità Software ed Hardware

Case History
Settori di Mercato/Aree applicative/Industrie e applicazioni
 Elettronica e semiconduttori
 Rilevamento difetti
 Computer e periferiche
 Guida robot
 Beni di largo consumo
 Presenza/Assenza
 Biomedicale
 Verifica assemblaggio
 Semiconduttori
 Misure dimensionali
 Farmaceutico
 OCR (riconoscimento
 Stampa caratteri)
 Componenti automobilistici  Verifica cromatica
 Packaging e imbottigliamento  Allineamento
 Sistemi di telecomunicazioni  Controllo qualità di
 Industria tessile stampa
 Industria plastica

Case History
Meccanica/Automobilistico: Ispezione cuscinetti a sfere
Sono usate funzioni di pattern
matching e misure geometriche per
eseguire numerosi controlli su una
flangia con cuscinetto a sfere per
automobili, verificando la completezza
dell’assemblaggio e la posizione delle
alette per la successiva operazione di
montaggio robotizzato

Case History
Allineamento di Fibre Ottiche
Imaging, motion control e acquisizione
dati vengono integrati per eseguire
l’allineamento rapido e automatico delle
fibre (singole e multiple). Il
preallineamento è ottenuto mediante
l’imaging, mentre le funzioni sincronizzate
di motion control e acquisizione dati
individuano il picco massimo di emissione
e mantengono l’allineamento durante il
processo di giunzione e incollaggio.

Case History
Guida Robot per verniciatura cerchioni
Isola robotizzata dotata di Sistema di Visione per Guida Robot, inserita nel processo di
verniciatura di cerchioni di alta gamma

Case History
Sistema di Visione asservito da Robot
Isola robotizzata dotata di Sistema di Visione asservito da Robot antropomorfo, inserita nel
processo di assemblaggio di scocche interne sedili auto

Case History
Sistema di Visione per rettifica di precisione
Isola robotizzata dotata di Sistema di Visione per Guida Robot, inserita nel processo di
controllo qualità e rettifica pezzi per protesi e biopmedicali

Case History
Sistema di Visione per controllo codice
Sistema di Visione per controllo etichettatura e codici relativi su macchine tappatrici.

Case History
Sistema di Visione per controllo fine linea
Sistema di Visione per controllo dimensionale fine linea produzione molle
ERROR: stackunderflow
OFFENDING COMMAND: ~
STACK: