Parte3 MetricheImmaginiDigitali

Multimedia A.A. 2009/2010 - S.
Battiato
Metriche
Metriche
di
di
Qualit
Qualit
per le
per le
Immagini
Immagini
Digitali
Digitali
Prof. Sebastiano Battiato Prof. Sebastiano Battiato
Multimedia A.A. 2009/2010 - S. Battiato
Una metrica di qualit un metodo che permette di dare
una valutazione qualitativa di unimmagine. E quindi
fortemente legata al modello di percezione del sistema
visivo umano.
La valutazione oggettiva della qualit suscita grande
interesse fra i produttori di display per applicazioni mobili
e fisse in quanto le misure soggettive richiedono elevate
risorse umane, tempi lunghi e forniscono scarsa
ripetibilit; tuttavia le metriche oggettive adottate spesso
non forniscono un giudizio concorde con i dati soggettivi e
con le reali preferenze delle persone.
La qualit percepit pu essere misurata?
Qualit Assoluta
La qualit assoluta in quanto tale un dato oggettivo,
completamente descritto dallimmagine e caratterizzabile
mediante un insieme di attributi dellimmagine, alcuni semplici,
altri composti da sottoattributi, alcuni misurabili, altri non
misurabili. Fra questi ricordiamo:
il contenuto informativo dellimmagine, comprendente i soggetti
raffigurati e il contesto: naturalmente non risulta matematicamente
misurabile;
la luminosit, forse lunico attributo semplice e misurabile;
il colore, con i suoi sotto-attributi, quali la saturazione, la
naturalezza, lomogeneit, lo scolorimento;
Qualit Assoluta
.
il contrasto, rappresentativo sia del rapporto chiaro/scuro che
delle rappresentazioni di contorni e dettagli;
la nitidezza (sharpness), costituita dallo sfocamento (blur),
dalle rappresentazioni dei dettagli (detail rendering) e dei
contorni (contour rendering);
la naturalezza dei contenuti, quali la rettilinearit delle linee rette
(line straightness), la curvilinearit delle linee circolari
(circle rendering), luniformit delle forme;
le distorsioni spaziali (e/o temporali), come il rumore, gli errori
di pixel e di contorni (silhouettes).
.e Qualit Percepita
La qualit percepita, invece un parametro soggettivo, dipendente oltre
che dalle caratteristiche dellimmagine, cio dai suoi attributi descrittivi,
anche da altri fattori, quali ad esempio:
Lelaborazione effettuata sullimmagine, che potrebbe avere in qualche
modo migliorato/alterato limmagine secondo il gusto dellosservatore
umano: le tecniche di compressione /decompressione responsabili di
artefatti tipici che degradano la qualit dellimmagine (blocking e
ringing); i filtraggi per la riduzione del rumore indotto dal canale di
trasmissione e gli algoritmi di enhancement, miglioramento, della
qualit (peaking); le conversioni di formato, per ottenere
rappresentazioni migliori o far dialogare standard diversi (NTSC
PAL).
.e Qualit Percepita
Le caratteristiche tecnologiche del display impiegato per la
rappresentazione e del sistema video di uscita, con i vincoli imposti,
quali per esempio: il tipo di schermo, LCD o CRT; le dimensioni
dello schermo; le dimensioni dei pixel; la risoluzione spaziale; la
frequenza di refresh; la memoria dedicata della scheda grafica; la
velocit del bus.
La fisiologia e la cognizione della percezione visiva umana,
comprendente i meccanismi percettivi del sistema visivo, quali:la
percezione della luminosit; la percezione del contrasto e i fenomeni
di mascheramento del contrasto; la percezione di contorni e
orientamenti; la percezione del colore; la percezione stereo della
profondit; la percezione spazio temporale della visione.
Dove sta il problema?
Potremmo pensare di confrontare tra loro i pixel corrispondenti di due
immagini, potendo cos stabilire se le due immagini sono diverse ma non
possiamo dire nulla da un punto di vista quantitativo sulla reale
distanza percettiva esistente.
Image Quality and Human Vision System
Parallel processing of
orientation, texture, color
and motion feature
Parallel processing of
orientation, texture, color
and motion feature
Object identification
Detection of 2D patterns,
contours and regions
Color
processing
Color
processing
Perceptual
decomposition
Perceptual
decomposition
Contrast
sensitivity
Contrast
sensitivity
Masking
effects
Masking
effects
Pooling
Pooling
Classificazione delle Metriche
Applicare una metrica oggettiva vuol
dire mettere in atto una computazione
che, attraverso lausilio di formule
matematiche, elabora in maniera
automatica la valutazione di
unimmagine, senza alcuna
interazione col sistema visivo umano.
Applicare una metrica soggettiva
vuol dire effettuare una
valutazione dellimmagine che
tenga conto della percezione
soggettiva del sistema visivo
umano (HVS - Human Visual
System).
Oggettive Soggettive
Nello studio delle metriche di qualit possibile distinguere le
metriche in:
Classificazione delle metriche
Full Reference
Le metriche di qualit possono essere poi classificate in base alla
presenza di una maggiore o minore disponibilit del segnale di
riferimento, con il quale confrontare limmagine distorta.
FR (Full Reference) una metrica di qualit nella quale si ha la
completa disponibilit dellimmagine di riferimento e quindi pu essere
effettuato un confronto completo tra limmagine distorta, della quale si
vuole conoscere la qualit, e limmagine di riferimento.
No Reference
NR (No-Reference) una metrica di qualit nella quale non si ha alcuna
informazione sullimmagine di riferimento. In molte applicazioni video
le immagini di riferimento o le sequenze video, spesso non sono
accessibili, quindi desiderabile, per poter gestire tali situazioni,
utilizzare metriche che possano valutare la qualit di unimmagine o di
un video senza un riferimento.
Reduced Reference
RR (Reduced Reference) una metrica di qualit nella quale
limmagine di riferimento non per intero disponibile. In questo
caso si estraggono, dallimmagine originale, solo alcune
informazioni parziali che vengono in qualche modo elaborate per
fornire una valutazione della qualit, dellimmagine distorta, presa
in esame.
Spatial details;
Amount of motion;
EXIF metadata;

Che fare in pratica?
Vista la difficolt intrinseca legata allindividuazione di
metriche soggettive affidabili ci si rif in pratica alle seguenti
metriche oggettive:
MSE - (Mean Square Error)
PSNR - (Peak Signal-to Noise Ratio)
E
*
a,b
CIELAB
MSE e PSNR
dove N il numero di pixel presenti nellimmagine, cio
N=n*m dove n ed m rappresentano rispettivamente laltezza e
la larghezza dellimmagine, e si riferiscono alli-esimo pixel,
rispettivamente, nellimmagine di riferimento e nellimmagine
distorta; infine, L il range dinamico dei valori dei pixel, cio
per un segnale che presenta n bits/pixel, L uguale a 2
n
-1 .
=
=
N
i
i i
y x
N
MSE
1
2
) (
1
MSE
L
PSNR
2
10
log 10 =
MSE e PSNR
MSE e PSNR sono molto usati perch semplici da calcolare, per non
sempre danno un risultato fedele a quello dato dal sistema visivo umano.
Infatti:
La sensibilit del sistema HVS agli errori pu essere diversa per diversi tipi di
errori, e pu variare anche in base al contesto visuale. Tale differenza non pu
essere colta adeguatamente dallMSE.
Due immagini distorte possono avere tipi molto diversi di errori pur avendo lo
stesso MSE.
Entrambe le metriche sono fortemente influenzati ancheda impercettibili
movimenti spaziali (traslazioni,rotazioni, flipping di righe e/colonne)
=
=
N
i
i i
y x
N
MSE
1
2
) (
1
MSE
L
PSNR
2
10
log 10 =
MSE e PSNR per immagini RGB
Solitamente si usa una delle seguenti soluzioni
la semplice media dei valori MSE (o PSNR) sui 3 canali
Una combinazione lineare che pesa maggiormente la
componente verde

Rappresentazione del colore
Nel caso monocromatico, lunico attributo necessario a
caratterizzare in ogni punto limmagine lintensit, che si traduce
nel valore di grigio del corrispondente pixel.
Nel caso della radiazione cromatica, per ogni punto dellimmagine
occorre tener conto dei tre valori dei primari che ne determinano il
colore. A tal fine la classica rappresentazione delle immagini a
colori prevede limpiego di tre matrici di intensit, una di rosso, una
di verde, una di blu.
In altre parole, nel caso della radiazione cromatica, lintensit da
sola non sufficiente a caratterizzare limmagine, in quanto occorre
anche esprimere quantitativamente la presenza delle appropriate
lunghezze donda, la cosiddetta crominanza (o cromaticit)
Sintesi dei colori
RGB
E molto comune descrivere i colori riferendosi allo spazio colore RGB (red, green,
e blue). Lo spazio RGB basato sul fatto che ogni colore possa essere rappresentato da
una miscela dei tre colori primari red, green, e blue. I vari contributi sono assunti
indipendenti luno dallaltro (e quindi rappresentanti da direzioni perpendicolari tra
loro). La retta che congiunge nero e bianco la retta dei grigi.
RGB molto usato nelle videocamere e nei monito dato che risulta essere lo spazio
colore pi semplice per registrare e visualizzare immagini digitali a colori.
TrueColor (24 bit)
1 1 1
RGB Color Display
1 pixel = 3 R,G,B, phospors
with different illumination
RGB Color Display
24 bit: TrueColor
Colour Images
R R G G B B
H H S S L L
C C M M Y Y
Rappresentazione del colore
Due sono gli elementi della crominanza: la tinta (hue in inglese) e
la saturazione.
La tinta un attributo associato con la lunghezza donda dominante
in una miscela di onde luminose. Rappresenta pertanto quello che
viene normalmente denominato il colore dominante di un oggetto.
La saturazione un attributo che si riferisce alla purezza del colore,
ovvero alla quantit di luce bianca mescolata con una tinta.
I colori puri dello spettro hanno una saturazione del 100%, mentre
colori come il rosa, che una miscela di rosso e bianco, o il lavanda,
che una miscela di blu e bianco, sono meno saturi, con il grado di
saturazione inversamente proporzionale alla quantit di bianco. La
luce bianca ha invece saturazione nulla.
Un altro modo in cui pu essere specificato un colore in termini
delle quantit di R, G e B necessarie a formarlo, i cosiddetti valori di
tristimolo X, Y e Z.
Spazio CIE xyz
Un colore pu essere specificato mediante dei coefficienti
tricromatici. I valori di tristimolo necessari a rappresentare
il colore corrispondente ad una certa lunghezza donda
possono essere determinati da curve, tabelle e diagrammi
determinati sulla base di una estesa sperimentazione,
condotta in particolare negli anni60. Uno di essi il
diagramma CIE di cromaticit, che mostra la
composizione di un colore in funzione di x e y, mentre il
corrispondente valore di z calcolato direttamente dalla z
= 1 - (x + y). Il diagramma di cromaticit CIE 1931, solo
una "fetta" di uno spazio pi completo, lo spazio dei colori
CIE 1931 al quale si assegnano le coordinate XYZ.
La sua proiezione su un piano un diagramma di
cromaticit xy. Le relazioni per passare dalle coordinate
tridimensionali XYZ alle coordinate xy sono: x =
X/(X+Y+Z), y = Y/(X+Y+Z).
Modelli del Colore
Scopo di un modello del colore (o spazio dei colori o sistema dei
colori) di consentirne la specificazione dei colori con modalit
standardizzate, che fanno normalmente riferimento ad un sistema di
coordinate 3-D (dato che tre sono comunque le caratteristiche che
definiscono un colore), o meglio ad un suo sotto-spazio, nel quale ogni
colore rappresentato da un punto.
I modelli del colore pi utilizzati in image processing sono orientati o
allhardware di acquisizione (RGB) e restituzione (RGB, CMY) delle
immagini o alla loro trasmissione (YUV, YIQ), compressione
(YCbCr), elaborazione (od analisi) mediante trattamento del colore
(RGB, HSI, HSV, LUV, ...).
Alla poca chiarezza derivante dalla abbondanza di modelli dello stesso
tipo, si aggiunge luso ambiguo delle lettere nei nomi dei modelli (I o
V significano cose diverse in modelli diversi), e soprattutto il fatto che
in letteratura esistono differenti versioni delle equazioni di conversione
dalluno allaltro dei modelli indicati.
Altri modelli colore
Il principale difetto del sistema CIE (e di tutti i modelli del colore da
esso derivati mediante trasformazioni lineari o non lineari di
coordinate) che esso non dotato di uniformit percettiva.
In altre parole, dati due colori C1 e C2, consideriamone le distanze
C, rispettivamente, dal colore C3 = C1 + C e dal colore C4 = C2
+ C Supponendo che le due distanze siano quantitativamente
uguali, sarebbe desiderabile che i due colori C3 e C4 fossero
percepiti come ugualmente distanti da C1 e C2 Dato che il sistema
non percettivamente uniforme, in generale le due distanze, bench
uguali, saranno percepite come differenti.
Dopo molti anni di elaborazione, la CIE ha standardizzato nel 1976
due spazi di colore percettivamente uniformi, chiamati
rispettivamente CIE L*u*v*e CIE L*a*b*(u e v non hanno alcuna
relazione con le componenti video U e V)
E
*
a,b
CIELAB
La metrica E
*
a,b
CIELAB lavora sullo spazio colore
CIELAB. Differentemente da altri spazi colore, lo spazio
colore CIELAB, percettivamente uniforme. I parametri che
lo determinano sono: L*, a*, b*.
L* rappresenta la luminanza mentre a* e b* rappresentano la
crominanza.
L*, a* e b* sono le trasformazioni dei tre valori di tristimolo
X, Y e Z dello spazio colore CIE XYZ.
Formule
Attraverso le seguenti formule, si pu passare dallo spazio
colore CIE XYZ allo spazio colore CIELAB, e viceversa
Dove X/X
n
, Y/Y
n
, e Z/Z
n
, sono maggiori di 0.01 e X
n
, Y
n
e
Z
n
definiscono il punto bianco. Lo spazio colore CIELAB in
confronto al CIE XYZ rispetta maggiormente la risposta non
lineare dellocchio umano alle radiazioni elettromagnetiche.
La metrica CIELAB si ottiene dalla seguente formula:
16 116 *
3
1
|
|
\
|
=
n
Y
Y
L
(
(
(
|
|
\
|
|
|
\
|
=
3
1
3
1
500 *
n n
Y
Y
X
X
a
(
(
(
|
|
\
|
|
|
\
|
=
3
1
3
1
200 *
n n
Z
Z
Y
Y
b
( ) ( ) ( )
2 2 2
*
* * * b a L E
ab
+ + =
.
VQEG
Il VQEG (Video Quality Expert Group www.vqeg.org) dal
1997 cerca di sviluppare, convalidare e standardizzare nuove
metriche soggettive di qualit dellimmagine.
I criteri di valutazione di una metrica tengono conto di:
Prediction Accuracy (accuratezza della previsione): la capacit di
predire una soggettiva valutazione della qualit con basso errore.
Prediction Monotonicity: lesattezza con la quale le previsioni
concordano con le valutazioni soggettive della qualit.
VQEG fornisce un ampio video database, a disposizione del
pubblico, con valutazioni affidabili di tipo soggettivo.
VQEG - SSCQE
(Single Stimulus Continuous Quality)
SSCQE: limmagine da valutare viene mostrata ai soggetti
che la devono valutare in intervalli di tempo successivi; essa
di volta in volta, presenta diversi rumori. I soggetti, ad ogni
osservazione, esprimono le loro impressioni sulla qualit
dellimmagine, utilizzando una scala articolata su cinque
livelli di qualit;
VQEG - DSCQS (Double Stimulus Continuos Quality Scale).
DSCQS: limmagine di riferimento e limmagine distorta
vengono presentate in sequenza luna dopo laltra ed il
soggetto le valuta entrambe usando la stessa scala utilizzata
nel metodo SSCQE.
MOS Mean Opinion Score
Tra le metriche soggettive, negli
ultimi anni, la metrica MOS stata
considerata la pi affidabile, essa
consiste nella valutazione media di
giudizi espressi da diversi
osservatori umani, relativi alla
qualit di unimmagine. Questa
metrica per presenta i alcuni
svantaggi:
- molto lenta, costosa e non pu
essere condotta in tempo reale;
- non pu essere utilizzata per quelle
applicazioni che necessitano di
metriche automatiche.
IMA test: www.imatest.com
Vengono elencati una serie di fattori che impattano la
qualit delle immagini acquisite da specifiche camere
digitali
Altre Metriche: SSIM
La Structural SIMilarity (SSIM) misura la similarit tra due
immagini (Full-Reference). Si basa sul fatto che il sistema
visivo umano in grado di estrarre informazioni strutturali
dal campo visivo. Pertanto, una misurazione della perdita di
informazione strutturale pu fornire una buona
approssimazione alla distorsione della immagine
percepita.Sono quindi considerate le informazioni strutturali
in unimmagine come quegli attributi che riflettono la
struttura degli oggetti sulla scena, indipendenti da
luminanza e contrasto medio.
Altre Metriche:SSIM
E stato introdotto un indice universale di qualit dellimmagine che
separa il confronto della luminanza, contrasto e struttura. Questo
approccio stato generalizzato e migliorato, fino a quando stato
possibile estrarre un indice che ha evidenziato alcuni vantaggi rispetto
alle metriche tradizionali.
Z. Wang, A. C. Bovik, H. R. Sheikh and E. P. Simoncelli, Image
quality assessment: From error visibility to structural similarity,
IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600-612,
Apr. 2004.
Z. Wang and A. C. Bovik, Mean squared error: love it or leave it? -
A new look at signal fidelity measures, IEEE Signal Processing
Magazine, vol. 26, no. 1, pp. 98-117, Jan. 2009.
Si veda: http://www.ece.uwaterloo.ca/~z70wang/research/ssim/
Altre metriche: SSIM
Si considerino x e y due segnali non negativi corrispondenti
rispettivamente allimmagine campione e a quella distorta. Dati
x
(media di x),
y
(media di y),
2
x
(varianza di x),
2
y
(varianza
di y),
xy
(covarianza di x e y) si definisce SSIM(x,y):
Le due costanti C
1
e C
2
servono per i casi limite (divisione per
zero) e sono definite come C
1
=(K
1
L)
2
e C
2
=(K
2
L)
2
, dove L=255
per immagini a 8 bit, e K
1
K
2
<<1 sono due costanti molto
piccole).
Altre Metriche:SSIM
Luminanza
Contrasto
Struttura
Altre metriche:SSIM
Altre Metriche:SSIM
Esempi
Compressione JPEG
Originale
Low Quality
High Quality
PSNR vs MSE
0 10 20 30 40 50 60 70 80 90 100
15
20
25
30
35
40
45
PSNR
d
B
0 10 20 30 40 50 60 70 80 90 100
0
100
200
300
400
500
600
700
800
900
1000
MSE
MSE
R
MSE
G
MSE
B
MSE
Rate Distortion
0 0.5 1 1.5 2 2.5
0
100
200
300
400
500
600
700
800
Bit per Pixel (bpp)
M
S
E
Rate Distortion
Matlab code
function [MSE_R, MSE_G, MSE_B, MSE, PSNR,bpp] = compress()
fname=input('Inserisci il nome dell''immagine: ','s');
a=imread(fname); [M,N,c]=size(a);
a=double(a); dim=size(fname(:));
fnamenew=fname(1:dim(1)-4);
for i=1:100
str=num2str(i);
imwrite(uint8(a),[fnamenew str
comp.jpg'],'JPEG','Quality',i);
b=imread([fnamenew str 'comp.jpg' ]);
info_file=dir([fnamenew str 'comp.jpg' ]);
n_bit=info_file.bytes*8;
bpp(i)=n_bit/(M*N*c);
b=double(b);
.
..
SE_R=(a(:,:,1)-b(:,:,1)).^2; MSE_R(i)=mean(SE_R(:));
SE_G=(a(:,:,2)-b(:,:,2)).^2; MSE_G(i)=mean(SE_G(:));
SE_B=(a(:,:,3)-b(:,:,3)).^2; MSE_B(i)=mean(SE_B(:));
MSE(i)=mean([MSE_R(i),MSE_G(i),MSE_B(i)]);
PSNR(i)= 10*log10((255^2)/MSE(i));
end
figure; plot(PSNR);
figure; plot([1:100], MSE_R,'r', [1:100], MSE_G,'g',
[1:100], MSE_B, 'b', [1:100], MSE, '--k');
figure; plot(bpp, MSE);
end
Esempi
Rumore Gaussiano su porzioni diverse della stessa immagine
Matlab code
a=imread('kodim21.png');
[M,N,Col]=size(a);
a1=a;
a2=a;
a1(1:end/2,:,:)=imnoise(a(1:end/2,:,:),'gaussian', 0,0.001);
figure; imshow(uint8(a1));
a2(end/2:end,:,:)=imnoise(a(end/2:end,:,:),'gaussian', 0,0.001);
figure;imshow(uint8(a2));

Parte3 MetricheImmaginiDigitali

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Parte3 MetricheImmaginiDigitali

Caricato da

Copyright:

Formati disponibili

Multimedia A.A. 2009/2010 - S.

Multimedia A.A. 2009/2010 - S. Battiato

Multimedia A.A. 2009/2010 - S. Battiato

Potrebbero piacerti anche