12-05-2010

Segmentazione II (similarit)

Elaborazione dei dati multimediali a.a. 2009/10

Image segmentation (cont.)

!!

!!

!!

Segmentation subdividesd an image into its constituent parts or objects. The level of subdivision depends on the probelm being solved Segmentation algorithms are based on properties of gray-level values: ! Discontinuity (previous lecture) ! Similarity (this lecture)

12-05-2010

Segmentazione in Regioni
!!

Le tecniche di segmentazione basate sulla similarit dei livelli di grigio si suddividono in :

! Sogliatura (Thresholding) ! Region-oriented
! Split&Merge ! Region Growing

!!

Le regioni estratte devono essere:

! ! ! ! uniformi ed omogenee. differenti dalle regioni adiacenti. senza buchi interni. con confini semplici e non seghettati.

!!

Il concetto di omogeneit si estende al colore ed alla tessitura (v. descrittori)

Segmentazione a Soglia
!!

!!

un tipo di segmentazione binaria in cui si distingue loggetto dal suo sfondo. Si fissa una soglia T: Se I(x,y)>T ! (x,y)!Oggetto; Altrimenti ! (x,y)!Sfondo. Si ricava una soglia ottima T rispetto ad un certo criterio. Si possono anche avere soglie locali per diverse parti dellimmagine.

!!

!!

12-05-2010

Immagine originale

Immagine dopo sogliatura

Sogliatura ottima
!!

Hp: img NxM con 2 regioni principali: istogramma h(x) bimodale

SFONDO OGGETTO

!1

!2

!!

Modellato come mistura di due p.d.f. Gaussiane p1(x) e p2(x), con pesi P1 e P2 (P1+P2=1)

12-05-2010

!!

Probabilit di classificare un pixel delloggetto come appartenente allo sfondo:

!!

Probabilit di classificare un pixel dello sfondo come appartenente alloggetto:

!!

La probabilit dellerrore totale : E(T)=P2E1(T) + P1E2(T)

!!

La soglia ottima T si ricava minimizzando lerrore totale:

12-05-2010

!!

!!

Si tratta di una equazione di II grado in T, che pu dare luogo a due soluzioni. Nel caso "1= "2 = "

inoltre, se P2=P1 #

Metodo dei modi

!!

una generalizzazione del metodo a soglia ottima.

picco picco

soglia T in corrisp. della valle

!!

Pb.: Determinare le zone alte (peakness) e le zone piatte (valleyness)

12-05-2010

Metodo dei modi

!!

Algoritmo:

1.! Si determinano i picchi pi elevati dell'istogramma H che sono distanti tra loro per almeno una certa quantit d: gi, gj t.c. $gi-gj$% d 2.! Si trova il punto gk pi basso tra gi e gj. 3.! Si calcola il peakness come 4.! Si utilizzano le terne (gi,gj,gk) a peakness pi elevato per segmentare l'img usando gk come soglia.

!!

Commenti:
! la distanza tra picco e valle ignorata; ! approccio generalizzabile al caso di n oggetti + sfondo aventi differenti distribuzioni di ldg

Metodo P-Tile
!!

Assume nota larea o la percentuale dellimg. occupata dagli oggetti e sceglie la soglia in base a tale valore:

!%

10 0%

!!

E un metodo utilizzato per segmentare pagine di testo, eg., scritto/sfondo

12-05-2010

Metodo di Soglia adattiva

!!

!!

!!

Si partiziona limmagine in m ! n finestre e si seleziona una soglia Tij per ogni finestra. La segmentazione finale sar lunione delle segmentazioni sulle finestre. Si usa nei casi in cui lilluminazione non uniforme (ombre).

Metodo a doppia soglia

!!

!! !!

Sogliatura ad isteresi (implementa i criteri di similarit dei ldg e connettivit spaziale). Si usa una soglia T1 per estrarre il nucleo delloggetto. La segmentazione viene raffinata tramite unaltra soglia T2 > T1: 1) Si selezionano 2 soglie T1,T2 con T2 > T1. 2) Si partiziona limmagine in 3 regioni: R1, contenente i pixel con ldg < T1. R2, contenente i pixel con T1 < ldg < T2. R3, contenente i pixel con ldg > T2. 3) Si visita ogni pixel (x,y)!R2 e se ha un vicino (w,z) ! R1 , allora si assegna (x,y)! R1 4) Si ripete (3) finche non ci sono pi pixel da riassegnare. 5) I pixel rimasti (x,y)!R2 vengono assegnati alla regione R3

12-05-2010

Limiti dei metodi a soglia

!! !!

Sono utili solo per immagini semplici. Non tengono conto della distribuzione spaziale, ie., immagini diverse possono avere lo stesso istogramma: Ad esempio:

Hanno tutte lo stesso istogramma

12-05-2010

Tecniche region-oriented
!!

Possiamo formulare la segmentazione come il processo di partizionamento della intera immagine I in n sottoregioni R1 Rn t.c.:
! Ri una regione connessa & i ! Ri " Rj = # & i 'j !

!!

Assegnato un predicato P (criterio di omogeneit) deve valere:

! P(Ri)=vero & i ! P(Ri( Rj)=falso & i 'j, con Ri , Rj regioni adiacenti

Tecniche region-oriented
!!

Accrescimento delle Regioni (Region growing)

! Si parte con un insieme di regioni seme e si cerca di espanderle secondo un criterio di omogeneit P.

!!

Split&Merge
! Parte dallintera immagine e la suddivide ! Itera suddividendo ulteriormente o raggruppando per cercare di sodddisfare le condizioni sulla segmentazione

12-05-2010

Region growing
!! !!

Choose a group of points as initial regions. Expand the regions to neighboring pixels using a heuristic P:
! Gray level (or color) difference from
! The neighbors. ! The average ! The central pixel

! The total error in the region:

! Variance ! Sum of the differences between neighbors.

! In some cases, we can also use structural information: the region size and shape.
!!

!!

In this way we can handle regions with a smoothly varying gray level or color. How do we choose the starting points ? It is problem dependent.

a) Immagini originali

b) Immagini segmentate

10

12-05-2010

Region merging and splitting

!!

!!

!!

In region merging we start with small regions (it can be pixels), and iteratively merge regions which are similar. In region splitting, we start with the whole image, and split regions which are not uniform. These methods can be combined. Formally:
1.! Start from an initial segmentation; 2.! Choose a predicate P; 3.! Split into disjoint regions any region Ri for which P(Ri)=false 4.! Merge any adjacent regions Ri and Rj for which P(Ri( Rj)=true 5.! Stop when no further merging and splitting is possible.

!!

Bisogna stabilire:
! Il predicato P ! Come suddividere una regione nella fase di split

!!

!!

P pu essere basato sulla varianza dei ldg (o altri momenti) , su deviazioni dal fit di un modello, o su descrittori come la texture. La suddivisione pu essere fissa (es. quadranti) o cercare di separare le zone responsabili del fallimento del predicato, p.es. dividere lungo il contorno che presenta forza maggiore (gradiente elevato).

11

12-05-2010

Possibile algoritmo di split & merge

!!

Predicato P (criterio di omogeneit):

! P(R)=1, se " < ) ! P(R)= 0, altrimenti dove " la varianza e ) una soglia predefinita.

!!

Algoritmo :

1) Si inizializza l'img I come una regione unica R. 2) Si calcola P(R): split: se P(R) = 0 (falso)

# dividi R in 4 sottoquadranti

ripeti lo split ricorsivamente sulle 4 sottoregioni 3) Si consideri qualsiasi coppia o pi (R1,R2) di regioni adiacenti: merge: se P(R1 ( R2) =vero

# le regioni si fondono (merge).

ripeti il merge fino a quando possibile

Quadtree
!!

La parte iniziale di split ricorsivo ben descritta da una struttura ad albero, chiamata quadtree.
R R1 R21 R23 R4 R22 R24 R1 R21 R2 R22 R3 R23 R4 R24

R3

12

12-05-2010

Esempio di applicazione del metodo Split & Merge

a) Immagine originale

b) Immagine dopo lo split

c) Immagine segmentata (labeled image)

13