Politecnico di Bari

Dipartimento di Elettrotecnica ed Elettronica

Docente: Prof. Ing. Beniamino Castagnolo

Studente: Michele Franchini
esame di Sistemi elettronici per la formazione delle immagini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Introduzione
Negli ultimi anni si sono evidenziate alcune direttrici che hanno guidato lo
sviluppo delle tecniche di presentazione dei dati di medical imaging:

la consapevolezza che una

migliore possibilit di diagnosi
non basta se non si traduce in un
impatto concreto sulle terapie

le procedure di
intervento guadagnano
importanza rispetto
alla diagnosi pura

La modellazione 3D un approccio multidisciplinare che unisce teoria dei

sistemi, ingegneria meccanica ed elettronica, conoscenze mediche, anatomia,
ortopedia e radiologia.
Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Esempi applicativi
applicazione 1

applicazione 2

surgery planning

post-surgery guide

riduzione
dei tempi
di intervento

Michele Franchini

aumento della
precisione
dellintervento

comparazione fra
diverse fasi evolutive
della patologia

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Medical imaging - Tecniche disponibili

immagini
morfologiche

immagini
funzionali

tecniche ibride

Michele Franchini

CT (16/64/256)
MRI

PET/SPECT
FMRI

PET/CT

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Set di slice 2D

centinaia di slice sequenziali

difficolt nella gestione ed

analisi dei dati
Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Passaggio al 3D

Il generico passaggio dallutilizzo di estesi set di slice 2D ad un unico modello 3D

ha dato una concreta risposta tecnologica ai problemi precedentemente
elencati, e richiede il supporto di una visione pi ingegneristica che, per
formazione, manca al personale medico.

Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Algoritmi di volume rendering

Fra i diversi approcci al volume rendering quelli pi sfruttati sono:

VRT

visualizzazione diretta (Alpha compositing) o indiretta

(Texture-based)
colormap modificabili in colore e trasparenza
effetti di illuminazione virtuale per un migliore
rendering di strutture spaziali complesse e dettagli fini

MIP

visualizzazione delle intensit maggiori (o minori) in un

volume di dati lungo la line of sight

Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

VRT - Algoritmo texture-based

Fase 1
segmentazione

Fase 2
triangular mesh

La segmentazione serve a separare zone di

interesse (strutture eterogenee) nelle slice.
La superficie di un oggetto segmentato pu essere
rappresentata in pi modi (set di voxel o poligoni).
Le moderne GPU utilizzano mesh di triangoli.
Un metodo tipico per calcolare le mesh
lalgoritmo marching cubes, che suddivide ogni
cella composta da 8 voxel (cubo) in oggetti interni
ed esterni ad essa, utilizzando una delle 15
possibili combinazioni. Ognuna delle superfici di
separazione pu essere suddivisa in triangoli.
Una texture infine applicata sulla superficie di
ogni triangolo. Eventualmente pu seguire una
fase di smoothing fra le texture adiacenti.
Michele Franchini

Fase 3
texture mapping

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

VRT - Alpha-compositing
Questo
algoritmo
non
richiede
necessariamente una fase preliminare di
segmentazione.
La densit dei tessuti (espressa in HU,
Hounsfield Units) viene mappata rispetto
allopacit (alpha un parametro di
opacit: 0 se loggetto opaco, 1 se
completam. trasparente).
In seguito tramite thresholding si fornisce
una migliore definizione dei contorni o
una visualizzazione semitrasparente delle
strutture.
Laspetto del rendering determinato
dalla curva di densit; questa pu essere
tracciata manualmente o si possono usare
curve presettate e controllare il risultato
volta per volta.
Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

VRT - Rendering con VolView

Esempi di transfer functions e diversi tresholding su dataset CT:

ossa

Michele Franchini

vasi principali

pelle

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

MIP
una tecnica particolare di ray-tracing che
ben si adatta ad immagini tomografiche
anche particolarmente rumorose.
Limmagine generata attraversando il
volume di interesse con raggi ideali e
riportando sul piano di proiezione il valore
della massima intensit incontrata.

La tecnica MIP computazionalmente

pi veloce della VRT ma spesso i risultati 3D
non forniscono un buon senso di
profondit dei dati originali bidimensionali.
Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

MIP - Noduli polmonari

La tecnica MIP viene utilizzata per:
programmi di screening del tumore
polmonare
che
utilizzano
la
tomografia, dato che esalta la natura
dei noduli, facendoli emergere
rispetto al tessuto polmonare.
il rendering di immagini PET
angiografiche (vasi in genere) o
immagini neuronali.

i noduli sono evidenti e

risaltano sul background
fatto di bronchi e bronchioli

Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Applicazione 1 - Rendering meningioma

schermata di default del
software VolView: il dataset
viene visualizzato nelle tre
direzioni spaziali

Effettuiamo il cropping della

zona interessata.

un ulteriore riquadro fornisce in automatico la ricostruzione

3D del modello anatomico. il modello 3D pu essere
manipolato nello spazio, ottenendo tutte le possibili visuali
Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Shading superficiale
Lo shading permette di apprezzare le rugosit della superficie

Shading OFF

Michele Franchini

Shading ON

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Trasformazioni dellistogramma
listogramma della sezione 3D permette di ottenere diverse visualizzazioni: a seconda
della densit della zona riusciamo a distinguere pi dettagli se cambiamo la colormap

anche eventuali
strutture interne
vengono messe
in risalto

Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Confronto VRT-MIP

VRT

MIP

in questo specifico caso la tecnica MIP permette di

apprezzare anche dettagli pi fini come eventuali
strutture interne filamentose del tumore
Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Applicazione 2 - Tumor volumetric changes

Tramite il pacchetto software 3D Slicer
possibile verificare la variazione di volume
della massa tumorale gi visualizzata con il
software VolView.
Il meningioma un tumore benigno
caratterizzato da una lenta crescita, il che
rende difficile seguirne levoluzione
temporale se non a distanza temporale
considerevole (anni).
Il dataset utilizzato lo stesso della
precedente applicazione, questa volta per
integrato da un ulteriore set acquisito a
distanza temporale di un anno.

Baseline Giugno 2006

Follow-up Giugno 2007

Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Caratteristiche del dataset

Tecnica di acquisizione: MR Axial 3D SPGR T1
Agente di contrasto: Gadolinio (Gd) (ioni paramagnetici)
Voxel dimension: 0.94mm x 0.94mm x 1.20mm
FOV: 240mm
Matrix: 256 x 256
Scan time: 8 mins

Prerequisiti per il buon funzionamento dellalgoritmo:

i contorni del tumore devono essere ben definiti (pre-processing contrasto)
non adatto a masse tumorali che presentano necrosi evolutive nel tempo
(necessit di omogeneit nella tonalit dei tessuti)

Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Tumor volumetric changes

inserimento
dati e selezione
set di scans
(baseline e
follow-up)

definizione di
un VOI
(volume of
interest)

visualizzazione del modello 3D in base al VOI selezionato

Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Tumor volumetric changes

segmentazione
(threshold range)

selezione della
metrica
(intensity
difference change
detection, pi
veloce)
esaltazione della sagoma della massa tumorale
Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Tumor volumetric changes

controllo risultati
(slice per slice o 3D)

growth/shrinkage

nella specifica analisi condotta la

crescita risultata dell1% circa.
conviene effettuare pi analisi e
mediare
Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Tumor volumetric changes

Vantaggi:
visione d'insieme dell'evoluzione
del tumore
facile valutazione su quali siano
le direzioni di sviluppo della
massa tumorale

Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Sviluppi futuri
Un futuro possibile vede alcune direzioni di sviluppo pi in evidenza di altre:

Stereo rendering

Interazione

Automazione

Le odierne capacit di
visualizzazione
stereoscopica offerte dai
monitor permetteranno
di poter esplorare i
modelli con ancora pi
realismo

Migliore interazione
con i modelli da parte
del personale medico
tramite telecamere che
rilevano i movimenti
delle mani

Operazioni chirurgiche
guidate in automatico
grazie alla maggiore
precisione dei dati
ricavati dai modelli 3D

Michele Franchini

Politecnico di Bari
Dipartimento di Elettrotecnica ed Elettronica

Bibliografia e Software utilizzati

Testi consultati:
Schroeder-Martin-Lorensen - The visualization toolkit: an object-oriented approach to
3D graphics, 3 ed. - Kitware Inc., 2002 - pp. 420-426
Suetens - Fundamentals of medical imaging, 2 ed. - Cambridge, 2009 - pp. 190-205
Prokop-Galanski - Spiral and multislice computed tomography of the body - Elsevier,
2008 - pp. 65-74
Software:
VolView versione 3.4
3D Slicer versione 4.1.0

Michele Franchini