27/02/2008

Realt Virtuale

Realt Virtuale
Lo scopo della realt virtuale (VR) quello di ricreare, tramite un computer, mondi e oggetti che sono la trasposizione digitale di ambienti reali o di fantasia.

27/02/2008

Realt Virtuale
Permette di sperimentare situazioni troppo costose o pericolose da vivere in prima persona (una visita ad un palazzo non ancora costruito, un'operazione su di un paziente virtuale,...), oppure astratte ed impossibili da vivere (percezione di campi magnetici, di flussi d'aria attorno ad un aereo, etc...).

Definizione di Realt Virtuale

Virtual Reality

27/02/2008

Definizione di Realt Virtuale

Rendering in g tempo reale
Virtual Reality

Definizione di Realt Virtuale

Rendering in g tempo reale
Virtual Reality

Presentazioni Fotorealistiche

27/02/2008

Definizione di Realt Virtuale

Rendering in g tempo reale
Virtual Reality

Presentazioni Fotorealistiche

Interazione Intuitiva

Definizione di Realt Virtuale

Rendering in g tempo reale
Virtual Reality

Dispositivi di I/O

Presentazioni Fotorealistiche

Interazione Intuitiva

27/02/2008

Definizione di Realt Virtuale

Input/Output Multi-Modali (audio, tatto, ...)
Virtual Reality

Rendering in g tempo reale

Dispositivi di I/O

Presentazioni Fotorealistiche

Interazione Intuitiva

Definizione di Realt Virtuale

Input/Output Multi-Modali (audio, tatto, ...)
Virtual Reality

g Rendering in tempo reale

Dispositivi di I/O

Presentazioni Fotorealistiche

Interazione Intuitiva

Visualizzazione STEROSCOPICA S OSCO C

27/02/2008

La Visione Stereoscopica
Una delle caratteristiche fondamentali dei sistemi di RV la visualizzazione delle scene in STEREOSCOPIA

La Visione Stereoscopica
L effetto Leffetto stereo nella visione consente un notevole balzo di qualit nella visione digitale, in quanto permette di vedere le immagini artificiali in un modo molto vicino a come percepiamo quelle naturali. Per dare al nostro sistema visivo la sensazione di tridimensionalit bisogna fornire, separatamente ai due occhi, due immagini differenti, nelle quali gli oggetti della scena abbiano una disparit sufficiente e proporzionata alla loro distanza dallosservatore. In sostanza bisogna ricreare in modo sintetico le condizioni reali nelle quali losservatore si troverebbe.

27/02/2008

Perch vediamo in 3D
Locchio umano formato da diverse parti, l insieme parti linsieme delle quali pu essere paragonato, per funzionalit, alle componenti di una macchina fotografica. La pupilla mette a fuoco limmagine. Questa, passando attraverso il cristallino, viene proiettata sulla retina. Il cervello fondendo le due percezioni visive provenienti dagli occhi in ununica immagine genera la sensazione di profondit.

Perch vediamo in 3D
L immagine Limmagine viene trasferita al cervello attraverso il nervo ottico. Essendo i due occhi distanziati di circa 6-7 cm, limmagine prodotta dallocchio sinistro risulta leggermente sfalsata rispetto a quella prodotta dallocchio destro. Quando il cervello ricompone limmagine originale, partendo da quelle prodotte dai due occhi, in grado di dare profondit agli oggetti.

27/02/2008

Perch vediamo in 3D
Su questo principio si basano i meccanismi per la visione stereoscopica che, nati nella prima met dellottocento, si sono evoluti fino a diventare una delle tecnologie pi diffuse per la VISIONE TRIDIMENSIONALE.

Il visore per stereofotografie di Maegher del 1861.

Tipologie di Realt Virtuale

VR Semi-Immersiva Proietta il mondo virtuale su di un display pi o meno grande, senza isolare lutente dallambiente.

27/02/2008

VR Semi-Immersiva SemiAttualmente sono disponibili numerose tecniche per generare limmagine relativa ad ogni occhio Tutte l immagine occhio. queste tecniche si basano su due metodi particolari di proiezione:

Stereoscopia Attiva e Passiva

Stereoscopia attiva
Consente di avere la visione stereoscopica sullo schermo del computer grazie alla visualizzazione contemporanea di due immagini proiettate, una per ogni occhio. Per la visualizzazione sono necessari degli occhiali con lenti a cristalli liquidi detti shutter glasses.

27/02/2008

Stereoscopia attiva
Il monitor o il proiettore visualizza due differenti immagini una per immagini, ogni occhio, mentre gli occhiali provvedono ad oscurare un occhio per volta. Quando il monitor o il proiettore visualizza il fotogramma p per locchio destro, la lente sinistra , degli occhiali viene oscurata impedendo allocchio sinistro la visione dellimmagine che non gli compete.

Stereoscopia attiva
Questo processo per poter funzionare senza creare disturbi deve lavorare ad una frequenza almeno pari a 60 Hz per ogni occhio. Quindi le lenti saranno oscurate ognuna con una frequenza di 60 Hz mentre il monitor o il proiettore avr una frequenza doppia (120 Hz) proiettando alternativamente le due immagini.

10

27/02/2008

Stereoscopia attiva
Shutter glasses Proiettore CRT

Stereoscopia attiva
Svantaggi delle tecniche attive: gg Necessarie schede grafiche che supportino lo stereo attivo, spesso costose. Risoluzione solitamente non alta in quanto ogni immagine utilizza met della risoluzione disponibile. I soli proiettori che supportano le alte frequenze necessarie sono CRT, di solito ingombranti e di difficile calibrazione. Gli shutter glasses sono fragili e abbastanza costosi. Se non sono wireless, i cavi possono essere di intralcio al movimento. Possibile flickering.

11

27/02/2008

Stereoscopia passiva
Sullo schermo vengono proiettate contemporaneamente le due immagini per locchio destro e per locchio l occhio l occhio sinistro. Una volta create le due immagini bisogna fare in modo che ciascun occhio veda esclusivamente limmagine che gli compete.

Stereoscopia passiva
Per attuare ci esistono tre metodi che utilizzano: 1. gli anaglifi, 2. la polarizzazione della luce, 3. la larghezza di banda del colore.

12

27/02/2008

Stereoscopia passiva: gli anaglifi

Un anaglifo una immagine ottenuta sovrapponendo due fotogrammi di uno stereogramma colorati con due differenti colori fondamentali (secondo lo standard ISU (International Stereoscopic Union) si usa il Rosso per quella sinistra e il Cyan per quella destra.

Stereoscopia passiva: gli anaglifi

Osservando li O d limmagine tramite l i di i i lenti colori opportuni (rosso per locchio sinistro e ciano per locchio destro) ciascun occhio vede limmagine filtrata dal colore corrispondente. Con questa tecnica, la gamma cromatica delle immagini originali viene fortemente ridotta dallapplicazione delle dominanti rossa e ciano che generano leffetto 3D.

13

27/02/2008

Stereoscopia passiva
Fa uso di occhialini dotati di lenti polarizzate, molto pi economici e confortevoli d li Sh i i i f li degli Shutter Gl Glasses, abbinati a due videoproiettori che inviano sullo schermo due immagini diverse, una per ogni occhio

Stereoscopia passiva
Polarizzare una luce (di per s non polarizzata) significa farne emergere una particolare orientazione. orientazione
Un filtro a polarizzazione lineare una lamina di materiale plastico in grado di trasmettere solo la componente del campo elettrico parallela a una particolare direzione, chiamata direzione di polarizzazione del filtro o asse del filtro.

Un filtro a polarizzazione circolare determina unonda polarizzata circolarmente con il campo elettrico che ruota con velocit angolare costante intorno alla direzione di propagazione, mantenendo il modulo costante.

14

27/02/2008

Stereoscopia passiva
Se si montano due filtri polarizzatori ruotati di 90 gradi luno rispetto allaltro sulle lenti dei proiettori, allora i due risultanti all altro fasci luminosi risultano composti da luce che oscilla su due piani perpendicolari, uno orizzontale e laltro verticale.

Stereoscopia passiva
Se losservatore indossa gli occhiali con lenti polarizzate potr separare le due immagini riflesse dallo schermo.

Se si usa la polarizzazione lineare, quando un osservatore inclina la testa si avr un cambiamento nella polarizzazione degli occhiali, che non corrisponder pi con la polarizzazione dei filtri montati sui proiettori, e lo spettatore perder leffetto stereo. Per questo motivo si usa la polarizzazione circolare che consente maggiore libert di movimento da parte dellosservatore

15

27/02/2008

Stereoscopia passiva
I filtri a polarizzazione circolare vengono posizionati in modo che la luce uscente da un proiettore subir una polarizzazione circolare destrorsa, mentre quella uscente dallaltro proiettore una polarizzazione circolare sinistrorsa.

Con la polarizzazione circolare, lo spettatore pu inclinare la sua testa e cambiare il suo angolo di ispezione rispetto allo schermo senza perdere leffetto stereoscopico, perch la luce non polarizzata in una singola direzione

Stereoscopia passiva
Svantaggi della polarizzazione: gg p La P.L. pu essere usata solo in ambienti in cui sono previste piccolissime rotazioni della testa. La P.C. presenta problemi pi importanti di ghosting. In entrambi i casi necessario uno schermo di materiale speciale in grado di mantenere la polarizzazione. Vantaggi delle tecniche passive: Si possono usare normali schede grafiche, ad alta risoluzione, senza costi eccessivi. Costi limitati per lHW di proiezione (proiettori DLP ad alta luminosit, filtri, lenti, schermo)

16

27/02/2008

Stereoscopia passiva
Silver Screen Da-Lite 150x170 cm Occhiali in plastica con lenti a polarizzazione circolare Videoproiettori LCD NEC VT 460K

Filtri a polarizzazione circolare

Stereoscopia passiva
Lo schermo rivestito di materiale metallico in modo da mantenere la polarizzazione della luce

17

27/02/2008

Stereoscopia passiva
Allineamento delle due immagini Affinch il sistema funzioni correttamente, le immagini provenienti dai due proiettori devono combaciare sullo schermo

Esistono diversi approcci a questo problema

Stereoscopia passiva
Lapproccio pi semplice consiste nel posizionare i proiettori uno sopra laltro paralleli tra loro Questa configurazione richiede per che i proiettori siano dotati della funzione Vertical Shift Lens

Questa funzione permette di spostare unimmagine pur tenendo fermi i proiettori senza influire sulla qualit dellimmagine

18

27/02/2008

Stereoscopia passiva
Se i proiettori non sono dotati di questa funzione, per far i id le immagini necessario i li f coincidere l i i i i inclinare uno dei due proiettori. Questo genera per una deformazione dellimmagine.

Stereoscopia passiva
Per rimediare a questo errore viene sfruttata la funzione Digital Keystone Correction, di cui la maggior parte dei g y , gg p proiettori LCD e DLP attualmente in commercio sono dotati

19

27/02/2008

Stereoscopia passiva
Tecnologia per lo stereo passivo INFITEC (INterference FIlter TEChnology)

Stereoscopia passiva
Vantaggi rispetto alla polarizzazione: gg p p Scarsissimi problemi di ghosting e indipendenza dalla rotazione della testa Migliore separazione delle immagini Una qualsiasi superficie pu fungere da schermo Svantaggi del filtraggio infitec Alti costi I colori vengono alterati ed consigliabile una correzione SW della gamma dei colori

20

27/02/2008

Sistemi di Proiezione
Il Powerwall uno schermo di grandi dimensioni, generalmente a retroproiezione, che visualizza immagini stereoscopiche. Permette la collaborazione di piccoli gruppi di ricercatori che condividono gli stessi dati. La retro-proiezione garantisce la piena libert di movimento, dal momento che non c mai occlusione degli utenti nei confronti del fascio di luce. Per limitare lo spazio occupato, senza diminuire il cammino ottico, possibile usare uno o pi specchi.

Sistemi di Proiezione

21

27/02/2008

Sistemi di Proiezione
Powerwall

Sistemi di Proiezione
Workbench. Simile al Powerwall, ma di dimensioni pi ridotte (con conseguente immersione ridotta) e orientazione piana o inclinata. Utile in alcuni contesti (es. simulazione chirurgica) in cui non necessaria limmersione in un ambiente virtuale, ma preferibile calare alcuni contenuti virtuali in un contesto reale.

22

27/02/2008

Sistemi di Proiezione

Workbench o Virtual Table

Sistemi di Proiezione
unkalibriert

HEyeWall 6x4 tiles (48 Proiettori) Grandi dimensioni e alta risoluzione Rendering Cluster: serie di PCs connessi in t d lt i rete ad alta velocit l it

kalibriert

Anwendung

23

27/02/2008

Sistemi di Proiezione

Sistemi di Proiezione

HEyeWall

SXGA

Proiezioni ad alta risoluzione

24

27/02/2008

Sistemi di Proiezione
Problemi del sistema HEyeWall Visibilit delle giunzioni tra le diverse tiles Disunuformit di colore e luminosit

NCSA: 4 x 5 Wall, mono

Tipologie di Realt Virtuale

VR I Immersiva. Mi i Mira allimmersione totale dellutente nel mondo virtuale mediante periferiche speciali (come caschi e guanti), che isolano guanti) lutente dallambiente circostante.

25

27/02/2008

RV immersiva
CAVE un acronimo ricorsivo (CAVE i i i Automatic Virtual Environment). Il CAVE un ambiente multi-utente, una stanza i cui muri sono powerwall sincronizzati fra loro e (opzionalmente) con i movimenti dellutente. Ovviamente la visione stereo coerente con i movimenti di un solo utente. Gli altri sono passeggeri.

Sistemi di Proiezione
Esistono CAVE a 3, 4, 5 e 6 schermi. In Europa si trovano a Londra (4), Stocca da (4,6), Torino (3)... o d a ( ), Stoccarda ( ,6), o o Solitamente il pavimento non retroproiettato, a meno che non vi sia anche il soffitto. Nella CAVE a 6 schermi (Fraunhofer Institute), tutti sono retroproiettati. Uno schermo scorrevole per poter accedere alla struttura. E disponibile sia la versione con stereo attivo sia quella con passivo.

26

27/02/2008

Sistemi di Proiezione
CAVE

Sistemi di Proiezione
Gli HMD (Head Mounted Display) Sono dei caschi che contengono dei display p la visualizzazione g p y per e inoltre delle cuffie per laudio tridimensionale. Gli HMD possono essere stereoscopici, quando esiste un visore diverso per ogni occhio o monoscopici, quando entrambi gli occhi vedono la stessa immagine presente su un singolo display.

27

27/02/2008

Sistemi di Proiezione
Head Mounted Display

Le interfacce della RV
Input/Output Multi-Modali (audio, t tt ( di tatto, ...) ) Rendering in tempo reale
Virtual Reality

Dispositivi di I/O

Presentazioni Fotorealistiche

Interazione Intuitiva I t iti

Visualizzazione STEROSCOPICA

Interazione intuitiva. Si cerca di sfruttare il pi possibile i gesti e le azioni che le persone svolgono nella realt fisica quotidiana (camminare, raccogliere, girarsi, saltare, lanciare,...).

28

27/02/2008

Dispositivi di INPUT
Un notevole contributo alla sensazione di immersione nell'ambiente virtuale dato dalla possono essere affiancati o addirittura sostituiti da strumenti che offrono un'interfaccia pi naturale, quindi pi adatta a dare la sensazione di immersivit. Tali interfacce devono quindi permettere all'utente di interagire con l'ambiente mediante lo strumento che normalmente utilizza nella maniera pi comoda e naturale possibile, ovvero il proprio corpo.

Mouse 3D

29

27/02/2008

Cyber Glove
Il Cyber Glove un dispositivo che consente una interazione pi naturale con la scena virtuale

Cyber Glove
Nel Cyber Glove sono presenti dei dispositivi che creano delle distorsioni allinterno di un campo magnetico, tali distorsioni sono rilevate da appositi pp sensori che determinano il movimento della mano delloperatore.

30

27/02/2008

Interfacce aptiche
L'interazione pu essere bidirezionale: l'utente, muovendo una parte del corpo d un input al sistema e riceve da esso un corpo, riceve, esso, ritorno di forza, ovvero una sensazione tattile coerente con la forma dell'oggetto virtuale coinvolto nell'interazione. Siffatte interfacce sono dette aptiche, e possono coinvolgere qualsiasi parte del corpo.

Interfacce aptiche
Legano fisicamente lutente alla g macchina mediante un braccio snodato nelle giunture del quale sono presenti dei sensori. Si installa sulla mano in modo da fasciare tutte o solo alcune dita e permette di programmare le forze applicabili su ciascuno di essi essi. L utente dunque capace di percepire la forma e la taglia dei modelli 3D generati dal computer.

31

27/02/2008

Interfacce aptiche
Whole Body Motion Haptic I t f H ti Interface Haptic Interface

Il Motion Tracking
L'interazione con l'ambiente virtuale non si limita alla manipolazione degli oggetti virtuali ed alla modifica delle loro propriet, ma comprende anche la notifica all'ambiente della collocazione dell'utente al suo interno. Senza questa informazione il sistema non riuscirebbe infatti a calcolare e generare correttamente le sensazioni visive, uditive e tattili che rendono immersivo un ambiente virtuale. C C' pertanto la necessit di un meccanismo che sappia monitorare la posizione dell'utente, o di una parte di esso, al fine di registrarne il moto. Il sistema dovr tenerne conto al momento di fornire gli stimoli sensoriali precedentemente descritti.

32

27/02/2008

Il Motion Tracking
I meccanismi di motion tracking (o pi semplicemente meccanismi di tracking, o tracker) sono i grado di misurare i i ki k ) in d i il moto dell'utente, o di una parte di esso. Affinch un meccanismo di tracking sia di buona qualit necessario che abbia determinate caratteristiche: Frequenza elevata: un lento aggiornamento delle informazioni ottenute sull'utente porterebbe ad una scadente risposta, caratterizzata da una visualizzazione non fluida e da un'interazione poco naturale con gli oggetti virtuali.

Il Motion Tracking
Precisione della misura: una bassa accuratezza del sistema non f i bb una risposta coerente con gli stimoli d ll' t t fornirebbe i t t li ti li dell'utente. Robustezza alle interferenze: le interferenze che minano l'accuratezza della misura possono essere molteplici, a seconda della tecnologia usata. Una loro gestione ottimale garantisce un funzionamento sempre corretto, senza che l'utente debba preoccuparsi dello stato dell'ambiente fisico quando interagisce con quello virtuale. ll i t l Minimo ingombro per l'utente: meno il meccanismo invasivo per la mobilit dell'utente, maggiore sar la naturalezza con cui viene adoperato, quindi la sensazione di immersivit.

33

27/02/2008

Tracking meccanico
I tracker meccanici misurano la posizione e l'orientamento utilizzando una connessione meccanica diretta tra un punto di riferimento e l'oggetto. Tipicamente, un leggero braccio meccanico collega una scatola di controllo posta sopra la testa dell'utente, e sensori posti nelle giunzioni del braccio misurano le variazioni della posizione e dell'orientamento rispetto ad un punto di riferimento.
Molte interfacce aptiche oltre a fornire un ritorno di forza, misurano i movimenti effettuati dall'utente, fungendo cos anche da tracker meccanico.

Tracking elettromagnetico
Il funzionamento dei tracker elettromagnetici si basa sulla misura dell'entit del campo p magnetico generato facendo scorrere corrente elettrica all'interno di tre cavi disposti a spirale, orientati perpendicolarmente l'uno con l'altro. Le tre spirali sono inserite dentro un piccolo contenitore che fissato all'oggetto di cui si vuole fare il tracking (tipicamente l'utente). Finch presente corrente elettrica in una p spira, essa produce un campo elettromagnetico. Attivandole in sequenza, e misurando il campo magnetico generato da ognuna di esse, possibile determinare la posizione e l'orientamento dell'oggetto.

34

27/02/2008

Tracking elettromagnetico

Tracking elettromagnetico
Siffatti meccanismi di tracking possono riscontrare interferenze se operano i prossimit di CRT o altri d i che producono in i i l i device h d campi magnetici, oppure oggetti metallici, quali arredo d'ufficio, che interrompono i campi magnetici. Un altro svantaggio di questo tipo di tracker consiste nel limitato volume di lavoro che lo caratterizza.

35

27/02/2008

Tracking ottico
La maggior parte dei meccanismi di tracking ottico utilizzati in bi i i i ambienti virtuali vengono usati per il tracking d l corpo. li i ki del I tracker ottici hanno genericamente frequenze di aggiornamento elevate. Tuttavia soffrono del problema della linea di vista (line of sight), ovvero il fatto che la presenza di ostacoli tra i sensori e gli oggetti degrada le performance del tracker. Inoltre le prestazioni variano anche a seconda delle condizioni di luminosit dell'ambiente e delle sorgenti di luce contenute in esso. Pertanto necessario progettare con cura l'ambiente di lavoro, per limitare il pi possibile tali disturbi. Un altro svantaggio dei tracker ottici rappresentato dal loro elevato costo.

Tracking ottico
Optical markers

36

27/02/2008

Tracking ottico

un sistema particolarmente conosciuto per essere uno dei sistemi maggiormente utilizzati per il motion capture nel campo cinematografico e dei videogiochi.

Dispositivi per la RV
Audio tridimensionale Le h d L schede audio 3D permettono di posizionare suoni di tt i i i in qualsiasi punto della sfera virtuale di spostarli, di generare effetti di assorbimento di eco proprio come nella realt

37

27/02/2008

Applicazioni della Realt Virtuale

Difesa. Medicina Medicina. Architettura. Patrimonio culturale. Visualizzazione di dati tecnici e scientifici: Matematica; Fisica; Chimica; Biologia; Scienze Geologiche e Metereologiche; Ingegneria. Intrattenimento. Arte. Commercio Elettronico.

Medicina

Simulazione dintervento in endoscopia Visualizzazione di modelli anatomici complessi.

38

27/02/2008

Addestramento

Presentazione modelli

Presentazione di un modello di autovettura in scala 1:1

39

27/02/2008

Presentazione modelli

Architettura

40

27/02/2008

Esempio di applicazione

La ricostruzione in ambiente virtuale del Duomo di Siena

Esempio di applicazione
Modellazione (CAD o Scanner 3D )

41

27/02/2008

Esempio di applicazione
10 persone per 4 mesi

Esempio di applicazione
Creazione delle Textures mediante foto o ricostruzioni

42

27/02/2008

Esempio di applicazione
Geometrie e texture Illuminazione

Esempio di applicazione

43