Tobii eye tracking technology
Sommario:
Quando ho acquistato uno dei dispositivi di rilevamento degli occhi di Tobii alcuni anni fa, non sapevo cosa farsene. Tobii si autodefinisce "il leader mondiale nel tracciamento degli occhi" e, per quanto ho potuto affermare, l'affermazione risuonò vera. Il dispositivo funzionava sicuramente e potevo vederlo molto utile per le persone che (per qualsiasi motivo) non potevano usare una tastiera e un mouse.
Ma Tobii voleva chiaramente ampliare le sue ambizioni e trasformare l'eye-tracking in una soluzione di mercato di massa, non un mezzo alternativo di interfaccia con PC, ma un mezzo principale. L'ho provato. Ubisoft sviluppa il supporto di Tobii in tutti i suoi giochi, e ho suonato Assassin's Creed: Rogue con l'eye-tracker di Tobii che oscillava la telecamera ovunque io guardassi. "Cool tech", pensai, e poi prontamente tornai ad usare un mouse e una tastiera.
Sembrava una soluzione che necessitava di un problema. Fortunatamente per Tobii, il problema è arrivato: realtà virtuale.
[Ulteriori letture: questi 20 giochi per PC assorbenti mangeranno giorni della tua vita]Punta e clicca
Integrato in una cuffia VR, la tecnologia di tracciamento degli occhi di Tobii è una manna dal cielo. Ho avuto la possibilità di provare una unità la settimana scorsa a GDC, essenzialmente un HTC Vive retrofittato. L'unico cambiamento visibile era una serie di emettitori a infrarossi incorporati attorno agli obiettivi di Vive. Il resto della tecnologia di tracciamento degli occhi era contenuto all'interno dell'auricolare stesso.
L'installazione era molto simile all'utilizzo dell'unità desktop di Tobii. Ho indossato l'auricolare, quindi ho seguito una serie di punti con gli occhi in modo che potessero calibrare correttamente. Da lì, siamo andati direttamente alle demo.
Parla della fiducia di Tobii in questo spazio che le demo sono state semplici e concise, ma ha dimostrato una vasta gamma di promesse per la tecnologia. Il mio preferito è arrivato verso la fine. Sono stato inserito in un ambiente di soggiorno, simile a qualsiasi numero di app di video VR. Con il tracciamento degli occhi, mi è stato chiesto di scegliere un film per guardare, attenuare le luci e così via.
E l'ho fatto. La realtà virtuale è ancora più intuitiva rispetto all'uso di mouse e tastiera. Puntare il controller su un oggetto, si fa clic, si regola. Replica appena abbastanza delle nostre interazioni quotidiane, ma è astratto per rendere il controller praticabile. Grande.
L'eye-tracking rende la VR come una magia, però. Abbiamo trasformato la tecnologia di Tobii, e quindi interagire con un oggetto è stato semplice come guardarlo. Immagina di poterti sedere alla tua scrivania, dare un'occhiata all'interruttore della luce sul muro e accendere le luci: questa è la realtà virtuale con il tracciamento degli occhi. L'attenuazione delle luci ha comportato solo la luce, quindi il trackpad sul controller. Non c'è bisogno di alzare la mano, indicare prima la lampada, niente di tutto ciò. Lo stesso dicasi per scorrere una lista di film. Guarda, scorri, guarda, scorri. Non è necessario alcun movimento del corpo.
Questo è essenzialmente ciò che la demo del soggiorno sembrava, anche se … in VR.
Può sembrare semplice, e è . Ma questo è esattamente il punto: rimuove un altro strato di astrazione dall'ambiente. È intuitivo. Per le applicazioni in stile Netflix in cui il realismo non è importante, Tobii sembra una scelta naturale. Sicuramente così su interfacce più limitate come Oculus Go o Google Daydream, dove in assenza di controller tracciati in posizione, puntare a selezionare un oggetto viene solitamente fatto con la fronte. Gli occhi sono certamente più facili.
Giochi? Tobii mi sembrava meno importante lì, e lo dissi. La realtà virtuale è pensata per emulare la realtà, dopotutto, e nei giochi c'è una certa quantità di realismo generato raggiungendo e afferrando un oggetto, non regolandolo telepaticamente.
La risposta di Tobii è stata che il tracciamento oculare non è necessariamente trasversale telepatia della stanza. Per alcuni sviluppatori, è solo un chiarimento. Una demo, per esempio, mi ha messo di fronte a un grande pannello pieno di manopole da girare. Con l'eye-tracking abilitato, potevo sedermi e regolare questi quadranti senza mai avvicinarci a loro, probabilmente non ideale. Ma potevo anche inclinarmi e regolare i quadranti "manualmente", e in quel caso il tracciamento degli occhi mi aiutava a confermare con quale dial dovevo interagire. Questo è un problema piuttosto comune in alcuni giochi come Star Trek Bridge Crew e Interkosmos , e sono venuto fuori credendo che il tracciamento degli occhi potesse fare la differenza.
Puoi fare l'occhiolino!
Ancora più impressionante è stato una demo in cui mi è stato chiesto di lanciare sassi su alcune bottiglie. Sebbene io abbia una buona padronanza della fisica VR, in particolare la fisica VR ben implementata, il tracciamento degli occhi offre agli sviluppatori un ulteriore vettore di informazioni con cui lavorare. La demo poteva distinguere la bottiglia a cui miravo in base alla posizione del mio occhio, e la roccia avrebbe quindi leggermente compensato la sua velocità per garantire che avessi successo. Ancora una volta, questa non è una caratteristica che ogni sviluppatore vorrebbe. Probabilmente non metterei quel livello di aiuto nella tua collezione di minigiochi di carnevale basata sulle abilità o altro. È uno strumento ingegnoso, però.
Performance-ready
Il colpo di stato è Foveated Rendering. La tecnologia non è nuova in alcun modo: in passato i demo di Nvidia sono stati mostrati, e sia il prototipo Oculus Go che Oculus Santa Cruz utilizzano "Fixed Foveated Rendering." Ma l'eye-tracking consente alle cuffie VR di implementare il rendering foveated in un modo molto più intelligente
Quindi cos'è? Fondamentalmente, i nostri occhi vedono solo i dettagli in un piccolo cerchio che è direttamente di fronte a dove stiamo guardando. La nostra visione periferica è una schifezza. Per questo motivo, è uno spreco rendere le scene di qualità completa ovunque che non stiamo guardando-sei fondamentalmente solo bruciando la potenza della GPU sui dettagli che i tuoi occhi non possono raccogliere.
Fixato Foveated Il rendering riduce così il rendering assumendo fondamentalmente che non hai bisogno dei bordi esterni dello schermo. (Altre tecniche, come l'ombreggiatura multi-res di Nvidia, risolvono principi simili.) Non so esattamente come funzionerà la versione finale di Santa Cruz di Oculus, ma in genere lo schermo è diviso in un numero di regioni. Forse l'anello esterno restituisce solo a metà qualità, l'anello successivo è al 75 percento e così via fino all'area più grande (la sezione centrale) che esegue il rendering alla massima qualità.
Questo è l'esempio di Rendering Foveated fisso di Oculus. Le aree bianche sono rese a qualità nativa, quelle rosse sono 1/2, quelle verdi sono 1/4, quelle blu 1/8 e quelle magenta a 1/16 di qualità.
Il problema: Se fai esamina quei bordi esterni, noterai che è sfocato. Non è così problematico come sembra, posso dirvi che ho usato il prototipo Oculus Santa Cruz l'anno scorso e non ho nemmeno notato l'effetto. La stragrande maggioranza del display è ancora di alta qualità, e sono solo quei bordi che sono degradati, a.k.a. luoghi che raramente guardi. La possibilità esiste, però. A volte noterai che una linea non è così nitida come dovrebbe essere, ad esempio. Ancor peggio, l'area della qualità totale è ancora così grande che in realtà non si risparmiano molto nel costo del rendering.
Inserisci eye-tracking. Il tracciamento dell'occhio consente il rendering animato di Foveated. Fondamentalmente, ovunque l'aspetto del tuo occhio è reso in piena qualità, ma tutto immediatamente nella periferia è degradato. I tuoi occhi si muovono? Questa regione di qualità completa segue. E poiché il gioco sa esattamente dove stanno guardando i tuoi occhi, la qualità può iniziare a lasciare immediatamente fuori da quell'area.
Menzionato in questo articolo
Tobii ha affermato che avresti visto un aumento delle prestazioni del 50%. Per la realtà virtuale, dove è necessario raggiungere una risoluzione di 2160x1200 a 90 frame al secondo (o 2880x1600 nel caso del prossimo Vive Pro), è enorme . Tobii ha detto che potrebbe farti risparmiare un'intera generazione di hardware, il che significa ad esempio che una Nvidia GTX 960 con Dynamic Foveated Rendering funzionerebbe come una GTX 1060 senza. È anche un enorme affare per qualsiasi auricolare standalone, che funziona con hardware a minor potenza e durata limitata della batteria.
Questo rendering incredibilmente esagerato è stupido, ma ti dà un'idea di quanto sia estremo il calo della qualità periferica può essere ottenuto con il rendering Foveated dinamico.
In altre parole: il tracciamento degli occhi è essenziale per la realtà virtuale. Sono venduto Anche la demo di Tobii è stata perfetta. Il rendering dinamico di Foveated è stato effettivamente attivato mentre ero in procinto di suonare, senza che nessuno me lo avesse detto, e non me ne sono nemmeno accorto. Anche dopo che mi è stato detto che era acceso, ho ancora faticato a vedere qualche differenza - forse un po 'più confuso di testo nella periferia, ma niente che abbia avuto un impatto sul mio modo di suonare.
Poi ho lasciato l'auricolare e ho visto la tecnologia dall'altra parte, mentre uno del team di Tobii indossava l'auricolare mentre vedevo l'uscita dell'auricolare riflessa su un laptop. Lì, ho potuto vedere l'ambiente sfocato e chiarire di nuovo a seconda di dove stava cercando. Se fosse uno stratagemma, dovrebbe essere davvero elaborato.
Ed è davvero sorprendente, perché l'ultima volta che ho ascoltato il rendering di Dynamic Foveated era ancora qualche anno di riposo. Non sembra così dopo il mio demo: sono venuto via un credente. Ci sono alcuni problemi da risolvere, come "cosa succede quando ti muovi molto e le cuffie cambiano" e "cosa succede se gli obiettivi si appannano?" Ma la tecnologia sottostante sembra sana.
Linea inferiore
È eccitante. Al contrario della mia ultima demo di Tobii. Come ho detto, penso che la tecnologia desktop di Tobii sia piuttosto intrigante. È stato incorporato nei computer portatili Alienware negli ultimi anni, e ho ancora il sensore che pende dal mio monitor. Non trovo molto utile per questo giorno per giorno. Sono troppo condizionata dal mouse e dalla tastiera.
Menzionato in questo articolo
La realtà virtuale sembra ancora matura per nuove interfacce di controllo, tuttavia, e il tracciamento sembra una scelta naturale. Aiuta che è economico e discreto, anche. Come dimostrato da Tobii, si adatta alle cuffie Vive di corrente generazione e mi è stato detto che non aggiunge troppo al costo di produzione. Questo è più di quanto si possa dire per la sensazione di tutto il corpo e tutte le altre idee selvagge che le persone stanno provando al giorno d'oggi.
Unire questo ai benefici delle prestazioni? È facile immaginare che gli auricolari VR di seconda generazione vogliano includere qualche forma di eye-tracking. Tobii mi ha detto che la compagnia ha già cinque partner in fila, quattro dei quali sono ancora non annunciati. Vedremo cosa succederà dopo.
Le cuffie da realtà virtuale OSRR di Razer riceveranno la tecnologia di tracciamento manuale
Di Leap Motion, Leap Motion vuole i giocatori VR raccogliere il fucile virtuale con le loro mani
La tecnologia di tracciamento degli occhi di Tobii è di nicchia sui PC, ma rende la realtà virtuale come una magia
Integrata in un Cuffie VR, la tecnologia di tracciamento degli occhi di Tobii è una manna dal cielo. Ho avuto la possibilità di provare un'unità a GDC. Ecco come è stato.
