GAZE TRACKING FOR AUGMENTED REALITY DEVICES

A method including generating a batch of calibration images including a ground-truth image, and an image captured by a backward facing camera of a head mounted AR device, predicting a first gaze direction based on the ground-truth image, training a neural network based on the predicted first gaze di...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: WU, Yitian, SPENCER, Jason Todd, KOWDLE, Adarsh Prakash Murthy, FANELLO, Sean Ryan Francesco, PANDEY, Rohit Kumar, TOSIC, Ivana, ABOUSSOUAN, Eric, JABERI, Maryam, GHABUSSI, Amirpasha
Format: Patent
Sprache:eng ; fre
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Beschreibung
Zusammenfassung:A method including generating a batch of calibration images including a ground-truth image, and an image captured by a backward facing camera of a head mounted AR device, predicting a first gaze direction based on the ground-truth image, training a neural network based on the predicted first gaze direction and the ground-truth image, predicting a second gaze direction based on the image and an indication displayed on a display of the head mounted AR device when the image was captured, and training the neural network based on the predicted second gaze direction and a position on the display of the head mounted AR device associated with the indication. La présente invention concerne un procédé consistant à générer un lot d'images d'étalonnage comprenant une image de réalité de terrain, et une image capturée par une caméra orientée vers l'arrière d'un dispositif de RA monté sur la tête, à prédire une première direction de regard sur la base de l'image de réalité de terrain, à apprendre un réseau neuronal sur la base de la première direction de regard prédite et de l'image de réalité de terrain, à prédire une seconde direction de regard sur la base de l'image et d'une indication affichée sur un dispositif d'affichage du dispositif de RA monté sur la tête lorsque l'image a été capturée, et à apprendre le réseau neuronal sur la base de la seconde direction de regard prédite et d'une position sur le dispositif d'affichage du dispositif de RA monté sur la tête associée à l'indication.