SYSTEMS AND METHODS FOR GAZE-TRACKING
Systems and methods are provided for predicting an eye gaze location of an operator of a computing device. In particular, the method generates an image grid that includes regions of interest based on a facial image. The facial image is based on a received image frame of a video stream that captures...
Gespeichert in:
Hauptverfasser: | , , , |
---|---|
Format: | Patent |
Sprache: | eng ; fre |
Schlagworte: | |
Online-Zugang: | Volltext bestellen |
Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Zusammenfassung: | Systems and methods are provided for predicting an eye gaze location of an operator of a computing device. In particular, the method generates an image grid that includes regions of interest based on a facial image. The facial image is based on a received image frame of a video stream that captures the operator using the computing device. The image grid further includes a region that indicate rotation information of the face. The method further uses a combination of trained neural networks to extract features of the regions of interest in the image grid and predict the eye gaze location on the screen of the computing device. The trained set of neural networks includes a convolutional neural network. The method optionally generate head pose pitch, roll, and yaw information to improve accuracy of predicting the location of an eye gaze.
L'invention fournit des systèmes et des procédés pour prédire un emplacement du regard d'un opérateur d'un dispositif informatique. En particulier, le procédé génère une grille d'image qui comprend des régions d'intérêt sur la base d'une image faciale. L'image faciale est basée sur une trame d'image reçue d'un flux vidéo qui capture l'opérateur à l'aide du dispositif informatique. La grille d'image comprend en outre une région qui indique des informations de rotation du visage. Le procédé utilise en outre une combinaison de réseaux neuronaux entraînés pour extraire des caractéristiques des régions d'intérêt dans la grille d'image et prédire l'emplacement du regard sur l'écran du dispositif informatique. L'ensemble entraîné de réseaux neuronaux comprend un réseau neuronal convolutif. Le procédé génère facultativement des informations de tangage, roulis et lacet de la pose de tête pour améliorer la précision de prédiction de l'emplacement d'un regard. |
---|