TRANSLATING COMBINATIONS OF USER GAZE DIRECTION AND PREDETERMINED FACIAL GESTURES INTO USER INPUT INSTRUCTIONS FOR NEAR-EYE-DISPLAY (NED) DEVICES

A Near-Eye-Display (NED) devices that translates combinations of user gaze direction and predetermined facial gestures into user input instructions. The NED device includes an eye tracking system and a display that renders computer-generated images within a user's field-of-view. The eye tracking system may continually track the user's eye movements with a high degree of accuracy to identify specific computer-generated images that a user is focused on. The eye tracking system may also identify various facial gestures such as, for example, left-eye blinks and/or right-eye blinks that are performed while the specific computer-generated images are being focused on. In this way, NED devices are enabled to identify combinations of user gaze direction and predetermined facial gestures and to translate these identified combinations into user input instructions that correspond to specific computer-generated images. La présente invention concerne un dispositif d'affichage proche de l'œil (NED) qui traduit des combinaisons de direction de regard utilisateur et de gestes faciaux prédéterminés en instructions d'entrée utilisateur. Le dispositif NED comprend un système de suivi de regard et un dispositif d'affichage qui présente des images générées par ordinateur dans le champ de vision d'un utilisateur. Le système de suivi oculaire peut suivre en continu les mouvements oculaires de l'utilisateur avec un degré élevé de précision pour identifier des images spécifiques générées par ordinateur qu'un utilisateur fixe du regard. Le système de suivi de regard peut également identifier divers gestes faciaux tels que, par exemple, des clignements d'œil gauche et/ou des clignements d'œil droit qui sont effectués lorsque les images spécifiques générées par ordinateur sont fixées du regard. De cette manière, des dispositifs NED permettent d'identifier des combinaisons de direction de regard de l'utilisateur et de gestes faciaux prédéterminés et de traduire ces combinaisons identifiées en instructions d'entrée utilisateur qui correspondent à des images spécifiques générées par ordinateur.