TOUCHSCREEN HOVER DETECTION IN AUGMENTED AND/OR VIRTUAL REALITY ENVIRONMENT

To facilitate user interaction via a keyboard with a virtual immersive experience generated by a head mounted display.SOLUTION: A system for detecting and tracking a hover position of a manual pointing device, such as fingers, on a handheld electronic device 102 overlays a rendered monochromatic keying screen or green screen 108 on a user interface, such as a keyboard 107, of the handheld electronic device 102. A position of the fingers relative to the keyboard may be determined based on the detection of the fingers on the green screen and a known arrangement of the keyboard. An image of a keyboard 107V and the position of the fingers are rendered and displayed, for example, on a head mounted display.SELECTED DRAWING: Figure 5D 【課題】キーボードを介して行なわれる、ヘッドマウントディスプレイにより生成された仮想没入型体験とのユーザの対話を容易にする。【解決手段】ハンドヘルド電子デバイス１０２上の指等のマニュアルポインティングデバイスのホバー位置を検出し追跡するためのシステムであって、レンダリングされたモノクロームキーイングスクリーンまたはグリーンスクリーン１０８を、ハンドヘルド電子デバイス１０２のキーボード１０７等のユーザインターフェイス上に重畳する。キーボードに対する指の位置は、グリーンスクリーン上の指の検出と、キーボードの既知の配置とに基づいて、求めることができる。キーボード１０７Ｖおよび指の位置の画像を、たとえばヘッドマウントディスプレイ上にレンダリングし表示する。【選択図】図５Ｄ