HAPTIC PRESENTATION DEVICE, SELF-SPEED ESTIMATION APPARATUS, AND PROGRAM

To generate information for presenting haptic stimulus that contributes to improvement of immersiveness when a viewer views first-person view video.SOLUTION: A self-speed estimation unit 11 of a haptic presentation device 1 acquires a plurality of frames by sampling first-person view video E, genera...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: MOCHIZUKI TAKAHIRO, TAKAHASHI MASAKI, SASAKI MOMOKO
Format: Patent
Sprache:eng ; jpn
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Beschreibung
Zusammenfassung:To generate information for presenting haptic stimulus that contributes to improvement of immersiveness when a viewer views first-person view video.SOLUTION: A self-speed estimation unit 11 of a haptic presentation device 1 acquires a plurality of frames by sampling first-person view video E, generates a mask image by masking a predetermined object, estimates, using NN31, a translation vector on the basis of a predetermined number of frames and the same number of mask images corresponding thereto, and estimates a self speed v. A sound volume control unit 12 extracts a maximum speed vmax from the self speed v of all the frames, extracts a low-frequency sound signal S from the first-person view video E, and reduces, when the self-speed v is equal to or lower than a predetermined threshold, on the basis of the maximum speed vmax and the self-speed v, volume A of the low-frequency sound signal S corresponding to a frame of the self-speed v, to generate a new low-frequency sound signal S'. A haptic presentation unit 13 outputs the low-frequency sound signal S' to a haptic device 7.SELECTED DRAWING: Figure 1 【課題】視聴者が一人称視点映像を視聴する際に、没入感向上に寄与する触覚刺激を提示するための情報を生成する。【解決手段】触覚提示装置1の自己速度推定部11は、一人称視点映像Eをサンプリングして複数のフレームを取得し、所定の物体をマスクしたマスク画像を生成し、NN31を用いて、所定数のフレーム及びこれに対応する同じ数のマスク画像に基づき、並進ベクトルを推定し、自己速度vを推定する。音量制御部12は、全てのフレームの自己速度vから最大速度vmaxを抽出し、一人称視点映像Eから低周波音声信号Sを抽出し、自己速度vが所定の閾値以下の場合、最大速度vmax及び自己速度vに基づき、当該自己速度vのフレームに対応する低周波音声信号Sの音量Aを下げることで、新たな低周波音声信号S'を生成する。触覚提示部13は、低周波音声信号S'を触覚デバイス7へ出力する。【選択図】図1