METHOD AND APPARATUS FOR SUMMARIZATION OF UNSUPERVISED VIDEO WITH EFFICIENT KEY FRAME SELECTION REWARD FUNCTIONS

To provide a method and apparatus for summarization of unsupervised video with efficient key frame selection reward functions.SOLUTION: An attention-based video summarization method according to the present disclosure includes the steps of: generating a video summary by selecting a corresponding key frame according to a predicted importance score, evaluating quality of the generated video summary, and executing policy gradient learning on an attention-based video summarization network by means of a learning module based on a policy gradient algorithm; calculating a normalization and reconstruction loss to control a probability of selecting a key frame by the video summarization network module using the importance score of the selected key frame; and generating a video summary by the video summary generation module on the basis of the calculated normalization and reconstruction loss.SELECTED DRAWING: Figure 2 【課題】効率的なキーフレーム選択報酬関数を備えた教師なし動画要約方法および装置を提供する。【解決手段】本開示のアテンション基盤の映像要約方法は、予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによってアテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階、選択されたキーフレームの重要度点数を用いて映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する段階、および、計算された正規化および再構成損失に基づいて映像要約生成モジュールによって映像要約を生成する段階を含む。【選択図】図２