JOINT FORECASTING OF FEATURE AND FEATURE MOTION

To provide a computer-implemented method of forecasting semantic output of at least one frame.SOLUTION: A method includes the steps of receiving a plurality of input frames from a camera up to a predetermined time, processing via a down-sampling module of a neural network the plurality of input frames to receive a plurality of feature tensors, determining spatio-temporal correlations between the plurality of feature tensors, processing the plurality of feature tensors and the spatio-temporal correlations to receive at least one forecasted feature tensor, and processing via an up-sampling module of the neural network the at least one forecasted feature to receive at least one forecasted semantic output for a time longer than the predetermined time.SELECTED DRAWING: Figure 1 【課題】少なくとも1つのフレームのセマンティック出力を予測するコンピュータ実装方法を提供すること。【解決手段】あらかじめ定められた時間までカメラから複数の入力フレームを受信するステップと、複数の特徴テンソルを受信するために、ニューラルネットワークのダウンサンプリングモジュールを介して複数の入力フレームを処理するステップと、複数の特徴テンソル間の時空間相関を決定するステップと、少なくとも1つの予測された特徴テンソルを受信するために、複数の特徴テンソルおよび時空間相関を処理するステップと、あらかじめ定められた時間よりも長い時間の間、少なくとも1つの予測されたセマンティック出力を受信するために、ニューラルネットワークのアップサンプリングモジュールを介して、少なくとも1つの予測された特徴を処理するステップとを備える、方法。【選択図】図１