Método implementado por computador e aparelho para predizer rótulos de ação para um fluxo de vídeo e memória legível por computador

um método para predizer rótulos de ação para um fluxo de vídeo inclui receber o fluxo de vídeo e calcular o fluxo ótico de quadros consecutivos do fluxo de vídeo. um mapa de atenção é gerado a partir do quadro atual do fluxo de vídeo e do fluxo ótico calculado. um rótulo de ação é predito para o quadro atual com base no fluxo ótico, no estado oculto anterior e no mapa de atenção. A method of predicting action labels for a video stream includes receiving the video stream and calculating an optical flow of consecutive frames of the video stream. An attention map is generated from the current frame of the video stream and the calculated optical flow. An action label is predicted for the current frame based on the optical flow, a previous hidden state and the attention map.