익스플레이너블 셀프-포커스드 어텐션을 이용하여 행동 예측을 수행하는 방법 및 장치

익스플레이너블 셀프-포커스드 어텐션을 이용하여 행동 예측을 수행하는 방법에 있어서, (a) 카메라에서 촬상되는 영상과 센서들에 의해 센싱되는 센싱 정보들이 획득되면, 각각의 이미지들과 상기 센싱 정보들을 메타 데이터 인식 모듈로 입력하여 메타 데이터들을 출력하도록 하며, 상기 메타 데이터들을 피처 엔코딩 모듈로 입력하여 행동 예측을 위한 피처들을 출력하도록 하는 단계;(b) 상기 메타 데이터들 및 상기 피처들을 익스플레이닝 모듈로 입력하여 익스플레네이션들을 생성하도록 하고, 상기 이미지들과 상기 메타 데이터들을 셀프-포커스드 어텐션 모듈로 입력하여 어텐션 맵들을 출력하도록 하며, 상기 어텐션 맵들을 행동 예측 모듈로 입력하여 행동 예측 결과들을 생성하도록 하는 단계; 및 (c) 출력 모듈을 통해 행동들을 출력하도록 하며, 시각화 모듈을 통해 행동 예측에 영향을 미치는 요소를 시각화하여 출력하도록 하는 단계; 를 포함하는 방법. A method for predicting behavior using explainable self-focused attention is provided. The method includes steps of: a behavior prediction device, (a) inputting test images and the sensing information acquired from a moving subject into a metadata recognition module to apply learning operation to output metadata, and inputting the metadata into a feature encoding module to output features; (b) inputting the test images, the metadata, and the features into an explaining module to generate explanation information on affecting factors affecting behavior predictions, inputting the test images and the metadata into a self-focused attention module to output attention maps, and inputting the features and the attention maps into a behavior prediction module to generate the behavior predictions; and (c) allowing an outputting module to output behavior results and allowing a visualization module to visualize and output the affecting factors by referring to the explanation information and the behavior results.