USER STATE ESTIMATION APPARATUS BASED ON MULTIMODAL DATA AND METHOD THEREOF

The present invention relates to a multi-modal data-based user status estimation apparatus and a method thereof. The multi-modal data-based user status estimation apparatus according to one embodiment of the present invention comprises: a memory storing a pre-trained learning model for estimating a positive response and an emotional status of a user; and a processor which generates output data by fusing values obtained by performing an attention operation based on feature vectors detected from multi-modal data, and reflects the output data into the learning model to estimate at least one of the positive response and the emotional status of the user. An objective of the present invention is to provide the multi-modal data-based user status estimation apparatus, which facilitates estimation of the positive response and the emotional status of the user, and the method thereof. 본 발명의 일 실시예에 따른 멀티 모달 데이터 기반 사용자 상태 추정 장치는, 사용자의 긍정 반응 및 감정 상태 추정을 위해 사전에 학습된 학습 모델이 저장된 메모리, 및 멀티 모달 데이터로부터 검출된 특징 벡터들을 기반으로 어텐션(attention) 연산을 수행하여 획득된 값들을 융합하여 출력 데이터를 생성하고, 상기 출력 데이터를 상기 학습 모델에 반영하여 사용자의 긍정 반응 및 감정 상태 중 적어도 하나를 추정하는 프로세서를 포함한다.