Emotion classification method based on deep learning and method thereof

The present invention relates to a deep learning-based emotion classification device and a method thereof. According to the present invention, the deep learning-based emotion classification method using the emotion classification device comprises the steps of: acquiring a pupil size variation data by exposing, to a subject, a visual stimulus image corresponding to each emotion for a set time with respect to each of a plurality of emotions; dividing the pupil size variation data, acquired during the set time, into a plurality of sections based on a preset first time interval; generating a plurality of spectrograms corresponding to the plurality of sections by converting the data of the section into a spectrogram representing a pupil size variation according to time and frequency; and building an emotion classification model based on a user′s pupil variation by inputting the plurality of spectrograms, corresponding to the emotion according to each of the plurality of emotions, into a recurrent neural network (RNN) capable of time series data analysis to allow the learning of the emotion. According to the present invention, the reliable emotion classification model based on the variation in the pupil can be provided by using a result of the time series analysis, through a deep learning technique, for variations in the user′s pupil corresponding to an emotion stimulus. In addition, there is an advantage that the current emotional state of the user can be quickly and accurately analyzed and predicted only by observing the variation in the user′s pupil. 본 발명은 딥러닝 기반의 감성 분류 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 감성 분류 장치를 이용한 감성 분류 방법에 있어서, 복수의 감성 각각을 대상으로 상기 감성에 대응하는 시각 자극 이미지를 설정 시간 동안 피험자에게 노출시켜 동공 크기 변화 데이터를 획득하는 단계와, 상기 설정 시간 동안 획득된 상기 동공 크기 변화 데이터를 기 설정된 제1 시간 간격을 기초로 복수의 구간으로 구분하는 단계와, 상기 구간의 데이터를 시간 및 주파수에 따른 동공 크기 변화를 나타낸 스펙트로그램(spectrogram) 형태로 변환하여 상기 복수의 구간에 대응하는 복수의 스펙트로그램을 생성하는 단계, 및 상기 복수의 감성별로 상기 감성에 대응하는 상기 복수의 스펙트로그램을 시계열 데이터 분석이 가능한 순환형 신경망(RNN;Recurrent Neural Network)에 입력시켜 상기 감성을 학습시킴에 따라 사용자의 동공 변화에 기초한 감성 분류 모델을 구축하는 단계를 포함하는 딥러닝 기반의 감성 분류 방법을 제공한다. 본 발명에 의하면, 감성 자극에 대응하는 사용자의 동공 변화를 딥러닝 기술을 통해 시계열 분석한 결과를 이용하여 동공 변화에 기초한 신뢰성 있는 감성 분류 모델을 제공할 수 있음은 물론, 사용자의 동공 변화를 관측하는 것만으로 현재 사용자의 감성 상태를 빠르고 정확하게 분석하고 예측할 수 있는 이점이 있다.