Method and device for implementing voice-based avatar facial expression

Disclosed is a method for implementing a voice-based avatar facial expression. The method for implementing a voice-based avatar facial expression comprises the steps of: dividing a voice signal into a plurality of chunks; downsampling the voice signal made into chunks to generate a neural network input signal; applying the neural network input signal to a neural network to generate a neural network output signal in order to enhance feature extraction of the downsampled voice signal; upsampling the neural network output signal to predict a plurality of facial expression coefficients; and implementing a facial expression of an avatar according to the plurality of predicted facial expression coefficients. The plurality of facial expression coefficients are coefficients indicating facial expressions of an avatar in relation to motions of specific face features of the avatar. 음성 기반 아바타 얼굴 표정 구현 방법이 개시된다. 상기 음성 기반 아바타 얼굴 표정 구현 방법은 음성 신호를 복수의 청크들(chunks)로 나누는 단계, 신경망 입력 신호를 생성하기 위해 청크화된 음성 신호를 다운샘플링(downsampling)하는 단계, 상기 다운샘플링된 음성 신호의 특징 추출을 향상(enhance)시키기 위해 상기 신경망 입력 신호를 신경망에 적용하여 신경망 출력 신호를 생성하는 단계, 복수의 얼굴 표정 계수들을 예측하기 위해 상기 신경망 출력 신호를 업샘플링(upsampling)하는 단계, 및 상기 예측된 복수의 얼굴 표정 계수들에 따라 아바타 얼굴의 표정을 구현하는 단계를 포함하며, 상기 복수의 얼굴 표정 계수들은 구체적인 아바타 얼굴 특징들의 움직임과 관련하여 아바타 얼굴 표정을 나타내는 계수들이다.