Method and apparatus for identifying the intent of input sentences using task-specific adapter
Provided is a method for identifying intention of an input sentence by using a task-specific adapter comprising: a step of generating a second sentence encoder model by applying the task-specific adaptor to a first sentence encoder model having a pre-learned transformer structure; a step of setting...
Gespeichert in:
Hauptverfasser: | , , , |
---|---|
Format: | Patent |
Sprache: | eng ; kor |
Schlagworte: | |
Online-Zugang: | Volltext bestellen |
Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Zusammenfassung: | Provided is a method for identifying intention of an input sentence by using a task-specific adapter comprising: a step of generating a second sentence encoder model by applying the task-specific adaptor to a first sentence encoder model having a pre-learned transformer structure; a step of setting an adaptor learning loss function by adding a first function based on a first loss function and a first weight, and a second function based on a second loss function and a second weight; a step of learning the task-specific adaptor based on a pre-set intention classification learning database and the adaptor learning loss function; a step of inputting the input sentence obtained from a user to the second sentence encoder model; and a step of determining one intention included in a pre-set intention group based on the input sentence and the second sentence encoder model. The first loss function is set based on a cross entropy error. The second loss function is set based on a metric learning technique. The present invention can increase a response speed required to predict intention of a sentence.
기 학습된 트랜스포머(Transformer) 구조를 가지는 제1 문장 인코더 모델에 과제 특화 어댑터를 부가함으로써 제2 문장 인코더 모델을 생성하는 단계; 제1 손실함수 및 제1 가중치에 기초한 제1 함수와 제2 손실함수 및 제2 가중치에 기초한 제2 함수를 합산하여 어댑터 학습 손실함수를 설정하는 단계; 기 설정된 의도 분류 학습 데이터베이스 및 상기 어댑터 학습 손실함수에 기초하여, 상기 과제 특화 어댑터를 학습하는 단계; 사용자로부터 획득된 입력 문장을 상기 제2 문장 인코더 모델에 입력하는 단계; 및 상기 입력 문장 및 상기 제2 문장 인코더 모델에 기초하여 기 설정된 의도 집합에 포함되는 하나의 의도를 결정하는 단계;를 포함하되, 상기 제1 손실함수는, 교차 엔트로피 오차에 기초하여 설정된 것이고, 상기 제2 손실함수는, 메트릭 학습 기법에 기반하여 설정된 것인, 과제 특화 어댑터를 이용하여 입력 문장의 의도를 파악하는 방법. |
---|