POST-PROCESSING METHOD FOR DETERMINING RELIABILITY OF MACHINE LEARNING MODEL AND THE DEVICE USING THE SAME

본 발명에 따르면, 기계 학습 모델의 신뢰도를 판단하기 위한 방법으로서, (a) 복수의 학습 페이로드 데이터 - 상기 학습 페이로드 데이터 각각은, 해당되는 소정의 클래스에 대한 정보인 정답 레이블이 부여됨 - 를 사용하여 상기 기계 학습 모델의 학습이 완료된 후, 미확인 페이로드 데이터가 획득되면, 후처리 장치가, 상기 학습 페이로드 데이터 중 적어도 일부로부터 전체집합워드 - 상기 전체집합워드 각각은 상기 학습 페이로드 데이터에 포함된 숫자, 특수문자 및 문자열 중 하나 또는 둘 이상의 조합임 - 를 추출한 상태에서, 상기 미확인 페이로드 데이터로부터 비교대상워드 - 상기 비교대상워드 각각은 상기 미확인 페이로드 데이터에 포함된 숫자, 특수문자 및 문자열 중 하나 또는 둘 이상의 조합임 - 를 추출하는 단계; (b) 상기 후처리 장치가, (i) 상기 학습 페이로드 데이터에서 추출된 상기 전체집합워드의 개수에 대한 정보 및 상기 학습 페이로드 데이터에서 상기 전체집합워드 각각이 출현하는 횟수에 대한 정보를 참조로 하여, 상기 전체집합워드 각각에 대응되는 제1 가중치를 산출하는 프로세스, (ii) 상기 학습 페이로드 데이터 중 적어도 하나의 특정 학습 페이로드 데이터에서 추출된 부분집합워드의 개수에 대한 정보 및 상기 특정 학습 페이로드 데이터에서 상기 부분집합워드 각각이 출현하는 횟수에 대한 정보를 참조로 하여, 상기 부분집합워드 각각에 대응되는 제2 가중치를 산출하는 프로세스, 및 (iii) 상기 미확인 페이로드 데이터에서 추출된 상기 비교대상워드의 개수에 대한 정보 및 상기 미확인 페이로드 데이터에서 상기 비교대상워드 각각이 출현하는 출현 횟수에 대한 정보를 참조로 하여, 상기 비교대상워드 각각에 대응되는 제3 가중치를 산출하는 프로세스를 수행하는 단계; (c) 상기 후처리 장치가, 상기 미확인 페이로드 데이터에서 추출된 상기 비교대상워드와 상기 특정 학습 페이로드 데이터 각각에서 추출된 각각의 상기 부분집합워드를 비교하여, 중복되는 중복워드 각각에 대응되는 제1 가중치, 제2 가중치 및 제3 가중치를 참조로 하여 상기 미확인 페이로드 데이터와 상기 특정 학습 페이로드 데이터 각각의 유사도를 판단하는 단계; (d) 상기 후처리 장치가, (i) 상기 학습 페이로드 데이터 각각에 대응되는 상기 유사도 중 가장 큰 값을 가지는 최대유사도 및 이를 기준으로 하여 소정의 범위 이내에 포함되는 유사도에 해당되는 학습 페이로드 데이터 각각을 유사 페이로드 데이터로서 결정하는 프로세스, 및 (ii) 상기 유사 페이로드 각각에 부여된 정답 레이블 각각의 클래스 정보를 참조로 하여, 소정의 비율 이상의 특정 클래스에 해당되는 값을 상기 미확인 페이로드 데이터의 제1 클래스 정보로 결정하는 프로세스를 수행하는 단계; 및 (e) 상기 후처리 장치가, 상기 기계 학습 모델에 의하여 도출된 상기 미확인 페이로드 데이터의 클래스에 대한 모델 예측값이 제2 클래스 정보로서 획득된 상태에서, 상기 제1 클래스 정보와 상기 제2 클래스 정보를 비교하여 상기 기계 학습 모델의 신뢰도를 판단하거나 판단할 수 있도록 지원하는 단계; 를 포함하는 방법이 제공된다.