SYSTEM FOR PERFORMING ACCELERATED REINFORCEMENT LEARNING OF THERMO-FLUID SYSTEM USING DIGITAL TWIN TECHNIQUE

The present invention relates to an accelerated reinforcement learning performance system for thermal fluid systems applying digital twin technique. The problem to be solved applies a digital twin which implements a phenomenon in the real world in a virtual world and quickly learns the phenomenon in the virtual world based on an initial reinforcement learning result obtained from the thermal fluid system in the real world, thereby shortening a time to obtain meaningful reinforcement learning results in the thermal fluid system. 본 발명은 디지털 트윈 기법을 적용한 열 유체 시스템의 가속화 강화학습 수행 시스템에 관한 것으로, 해결하고자 하는 과제는 현실세계에서의 현상을 가상세계에서 구현하는 디지털 트윈을 적용하여 현실세계의 열 유체 시스템에서 얻은 초기의 강화학습결과를 기초로 가상세계에서 빠르게 학습시킴으로써 열 유체 시스템에서의 의미 있는 강화학습 결과를 얻는 시간을 단축시키는데 있다. 일례로, 현실세계의 열 유체 시스템에 대한 강화학습을 수행하는 현실세계 강화학습 수행부; 상기 현실세계 강화학습 수행부를 통해 얻어진 초기 강화학습 수행결과로부터 현재상태를 나타내는 물리량 데이터를 각각 관측하고, 관측된 물리량 데이터를 기초로 가상세계의 강화학습진행에서 필요한 강화학습 데이터를 설정하고, 상기 강화학습 데이터에 포함된 구성요소들을 인덱스화하여 도메인을 생성하고, 생성된 도메인 상에서 현재상태와 다음상태의 구성요소 간을 매칭하여 리스트화된 강화학습 상태 데이터를 생성하여 공유하는 데이터 관리부; 현실세계 및 가상세계에서의 강화학습을 위하여 동일 구조의 인공신경망과 보상체계를 구성하고, 현실세계 및 가상세계 상호 간의 인공신경망 학습결과를 공유하여 디지털 트윈환경을 구성하는 인공신경망 설정부; 및 현실세계에서의 강화학습을 통해 상기 도메인 상에서 생성된 상기 리스트화된 강화학습 상태 데이터 및 상기 인공신경망 학습결과와, 상기 동일 구조의 인공신경망과 보상체계를 이용하여 현실세계에서 강화학습을 수행한 후, 디지털 트윈환경의 가상세계에서 강화학습을 최종 계산치에 수렴할 때까지 수행하되, 현실세계에서 열 유체 시스템의 열 응답 시간(Thermal Response Time)을 생략하여 가속화된 강화학습을 수행하는 가상세계 강화학습 수행부를 포함하는 디지털 트윈 기법을 적용한 열 유체 시스템의 가속화 강화학습 수행 시스템을 개시한다.