Adaptive deep learning inference apparatus and method in mobile edge computing

In providing deep learning inference service in a mobile edge computing (MEC) environment, an adaptive deep learning inference system is proposed to adapt to changing network latency and execute deep learning model inference such that end-to-end data processing service latency is ensured. The present invention provides an apparatus and method for providing a deep learning inference service performed in the mobile edge computing environment including a terminal device, a radio access network, and an edge computing server. In the apparatus and method according to the present invention, when at least one terminal device senses data and requests the deep learning inference service, a service delay time required to provide a deep learning inference result is adjusted according to the change in a delay time of the radio access network to provide deep learning inference data of deterministic latency in which a service delay time is fixed. 모바일 엣지 컴퓨팅(MEC) 환경에서 딥러닝 추론 서비스를 제공함에 있어서, 변화하는 네트워크 지연시간에 적응하여 딥러닝 모델 추론을 실행하여 종단 간 데이터처리 서비스 지연시간을 보장하는 적응형 딥러닝 추론 시스템을 제안한다. 본 발명은 단말기기와 무선 액세스 네트워크 및 엣지 컴퓨팅 서버가 포함된 모바일 엣지 컴퓨팅 환경에서 수행되는 딥러닝 추론 서비스 제공 장치 및 방법을 제공한다. 본 발명의 장치 및 방법은, 적어도 하나의 단말기기가 데이터를 센싱하여 딥러닝 추론 서비스를 요청하면, 무선 액세스 네트워크의 지연시간 변화에 따라 딥러닝 추론 결과 제공에 소요되는 서비스 지연시간을 조절하여 서비스 지연시간이 고정된 고정 지연시간(deterministic latency)의 딥러닝 추론 데이터를 제공한다.