Method and Apparatus for Accelerating Super-Resolution in Real-time Video Streaming

Disclosed are an apparatus for accelerating super-resolution (SR) in real-time video streaming and a method thereof. An objective of the present invention is to maintain a user quality of experience (QoE) for real-time video streaming on a mobile device even under bandwidth constraints while being allowed within computing capacity of the mobile device. To this end, a deep neural network (DNN)-based SR is applied to a few pre-selected frames, the resolution of the remaining frames is increased by using the frame to which the SR is applied, wherein a frame to which the SR is applied is selected within a preset quality margin. In addition, for real-time video streaming under the computing capacity of the mobile device and video-specific constraints, a server has multiple options for the DNN and a cache profile including SR application information and the mobile device can select an option suitable for the computing capacity of the mobile device. 실시간 비디오 스트리밍에서의 초해상화 가속을 위한 장치 및 방법을 개시한다. 본 실시예는, 모바일 디바이스 상에서의 실시간 비디오 스트리밍(real-time video streaming)에 있어서, 모바일 디바이스의 컴퓨팅 용량(computing capacity)으로 수용이 가능하면서도 대역폭 제약 하에서도 사용자 QoE(Quality of Experience)를 유지하는 것을 목적으로 한다. 이를 위하여, 심층신경망(Deep Neural Network: DNN) 기반의 SR을 소수의 기 선정된 프레임에 적용하고, SR이 적용된 프레임을 이용하여 나머지 프레임의 해상도를 향상시키되, 기 설정된 품질 마진 이내에서 SR을 적용하기 위한 프레임을 선별한다. 또한, 모바일 디바이스의 컴퓨팅 용량 및 비디오 특화적인(video-specific) 제약 하에서의 실시간 비디오 스트리밍을 위하여, 서버는 심층신경망에 대한 다중 옵션(multiple option), 및 SR 적용 정보를 포함하는 캐시 프로파일(cache profile)을 전달하고, 모바일 디바이스는 컴퓨팅 용량에 적합한 옵션을 선택하는 것이 가능한 SR 가속을 위한 장치 및 방법을 제공한다.