APPARATUS AND METHOD FOR ACCELERATING DEEP NEURAL NETWORK LEARNING FOR DEEP REINFORCEMENT LEARNING

The present invention relates to a deep neural network learning accelerating apparatus for deep reinforcement learning, the apparatus comprising: a deep neural network operation core to perform deep neural network learning for the deep reinforcement learning; and a weight training unit to train a weight parameter to accelerate the deep neural network learning and transmit the trained weight parameter to the deep neural network operation core. The weight training unit comprises: a neural network weight memory to store the weight parameter; a neural network pruning unit to read the weight parameter from the neural network weight memory and perform weight pruning thereon, and store, back in the neural network weight memory, a sparse weight pattern generated as a result of the weight pruning; and a weight prefetcher to access the neural network weight memory and receive the sparse weight pattern, select/align only pieces of weight data of which values are not 0 from the neural network weight memory by using the sparse weight pattern, and then transmit, to the deep neural network operation core, only the pieces of weight data of which the values are not 0. Therefore, the present invention has advantages of enabling high-speed operations on a user's device and reducing power consumption, by increasing an operation processing speed of deep neural network learning for deep reinforcement learning and increasing energy efficiency. 본 발명은 심층 강화학습을 위한 심층 신경망 학습 가속 장치에 있어서, 상기 심층 강화학습을 위한 심층 신경망 학습을 수행하는 심층 신경망 연산 코어; 및 상기 심층 신경망 학습을 가속화하기 위해 가중치 파라미터를 훈련시켜 상기 심층 신경망 연산 코어로 전달하는 가중치 훈련부를 포함하되, 상기 가중치 훈련부는 상기 가중치 파라미터를 저장하는 신경망 가중치 메모리; 상기 신경망 가중치 메모리로부터 상기 가중치 파라미터를 읽어 와서 가중치 가지치기를 수행하고, 상기 가중치 가지치기 결과로 생성된 가중치 희소패턴을 상기 신경망 가중치 메모리에 다시 저장하는 신경망 가지치기 유닛; 및 상기 신경망 가중치 메모리에 접근하여 상기 가중치 희소패턴을 전달받고, 상기 가중치 희소패턴을 이용하여 상기 신경망 가중치 메모리로부터 그 값이 0이 아닌 가중치 데이터들만을 선별/정렬한 후, 상기 0이 아닌 가중치 데이터들만을 상기 심층 신경망 연산 코어로 전달하는 가중치 선인출기를 포함한다. 따라서, 본 발명은 심층 강화학습을 위한 심층 신경망 학습의 연산 처리 속도를 향상시키고 에너지 효율을 올림으로써, 사용자의 기기 상에서 고속 동작이 가능하고, 전력 소모를 줄일 수 있는 장점이 있다.