DNN A Processing-In-Memory Accelerator for End-to-End On-Device Training

Disclosed are an accelerator that supports DNN end-to-end training and interference based on in-memory computation, which may be designed to be extendable so that the accelerator can be freely applied in various edge environments, and an operation method thereof. The accelerator that supports DNN end-to-end training and interference based on in-memory computation disclosed by the present invention comprises: a scarcity recognition vector data loader which applies an input value according to a scarcity; and a core which receives the input value to perform necessary computation with a stored weight value. The core comprises: a three-directional processing memory which transmits an in-memory processing computation result in different directions according to three processes of forward propagation, backward propagation, or weight value gradient generation; forward propagation computation logic, a reconfigurable activation unit, and a reconfigurable pooing unit, which perform the computation in the forward propagation process; backward propagation computation logic and backward propagation processing unit, which perform the computation in the backward propagation process; and a weight value update memory, gradient generation and update computation logic, and an update processing unit, which perform the computation in the weight value gradient generation process. The three-directional processing memory updates a weight value in the three-directional processing memory to the generated weight value gradient in the weight value update memory by using the gradient generation and update computation logic when the weight value gradient generation is finished. 인 메모리 연산에 기반하여 DNN 종단 간 학습 및 추론을 지원하는 가속기 및 그 동작 방법이 제시된다. 본 발명에서 제안하는 인 메모리 연산에 기반하여 DNN 종단 간 학습 및 추론을 지원하는 가속기는 희소성에 따른 입력값을 인가하는 희소성 인식 벡터 데이터 로더 및 상기 입력값을 받아 저장된 가중치값과 필요한 연산을 수행하는 코어를 포함하고, 상기 코어는 순전파, 역전파 또는 가중치 기울기 생성의 세 가지 과정에 따라 서로 다른 방향으로 인 메모리 프로세싱 연산 결과를 전송하는 삼 방향 처리 메모리, 순전파 과정에서 연산을 수행하는 순전파 연산 로직, 재구성 가능 활성화 유닛 및 재구성 가능 풀링 유닛, 역전파 과정에서 연산을 수행하는 역전파 연산 로직 및 역전파 처리 유닛 및 가중치 기울기 생성 과정에서 연산을 수행하는 가중치 업데이트 메모리, 기울기 생성/업데이트 연산 로직 및 업데이트 처리 유닛을 포함하고, 상기 삼 방향 처리 메모리는 가중치 기울기 생성이 완료되면 삼 방향 처리 메모리 내의 가중치값을 가중치 업데이트 메모리 내의 상기 생성된 가중치 기울기 값으로 기울기 생성/업데이트 연산 로직을 이용하여 업데이트한다.