APPARATUS AND METHOD FOR DECREASING COMMUNICATION DATA FOR IMPROVEMENT OF BOTTLENECK IN DISTRIBUTED DEEP LEARNING

An object of the present invention is to provide an apparatus and method for decreasing distributed deep learning communication data capable of accelerating training and reducing overhead while improving bottlenecks in distributed deep learning. The present invention relates to a method of decreasing communication data. The method of decreasing communication data includes the steps of: (a) receiving, by one of a plurality of workers, a delivery parameter from a parameter server; (b) calculating, by the one worker, a gradient for each of a plurality of layers based on the transfer parameter; and (c) selectively transmitting, by the one worker, gradients corresponding to a layer satisfying a gradient threshold reference among the plurality of layers, to the parameter server based on the gradient calculation result for each of the plurality of layers. 분산 딥러닝 통신 데이터 감소 방법에 관한 것이며, 분산 딥러닝 통신 데이터 감소 방법은 (a) 상기 복수의 워커 중 어느 하나의 워커가, 상기 파라미터 서버로부터 전달 파라미터를 전달받는 단계; (b) 상기 어느 하나의 워커가, 상기 전달 파라미터를 기초로 복수의 레이어 각각에 대한 그래디언트를 계산하는 단계; 및 (c) 상기 어느 하나의 워커가, 상기 복수의 레이어 각각에 대한 그래디언트 계산 결과에 기초하여, 상기 복수의 레이어 중 그래디언트 임계 기준을 충족하는 레이어에 대응하는 그래디언트들을 선택적으로 상기 파라미터 서버로 전달하는 단계를 포함할 수 있다.