METHOD AND APPARATUS FOR DISTRIBUTED AND COOPERATIVE COMPUTATION IN ARTIFICIAL NEURAL NETWORKS

인공 신경망에서의 분산 및 협력 계산을 위한 장치 및 방법이 설명된다. 예를 들어, 장치의 일 실시예는 입출력(I/O) 인터페이스; 입력 뉴런에 대한 데이터 및 입력 뉴런 각각과 관련된 시냅스 가중치를 수신하기 위해 I/O 인터페이스에 통신 결합된 복수의 처리 유닛 - 복수의 처리 유닛 각각은 입력 뉴런에 대한 데이터 및 시냅스 가중치의 적어도 일부를 처리하여 부분 결과(partial result)를 생성함 -; 및 복수의 처리 유닛을 통신 결합하는 인터커넥트 - 처리 유닛 각각은 인터커넥트를 통해 하나 이상의 다른 처리 유닛과 부분 결과를 공유하며, 다른 처리 유닛은 부분 결과를 사용하여 추가적인 부분 결과 또는 최종 결과를 생성함 -를 포함한다. 처리 유닛은 입력 뉴런 및 가중치를 포함하는 데이터를 공유 입력 버스를 통해 공유할 수 있다. An apparatus and method are described for distributed and cooperative computation in artificial neural networks. For example, one embodiment of an apparatus comprises: an input/output (I/O) interface; a plurality of processing units communicatively coupled to the I/O interface to receive data for input neurons and synaptic weights associated with each of the input neurons, each of the plurality of processing units to process at least a portion of the data for the input neurons and synaptic weights to generate partial results; and an interconnect communicatively coupling the plurality of processing units, each of the processing units to share the partial results with one or more other processing units over the interconnect, the other processing units using the partial results to generate additional partial results or final results. The processing units may share data including input neurons and weights over the shared input bus.