Neural processing device and Method for job scheduling thereof

The present invention provides a neural processing device and a job scheduling method thereof. The neural processing device includes at least one neural processor, a shared memory shared by the at least one neural processor, and a global interconnection for exchanging data between the at least one neural processor and the shared memory. The device comprises: an ASID manager which receives first and second requests from at least one context, respectively, and determines whether to assign an address space ID (ASID); an entity in which a job in a context which has not been assigned with the ASID from the ASID manager is stored; a job scheduler which schedules an execution order of the jobs stored in the entity and assigns the ASID from the ASID manager to the context which has not been assigned with the ASID among the at least one context; and a command queue which is a command queue which sequentially receives the jobs in the context to which the ASID is assigned, stores the jobs as waiting jobs, and sequentially executes the waiting jobs. The waiting job includes a first job which is directly transmitted without passing through the job scheduler, and a second job transmitted through an ASID assignment procedure by the job scheduler. The present invention can eliminate the wake-up overhead of the job scheduler. 본 발명은 뉴럴 프로세싱 장치 및 그의 잡 스케쥴링 방법을 개시한다. 상기 뉴럴 프로세싱 장치는, 적어도 하나의 뉴럴 프로세서와, 상기 적어도 하나의 뉴럴 프로세서가 공유하는 공유 메모리와, 상기 적어도 하나의 뉴럴 프로세서 및 상기 공유 메모리 사이에서 데이터를 교환하는 글로벌 인터커넥션을 포함하는 뉴럴 프로세싱 장치에 있어서, 적어도 하나의 컨텍스트로부터 각각 제1 및 제2 요청을 수신하고, ASID(Address space ID) 할당 여부를 결정하는 ASID 매니저, 상기 ASID 매니저로부터 상기 ASID를 할당받지 못한 컨텍스트의 잡(job)이 저장되는 엔터티, 상기 엔터티에 저장되는 잡의 실행 순서를 스케쥴링하고, 상기 적어도 하나의 컨텍스트 중 상기 ASID를 할당받지 못한 컨텍스트에게, 상기 ASID 매니저로부터 상기 ASID를 할당하게 하는 잡 스케쥴러 및 상기 ASID가 할당된 컨텍스트의 잡을 순차적으로 수신하여 대기 잡으로 저장하고, 상기 대기 잡을 순차적으로 실행하는 커맨드 큐로서, 상기 대기 잡은 상기 잡 스케쥴러를 거치지 않고 직접 전송되는 제1 잡과, 상기 잡 스케쥴러에 의해서 상기 ASID의 할당 절차를 통해서 전송되는 제2 잡을 포함하는 커맨드 큐를 포함한다.