희소 어텐션 메커니즘이 있는 어텐션 신경망

하나 이상의 희소 어텐션 서브-계층을 갖는 어텐션 신경망을 사용하여 네트워크 입력을 프로세싱하기 위한 컴퓨터 저장 매체에 인코딩된 컴퓨터 프로그램을 포함하는 방법, 시스템 및 장치가 개시된다. 각 희소 어텐션 서브-계층은 서브-계층에 대한 입력의 입력 위치 중 제1 프로퍼 서브세트에 있는 입력 위치에 대해 제1 프로퍼 서브세트에 없는 위치와 다르게 어텐션하는 희소 어텐션 메커니즘을 적용하도록 구성된다. Methods, systems, and apparatus, including computer programs encoded on computer storage media, for processing network inputs using an attention neural network that has one or more sparse attention sub-layers. Each sparse attention sub-layer is configured to apply a sparse attention mechanism that attends differently for input positions that are in a first proper subset of the input positions in the input to the sub-layer than for positions that are not in the first proper subset.