ATTENTION NEURAL NETWORKS WITH SPARSE ATTENTION MECHANISMS

Methods, systems, and apparatus, including computer programs encoded on computer storage media, for processing network inputs using an attention neural network that has one or more sparse attention sub-layers. Each sparse attention sub-layer is configured to apply a sparse attention mechanism that attends differently for input positions that are in a first proper subset of the input positions in the input to the sub-layer than for positions that are not in the first proper subset. L'invention concerne des procédés, des systèmes et un appareil, y compris des programmes informatiques codés sur un support de stockage informatique, permettant de traiter des entrées de réseau en utilisant un réseau d'attention éparse qui comprend une ou plusieurs sous-couches d'attention éparse. Chaque sous-couche d'attention éparse est configurée pour appliquer un mécanisme d'attention éparse qui se présente différemment pour des positions d'entrée qui sont dans un premier sous-ensemble approprié des positions d'entrée dans l'entrée à la sous-couche que pour des positions qui ne sont pas dans le premier sous-ensemble approprié.