LARGE SCALE RETRIEVAL FOR SEQUENCE GENERATION

Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for generating a final output sequence. In one aspect, a method comprises: receiving a current output sequence comprising one or more current output segments; receiving a set of reference segments and a respective reference segment embedding of each reference segment that has been generated using an embedding neural network; for each current output segment: processing the current output segment using the embedding neural network to generate a current output segment embedding of the current output segment; and selecting k most similar reference segments to the current output segment using the reference segment embeddings and the current output segment embedding; and processing the current output sequence and the k most similar reference segments for each current output segment to generate an additional output segment that follows the current output sequence in the final output sequence. L'invention concerne des procédés, des systèmes et des appareils, y compris des programmes informatiques codés sur un support de stockage informatique, pour la génération d'une séquence de sortie finale. Selon un aspect, un procédé consiste à : recevoir une séquence de sortie actuelle comprenant un ou plusieurs segments de sortie actuels ; recevoir un ensemble de segments de référence et un plongement de segment de référence respectif de chaque segment de référence qui a été généré à l'aide d'un réseau de neurones de plongement ; pour chaque segment de sortie actuel : traiter le segment de sortie actuel à l'aide du réseau de neurones de plongement pour générer un plongement de segment de sortie actuel du segment de sortie actuel ; et sélectionner k segments de référence les plus similaires au segment de sortie actuel à l'aide des plongements de segment de référence et du plongement de segment de sortie actuel ; et traiter la séquence de sortie actuelle et les k segments de référence les plus similaires pour chaque segment de sortie actuel pour générer un segment de sortie supplémentaire qui suit la séquence de sortie actuelle dans la séquence de sortie finale.