SCORE INTERPOLATION DIFFUSION MODELS

Methods, systems, and apparatus, including computer programs encoded on computer storage media, for generating an output sequence of discrete tokens using a diffusion model. In one aspect, a method includes initializing the output sequence by assigning a respective embedding to each of the plurality of output positions; repeatedly performing the following at each of multiple reverse diffusion steps: a current continuous representation of the output sequence; processing a diffusion model input that comprises the current continuous representation using the diffusion model to generate a diffusion model output; processing the respective initial scores using a softmax function to generate, for each of the plurality of output positions, a probability distribution over the plurality of embeddings in the vocabulary of embeddings; and updating the continuous representation of the output sequence using the probability distributions and the vocabulary of embeddings. L'invention concerne des procédés, des systèmes et un appareil, comprenant des programmes informatiques codés sur des supports de stockage informatiques, pour la génération d'une séquence de sortie de jetons discrets à l'aide d'un modèle de diffusion. Selon un aspect, un procédé consiste à initialiser la séquence de sortie en attribuant une intégration respective à chacune de la pluralité de positions de sortie ; effectuer de manière répétée ce qui suit à chacune des multiples étapes de diffusion inverse : une représentation continue courante de la séquence de sortie ; traiter une entrée de modèle de diffusion qui comprend la représentation continue courante à l'aide du modèle de diffusion pour générer une sortie de modèle de diffusion ; traiter les scores initiaux respectifs à l'aide d'une fonction softmax pour générer, pour chacune de la pluralité de positions de sortie, une distribution de probabilité sur la pluralité d'intégrations dans le vocabulaire d'intégrations ; et mettre à jour la représentation continue de la séquence de sortie à l'aide des distributions de probabilité et du vocabulaire d'intégrations.