VISUAL PROMPT TUNING FOR GENERATIVE TRANSFER LEARNING

Systems and methods for training and using a prompt token generator to generate a set of prompt tokens which, when fed into a pretrained generative image transformer (e.g., an autoregressive transformer, continuous diffusion model, non-autoregressive transformer, or discrete diffusion model), may bias the generative image transformer's output towards a particular domain (e.g., towards a particular class of images, towards a particular training instance, etc.). In some examples, the prompt token generator may be used to generate a set of different prompt token sequences, which may then be fed sequentially to a pretrained non-autoregressive generative image transformer as it iteratively generates each image in each time-step in order to introduce more diversity into the transformer's final output. Sont divulgués des systèmes et des procédés d'apprentissage et d'utilisation d'un générateur de jetons d'invite pour générer un ensemble de jetons d'invite qui, lorsqu'ils sont introduits dans un transformateur d'image génératif pré-entraîné (par exemple, un transformateur autorégressif, un modèle de diffusion continue, un transformateur non autorégressif ou un modèle de diffusion discrète), peuvent polariser la sortie du transformateur d'image génératif vers un domaine particulier (par exemple, vers une catégorie particulière d'images, vers une instance d'apprentissage particulière, etc.). Dans certains exemples, le générateur de jetons d'invite peut être utilisé pour générer un ensemble de différentes séquences de jetons d'invite, pouvant ensuite être fournies séquentiellement à un transformateur d'image génératif, non autorégressif pré-entraîné lorsqu'il génère de manière itérative chaque image lors de chaque étape temporelle, afin d'introduire davantage de diversité dans la sortie finale du transformateur.