LEARNING THE JOINT DISTRIBUTION OF TWO SEQUENCES USING LITTLE OR NO PAIRED DATA

Provided is a noisy channel generative model of two sequences, for example text and speech, which enables uncovering the associations between the two modalities when limited paired data is available. To address the intractability of the exact model under a realistic data set-up, example aspects of the present disclosure include a variational inference approximation. To train this variational model with categorical data, a KL encoder loss approach is proposed which has connections to the wake-sleep algorithm. L'invention concerne un modèle génératif de canal bruyant de deux séquences, par exemple du texte et de la parole, qui permet de découvrir les associations entre les deux modalités lorsque des données appariées limitées sont disponibles. Selon des aspects donnés à titre d'exemple, la présente invention concerne une approximation d'inférence variationnelle. Pour entraîner ce modèle variationnel avec des données catégorielles, il est proposé une approche de perte de codeur KL qui a des connexions à l'algorithme de veille de réveil.