METHOD OF DESCRIBING MULTIMEDIA DOCUMENTS BY INTER-MODALITY TRANSLATION, ASSOCIATED COMPUTER PROGRAM AND SYSTEM

The invention pertains to the generation of a multimodal description of documents. It utilizes a set of multimedia documents (M1, M2, M3) each having a description (V1, V2, V3; T1, T2, T3) according to a first modality and according to a second modality, and a common representation space (Ec) of descriptions according to each of the modalities. The following steps are carried out: -for each of the multimedia documents (M1, M2, M3), projection of each of the descriptions (V1, V2, V3) of the document into the said space so as to have a first (PV1, PV2, PV3) and a second point (PT1, PT2, PT3); -projection of a description (VM) of a query document according to the first modality into the said space, so as to have a query point (PVM); -search, from among the first points, for the k nearest neighbours (PV1, PV2) of the query point (PVM); -determination of a description of the query document according to the second modality on the basis of the k second points (PT1, PT2) associated with the identified first points. L'invention porte sur la génération d'une description multimodale de documents. Elle exploite un ensemble de documents multimédia (M1, M2, M3) disposant chacun d'une description (V1, V2, V3; T1, T2, T3) selon une première modalité et selon une seconde modalité, et un espace commun de représentation (Ec) de descriptions selon chacune des modalités. Les étapes suivantes sont réalisées: -pour chacun des documents multimédia (M1, M2, M3), projection de chacune des descriptions(V1, V2, V3) du document dans ledit espace de manière à disposer d'un premier (PV1, PV2, PV3) et d'un second point (PT1, PT2, PT3); -projection d'une description(VM) d'un document requête selon la première modalité dans ledit espace, de manière à disposer d'un point requête (PVM); -recherche, parmi les premiers points, des k plus proches voisins (PV1, PV2) du point requête (PVM); -détermination d'une description du document requête selon la seconde modalité à partir des k seconds points (PT1, PT2) associés aux premiers points identifiés.