SYSTEM AND METHOD FOR CROSS-MODAL INTERACTION BASED ON PRE-TRAINED MODEL

A method is provided for data processing performed by a processing system. The method comprises determining a set of first tokens for first data and a set of second token for second data, each token comprising information associated with a segment of the respective data, determining pair-wise similarities between the set of first tokens and the set of second tokens, each pair comprising a first token in the set of first tokens and a second token in the set of second tokens, determining, for each first token in the set of first tokens, a maximum similarity based on the determined pair-wise similarities between the respective first token and the second tokens in the set of second tokens, and determining a first similarity between the first data and the second data by aggregating the maximum similarities corresponding to the first tokens in the set of first set of tokens. L'invention concerne un procédé de traitement de données mis en œuvre par un système de traitement. Le procédé consiste à : déterminer un ensemble de premiers jetons pour des premières données et un ensemble de deuxièmes jetons pour des deuxièmes données, chaque jeton comprenant des informations associées à un segment des données respectives ; déterminer des similarités par paire entre l'ensemble de premiers jetons et l'ensemble de deuxièmes jetons, chaque paire comprenant un premier jeton dans l'ensemble de premiers jetons et un deuxième jeton dans l'ensemble de deuxièmes jetons ; déterminer, pour chaque premier jeton dans l'ensemble de premiers jetons, une similarité maximale sur la base des similarités par paire déterminées entre le premier jeton respectif et les deuxièmes jetons dans l'ensemble de deuxièmes jetons ; et déterminer une première similarité entre les premières données et les deuxièmes données par agrégation des similarités maximales correspondant aux premiers jetons dans l'ensemble de premiers jetons.