Modèle de graphe et modèle de langue pour la reconnaissance de scènes visuelles

RésuméDans cet article, nous décrivons une méthode pour utiliser un modèle de langue sur des graphes pour la recherche et la catégorisation d’images. Nous utilisons des régions d’images (associées automatiquement à des concepts visuels), ainsi que des relations spatiales entre ces régions, lors de la construction de la représentation sous forme de graphe des images. Notre méthode gère différents scénarios, selon que des images isolées ou groupées sont utilisées comme base d’apprentissage ou de test. Les résultats obtenus sur un problème de catégorisation d’images montrent (a) que la procédure automatique qui associe les concepts à une image est efficace, et (b) que l’utilisation des relations spatiales, en plus des concepts, permet d’améliorer la qualité de la classification. Cette approche présente donc une extension du modèle de langue classique en recherche d’information pour traiter le problème de recherche et de catégorisation d’images non annotées, représentées par des graphes.