EVENT RECOGNITION ON PHOTOS WITH AUTOMATIC ALBUM DETECTION

Demonstrated is that grouping of consecutive photos and attention-based recognition of resulted photo sets can drastically improve the recognition accuracy. It has been shown that the most important parameter, namely, similarity threshold pO, can be automatically estimated in the learning procedure. It has been experimentally demonstrated that consecutive photos from the same album are better discovered if the confidence scores of classifier are matched, which has been learned on unfolded training set X. In addition, proposed is to apply generative models in classical discriminative task, namely, image captioning in event recognition in still photos. Presented is the novel pipeline of visual preferences prediction using image captioning with classification of generated captions and retrieval of photos based on their textual descriptions. Il a été démontré que le regroupement de photos consécutives et la reconnaissance basée sur l'attention d'ensembles de photos résultants peuvent améliorer considérablement la précision de la reconnaissance. Il a été démontré que le paramètre le plus important, à savoir le seuil de similarité pO, peut être automatiquement estimé dans la procédure d'apprentissage. Il a été démontré expérimentalement que des photos consécutives à partir du même album sont mieux découvertes si les scores de confiance d'un classificateur correspondent, ce qui a été appris sur un ensemble d'apprentissage dévoilé X. En outre, il est proposé d'appliquer des modèles génératifs dans une tâche discriminative classique, à savoir, un sous-titrage d'image en reconnaissance d'événement dans des photos fixes. L'invention concerne le nouveau pipeline de prédiction de préférences visuelles à l'aide d'un sous-titrage d'image présentant une classification des sous-titres générés et une récupération de photos sur la base de leurs descriptions textuelles.