ОБЗОР МЕТОДОВ АВТОМАТИЧЕСКОГО РАСПОЗНАВАНИЯ ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ЧЕЛОВЕКА ПО ИЗОБРАЖЕНИЮ

Рассматривается задача распознавания эмоционального состояния человека по изображению. Приведен обзор основных способов описания человеческих эмоций: разделение на конечное число классов и использование векторного описания. Представлены существующие разработки в области распознавания эмоций по изображению, а также приведен общий алгоритм работы подобных систем. Основными этапами решения задачи распознавании эмоций являются поиск лица на изображении и классификация эмоции. Информационная технология распознавания эмоций представлена в графической нотации. Описаны принципы работы алгоритма Виолы-Джонса, который используется для определения лица человека на изображении Представлены подходы, которые применяются для решения задачи классификации: алгоритм Виолы-Джонса, метод опорных точек, различные архитектуры нейронных сетей, которые предназначены для классификации изображений. Проанализированы преимущества и недостатки метода опорных точек, базирующегося на системе кодирования лицевых движений, а также способ применения алгоритма Виолы-Джонса для классификации эмоций. Рассмотрен метод распознавания эмоционального состояния человека на основании визуальной информации с применением сверточных нейронных сетей. Описаны принципы действия сверточных, субдискретизирующих и полносвязных слоев нейронной сети. На основе анализа опубликованных работ приведены результаты точности распознавания в различных условиях. Также представлены работы, в которых для анализа эмоционального состояния применяется комбинация сверточных и рекуррентных нейронных сетей, где кроме визуальной информации используется дополнительный источник – аудиопоток, что позволяет более эффективно классифицировать эмоции в видеопотоке. Представлены наиболее популярные обучающие выборки данных для решения рассмотренной задачи.