VPA WITH INTEGRATED OBJECT RECOGNITION AND FACIAL EXPRESSION RECOGNITION

Methods, computing devices, and computer-program products are provided for implementing a virtual personal assistant. In various implementations, a virtual personal assistant can be configured to receive sensory input, including at least two different types of information. The virtual personal assistant can further be configured to determine semantic information from the sensory input, and to identify a context-specific framework. The virtual personal assistant can further be configured to determine a current intent. Determining the current intent can include using the semantic information and the context-specific framework. The virtual personal assistant can further be configured to determine a current input state. Determining the current input state can include using the semantic information and one or more behavioral models. The behavioral models can include one or more interpretations of previously-provided semantic information. The virtual personal assistant can further be configured to determine an action using the current intent and the current input state. La présente invention concerne des procédés, des dispositifs informatiques et des produits-programmes d'ordinateur permettant de mettre en œuvre un assistant personnel virtuel. Selon divers modes de réalisation, un assistant personnel virtuel peut être configuré de sorte à recevoir une entrée sensorielle, comprenant au moins deux différents types d'informations. L'assistant personnel virtuel peut en outre être configuré de sorte à déterminer des informations sémantiques à partir de l'entrée sensorielle et à identifier une structure spécifique à un contexte. L'assistant personnel virtuel peut en outre être configuré de sorte à déterminer une intention actuelle. La détermination de l'intention actuelle peut consister à utiliser des informations sémantiques et la structure spécifique à un contexte. L'assistant personnel virtuel peut en outre être configuré de sorte à déterminer un état d'entrée actuel. La détermination de l'état d'entrée actuel peut consister à utiliser les informations sémantiques et un ou plusieurs modèles comportementaux. Les modèles comportementaux peuvent comprendre une ou plusieurs interprétations d'informations sémantiques fournies au préalable. L'assistant personnel virtuel peut en outre être configuré de sorte à déterminer une action à l'aide de l'intention actuelle et de l'état d'entrée actuel.