MISCALIBRATION DETECTION FOR VIRTUAL REALITY AND AUGMENTED REALITY SYSTEMS

Methods, systems, and apparatus, including computer programs encoded on computer storage media, for performing miscalibration detection. One of the methods includes receiving sensor data from each of multiple sensors of a device in a system configured to provide augmented reality or mixed reality output to a user. Feature values are determined based on the sensor data for a predetermined set of features. The determined feature values are processed using a miscalibration detection model that has been trained, based on examples of captured sensor data from one or more devices, to predict whether a miscalibration condition of one or more of the multiple sensors has occurred. Based on the output of the miscalibration detection model, the system determines whether to initiate recalibration of extrinsic parameters for at least one of the multiple sensors or to bypass recalibration. La présente invention concerne des procédés, des systèmes et des appareils, comprenant des programmes informatiques codés sur des supports de stockage informatique effectuer une détection de défaut d'étalonnage. L'un des procédés consiste à recevoir des données de capteur provenant de chacun de multiples capteurs d'un dispositif dans un système configuré pour fournir une réalité augmentée ou une sortie de réalité mixte à un utilisateur. Des valeurs de caractéristiques sont déterminées sur la base des données de capteur pour un ensemble prédéterminé de caractéristiques. Les valeurs de caractéristiques déterminées sont traitées à l'aide d'un modèle de détection de défaut d'étalonnage qui a été entraîné, sur la base d'exemples de données de capteur capturées provenant d'un ou de plusieurs dispositifs, pour prédire si une condition de défaut d'étalonnage d'un ou plusieurs des multiples capteurs s'est produite. Sur la base de la sortie du modèle de détection de défaut d'étalonnage, le système détermine s'il faut initier un ré-étalonnage de paramètres extrinsèques pour au moins l'un des multiples capteurs ou pour dériver un réétalonnage.