A precise visual localisation method for the Chinese Chang’e‐4 Yutu‐2 rover

Precise localisation of the Yutu‐2 moon rover plays an important role in path planning, obstacle avoidance and navigating to target features. To provide high‐precision localisation information, a stereo bundle adjustment method using the theory of the unit quaternions is presented for the first time. To improve the precision and robustness of the proposed method, the rover's pose, from a visual odometry technique assisted by an inertial measurement unit and the rotation angles of the mast mechanism, is viewed as a pseudo‐observation. A reasonable weighting strategy and a rational geometric constraint condition of the stereo cameras is also invoked. Experimental results demonstrate that the proposed method provides more accurate localisation results than either a bundle adjustment alone or a weighted total least‐squares method. The proposed method has been successfully used in Chang'e‐4 mission operations. Résumé La localisation précise du rover lunaire Yutu‐2 joue un rôle important dans la planification de trajectoires, l'évitement d'obstacles et la navigation jusqu'à des cibles. Pour fournir des informations de localisation de haute précision, une méthode de compensation par faisceaux stéréoscopique utilisant la théorie des quaternions unitaires est présentée pour la première fois. Pour améliorer la précision et la robustesse de la méthode proposée, la position et l'orientation du mobile, issues d'une technique d'odométrie visuelle assistée par une centrale inertielle et des angles de rotation du mécanisme du mât, sont considérées comme pseudo‐observations. Une stratégie de pondération raisonnable et une condition rationnelle de contrainte géométrique des caméras stéréo sont également utilisées. Les résultats expérimentaux démontrent que la méthode proposée fournit des résultats de localisation plus précis qu'une compensation par faisceaux seule ou une méthode des moindres carrés pondérés. La méthode proposée a été utilisée avec succès dans les opérations de la mission Chang'e‐4. Zusammenfassung Die präzise Ortsbestimmung des Yutu‐2 Mondfahrzeugs spielt eine wichtige Rolle für die Pfadplanung, die Umgehung von Hindernissen und die Navigation zu den Zielobjekten. Hierzu wird zum ersten Mal eine Stereo‐Bündelausgleichung, auf der Basis von Quaternionen der Norm Eins, zur Bereitstellung von hochpräziser Lokalisierungsinformation vorgestellt. Zur Verbesserung der Genauigkeit und Robustheit der vorgeschlagenen Methode, wird die Stellung des Rovers als Pseudo‐B