Mapping field photographs to textured surface meshes directly on mobile devices

The mapping of photographs to surface geometry is an important procedure for many applications within the geosciences. This paper proposes an interactive framework for feature‐based image‐to‐geometry mapping that works directly on mobile devices, under challenging imaging conditions and with limited available hardware performance. The framework makes use of openly available digital elevation models (DEMs) together with mobile position‐and‐orientation sensor data. It integrates calculation heuristics for result evaluation and feedback, synthesising available knowledge in current registration literature. The approach is assessed on two image datasets captured on separate occasions. Their interpretations are mapped to one textured lidar surface model and the projection accuracy is qualitatively assessed. The experiments show a significant accuracy improvement in photograph registration results, as well as the faithful mapping of image interpretations on the underlying surface geometry. This semi‐automatic, user‐guided, interactive approach is superior to comparable fully automatic registration methods. Résumé Beaucoup d'applications en géosciences requièrent de plaquer des photos sur des surfaces. Cet article présente une méthode de plaquage interactive effectuée sur tablettes, c'est‐à‐dire sous des conditions de performance informatique limitée et d'acquisition d'images difficile. Elle utilise conjointement des Modèles Numériques de Terrain (MNT) et des données d'orientations et positions issues des capteurs de la tablette. Des heuristiques de calcul fondées sur les connaissances actuelles en recalage d'images retournent des paramètres permettant d’évaluer les résultats. Cette approche a été appliquée sur deux jeux d'images d'un même site, prises à deux moments différents. Les interprétations des images sont plaquées directement sur la surface topographique et leur précision est évaluée. Ces tests montrent une amélioration significative du calage des photos et de la précision du positionnement des interprétations sur la surface topographique. Le côté interactif de cette approche semi‐automatisée permet d'obtenir des résultats nettement supérieurs à ceux de méthodes comparables entièrement automatisées. Zusammenfassung Die Projektion von Fotos auf Oberflächengeometrie ist für viele Anwendungen der Geowissenschaften von großer Bedeutung. Methoden zur Berechnung dieser 2D – 3D Transformation wurden bereits ausführlich untersucht, unter besonderer Berücksichtigu