DETECTION, 3D RECONSTRUCTION AND TRACKING OF MULTIPLE RIGID OBJECTS MOVING IN RELATION TO ONE ANOTHER

Die Erfindung betrifft ein Verfahren und ein System zur Detektion, 3D-Rekonstruktion und Nachverfolgung von mehreren relativ zueinander bewegten starren Objekten (11, 13, 15, 16, 17; 19) aus einer Folge von Bildern mindestens einer Kamera und kann insbesondere im Rahmen eines kamerabasierten Umfelderfassungssystems zum assistierten oder automatisierten Fahren eingesetzt werden. Das (computerimplementierte) Verfahren umfasst die Schritte: a) Auswahlen von Bildern zu bestimmten Aufnahme-Zeitpunkten (=Key-Zyklen) aus der Folge von Bildern der mindestens einen Kamera, b) gemeinsame Optimierung aller Parameter eines Modells zur Beschreibung der relativ zueinander bewegten starren Objekte (11, 13, 15, 16, 17; 19) anhand der Bilder der Key-Zyklen auf der Basis von spärlich (sparse) selektierten Bildpunkten in den Key-Zyklen, wobei das Modell Parameter zur Beschreibung der Anzahl, der 3D-Struktur, der Posen der starren Objekte (11, 13, 15, 16, 17; 19) in den Key-Zyklen, und einer Zuordnung der selektierten Bildpunkten zu den starren Objekten (11, 13, 15, 16, 17; 19) umfasst, durch c) Minimierung eines Fehlerfunktionals (S20), wobei das Fehlerfunktional einen photometrischen Fehler E photo , der von Intensitäten von Bildern mehrerer Key-Zyklen abhängt, und einen ersten A-Priori-Energie-Term E comp , der von der Anzahl an starren Objekten (11, 13, 15, 16, 17; 19) abhängig ist, umfasst, d) Ausgabe der aus der Folge von Bildern detektierten Anzahl, 3D-Struktur und Trajektorie der relativ zueinander bewegten starren Objekte (11, 13, 15, 16, 17; 19). Obwohl eine gemeinsame Optimierung aller Parameter auf Basis von Bilddaten mehrerer Zeitpunkte erfolgt, ist das Verfahren zur gleichzeitigen Anwendung während der Datenerfassung (online) geeignet. The invention relates to a method and a system for the detection, 3D reconstruction and tracking of multiple rigid objects (11, 13, 15, 16, 17; 19) moving relative to one another from a series of images from at least one camera and can be used, in particular, in the context of a camera-based environment detection system for assisted or automated driving. The (computer-implemented) method comprises the following steps: a) selecting images at determined capture times (=key cycles) from the series of images from the at least one camera; b) collectively optimising all parameters of a model for describing the rigid objects (11, 13, 15, 16, 17; 19) moving relative to one another based on the images from the key cycles on the basis of sp