Geodatenbasierte Simulation realer Verkehrsumgebungen und innovative flexible Bildsegmentierung auf eingebetteten Systemen

Aktuelle Fortschritte im autonomen Fahren sind eng mit Entwicklungen im Deep Learning verknüpft, etwa durch größere Datenmengen, verbesserte Modellarchitekturen und leistungsfähige Basismodelle (Foundation Models). Im Rahmen des Projekts AFFiAncE wurde ein Prüfstand entwickelt, der die hohen Sicherheitsanforderungen an die Architektur autonomer Fahrzeuge adressiert. In dieser Arbeit wird gezeigt, wie anhand des CARLA-Simulators synthetische Daten für den Prüfstand des Projekts erzeugt wurden. Dabei wird die Erstellung der dafür benötigten virtuellen Umgebungen anhand von realen Geodaten betrachtet. Ein Schwerpunkt der Arbeit liegt auf der Auswertung von 3D-Punktwolkendaten zur Detektion von Bordsteinkanten. Diese erlauben eine präzise Rekonstruktion von Straßenverläufen und -breiten und können zur Aktualisierung von Kartendaten sowie virtueller Umgebungen beitragen. Es wird ein regelbasierter Algorithmus mit einem Deep-Learning-Modell verglichen und eine iterative Nachverarbeitung vorgestellt, die die Detektion auch in schwierigen Fällen, wie abgesenkten Bordsteinkanten, ermöglicht. Darüber hinaus wird ein neuartiger Ansatz zur flexiblen semantischen Segmentierung von Kamerabildern vorgestellt. Dieser basiert auf einem großen KI-Basismodell, das mittels Prompt Tuning angepasst wurde. Um die Einsatzfähigkeit auf eingebetteten Systemen zu gewährleisten, wurde eine Wissensdestillation durchgeführt. Die durch den Ansatz ermöglichte Flexibilität wird aufgezeigt und evaluiert.