AI goes embedded: Wettrennen mit smarten Autos
Jedes Jahr treffen sich Studenten-Teams aus der ganzen Welt, um ihre selbst entwickelten Autos gegeneinander in der CAuDri-Challenge (Cognitive Autonomous Driving) (vormals Carolo Cup [1]) antreten zu lassen. Diesen Oktober gibt es sogar das erste Treffen an der DHBW Stuttgart. Die Herausforderung besteht darin, mit höchster Präzision der Fahrspur zu folgen, Hindernissen auszuweichen, Einparkvorgänge zu meistern und dabei alle geltenden Verkehrsregeln zu beachten.
Das Projektteam, die DHBW Smart Rollerz, organisiert eigenständig die Entwicklung eines smarten Modellfahrzeugs, Smarty getauft. Die Entwicklung geht diesen Sommer bereits in die vierte Generation. Hier arbeiten Studierende aller Bachelorjahre und aus allen technischen Studienjahrgängen zusammen (Informatik, Maschinenbau, Elektrotechnik, ...). Nicht nur das Aussehen wird immer professioneller, auch die Algorithmik wird leistungsfähiger. Zum ersten Mal sollen in die 4. Generation künstliche Neuronale Netze eingebaut werden.
Zwei Studierende aus dem Maschinenbau, Jana Löhle und Christian Britz, haben genau solche Neuronalen Netze entwickelt, um dem Smarty auch smarte Augen zu geben. Er muss nämlich Hindernisse und Schilder erkennen können. Einem Neuronalen Netz muss erst einmal beigebracht werden, wie die Objekte aussehen, die es erkennen muss. Hierzu haben die beiden in etwa 1.500 Bildern von Hand die Koordinaten der Objekte eingezeichnet, die erkannt werden sollen (siehe Bild).
Mit diesen Trainings-Bildern wurden drei verschiedene Algorithmen (YOLOv5, YOLOv7 und YOLOR) trainiert und miteinander verglichen. Der Gewinner war YOLOv7 [2], weil er mit einer besonders kurzen Bearbeitungszeit und bereits mit wenigen Trainingsdaten schon sehr genaue Ergebnisse geliefert hat, wie man auf den Bildern sieht. Die Zahl über den Boxen gibt dabei an, wie sicher sich der Algorithmus mit seiner Vorhersage ist (1.0 = sehr sicher).
Ein selbst fahrendes Auto muss aber nicht nur Objekten ausweichen können, es muss auch in der Spur bleiben. Hierum haben sich Anton Utz und Benjamin Arp gekümmert. Für die Spurerkennung wurden bereits mächtige open Source Modelle entwickelt, wie z.B. lanedet von Zheng et. al. [3]. Diese für den speziellen Anwendungsfall der Caudri Challenge zu übernehmen ist nicht trivial und die Performance war am Anfang unbrauchbar.
Ein großes Problem ist der Unterschied in den Datenverteilungen: Vortrainierte Netze wurden typischerweise auf Bildern von echten Straßen trainiert (siehe Bild aus dem TuSimple Datensatz [4]) – in der Challenge werden weiße Linien auf einen schwarzen Boden geklebt. Um das Problem der unterschiedlichen Datendarstellungen zu lösen, wurde Transfer Learning eingesetzt: Hierfür wurden noch einmal über 1.000 Bilder hand-gelabelt. Auf diese Daten ließ sich das Modell von Zheng et. al. [3] für den Cup nachtrainieren (fine tuning).
Durch die Nutzung des Potentials von vortrainierten Netzen und geschickten Anpassungen konnte eine hervorragende Performance für den Cup erzielt werden. Die Genauigkeit des Modells konnte von anfänglich nur 43% (nicht zu gebrauchen) auf über 95% (man sieht fast keine Fehler mehr) angehoben werden. Ein wichtiger Vorteil der Neuronalen-Netz-basierten Lösung liegt in ihrer Stabilität und Fähigkeit, Spuren auch über Unterbrechungen hinweg zu vervollständigen.
Diese beiden Erweiterungen sind die ersten Schritte, um Neuronale Netze in den Smarty zu bringen und ihn damit hoffentlich noch smarter fahren zu lassen.
Für die Studierenden bietet die Caudri Challenge die Möglichkeit, besonders praxisnah aktuelle Software und Technik in einem Team auf die Straße zu bringen. Eine ideale Vorbereitung für ähnliche Themen in richtigen Autos.
Und für alle, die das hier lesen und an der DHBW studieren (egal aus welchem Studiengang): Falls Sie selbst früher auch Modellfahrzeuge faszinierend fanden und mithelfen wollen, spannende Technik in den Smarty zu bringen, schauen Sie gerne bei den Smart Rollerz vorbei (https://dhbw-smartrollerz.org/).
- [1] T. U. Braunschweig, Event & history of the carolo-cup, Available: https://www.tu-braunschweig.de/carolo-cup, 2023
- [2] C.-Y. Wang, A. Bochkovskiy, and H.-Y. M. Liao, Yolov7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors, Available: https://arxiv.org/pdf/2207.02696, 2022
- [3] Zheng et. al., Turoad lanedet, Available: https://github.com/Turoad/lanedet, 2023
- [4] TuSimple-Benchmark, Available: https://github.com/TuSimple/tusimple-benchmark, 2021