Professor Schramm, was macht eigentlich CAPTN Förde Areal?

Prof. Dr. Hauke Schramm ist seit 2007 Professor für Informatik hier an der Fachhochschule Kiel, seit 2014 auch Zweitmitglied der Universität Kiel. Seit Beginn des Projekts ist er in CAPTN Förde Areal aktiv. Sein Arbeitsfeld ist die Sensorik. Damit erforscht seine Arbeitsgruppe einen wichtiges Teilbreich der autonomen Schifffahrt – die Objekterkennung. Im Gespräch berichtet er von dem Projekt und wie es damit über das Ende der aktuellen Förderphase hinaus weitergeht.

Worum geht es bei Förde Areal?

Unser Ziel ist es, ein autonomes Schiff zu bauen, das in absehbarer Zeit selbstständig die Förde queren bzw. auf der Förde fahren kann. Dazu müssen wir in der Lage sein, die Umgebung des Schiffes zu erfassen und eine entsprechende Routenplanung durchzuführen. Das heißt, das Schiff muss sicher von A nach B kommen, dabei Hindernisse umfahren und bestimmte Manöver durchführen.

Welche technischen Hilfsmittel benötigt so ein selbstfahrendes Schiff?

Wir brauchen zunächst eine Umfelderfassung. Das heißt, wir müssen erst einmal wissen, was um das Schiff herum in einem relevanten Bereich passiert. Also zum Beispiel: Welche anderen maritimen Objekte sehen wir, welche Bojen, Schiffe, Schwimmer und so weiter? Das ist die Aufgabe meiner Arbeitsgruppe. Wir geben diese Informationen an eine andere Arbeitsgruppe weiter, die sie dann in eine Seekarte einträgt und mit anderen Informationen kombiniert. Es gibt zum Beispiel Systeme, mit denen sich Schiffe gegenseitig über ihre Fahrtrichtung, ihre Geschwindigkeit und den Schiffstyp informieren. Wir führen diese Daten mit unseren zusammen, damit das Schiff eine regelkonforme Route planen kann.

Das heißt, das Projekt CAPTN Förde Areal ist ziemlich umfangreich?

Es ist enorm umfangreich! Es braucht eine Reihe von wissenschaftlichen Arbeitsgruppen und Unternehmen, die ihr Know-how einbringen.

Und wer ist bei CAPTN Förde Areal aktiv?

Das ist ein Zusammenschluss von verschiedenen Universitätsgruppen, die sich mit Themen wie Routenplanung und Integration von Quellen beschäftigen. Wir haben aber auch Partner aus den Industrie dabei wie die Firma Anschütz, die sich vor allem mit der Fernsteuerung des Schiffes befasst und die Addix GmbH, die die Datenverbindung zwischen dem Schiff und der Landstation sicherzustellt.

Seit wann läuft das Projekt CAPTN Förde Areal?

Seit 2021, also seit gut drei Jahren. Wir befinden uns derzeit bereits in der zweiten Förderphase, die noch bis Mitte 2025 läuft und bewerben uns gerade für eine dritte, die dann eben im Anschluss beginnen soll.

Wie sieht die Arbeit deiner Arbeitsgruppe aus?

Wir beschäftigen uns mit der Umgebungserfassung. Wir versuchen herauszufinden, was um das Schiff herum passiert. Dazu haben wir auf unserem knapp 21 Meter langen Forschungskatamaran MS Wavelab optische Kameras und Lidar-Sensoren installiert. Zurzeit experimentieren wir mit weiteren Sensoren, zum Beispiel mit einer speziellen Kamera, einer sogenannten SWIR-Kamera – Short Wave Infrared Camera. Da diese in einem anderen Wellenlängenbereich als das Lidar arbeitet, erhoffen wir uns, Objekte auch bei schlechten Wetterbedingungen ungehindert erfassen zu können.

Was unterscheidet die SWIR Kamera vom Lidar?

Das sind zwei völlig verschiedene Sensoren. Das Lidar ist ein Laser, der die Umgebung abtastet und uns am Ende eine sogenannte Punktwolke liefert. Wir haben also für jeden Punkt die konkrete Entfernung zum Objekt. Die SWIR-Kamera ist wie eine normale optische Kamera, aber sie arbeitet in einem anderen Wellenlängenbereich und kann dadurch bestimmte Dinge besser durchdringen.

Lidar und SWIR – sind das dann auch die Sensoren, die ein autonomes System braucht, um navigieren zu können?

Wir versuchen herauszufinden, welches die optimale Kombination von Sensoren ist. Einige Forschungsinitiativen – wie Seabuz mit seiner autonomen Fähre Estelle in Stockholm – setzen auf Lidar, Radar und AIS, das automatische Identifikationssystem, mit dem sich Schiffe auf dem Wasser identifizieren. Das AIS liefert auch Geschwindigkeit und Fahrtrichtung. Aber die Estelle hat zum Beispiel keine Kamera. Das halten wir für problematisch, weil man dann zum Beispiel eine Schwimmerin im Wasser nicht erkennen kann. Deshalb halten wir eine Kombination von Kameras, AIS, Lidar und Radar auf jeden Fall für sinnvoll.

Wie lernt das Schiff denn, was die Sensoren gerade erkennen?

Das System erhält Trainingsdaten, die, wie wir sagen, annotiert sind. Das heißt, es bekommt Daten, in denen genau ausgewiesen ist, was in einem bestimmten Bereich jetzt gerade zu sehen ist – ein Segelboot, eine Boje oder ein Motorboot beispielsweise – und welche Größe es hat. Dann ziehen wir einen Kasten um das Segelboot herum, geben eine bestimmte Objektklasse an und benennen sie – in diesem Fall mit „Segelboot“. Diese Methode wird als supervised learning, also überwachtes Lernen, bezeichnet. Das System lernt auf der Grundlage der annotierten Daten, die wir ihm füttern.

Ist so ein System schneller als ein Mensch im Erkennen von Objekten?

Das hängt davon ab, welches System wir verwenden. Wir verwenden neuronale Netze mit einer unterschiedlichen Anzahl von Grundbausteinen, den Neuronen. Diese sind wie in unserem Gehirn miteinander verbunden. Je mehr Neuronen wir im Netz verwenden, desto länger dauert die Verarbeitung, aber desto genauer wird sie. Das System ist skalierbar. Wenn ich eine sehr schnelle Erkennung brauche, die nicht ganz genau sein muss, verwende ich weniger Neuronen. Wenn ich eine perfekte Erkennung brauche, benötigt das System mehr Zeit für die Objekterkennung.

Aber braucht man dafür nicht unglaublich viele Daten?

Das ist tatsächlich der Fall. Deshalb haben wir unsere Sensorik inzwischen an verschiedenen Stationen auf der Förde installiert. Aktuell sind wir auf einem Schiff der Schlepp- und Fährgesellschaft Kiel, auf dem Messturm des Marina Arsenals und natürlich auf unserem Forschungskatamaran MS Wavelab. Demnächst wird auch eine Fähre auf dem Nord-Ostsee-Kanal mit Kameras, Lidar und weiterer Sensorik ausgestattet. Wir sammeln so viele Daten wie möglich. So haben wir Informationen zu verschiedenen Wettersituationen, von unterschiedlichen Verkehrssituationen und von allen möglichen Verkehrsteilnehmern auf der Förde. Am Anfang hatten wir zum Beispiel Probleme, ein U-Boot zu erkennen, weil wir es nur einmal gesehen haben und sobald sich die Perspektive ändert, erkennt das System es nicht mehr. Mittlerweile haben wir so viele U-Boote gesehen, dass wir auch diesen Typ relativ gut erkennen können. Wir sind also dabei, Zehntausende von Bildern zu annotieren. Das ist natürlich am Anfang ein enormer Aufwand.

Heißt das, ihr macht das händisch?

Ja, am Anfang schon. Wir müssen wirklich jedes einzelne Objekt, das die Kameras erfassen, in unser Raster einpassen und dem System erklären, was es da gerade sieht. Das ist sehr viel Arbeit – gerade bei den Bildern von der Kieler Woche, wo sehr viele Objekte zu sehen sind. Aber mit der Zeit wird es immer einfacher. Mittlerweile haben wir schon trainierte Systeme, die einen Großteil der Objekte, die wir im Bild sehen, automatisch annotieren. Uns interessieren jetzt vor allem die Objekte, die das System noch nicht erkannt hat. Diese fügen wir manuell hinzu oder korrigieren Fehler, die das System macht.

Welche Ergebnisse erhofft ihr euch von dem Projekt?

Nun, das Ziel ist es, eines Tages während der Kieler Woche und der Windjammerparade autonom von einer Seite der Kieler Förde zur anderen zu fahren. Um dieses Ziel zu erreichen, haben wir uns auf den Weg gemacht. Ich denke, das ist das Wichtigste. Wichtig ist auch, dass wir mit dem 21 Meter langen Forschungskatamaran ein echtes Schiff haben, auf dem wir unsere Experimente durchführen und unsere Systeme unter realen Bedingungen testen können. Das ist enorm wertvoll! Ohne ein solches Forschungsequipment, ohne eine solche Forschungsinfrastruktur, kann man so ein autonomes System nicht aufbauen. Wir müssen die Einzelsysteme von der Umfelderfassung über die Integration von Wissensquellen bis hin zur Routenplanung und Netzkapazitätsvorhersage unter realen Bedingungen zusammenbringen, um sicherzustellen, dass sie funktionieren. Wir sind zuversichtlich, dass in absehbarer Zeit, vielleicht in wenigen Monaten, alle Systeme ineinander greifen und dann auch autonomes Fahren unter einfachen Bedingungen möglich sein wird. Das heißt, wir können dann zeigen, dass das Schiff tatsächlich auch ausweicht, wenn Objekte im Weg sind, und eine vorgegebene Route fährt.

Das heißt, gibt es schon programmierte Manöver?

Ja, wir haben schon an der Routenplanung gearbeitet; auf einer einfachen Ebene sind auch Ausweichmanöver schon programmiert worden.

Was fehlt also deines Wissens nach jetzt noch für das autonome Fahren?

Die Systemintegration. Das heißt, wir müssen noch die letzten Fehler beheben. Es gibt noch Bugs, die man noch einmal angehen muss. Aber die Grundfunktionalitäten sind da und wir hoffen, dass wir jetzt in absehbarer Zeit, vielleicht Ende des Jahres, tatsächlich ein Stück weit autonom fahren können.

Gibt es noch weitere Herausforderungen, die man angehen muss?

Ja, natürlich eine ganze Menge – allein in meinem Bereich, der Umgebungserfassung. Was jetzt bei schönem Wetter sehr gut funktioniert, muss bei schlechtem Wetter, wenn Regentropfen auf der Kamera sind oder Nebel die Sicht behindert, bei Wellengang usw. nicht unbedingt genauso gut funktionieren.

Eine weitere Schwierigkeit ist zweifellos die Integration des Gesamtsystems. Im Moment haben wir ein Problem mit unserem Lidarsensor, der vom Radar des Schiffes gestört wird. Das heißt, wir haben EMV-Probleme, also elektromagnetische Verträglichkeit. Das müssen wir jetzt irgendwie lösen, indem wir ihn zum Beispiel versetzt montieren. Aber so etwas merkt man eben erst in der Praxis, wenn man die Systeme zusammenbringt. Deswegen ist es wichtig, dass wir eine physikalische Infrastruktur haben, dass wir ein Schiff haben, mit dem wir experimentieren können.

Ich hab noch eine Frage: Greifen die Systeme alle problemlos ineinander oder haben die alle unterschiedliche Basen?

Ja, das ist richtig: Jede Gruppe hat ihre bevorzugte Programmierbasis. Wir haben aber auch Systeme, die helfen, verschiedene Informationen und Informationsflüsse zu vereinheitlichen. Das ist zum Beispiel das ROS, das Roboter Operating System. Es wurde entwickelt, um verschiedene Komponenten, die für einen Roboter notwendig sind, zusammenzubringen. Am Ende ist es nicht wichtig, in welcher Programmiersprache ich meine Umfelderfassung mache. Wichtig ist, dass das Interface stimmt. Und da liegt eigentlich das Problem: Wir haben noch keine Schnittstellen.

Am Ende des Tages ist aber genau das wichtig. Im Moment bewegt sich jeder in seiner eigenen Welt. Aber wenn man ein integriertes Gesamtsystem bauen will, dann muss man dafür sorgen, dass die Schnittstellen passen, dass die Systeme gut ineinandergreifen. Wir fangen jetzt auf dem Wasser mit unserem Schiff an und wenn wir das gelöst haben, dann können wir uns darum kümmern, das Ganze auch mit dem Land zu verzahnen.

Wie geht’s nach dem Abschluss von Förde Areal II weiter?

Wir werden weiter an der Integration unserer Systeme arbeiten. Wir werden weiter Daten sammeln und unsere Systeme verbessern – wir kennen ja die Schwachstellen und wollen diese natürlich angehen. Für die Umfelderfassung heißt es zum Beispiel, dass wir daran arbeiten, immer kleinere, immer schwieriger zu erkennende Objekte finden. Der Kopf eines Menschen im Wasser zum Beispiel. Bei schönem Wetter ist das relativ einfach, aber bei Wellengang, Wind und Sturm kann das schwierig werden. Wir werden uns sicherlich zunehmend mit komplexeren Verkehrssituationen beschäftigen. Schließlich wollen wir ja, wie gesagt, bei der Windwaldjammerparade die Kieler Förde überqueren, und da bewegen wir uns schrittweise in immer komplexere Situationen hinein.

Ich denke, dass wir am Anfang vielleicht eine kleinere Fähre einsetzen, gerne hier in der Region. Auf der können wir den autonomen Betrieb demonstrieren und dann weitere Erfahrungen sammeln. Unser Wavelab ist ein tolles Versuchsschiff, sehr notwendig, sehr wichtig und sehr hilfreich, aber es ist eben keine Personenfähre, die unter realen Bedingungen agieren könnte – ähnlich wie bei den Kollegen in Schweden. Wenn wir einen ersten Anwendungsfall umsetzen könnten, wäre das ein großer Schritt nach vorne.