Auf die richtige Karte setzen
(Teil-)Autonome Über- und Unterwasserkartierung für Flüsse und Seen
Voraussetzung für einen sicheren und effizienten Schiffsverkehr in Deutschland sind aktuelle und genaue Karten der Wasserstraßen. Behörden, wie das Bundesamt für Seeschifffahrt und Hydrographie, aber auch private Hafenbetreiber sind verpflichtet, diese stets in aktueller Form bereitzustellen. Hauptgrund dafür ist die Vermeidung von Unfällen, die auf eine falsche oder veraltete Karte zurückzuführen sind. Dabei geht es um die Klassifizierung der Bundeswasserstraßen, ihre Kilometrierung, vorhandene Schleusen, Hebe- und Sperrwerke, sonstige umliegende Gewässer, Orte und Grenzen. Aktuell wird die Kartierung von konventionellen Schiffen mit geschultem Personal durchgeführt, was zeitaufwändig und teuer ist. Dadurch kann es zu langen Abständen zwischen den Messungen an einem bestimmten Ort kommen.
Eine (halb-)automatisierte Überwachung von Wasserstraßen durch autonome Plattformen mit Hindernisvermeidung und Verkehrserkennung könnte diesen Prozess optimieren und Karten in kürzerer Zeit bereiterstellen. Das Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB hat zu diesem Zweck im Rahmen eines dreijährigen Eigenforschungsprojekts ein autonomes Oberflächenfahrzeug entwickelt, das in der Lage ist, eigenständig Gewässer zu vermessen. Hierfür werden sowohl die Gewässersohle mit Hilfe eines Sonars als auch Uferbereiche und Überwasserstrukturen mittels eines optischen Systems mit zwei integrierten Industriekameras der IDS Imaging Development Systems GmbH erfasst. Die so gewonnenen Informationen werden anschließend fusioniert und in eine 3D-Karte der Umgebung überführt.
Anwendung
Die präzise Vermessung von Gewässern ist eine anspruchsvolle Aufgabe. Das Teilautomatische Peilsystem für Flüsse und Seen - kurz TAPS - des Fraunhofer IOSBs übernimmt dies sowohl unter als auch über Wasser. Dazu fährt das zirka 2 x 1,5 x 1 Meter große Fahrzeug über die entsprechende Wasserstraße und weicht dabei Hindernissen, egal ob stehend oder in Bewegung, automatisch aus. Bei einer Geschwindigkeit von 2 Knoten - dies entspricht etwa 3,7 Kilometern pro Stunde - kann eine solche Mission bis zu 20 Stunden andauern. Zur visuellen Kartierung der Uferbereiche verfügt TAPS über zwei an einem Mast befestigte Kameras, die jeweils nach Steuerbord bzw. Backbord gerichtet sind und deren Sichtfelder sich dabei nicht überlappen. Sie erlauben aufgrund ihrer hohen Auflösung eine visuelle Inspektion von relevanten Infrastrukturen, wie zum Beispiel Kaimauern, sowie eine 3D-Modellierung des Uferbereiches anhand der aufgenommenen Bilddaten.
„Wir nutzen einen Automatismus für die intelligente Bildaufnahme. Sobald eine oder beide Kameras auf einen vordefinierten Bereich von Interesse gerichtet sind, wird die Bildaufnahme gestartet. Dabei wird zusätzlich die Eigenbewegung des Fahrzeugs genutzt, um lediglich Bilddaten zu speichern, die von unterschiedlichen Blickwinkeln aufgenommen werden und somit inhaltlichen Mehrwert bieten", erläutert Boitumelo Ruf, Experte für Photogrammetrie in der Forschungsgruppe Autonome Robotersysteme am Fraunhofer IOSB. Als Grundlage für die Bestimmung von Position und Ausrichtung der TAPS-Plattform dienen GNSS-(Global Navigation Satellite Systems, wie GPS) und IMU-Daten (Inertial Measurement Unit zur Lagebestimmung). "Bei der Erfassung der Bilder werden diese mit den aktuellen GNSS-Positionsdaten angereichert. Letztere werden später für die Zuweisung von genauen Koordinaten benötigt", so Ruf weiter.
Nach der Datenerfassung werden die aufgenommenen Bilder zusammen mit den GNSS-Daten an eine Bodenkontrollstation übertragen, wo eine photogrammetrische Rekonstruktion durchgeführt wird. Boitumelo Ruf beschreibt das Vorgehen näher: „Wir verwenden dabei unter anderem die photogrammetrische Toolbox COLMAP. Sie nutzt herausragende Bildmerkmale, um zunächst einen Abgleich zwischen den Eingabebildern durchzuführen, ihre relativen Positionen zu berechnen und daraus ein naturgetreues 3D-Modell der Umgebung zu erstellen. Anschließend führen wir mit Hilfe des Tools ein pixelweises Matching der Bilder durch, das heißt wir suchen nach korrespondierenden Pixeln und führen diese exakt zusammen. Das Ergebnis ist eine dichte 3D-Punktwolke, die anhand der GNSS-Positionen georeferenziert, also mit den zugehörigen aktuellen Koordinaten versehen wird." Das 3D Modell kann dann für weitere Aufgaben, wie beispielsweise visuelle Inspektionen oder die Uferüberwachung, genutzt werden.
Robuste Industriekameras trotzen Wind und Wetter
Kameraseitig setzt das Fraunhofer-Institut auf zwei uEye FA Industriekameras von IDS. Die robusten und widerstandsfähigen Modelle mit PoE sind ideal geeignet für anspruchsvolle Umgebungen. Kameragehäuse, Objektivtuben und die verschraubbaren Steckverbinder erfüllen die Anforderungen der Schutzart IP65/67 und sind damit bestens vor Schmutz, Staub und Spritzwasser geschützt.
Das eingesetzte Modell verfügt über den großformatigen 1.1“ CMOS-Sensor IMX304 von Sony und liefert sehr klare, rauschfreie Bilder in einer Auflösung von 4096 x 3000 Pixeln. Der Global-Shutter Sensor der zweiten Pixelgeneration der Pregius Reihe eignet sich dank seines bemerkenswerten Dynamikumfangs und seiner sehr hohen Empfindlichkeit unter anderem besonders für Anwendungen in der Messtechnik.
Genau diese Eigenschaften waren entscheidend für die Kameraauswahl des Fraunhofer IOSBs. Wichtige Anforderungen an die Kameras umfassten neben Robustheit und Witterungsschutz auch einen kompakten Formfaktor sowie eine hohe Bildauflösung, um detaillierte visuelle Inspektionen zu ermöglichen. Der Sensor sollte zudem einen hohen Dynamikumfang bieten, um sowohl in sonnigen als auch schattigen Bereichen Bilder mit hohem Detailgrad aufzunehmen. Die Integration über die Standard-Schnittstelle GigE Vision ermöglicht die Entwicklung und Nutzung eines Treibers für mehrere Systeme mit unterschiedlichen Kameras.
„Die eingesetzte Kamera liefert sehr klare, rauschfreie Bilder. Der Sensor verfügt über einen bemerkenswerten Dynamikumfang und eine sehr hohe Empfindlichkeit. Genau diese Eigenschaften waren entscheidend für unsere Kameraauswahl.“
Ausblick
Auch bei der Vermessung von Wasserstraßen ist der Fachkräftemangel ein großes Thema. Eine automatisierte Kartierung der Wasserstraßen könnte neben den Kosten auch den zeitlichen und vor allem personellen Aufwand reduzieren. Ziel des TAPS-Projekts war es, einen Prototyp für diese Aufgabe zu entwickeln und sein Potenzial in relevanten Szenarien zu demonstrieren. Als Forschungseinrichtung entwickelt Fraunhofer typischerweise Technologien bis zu einem Level, an dem Funktionalität und Tauglichkeit des Systems nachgewiesen sind. Der nächste Schritt ist nun die Zusammenarbeit mit Industriepartnern. Dr.-Ing. Janko Petereit, Leiter der Forschungsgruppe Autonome Robotersysteme am Fraunhofer IOSB, erklärt: „Wir suchen aktiv nach Partnern, um diesen letzten Schritt der Kommerzialisierung gemeinsam zu gehen. In Anbetracht der positiven Ergebnisse unserer ersten Tests und der steigenden Nachfrage nach genauen, aktuellen Wasserstraßenkarten erwarten wir in den kommenden Jahren eine starke Nachfrage nach unserer Technologie. Dabei können die gewonnenen Erkenntnisse vielseitig verwendet werden. Autonome Wasserfahrzeuge lassen sich beim Personen- und Güterverkehr auf See oder Binnengewässern einsetzen. Denkbar sind auch das Ausheben von Wasserfahrstraßen sowie das autonome Vermessen von Fahrrinnen".
Das Projekt zeigt das hohe Potenzial des Zusammenspiels von Robotersystemen und digitaler Bildverarbeitung. Insbesondere in Bezug auf die visuelle Umfelderfassung und Szeneninterpretation könnten die Karten in Zukunft neu gemischt werden.
uEye FA - die robusteste und widerstandsfähigste Industriekamera mit PoE
Verwendetes Modell: GV-5200FA
Kamerafamilie: uEye FA
Ihr Projekt
Erfahren Sie regelmäßig Lösungsansätze für Ihre Anwendungen und abonnieren Sie unseren Newsletter.
Wie können wir Sie in Ihrem Projekt unterstützen? Gemeinsam finden wir die passende Lösung für Sie!
Kunde
Das Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB möchte mit seiner Arbeit in den drei namensgebenden Kernkompetenzen Menschen effizient unterstützen, fundierte Entscheidungen zu treffen, Prozesse optimieren und autonome Systeme intelligent steuern. Dabei geht es um die Entwicklung neuartiger Sichtsysteme einschließlich der erforderlichen Laserlichtquellen, den optimalen Einsatz sowie die Vernetzung von Sensoren und die Verarbeitung der entstehenden Datenströme.