Inspektion kritischer Infrastrukturen mithilfe intelligenter Drohnen

Im Rahmen des Forschungsprojektes, welches vom Österreichischen Bundesministerium für Klimaschutz, Umwelt, Energie, Mobilität, Innovation und Technologie (BMK) gefördert wurde, muss die Drohne selbstständig erkennen, was ein Strommast und was ein Isolator am Strommast ist. Sie soll in einem Abstand von drei Metern um den Isolator fliegen und Bilder aufnehmen. „Die genaue Lokalisierung ist wichtig, damit die Kameraaufnahmen auch vergleichbar sind“, erklärt Thomas Georg Jantos, Doktorand und Mitglied der Forschungsgruppe Control of Networked Systems der Universität Klagenfurt. Voraussetzung dafür: die objekt-relative Navigation muss in der Lage sein, sogenannte semantische Informationen über die betreffenden Objekte aus den sensorischen Rohdaten, die von der Kamera erfasst werden, zu extrahieren. Semantische Informationen machen Rohdaten, hier die Kamerabilder, „verstehbar“ und ermöglichen es, die Umgebung nicht nur zu erfassen, sondern auch relevante Objekte korrekt zu identifizieren und zu lokalisieren.

In diesem Fall heißt das etwa, ein Bildpixel wird nicht nur als eigenständiger Farbwert (z.B. RGB-Wert) verstanden, sondern als Teil eines Objekts, z.B. eines Isolators. Der Ansatz liefert im Gegensatz zu klassischem GNNS (Global Navigation Satellite System) nicht nur eine Position im Raum, sondern eine präzise relative Position und Orientierung respektive des zu inspizierenden Objektes (z.B. „Drohne befindet sich 1,5 m links vom oberen Isolator“).

Die zentrale Anforderung besteht darin, dass die Bildverarbeitung und die Interpretation der Daten latenzfrei erfolgen müssen, damit die Drohne ihre Navigation und Interaktion in Echtzeit an die spezifischen Gegebenheiten und Anforderungen der Inspektionsaufgabe anpassen kann.

Semantische Informationen durch intelligente Bildverarbeitung

Objekterkennung, Objektklassifizierung und Objektposenschätzung werden mithilfe künstlicher Intelligenz in der Bildverarbeitung durchgeführt. „Im Gegensatz zu den auf GNSS basierenden Inspektionsansätzen mit Drohnen ermöglicht unsere KI mit ihren semantischen Informationen die Inspektion der zu inspizierenden Infrastruktur aus bestimmten reproduzierbaren Blickwinkeln“, konkretisiert Thomas Jantos. „Darüber hinaus leidet der gewählte Ansatz nicht unter den üblichen GNSS-Problemen wie Multi-Pathing und Abschattung, die durch große Infrastrukturen oder Täler verursacht werden und zu einer Signalverschlechterung und damit zu Sicherheitsrisiken führen können.“

Wie viel KI passt in einen kleinen Quadcopter?

Das Hardware-Setup besteht aus einer TWINs Science Copter-Plattform, die mit einem Pixhawk PX4-Autopiloten, einem NVIDIA Jetson Orin AGX 64 GB DevKit als Bordcomputer sowie einer USB 3 Vision Industriekamera von IDS ausgestattet ist. „Herausfordernd ist, die künstliche Intelligenz auf die kleinen Helikopter zu bekommen. Die Computer auf der Drohne sind noch zu langsam im Vergleich zu den Computern, mit denen die KI trainiert wird. Mit den ersten erfolgreichen Tests ist das weiterhin Gegenstand aktueller Forschung“, beschreibt Thomas Jantos die Problemstellung, das performante KI-Modell für den Einsatz auf dem Bordcomputer weiter zu optimieren.

Die Kamera liefert hingegen auf Anhieb perfekte Basisdaten, wie die Tests in der universitätseigenen Drohnenhalle zeigen. Bei der Auswahl des geeigneten Kameramodells ging es nicht nur darum, den Anforderungen an Geschwindigkeit, Baugröße, Schutzart und nicht zuletzt an den Preis gerecht zu werden. „Die Fähigkeiten der Kamera sind essenziell für den neuartigen KI-basierten Navigationsalgorithmus des Inspektionssystems“, sagt Thomas Jantos. Er hat sich für das Modell U3-3276LE C-HQ entschieden, eine platzsparende und kostengünstige Projektkamera aus der uEye LE-Familie. Der integrierte Sony Pregius IMX265 Sensor ist der wohl beste CMOS Bildsensor in der 3 MP-Klasse und ermöglicht eine Auflösung von 3,19 Megapixeln (2064 x 1544 px) mit einer Bildrate von bis zu 58,0 fps. Maßgeblich für die Performance des Sensors ist nicht zuletzt der integrierte 1/1.8" Global Shutter, der bei diesen kurzen Belichtungszeiten im Vergleich zu einem Rolling Shutter keine 'verzerrten' Bilder erzeugt. „Um einen sicheren und robusten Inspektionsflug zu gewährleisten, ist eine hohe Bildqualität und Bildrate unabdingbar“, konkretisiert Thomas Jantos. Damit liefert die uEye LE als Navigationskamera der eingebetteten KI die umfassenden Bilddaten, die der Bordcomputer zum Errechnen der relativen Position und Lage zum zu inspizierenden Objekt braucht. Basierend auf diesen Informationen ist die Drohne in der Lage, ihre Pose in Echtzeit zu korrigieren.

Mit dem Bordcomputer ist die IDS Kamera über eine USB 3 Schnittstelle verbunden. „Mithilfe des IDS peak SDK können wir die Kamera und ihre Funktionalitäten sehr einfach in das ROS (Robot Operating System) und damit in unsere Drohne integrieren“, erläutert Thomas Jantos. Darüber hinaus ermöglicht IDS peak eine effiziente Rohbildverarbeitung und eine einfache Anpassung der Aufnahmeparameter wie Auto Exposure, Auto White Balancing, Auto Gain und Image Downsampling.

Um die Autonomie, die Steuerung, das Missionsmanagement, die Sicherheitsüberwachung und die Datenaufzeichnung auf hohem Niveau zu gewährleisten, verwenden die Forschenden den Source-available CNS Flight Stack auf dem Bordcomputer. Der CNS Flight Stack beinhaltet Softwaremodule für Navigation, Sensorfusion und Steuerungsalgorithmen und erlaubt die autonome Durchführung reproduzierbarer und anpassbarer Missionen. „Die Modularität des CNS Flight Stack und die ROS-Schnittstellen ermöglichen es uns, unsere Sensoren sowie den KI-basierten ‚Zustandsschätzer‘ für die Positionserkennung nahtlos in den gesamten Stack zu integrieren und so autonome UAV-Flüge zu realisieren. Untersucht und entwickelt wird die Funktionalität unseres Ansatzes am Beispiel eines Inspektionsfluges um einen Strommast in der Drohnenhalle der Universität Klagenfurt“, führt Thomas Jantos aus.

Präzise, autonome Ausrichtung durch Sensorfusion

Die hochfrequenten Kontrollsignale für die Drohne werden von der IMU (Inertial Measurement Unit) generiert. Die Sensorfusion mit Kameradaten, LIDAR oder GNSS (Globales Navigationssatellitensystem) ermöglicht die Echtzeit-Navigation und -Stabilisierung der Drohne - etwa bei Positionskorrekturen oder der präzisen Ausrichtung an Inspektionsobjekten. In der Klagenfurter Drohne wird die IMU des PX4 als Dynamikmodell in einem EKF (Erweiterter Kalman-Filter) verwendet. Der EKF schätzt, basierend auf der letzten bekannten Position, Geschwindigkeit und Lage, wo die Drohne jetzt sein sollte. Anschließend werden neue Daten (z.B. von IMU, GNSS oder Kamera) mit bis zu 200 Hz erfasst.

Die Kamera nimmt dafür Rohbilder mit 50 fps in einer Bildgröße von 1280 x 960px auf. „Dies ist die maximale Bildrate, die wir mit unserem KI-Modell auf dem Onboard-Computer der Drohne erreichen“, erläutert Thomas Jantos. Beim Start der Kamera werden einmalig ein automatischer Weißabgleich und eine Verstärkungsanpassung durchgeführt, während die automatische Belichtungssteuerung ausgeschaltet bleibt. Der EKF vergleicht Vorhersage und Messung und korrigiert die Schätzung entsprechend. So bleibt die Drohne stabil und kann ihre Position selbstständig hochpräzise halten.

Ausblick

„Im Hinblick auf die Forschung im Bereich der mobilen Roboter sind Industriekameras notwendig für eine Vielzahl von Anwendungen und Algorithmen. Dabei ist es wichtig, dass diese Kameras robust, kompakt, leicht, schnell und hochauflösend sind. Auch das On-Device Preprocessing (z.B. Binning) ist von großer Bedeutung, da so wertvolle Rechenzeit und Ressourcen auf dem mobilen Roboter gespart werden kann“, unterstreicht Thomas Jantos. Mit dementsprechenden Features tragen IDS Kameras dazu bei, in diesem zukunftsträchtigen Forschungsansatz einen neuen Standard in der autonomen Inspektion kritischer Infrastrukturen zu setzen, der Sicherheit, Effizienz und Datenqualität signifikant erhöht.