Jenseits der Bildrate
Kameras mit Event-basierter Sensortechnologie
Die präzise Erfassung und Auswertung schneller Bewegungen sind eine Herausforderung. Highspeed-Kameras mit großer Sensorauflösung und hohen Bildraten liefern zwar detaillierte Informationen, erzeugen jedoch enorme Datenmengen, die gespeichert, übertragen und verarbeitet werden müssen. Zudem enthalten sie große Mengen irrelevanter statischer Information, die aufwändig gefiltert werden müssen. Niedrigere Bildraten reduzieren zwar die Datenmenge, führen aber zu Bewegungsunschärfe oder fehlenden Details. Lösungen mit klassischen (bildbasierten) Kameras sind deshalb oft von Kompromissen bestimmt. Bewegungsinformationen können jedoch auch auf eine völlig andere Weise erfasst werden – effizienter und mit deutlich geringerem Datenaufwand!
Eine neue Sensortechnologie, inspiriert von der Natur und insbesondere dem menschlichen Gehirn, verfolgt genau diesen Ansatz. Statt eine Flut an redundanten Bildinformationen zu erzeugen, konzentriert sich diese Technologie ausschließlich auf das, was sich wirklich verändert. Das Ergebnis: Hochpräzise Bewegungsinformationen, bei gleichzeitig drastisch reduzierter Datenmenge. Das eröffnet ganz neue Möglichkeiten – insbesondere in Anwendungen, bei denen es auf Geschwindigkeit und Effizienz ankommt. Die genaue Bezeichnung dieser bahnbrechenden Revolution lautet „Event-basierter Vision Sensor“, kurz EVS.
Bahnbrechende Sensortechnologie
Bei Event-basierter Bildgebung spricht man auch von neuromorpher Sensortechnologie – also Sensoren mit der Fähigkeit, Informationen auf ähnliche Weise zu verarbeiten, wie das menschliche Nervensystem. Dazu müssen wir uns vor Augen führen, dass der evolutionäre Vorteil unseres Gehirns nicht allein darin besteht, enorme Datenmengen kontinuierlicher Lichtreize der Fotorezeptoren unserer Augen effizient zu verarbeiten. Entscheidend ist die Fähigkeit, auf Veränderungen wie Helligkeitsunterschiede, Kontraste und Bewegungen zu reagieren, während gleichmäßige Reize weitgehend ignoriert werden. Das bedeutet, dass wir uns in erster Linie auf Bewegungen in einer Szene konzentrieren, anstatt ständig jedes statische Detail unserer Umgebung erneut zu erfassen. So kann unser Gehirn relevante Informationen schnell verarbeiten, ohne mit unnötigen Daten überflutet zu werden.
Um diese Fähigkeit nachzubilden, hat Prophesee in Kooperation mit Sony eine besondere Pixelelektronik entwickelt, deren Hauptaufgabe darin besteht, ausschließlich Veränderungen zu detektieren und festzuhalten. Ändert sich der Kontrast eines Pixelwerts über einen bestimmten Schwellenwert hinaus, wird ein sogenanntes „Change-Event“ ausgelöst. Dabei agiert jedes Pixel unabhängig von seinen Pixel-Nachbarn und in Echtzeit. Das bedeutet, es ist nicht an ein festes Zeitraster (vgl. Framerate) gebunden. Dabei ist die minimale Zeitspanne zwischen zwei Pixelevents eine wichtige Eigenschaft dieses Sensors und wird als „zeitliche Auflösung“ bezeichnet. Diese wird von Sony beim Sensor IMX636 mit 1 Mikrosekunde angegeben. Das ermöglicht eine ultraschnelle und annähernd „lückenlose“ Abtastung von Bewegungen. Um eine derart schnelle Änderungsrate mit bildbasierten Sensoren zu realisieren, entspräche das Frameraten von mehr als 10.000 Bildern pro Sekunde!
Keine Bilder! Nur Veränderungen
Während bildbasierte Sensoren stets die vollständige Datenmenge der gesamten Sensorfläche in gleichmäßigen zeitlichen Abständen übertragen, entsteht bei einer Event-basierten Kamera im gleichen Zeitraum oft nur eine sehr geringe Datenmenge. Das bedeutet, dass Anwendungsentwickler zur präzisen Erfassung schnelle Ereignisse keine Kompromisse zwischen hohen Bildraten und großen Mengen redundanter Daten eingehen müssen. Denn die von EVS-Kameras erzeugte Datenmenge richtet sich nach der Aktivität im Sichtfeld und passt sich automatisch an, wenn sich die Szenenbedingungen ändern. Im Gegensatz zu bildbasierten Sensoren mit einer festen Bildrate, übermitteln EVS-Pixel nur dann Informationen und erzeugen Datenverkehr, wenn sich Veränderungen im Sichtfeld ereignen.
Bewegungs(un)schärfe
Bei schnellen Bewegungen können klassische Sensoren aufgrund ihrer Technologie Bewegungsunschärfe erzeugen. Sie entsteht, wenn sich Kontrastgrenzen (z.B. durch Objektkanten) über mehrere benachbarte Pixel bewegen, während sie belichtet werden. Dabei nimmt jedes Pixel Licht von verschiedenen Positionen des bewegten Objekts auf. Je schneller die Bewegung oder länger die Belichtungszeit, desto schwieriger wird es, ein klares Bild ohne Verzerrungen zu erhalten. EVS-Pixel werten das einfallende Licht hingegen kontinuierlich aus und registrieren in einem Komparator lediglich den Anstieg bzw. Abfall der Lichtmenge. Überschreitet sie dabei die eingestellten Schwellwerte, erzeugen sie ON- bzw. OFF-Änderungsereignisse mit einer zeitlichen Genauigkeit von etwa einer Mikrosekunde. So werden selbst schnellste Bewegungen durch EVS-Technologie Pixel für Pixel abgetastet. Dabei entsteht eine hochaufgelöste Abfolge (Stream) von unabhängigen Pixel-Ereignissen, die einen Bewegungspfad ohne jegliche Bewegungsunschärfe beschreiben.
Vergleich der Daten bildbasierter und Event-basierter Kameras
Bildbasierte Kamera |
Event-basierte Kamera |
|
|---|---|---|
Daten |
|
|
Informationen |
|
|
Datenmenge |
|
|
Qualität |
|
|
Weniger Daten – Effizientere Information
Die nativen Ausgangsdaten von EVS-Kameras (Pixelposition X/Y, ON/OFF-Polarität des Ereignisses, Zeitstempel T), also der Informationsgehalt des Streams von Änderungsereignissen, sind extrem kompakt und effizient, liefern jedoch keine klassischen Bilder. Dadurch sind sie bestens für die Verarbeitung durch Maschinen und Algorithmen geeignet, aber für den Menschen weniger intuitiv oder direkt nutzbar. Möchten wir den Ergebnis-Stream dennoch in Bildern visualisieren, erinnern diese an ein 2D-Kamerabild nach einer Kanten-Detektion. Grund dafür ist, dass sich Kontrastveränderungen bei Bewegungen weniger an gleichmäßig beleuchteten Flächen, sondern vor allem an Objektkanten zeigen.
Da nur relevante und damit deutlich weniger Daten erfasst werden, verringern sich Speicherbedarf und Verarbeitungsaufwand erheblich. Zusätzlich unterstützen die Event-Informationen bereits die Erkennung von Bewegungsmustern bzw. Richtungen. Aus den zeitlichen Abständen zwischen den erfassten Ereignissen lässt sich zudem direkt berechnen, wie schnell sich ein Pixel bzw. ein Objekt bewegt, ohne dafür viele Bilder verarbeiten zu müssen, um bspw. relevante Information von unnötigen statischen Hintergrunddaten zu trennen.
Aufgrund der geringen Datenmengen können viele Prozesse nahezu in Echtzeit analysiert werden. Auch Mehrkamerasysteme sind deutlich einfacher realisierbar, da man mit deutlich geringerem technischen Aufwand auskommt. Sowohl die Bildverarbeitungsleistung der Host-PCs, als auch die Peripherie aus Verkabelung, Stromversorgung und dergleichen, können kleiner und kostengünstiger dimensioniert werden.
Zeit als Information
Auf Basis des mikrosekundengenauen Zeitstempels und der Position jedes einzelnen Pixelevents entstehen ganz neue Anwendungsmöglichkeiten. Die Änderungsereignisse beinhalten bereits wertvolle Hinweise, aus denen sich weitere wichtige Informationen ableiten lassen. Herkömmliche Kameras mit fester Bildrate können diese aufgrund ihrer gleichbleibenden Abtastrate nicht erfassen bzw. gehen sie durch die Art des Outputs in einer großen Menge redundanter Daten unter.
Eine spannende Analysemöglichkeit bieten die Eventdaten zur Erstellung von Slow-Motion-Aufnahmen. Indem die erfassten Pixelevents in ein zeitliches Raster akkumuliert und daraus vollständige Sensorbilder generiert werden, entstehen Zeitlupenvideos mit einer variablen „Belichtungszeit“. Die Wiedergabe-Geschwindigkeit bleibt durch die gewählte Akkumulationszeit und Anzeigeframerate auch nachträglich variabel. Sie reicht von Echtzeit (Superzeitlupe mit einem Bild pro Event) über tatsächliche Bewegungsgeschwindigkeit (bei ca. 1 Bild pro 33 ms) bis hin zu einem Standbild. Fasst man darin alle erfassten Events (zeitlich) zusammen, wird so der vollständige Bewegungsverlauf sichtbar.
Für eine präzise, numerische Analyse von Objektbewegungen lassen sich auch Geschwindigkeits- und Richtungsinformationen extrahieren. Hierfür ist keinerlei aufwändige Bildverarbeitung mehr notwendig. Akkumuliert man hingegen Ort und Zeit mehrerer Pixel-Ereignisse über einen bestimmten Zeitbereich in einer 3D-Darstellung, entsteht eine qualitative Darstellung des Bewegungsverlaufs. Dieser hilft wiederum zu verstehen, wie bzw. auf welchen Bahnen sich Objekte in einem (Zeit-)Bereich bewegen. Anwendung findet dieses Vorgehen beispielsweise bei der Strömungsanalyse zur hochpräzisen Erfassung der Bewegung von Flüssigkeiten und Gasen.
„Für Anwendungen, die außergewöhnliche Bildwiederholraten von 1000 Hertz benötigen, wie beispielsweise in der Strömungsvisualisierung, ist die Umsetzung mit bildbasierten Kameras oft sehr komplex und hochpreisig. Mithilfe der Event-basierten Kameratechnik erreichen wir vergleichbare Frameraten von 10000 Bildern pro Sekunde und mehr. Zur Übertragung der deutlich reduzierten Datenmenge benötigen wir hingegen nur PC-Standardschnittstellen, wie USB. Das macht diese neuartige Kameratechnik vor allem für kleinere Lehr- und Forschungseinrichtung hoch interessant.“
Mehr Informationen zur Event-basierten Strömungsvisualisierung lesen Sie in unserem Anwendungsbericht: Zur Case Study „Nur die Veränderung zählt“
Neue Daten – neue Verarbeitungskonzepte
Doch um diese neuen Sensorinformationen nutzen zu können, müssen Entwickler umdenken, um die bisher zyklischen bildbasierten Verarbeitungsabläufe aufzubrechen. Natürlich lassen sich mehrere Ereignisdaten in klassischen Frames zusammenfassen, um sie sogar wie herkömmliche Bilder mit einer konstanten Framerate zu verarbeiten. Allerdings ist diese Methode nicht unbedingt optimal, da sie die Vorteile der Daten-Dynamik ungenutzt lässt. So zum Beispiel die hohe zeitliche Präzision bei schnellen Bewegungen und die effiziente Verarbeitung weniger Daten auf einmal, was damit auch den Energieverbrauch reduzieren kann. Nur mit entsprechenden Funktionen, Werkzeugen und Algorithmen lassen sich Muster, Bewegungen, Zeiten und Strukturen schnell und effizient aus den Event-Daten extrahieren und verarbeiten. Diese findet man heute jedoch in keinem der bekannten (bildbasierten) Standard Vision Frameworks.
Doch Prophesee und Sony, die Hersteller der neuartigen Sensortechnologie, haben bereits entsprechende Verarbeitungsmethoden entwickelt und hilfreiche Funktionen mitsamt ausführlicher Dokumentation und zahlreichen Samples in einem Software Development Kit, dem Metavision SDK, zur Verfügung gestellt. Damit können Anwender sofort starten, um sich die neuen Möglichkeiten dieser innovativen Technologie schnell nutzbar zu machen.
Für den Betrieb der IDS EVS-Kamera „uEye XCP-E“ muss lediglich das IDS HAL-Plugin auf dem Host-PC installiert werden. Danach ist die Kamera sofort im Metavision SDK von Prophesee einsatzbereit. Jetzt How-to-Video ansehen:
Hohe Präzision in Echtzeit – EVS in der Qualitätssicherung?
Die Fähigkeiten neuromorpher Sensoren können auch in der Qualitätssicherung und -verbesserung eine wichtige Rolle spielen. Vor allem in Anwendungen, in denen Genauigkeit, Geschwindigkeit und Effizienz bei der Fehlererkennung gefragt ist. Der Mehrwert, kleinste Objekt- und Materialveränderungen in Pixelgröße und Echtzeit erfassen zu können, zeigt sich beispielsweise bei der Überwachung von Maschinen und Prozessen. Durch die hohe zeitliche Auflösung, die bis in den niederen Mikrosekundenbereich reicht, sind sogar hochfrequente Bewegungen, wie Vibrationen oder akustische Signale, visualisierbar. Analysen decken frühzeitig ungewöhnliche Muster (z. B. durch Abnutzung, Fehlfunktionen) auf, die zu Schäden oder Produktionsausfällen führen können.
Da sie nur Bewegungen oder Kontraste wahrnehmen, sind neuromorphe Sensoren wesentlich unempfindlicher gegenüber Lichtveränderungen, wodurch sie klassischen Bildverarbeitungssysteme bei stark variierenden Lichtverhältnissen (z. B. Reflexionen, Schatten) weit überlegen sind. Wenn es um schnelle Fehlererkennung, Prozessüberwachung oder Inspektionen bei schwierigen Bedingungen geht, können Qualitätssicherungsprozesse von den Fähigkeiten neuromorpher Sensoren nur profitieren.
EVS – Trend oder Must-have?
Event-basierte Sensoren erfassen keine vollständigen Bilder, sondern lediglich Pixel-Veränderungen über die Zeit. Aus diesen lassen sich jedoch dynamisch ganz unterschiedliche Visualisierungen zusammensetzen, wodurch sie Anwendungen mit deutlich mehr Bewegungsinformationen versorgen, als es Kameras mit herkömmlichen Bildsensoren allein könnten. Daher arbeiten die Technologien nicht in Konkurrenz! Event-basierte Sensoren sind daher kein genereller Ersatz für klassische bildbasierte Kameras oder sogar KI-basierte Bildverarbeitung, sondern vielmehr eine ergänzende Technologie. Sie eröffnet neue zusätzliche Möglichkeiten, wenn es um die Erfassung von Bewegungen geht. In verschiedenen Anwendungen reicht ein einzelner Sensortyp bzw. eine Art der Ergebnisdaten auch nicht aus. Oft ist eine Kombination verschiedener Informationen und damit verschiedener Kamerakategorien notwendig, um eine Kundenanforderung optimal zu lösen. Event-basierte Kameras sind daher für schnelle Bewegungsanalysen, industrielle Qualitätssicherungsaufgaben sowie Robotik- und generell autonome Systeme interessante und lohnenswerte Komponenten.
Anmerkung seitens IDS
„Bereits zum Serienstart der uEye EVS Kamera liegen uns bereits einige konkrete Anwendungsbeispiele zur Analyse von Gasen, Flüssigkeiten und Vibrationen vor, für die sich diese Technologie bestens eignet.“
Weiterführende Informationen
- In diesem Vortrag erläutern wir die Funktionsweise und Anwendungsgebiete der uEye EVS Kameras: Zum Video
- So nehmen Sie Ihre ereignisbasierte Kamera schnell und effizient in Betrieb: Zum Video
- Sehen Sie, wie uEye EVS Kameras eingesetzt werden am Beispiel Event-basierter Strömungsvisualisierung: Zum Anwendungsbericht
- Erfahren Sie mehr über die uEye EVS Kameras: Zur Kamerafamilie
- Technische Details zur Kamera: Im Kamerafinder auswählen