Die Ensenso 3D-Kamera von IDS aus der Vogelperspektive.

Wie funktioniert Projected Texture Stereo Vision?

Ensenso 3D-Verfahren

Stereo Vision

Ensenso Kameras arbeiten nach dem Prinzip des räumlichen Sehens, das dem menschlichen Sehvermögen nachempfunden ist.

Die Projektionsstrahlen zeigen die unterschiedlichen Betrachtungswinkel der Kameras auf die Szenenobjekte
Die Projektionsstrahlen zeigen die unterschiedlichen Betrachtungswinkel der Kameras auf die Szenenobjekte
Wenig texturierte, spiegelnde Oberflächen führen zu unvollständigen Tiefen- informationen
Wenig texturierte, spiegelnde Oberflächen führen zu unvollständigen Tiefen- informationen

Das Matching-Verfahren des Bildvergleichs beruht dabei auf Kontrast- und Helligkeitsabstufungen der Sensorpixel. Die Qualität von Stereo Vision ist damit direkt von Lichtverhältnissen und den Oberflächenbeschaffenheiten (Texturen) der Objekte in der Szene abhängig. Auf wenig texturierten bzw. spiegelnden Oberflächen können deshalb nur wenig markante Bildpunkte erkannt, verglichen und örtlich bestimmt werden. Die Folge sind unvollständige Tiefeninformationen der Szene.

Mit einer speziellen Musterprojektion verbessern Ensenso Kameras das klassische Stereo Vision Verfahren. Dadurch werden neben einer höheren Qualität der Tiefeninformation auch präzisere Messergebnisse erzielt. Durch diese Verbesserungen ist Stereo Vision in bisher eingeschränkten Anwendungen einsetzbar.

 

Pattern Projektor

Ein lichtstarker Projektor der Ensenso Kameras projiziert auch bei schwierigen Lichtverhältnissen, mittels einer Pattern-Maske, eine kontrastreiche Textur auf das abzubildende Objekt und ergänzt somit die auf dessen Oberfläche nicht oder nur schwach vorhandenen Strukturen. Deshalb sprechen wir bei der Ensenso von "Projected Texture Stereo Vision". Mittels der Hilfsstrukturen auf der Objektoberfläche kann das Matching-Verfahren eine viel höhere Anzahl an Bildpunkten, inklusive ihrer Positionsänderung, erkennen und daraus eine vollständigere, homogenere Tiefeninformation der Szene erstellen.

Die projizierten Hilfstrukturen auf der Tasse erzeugen eine vollständigere, homogenere Tiefeninformation
Die projizierten Hilfstrukturen auf der Tasse erzeugen eine vollständigere, homogenere Tiefeninformation

FlexView

Der Detailgrad der Disparity Map bei statischen Szenen kann mit FlexView Technologie weiter verbessert werden. Die Position der Projektormaske kann durch eine verschleißarme Piezo-Mechanik im Lichtstrahl linear in sehr kleinen Schritten verschoben werden. Folglich verschiebt sich die projizierte Textur auf der Objektoberfläche der Szenenobjekte ebenfalls und erzeugt andere Hilfsstrukturen. Mehrere Bildpaare derselben statischen Szene mit unterschiedlichen Texturen aufgenommen, erzeugen eine viel höhere Anzahl von Bildpunkten. Die Auflösung vergrößert sich. Der Stereo-Matching-Algorithmus kombiniert die Informationen aus allen Bildpaaren, um wesentlich detailliertere Disparitätsbilder und Punktwolken zu berechnen.

Neben der Auflösung steigt auch die Robustheit der Daten auf schwierigen Oberflächen, da die verschobenen Musterstrukturen zusätzliche Informationen auf glänzende, dunkle oder spiegelnde Oberflächen aufbringen. Viele Verarbeitungsalgorithmen profitieren von der verbesserten Auflösung und dem geringeren Rauschen. Durch FlexView wird der Bedarf an Nachbearbeitungsschritten der Punktwolke und die Laufzeit nachfolgender 3D-Verarbeitungsschritte reduziert.

Aufnahme mit FlexView, die die erforderlichen Details etwa für Anwendungen in der Qualitätsinspektion, wie Vermessungs­aufgaben oder für das Zählen von Zahnrad-Zähnen, zeigt.

Aufnahme ohne FlexView mit hoher Datenrate, was beispielsweise bei Anwendungen wie dem „Griff in die Kiste“ oder bei Anwesenheitskontrollen zum Einsatz kommt.

Vergleich FlexView1, 2 und Single Shot Data

Ensenso bietet Kameras mit und ohne FlexView Technologie an. Jede Variante ist für bestimmte Anwendungen optimiert und angepasst. Die Objektbewegung spielt hierbei eine entscheidende Rolle.

Kameras ohne FlexView bzw. mit FlexView1 Technik setzen eine kontrastreiche Textur in Form eines zufälligen Punktmuster ein. Schon mit einem einzigen Bilderpaar können mit diesem Pattern Tiefeninformationen einer Szene sehr schnell ermittelt werden. Kameras mit diesem Pattern sind deshalb gleichermaßen gut geeignet für bewegte Objekte.

FlexView1 Kameras profitieren hingegen bei statischen Objekten zusätzlich von Algorithmen, die aus mehreren aufgenommenen Bildpaaren mit verschobenem Punktemuster eine höhere Auflösung erzeugen können. Mit nur 3 bis 5 Bildpaaren kann so die X-, Y- und Z-Auflösung etwa verdoppelt werden. Mit jedem weiteren Bilderpaar steigt jedoch auch die Bildaufnahme- und Verarbeitungszeit an. Bei etwa 8 Bildpaaren steigt die Ergebnisqualität bei FlexView1 nicht mehr merklich an.

Kameras mit der neuen FlexView2 Technik setzen auf eine speziell entwickelte Pattern-Maske mit dafür optimierten Algorithmen, welche die Auflösung in X-, Y- und Z-Richtung gegenüber FlexView1 bei statischen Objekten um mehr als das Doppelte steigern. Einschränkung: Aufgrund des speziellen Patterns wirkt sich diese Optimierung erst ab etwa 5 Bildpaaren aus.

Zufälliges Punktemuster als Projektormaske für Kameras ohne FlexView bzw. mit FlexView1. Optimal für Single Shot Data.

Zusätzliche Helligkeitsverläufe im FlexView2 Pattern unterstützen die optimierten Algorithmen bei der Tiefenerkennung ab etwa 5 Bilderpaaren. Für Single Shot Data sind die Streifen eher hinderlich.

Ohne FlexView

(Single-Shot-Data)

Geeignet für:

Schnelle Anwendungen oder bewegte Objekte

Sehr schnelle Bildaufnahme und Auswertung, da nur ein Bilderpaar verarbeitet wird

Optimiertes Projektor-Pattern für Single-Shot-Data

Auch für bewegte Objekte verwendbar

FlexView1 und FlexView2

(im Multi-Acquisition Mode)

Geeignet für:

Anwendungen mit statischen Objekten, für die sehr hohe Genauigkeit & Detailtiefe erforderlich ist

Stark verbesserte Auflösung und Qualität der Tiefeninformationen

Feinere Objektdetails und Konturen

Auch auf schwierigen (spiegelnden, texturarmen) Oberflächen

Nur mit statischen Objekten verwendbar

Höhere Verarbeitungszeit

Embedded 3D-Vision

Die integrierte Datenverarbeitung der neuen Ensenso XR-Serie unterstützt die Nutzung der FlexView 2 Technologie mit bis zu 16 Bildpaaren gerade bei statischen Szenen optimal. Die rechenintensiven Prozesse der Ensenso Stereoverarbeitung werden komplett auf der Kamera hardwarebeschleunigt abgearbeitet. Dadurch können Bildaufnahme und Verarbeitung ohne Wartezeiten durch den Netzwerktransfer Hand-in-Hand arbeiten. Die Kombination aus FlexView 2 Technik und der hohen Parallelisierung der Stereoverarbeitung im FPGA der Kamera ermöglicht die Erzeugung hochauflösende Punktwolken von stehenden Objekten mit sehr hoher Framerate. Die Qualität der erzeugten 3D-Daten steigt dabei mit der Bildauflösung und jedem Bildpaar, ohne den zusätzlichen Zeitverzug durch die Datenübertragung zu einem Host-PC.

Ensenso Selektor

Zur einfachen Auswahl der Komponenten unterstützt Sie unser Ensenso Kameraselektor. Nach Eingabe Ihrer Arbeitsbedingungen in den Online-Konfigurator, erhalten Sie die bestmöglichen Kombinationen für Ihre Anwendung.

Zubehör auswählen

Wählen Sie passendes Zubehör für Ihre Ensenso 3D-Kamera aus.