Embedded 3D-Vision
Hochauflösende 3D-Daten direkt von der Kamera
Wenn große Volumen oder mehrere Objektansichten durch 3D-Kameras automatisiert geprüft werden sollen, wie z.B. an ständig laufenden Produktionsstraßen der Automobilbranche, müssen aufgrund der vorgegebenen Taktzeiten hochauflösende 3D-Ergebnisdaten schnell erzeugt und verarbeitet werden. Stereokamerasysteme mit großen 5 MP Sensoren und variablen Baselines liefern die idealen Ausgangsdaten, produzieren jedoch auch enorme Datenmengen. Dadurch können Schnittstellen und CPU-Leistung in solch hochperformanten 3D-Anwendungen schnell zum limitierenden Nadelöhr werden.
Die Herausforderung: Datenraten und Leistungsanforderungen an Systemkomponenten zu reduzieren, ohne dabei die Datenqualität einzuschränken. Gleichzeitig sollen die Systeme platzsparend und effizient arbeiten. Embedded 3D-Kameras der Ensenso XR-Serie mit integrierter Datenverarbeitung sind deshalb der nächste logische Schritt.
Bei Machine Vision-Anwendungen mit 3D-Kameras, die nach dem Prinzip des räumlichen Sehens (Stereo Vision) arbeiten, werden Kamerabilder mit hoher Auflösung und Framerate verarbeitet, um Ergebnisdaten weiterführenden Prozessen schnellstmöglich zur Verfügung zu stellen. Die Berechnung der dreidimensionalen Daten, sogenannte „Punktwolken“, aus dem Bildmaterial der Stereokameras erfordert mehrere aufwendige Prozessschritte, die bisher leistungsstarke Industrie-PCs (IPCs) übernehmen. Mit steigenden Anforderungen an Qualität und Geschwindigkeit dieser Ergebnisdaten verwenden moderne 3D-Stereokameras, wie die Ensenso X-Serie, hochauflösende 2D-Kameras mit Gigabit-Ethernet-Schnittstelle. Doch die Übertragung der 2D-Ausgangsdaten zum verarbeitenden IPC erfordert eine optimale Auslastung der Netzwerkbandbreite, um Zeitverzug oder Datenverlust zu vermeiden. Abgesehen davon muss die Verarbeitungsleistung der IPC-Hardware stetig mitwachsen, um das Gesamtsystem nicht einzuschränken.
Durch Einsatz hochwertiger Komponenten kann die Performance solcher 3D-Kamerasysteme weiter gesteigert werden. Dank wechselbarer 2D-Kameras ist der flexible Aufbau der Ensenso X-Serie nicht an bestimmte Datenschnittstellen und Sensorauflösungen gebunden und kann mit den Bedürfnissen an die Geschwindigkeit, Objektgrößen und Qualität weiter wachsen. Doch hochauflösende, schnelle GigE Kameras, speziell geschirmte Kabel, hochperformante Netzwerktechnik und leistungsstarke PC-Hardware sind für manche Anwendung schlichtweg zu hochpreisig. Außerdem muss für diese Peripherie ausreichend Platz zur Verfügung stehen.
Mit der neuen XR-Kameraserie verfolgt Ensenso einen anderen Ansatz. Nach dem Prinzip des „Internet-of-things“ (IoT) hat jede einzelne Komponente in einem „verteilten System“ eine bestimmte Aufgabe und erzeugt Ergebnisse, die von anderen Systemen direkt weiterverwendet werden. Im Fall einer 3D-Kamera sind das dreidimensionale Koordinaten von Bildpunkten eines realen Objekts.
Onboard 3D-Verarbeitung
Durch ein in der Ensenso XR-Projektoreinheit integriertes SoC (System-on-Chip) führt die Kamera die 3D-Prozesse inklusive der Stereoanalyse selbst aus. Nach Korrektur der Linsenverzerrung werden die 2D-Ausgangsbilder durch eine virtuelle Drehung der Kameras in ein achsparalleles Stereosystem überführt (Rektifikation), wodurch alle nachfolgenden Analysen stark erleichtert werden. Die hochoptimierten Matching-Algorithmen für stehende bzw. bewegte Szenen durchsuchen anschließend die aufgenommenen Bildpaare nach korrespondierenden Bildpunkten. Für diese Bildpunkte ergeben sich aufgrund der unterschiedlichen Perspektiven der Kameras auch unterschiedliche horizontale Verschiebungen in der Bildebene, die man als „Disparität“ bezeichnet. Durch die geometrischen Beziehungen im parallelen Stereosystem stellt diese Disparität nach Anwendung von Strahlensätzen und dem Wissen über bekannte Systemparameter, wie z.B. Brennweiten, Pixelgrößen und die Basislänge des Stereosystems, ein Maß für die Raumtiefe eines 3D-Punktes in Millimeter dar.
Diese zeit- und rechenintensiven Pixeloperationen werden hochparallelisiert durch ein unterstützendes FPGA in der Kamera ausgeführt. Damit kann eine 3D-Datenrate realisiert werden, die vergleichbar ist mit der eines Ensenso X-Systems, das die Stereoanalyse auf einem Desktop PC mit Intel Core i7 Quad-CPU ausführt.
„Durch die Kombination von integrierter Datenverarbeitung mit FlexView2-Technik gehen eine genaue und schnelle Erfassung von Bilddetails Hand in Hand“
Vorteil „Embedded“
In Verbindung mit der FlexView2-Technologie sind Modelle der XR36-Serie in der Lage, bis zu 16 schnell aufeinanderfolgende Bildaufnahmen für den 3D-Datensatz einer stehenden Szene zu verarbeiten, ohne dass es zu einem zusätzlichen Zeitverzug durch die Übertragung der Rohdaten zum Host-PC kommt. Mit der Verschiebung des Projektormusters durch FlexView2 ergeben sich mit jedem Bildpaar andere 3D-Punkte, die zu einer sehr hochauflösende 3D-Darstellung beitragen.
Durch die Verlagerung der rechenintensiven Prozesse in die Kamera müssen diese nicht mehr von leistungsfähigen Industrie-PCs durchgeführt werden. Zudem reduziert die Übertragung von 3D-Ergebnisdaten anstelle der hochauflösenden 2D-Rohdaten die Netzwerklast. Mit schnellem, direktem Speicherzugriff zwischen Bildaufnahme und Verarbeitung ergeben sich in diesem Anwendungsfall für hochauflösende 3D-Daten enorme Vorteile in der Ergebnisrate und Bandbreitenreduzierung gegenüber der externen Verarbeitung auf einem Industrie-PC.
Gerade Mehrkamerasysteme profitieren von den ressourcensparenden Eigenschaften der neuen XR-Serie. Müssen Rohdaten von mehreren hochauflösenden 2D-Kameras über das Netzwerk transportiert werden, kommt es schnell zu Bandbreitenengpässen und damit zu Framerateneinbrüchen, die sich negativ auf die Gesamtperformance auswirken. Hier punktet die frühzeitige Auswertung und gleichzeitige Datenreduzierung der XR-Serie mit stabilen Ergebnisraten, weniger Rechenleistung der Peripherie-Komponenten und damit auch geringerem Platzbedarf. Eine 3D-Applikation mit Ensenso XR-Kameras lässt sich wesentlich einfacher auf die benötigten Anforderungen skalieren.
Zur weiteren Reduzierung der Datenrate überträgt die Kamera nur die „Disparity Map". Das 16-Bit 1-Kanalbild ist wesentlich kleiner als eine vollständige „Punktewolke“, die mit Farboverlay als 32-Bit RGB-Bild zu Buche schlägt. Die einfache Konvertierung kann ohne viel Rechenlast am Industrie-PC vom Ensenso SDK durchgeführt werden.
Neue Selbständigkeit
Die höhere Selbständigkeit der Ensenso XR Stereokamera im Vergleich zu anderen 3D-Kameras wird damit nicht nur bezüglich der Geschwindigkeit zu einem wichtigen Auswahlkriterium für 3D-Anwendungen. Die reduzierten Leistungsanforderungen an Netzwerk-Peripherie und IPC-Hardware vereinfachen den gesamten Aufbau einer 3D-Applikation und senken die Kosten speziell in Mehrkamerasystemen.
Des Weiteren verfügt die neue Ensenso XR-Projektoreinheit über ein integriertes Frontlicht. Im Einsatz unterstützt es bei der Kalibrierung der Arbeitsumgebung oder verbessert die Bildqualität der 2D-Kamerabilder, wenn das Umgebungslicht nicht ausreicht oder keine externe Beleuchtung verfügbar ist. Neben der GigE-Datenverbindung ist eine zusätzliche WLAN-Schnittstelle geplant, was für temporären Zugriff auf Daten und Parameter bei schwieriger bzw. kostenintensiver Verkabelung sehr nützlich ist.
Die vielen Detailverbesserungen der Ensenso XR-Serie eröffnen der 3D-Kameratechnik neue Anwendungsfelder. Für die Optimierung des Datenaustauschs ist eine integrierte Datenverarbeitung der nächste logische Schritt.