Fix und fertig
Möbelmontage mit Ensenso N35
Wer hat das nicht schon selbst erlebt: das neue Möbelstück wartet nur noch darauf, zusammengebaut zu werden. Voller Tatendrang legt man die Teile zurecht, schaut in die Montageanleitung und …braucht länger als erwartet.
Wissenschaftler der Nanyang Technological University, Singapore (NTU Singapore) haben im Rahmen eines Forschungsprojektes einen Roboter entwickelt, der die einzelnen Bauteile eines Stuhls ohne Unterbrechung selbständig montieren kann. Der Roboter besteht aus einer Ensenso N35 3D-Kamera und zwei Roboterarmen, die mit Greifern zur Aufnahme von Objekten ausgestattet sind.
Anwendung
Um dem Roboter beim Zusammenbau des IKEA-Stuhls zu helfen, kodierte das Team der „School of Mechanical and Aerospace Enginieering“ Algorithmen mit drei verschiedenen Open-Source-Bibliotheken. Die Roboterhardware ist so konzipiert, dass sie nachempfindet, womit Menschen Objekte montieren: die "Augen" werden durch eine 3D-Kamera ersetzt und die "Arme" durch Industrieroboterarme, die in der Lage sind, sechs Achsen zu bewegen. Jeder Arm ist mit Parallelgreifern zur Aufnahme von Objekten ausgestattet. An den Handgelenken sind Kraftsensoren angebracht, die bestimmen, wie stark die "Finger" greifen und wie stark sie Objekte in Kontakt miteinander bringen.
Der Roboter startet den Montageprozess, indem er 3D-Aufnahmen der auf dem Boden liegenden Teile macht, um eine Karte der geschätzten Positionen der verschiedenen Komponenten zu erstellen. Diese Aufgabe übernimmt eine Ensenso 3D Kamera. Sie arbeitet nach dem Prinzip des räumlichen Sehens (Stereo Vision), das dem menschlichen Sehvermögen nachempfunden ist. Zwei Kameras betrachten dabei eine Szene aus unterschiedlichen Positionen. Obwohl der Bildinhalt beider Kamerabilder identisch scheint, weisen sie Unterschiede in der Lage der betrachteten Objekte auf. In einem Bildvergleich suchen spezielle Algorithmen nach Bildpunkten und visualisieren ihre Verschiebung in einer Karte mit allen gefundenen Unterschieden. Die Ensenso-Software kann die 3D-Koordination für jeden einzelnen Bild-Pixel bzw. Objektpunkt, in diesem Fall der Bauteile des Stuhles, bestimmen.
Herausforderung
Die Herausforderung besteht in der möglichst genauen, schnellen und zuverlässigen Lokalisierung der Bauteile in einer unübersichtlichen Umgebung. Dafür sorgt zum einen ein lichtstarker Projektor der Ensenso Kameras. Er projiziert auch bei schwierigen Lichtverhältnissen, mittels einer Pattern-Maske, eine kontrastreiche Textur auf das abzubildende Objekt und ergänzt somit die auf dessen Oberfläche nicht oder nur schwach vorhandenen Strukturen, wie man sie bei den Bauteilen des IKEA-Stuhles vorfindet. In dieser Anwendung zwar nicht erforderlich, könnte das hier eingesetzte Modell sogar noch einen Schritt weitergehen: aufgrund der integrierten FlexView-Technik verschiebt sich die projizierte Textur auf der Objektoberfläche der Bauteile ebenfalls und visualisiert andere Hilfsstrukturen. Mehrere Bildpaare derselben Szene, die mit unterschiedlichen Texturen aufgenommen werden, erzeugen eine viel höhere Anzahl von Bildpunkten. Somit werden die Bauteile des Stuhles in viel größerer Auflösung in 3D abgebildet um sie für den Roboter besser erkennbar zu machen.
Einen weiteren Vorteil bietet die durch die Ensenso-Software integrierte Funktion für die Roboter-Hand-Auge-Kalibrierung. Mittels Kalibrierplatte sorgt sie dafür, dass die Lage des Kamerakoordinatensystems (der in diesem Fall stationären Kamera) zum Basiskoordinatensystem (Lage des Bauteiles) bestimmt wird. Damit kann die Hand des Roboters exakt auf die Bildinformationen reagieren und kommt präzise zum Ziel.
"Für einen Roboter ist der Zusammenbau eines IKEA Stuhls mit einer solchen Präzision komplexer, als es aussieht“, erklärt Professor Pham Quang Cuong von der NTU. „Die Montage, die für den Menschen natürlich ist, muss in verschiedene Schritte aufgeteilt werden, wie z.B. das Erkennen, wo sich die verschiedenen Stuhlteile befinden, die zum Greifen der Teile erforderliche Kraft und die Sicherstellung, dass sich die Roboterarme bewegen, ohne miteinander zu kollidieren. Wir haben Algorithmen entwickelt, die es dem Roboter ermöglichen, die notwendigen Schritte zur Selbstmontage des Stuhls zu unternehmen.“ Das Ergebnis: der Roboter der NTU montiert Stuhl "Stefan" von IKEA in nur 8 Minuten und 55 Sekunden.
Ausblick
Künstliche Intelligenz soll die Anwendung laut Professor Pham Quang Cuong künftig noch selbständiger und zukunftsträchtiger machen: "Wir wollen mehr künstliche Intelligenz in diesen Ansatz integrieren, um den Roboter autonomer zu machen, damit er die verschiedenen Schritte des Zusammenbaus eines Stuhls durch menschliche Demonstration, durch das Lesen der Bedienungsanleitung oder sogar durch ein Bild des zusammengesetzten Produkts erlernen kann".
Der von den Wissenschaftlern der NTU Singapur entwickelte Roboter wird für die Erforschung geschickter Manipulation eingesetzt, einem Bereich der Robotik, der eine präzise Steuerung von Kräften und Bewegungen spezieller Roboterhände oder –Finger erfordert. Dafür ist ein perfektes Zusammenspiel aller Hard- und Software-Komponenten erforderlich. Die 3D-Bildverarbeitung mit Hilfe der Ensenso Stereo-3D-Kameras ist dabei der Schlüssel zur Lösung. Sie überzeugt nicht nur durch Genauigkeit, sondern auch in puncto Wirtschaftlichkeit und Schnelligkeit. Bei der Möbelmontage – und nicht nur hier - ein echter Fortschritt.
Ensenso N35 im Überblick. 3D-Vision, schnell und präzise.
- Mit GigE Schnittstelle – universell und flexibel einsetzbar
- Kompaktes, robustes Aluminiumgehäuse
- IP65/67
- Global-Shutter CMOS-Sensoren und Musterprojektor, wahlweise blaue oder Infrarot-LEDs
- Max. fps (3D): 10 (2x Binning: 30) und 64 Disparitätsstufen
- Max. fps (offline processing): 30 (2x Binning: 70) und 64 DisparitätsstufenKonzipiert für Arbeitsabstände bis 3000 mm (N35) und variable Bildfelder
- Ausgabe einer einzigen 3D-Punktewolke aller im Mehrkamerabetrieb eingesetzten Kameras
- Live-Komposition der 3D-Punktwolken aus mehreren Blickrichtungen
- Integrierte FlexView Technik für eine noch höhere Genauigkeit der Punktwolke und Robustheit der 3D Daten von schwierigen Oberflächen
- "Projected Texture Stereo Vision“-Verfahren für Aufnahmen texturloser Oberflächen
- Erfassung sowohl stehender als auch bewegter Objekte
- Mitgeliefertes Softwarepaket mit Treiber und API für Windows und Linux
- Ein Softwarepaket unterstützt sowohl USB als auch GigE Modelle
- Beispielprogramme mit Quellcode für HALCON, C, C++, C#
- Vorkalibriert und somit einfach einzurichten
- Integrierte Funktion für die Roboter-Hand-Auge-Kalibrierung mittels Kalibrierplatte
- Softwareseitige Einbindung von uEye Industriekameras, bspw. um zusätzliche Farbinformationen oder Barcodes zu erfassen
- Subsampling und Binning für flexible Daten- und Frameraten
NTU Nanyang Technolocigal University Singapore
School of Mechanical and Aerospace Engineering
50 Nanyang Avenue
Singapore 639798
https://www.ntu.edu.sg/
