Der Griff nach dem Unbekannten
Robuste und flexible Roboterautomation in der Logistik
Die globale Pandemie hat radikale Auswirkungen auf die Lieferkette und die Logistikbranche, so dass der Bedarf an robotergestützter Automatisierung dringender ist denn je. Da mehr als 70% der Arbeitskräfte in der Lagerhaltung für die Kommissionierung und Verpackung eingesetzt werden, investieren zahlreiche Unternehmen schrittweise in die Logistikautomatisierung. Doch was passiert, wenn Roboter eine unbegrenzte Anzahl von (unbekannten) Lagereinheiten handhaben müssen? Gesucht sind schnelle, zuverlässige und robuste Methoden zur Automatisierung der Kommissionierung einer großen Bandbreite von Produkten.
Diese Herausforderung hat das niederländische Softwarehaus Fizyr erfolgreich angenommen. Das in Delft ansässige Unternehmen für Computer Vision versetzt Roboter in die Lage, unbekannte Objekte auch in rauen Logistikumgebungen zu kommissionieren. Mit einer Bildverarbeitungslösung zur Automatisierung unterschiedlichster Logistik-Anwendungen wie z.B. die Kommissionierung von Gegenständen, Handhabung von Paketen, Depalettierung, Entladung von Lastwagen oder Gepäckabfertigung. Die passende Hardware zum System liefert IDS: Fizyr integriert kompakte, robuste Ensenso 3D-Kameras in Kombination mit hochleistungsfähigen GigE uEye-Kameras.
Anwendung
Anstatt einer marktüblichen, proprietären Kommissionierzelle hat Fizyr ein modulares Plug-and-Play-Softwareprodukt entwickelt, das sich nahtlos in jedes System integrieren lässt. Dadurch sind Integratoren frei in der Wahl der Hardware (z.B. Cobots oder Industrieroboter), um so die bestmögliche Lösung für ihre individuelle Kommissionierzelle zusammenzustellen. Zur Optimierung von Kosten, Robustheit und Geschwindigkeit, integriert Fizyr jeweils Industriekameras von IDS. Deren Aufgabe besteht im Wesentlichen darin, die zu kommissionierenden oder zu klassifizierenden Produkte zu erfassen. Je nach individueller Kundenanwendung kommen bis zu vier Ensenso 3D-Kameras in Kombination mit leistungsstarken GigE uEye CMOS-Kameras zum Einsatz.
Wichtige Anforderung an die Kameras ist eine zuverlässige, präzise Bilderfassung. Damit liefern sie die nötigen Daten, die zum einen die Software-Algorithmen von Fizyr in die Lage versetzen, über 100 Greifposen pro Sekunde auszuführen. Zum anderen sorgen sie für die jeweils nötige Klassifizierung, um verschiedenste, auch unbekannte Objekte unterschiedlich handhaben zu können. Die Software führt darüber hinaus Qualitätskontrollen durch und erkennt Fehler. Damit wird ausgeschlossen, dass beschädigte Gegenstände auf einen Sorter gelegt werden - mit Hilfe der IDS-Kameras als scharfe Augen des automatischen Robotersystems.
Die Algorithmen sind in der Lage, alle relevanten Informationen zur Segmentierung sowie zur Klassifizierung der Paketart (ob Schachtel, Beutel, Umschlag, Rohr, Zylinder, u.a.) zu liefern. Das System erkennt Ausreißer oder nicht transportfähige (d.h. beschädigte) Güter, bestmögliche Greifposen in sechs DoF (degrees of freedom) und mehrere Positionen pro Objekt. Es ermöglicht Sensoren oder Robotern den Umgang mit eng gestapelten oder sich überlappenden Objekten, stark reflektierenden Gegenständen und Textilien in Polybeuteln, weiß-auf-weiß und schwarz-auf-schwarz-Flächen sowie transparenten Objekten.
Da die Qualität der Bilderfassung direkt von den Lichtverhältnissen der Szene und der Oberflächenbeschaffenheit der Objekte abhängt, ist das Auffinden und Berechnen der Koordinaten von entsprechenden Punkten auf weniger strukturierten oder reflektierenden Oberflächen sehr schwierig. Für ein optimales Bildergebnis sind Kameramodelle aus dem IDS-Portfolio Fizyrs erste Wahl, auch für anspruchsvolle Kundenlösungen. Dabei sind die Aufgaben gut verteilt: Die uEye CP-Kamera nimmt 2D-Bilder der zu behandelnden Objekte auf und stellt diese als Input für die Algorithmen zur Verfügung, die die Objekte unter der Kamera klassifizieren. Die Objekte können gänzlich unbekannt sein und in Form, Größe, Farbe, Material und Position variieren. Die Ensenso-Kamera wiederum erstellt eine 3D-Punktewolke, in der alle relevanten räumlichen Objektinformationen enthalten sind. Die eigens von Fizyr entwickelte Software kombiniert diese mit den Informationen aus dem 2D-Bild, analysiert die Oberfläche im Hinblick auf geeignete Positionen für einen oder mehrere Greifer und schlägt die besten Greifpositionen vor. Eine möglichst präzise Objektdarstellung, auch bei Materialien mit wenig texturierten, spiegelnden Oberflächen, ist dabei eine der Schlüsselkomponenten für die Software. Kein Problem für die Ensenso 3D-Kameras von IDS: Mit einer speziellen Technik verbessern sie das klassische Stereo Vision Verfahren. Dadurch werden neben einer höheren Qualität der Tiefeninformationen auch präzisere Messergebnisse erzielt.
Das System segmentiert zuverlässig unbekannte Pakete, selbst bei schwierigen Lichtverhältnissen.
Kameras
Die spezifischen Kameramodelle sowie die Anzahl der Kameras pro System hängen vom individuellen Anwendungsfall des Kunden ab. Für eine typische Bin Picking-Lösung mit einem Cobot wird beispielsweise eine Ensenso N35 in Kombination mit einer GigE uEye CP eingesetzt. Auch Anwendungen, die eine Ensenso X36 und eine GigE uEye CP für das Bin Picking zusammen mit vier Ensenso N35 Kameras für die Einlagerung des Artikels in anderen Behältern verwenden, sind erfolgreich im Einsatz.
Die ausgewählte uEye CP steht für "Compact Power", als kleines Kraftpaket für industrielle Anwendungen aller Art. Sie bietet maximale Funktionalität mit umfangreicher Pixelvorverarbeitung und ist dank des internen 120 MB Bildspeichers auch für Mehrkamerasysteme bestens geeignet. Die Kamera liefert Daten in voller GigE-Geschwindigkeit und ermöglicht den Einkabelbetrieb bis zu 100 Meter über PoE ("Power over Ethernet").
Die UI-5240CP Rev. 2 ist eine besonders leistungsstarke Industriekamera mit dem e2v 1,3 Megapixel CMOS-Sensor. Dieser Sensor ist einer der empfindlichsten Sensoren im IDS Portfolio, der neben der hier verwendeten Farbversion auch in Monochrom und als NIR-Version erhältlich ist. Neben der herausragenden Lichtempfindlichkeit verfügt die Kamera über eine Reihe weiterer herausragender Merkmale, die den Sensor extrem flexibel machen, wenn sich Anforderungen oder Umgebungsbedingungen ändern.
„Der bisher häufigste Anwendungsfall für Fizyr ist die Verwendung je einer uEye-Kamera und einer Ensenso 3D-Kamera pro System, aber es gibt keine Einschränkungen", erklärt Herbert ten Have, CEO bei Fizyr.
Die verschiedenen einsetzbaren Ensenso-Modelle haben eines gemeinsam: Die Ausstattung mit einem lichtstarken Projektor, der mittels einer Pattern-Maske eine kontrastreiche Textur auf das abzubildende Objekt projiziert und somit die auf dessen Oberfläche nicht oder nur schwach vorhandenen Strukturen ergänzt. Das Ergebnis ist eine detailliertere Disparity Map und eine vollständigere und homogenere Tiefeninformation der Szene.
Ihre umfangreichen Features qualifizieren die beiden Ensenso 3D-Kameramodelle für das breite Spektrum anspruchsvoller Anwendungen in der Supply-Chain- und Logistikbranche, wie beispielsweise 3D-Objekterkennung, -klassifizierung und -lokalisierung (z.B. Qualitätssicherung, Kommissionierung), Logistikautomatisierung (wie (De-)Palettierung), Roboteranwendungen (z.B. Bin-Picking), Erfassung von Objekten bis 8 m³ (z.B. Paletten) oder automatische Lagersysteme.
Fizyr hat das Ensenso SDK mit Hilfe eines modernen und schnellen Wrappers in seine Software integriert. Ein großer Vorteil ist die 2D/3D-Kombination, die es ermöglicht, dass das Bild der 2D Kamera als Overlay über die 3D-Punktewolke gelegt werden kann.
Dies sorgt zum einen für einen plastischeren Eindruck der Szene. Zum anderen kann das Kamerabild mittels „Hand-Auge-Kalibrierung“ optimal auf das Roboterkoordinatensystem abgestimmt werden, um ein zielgerichtetes Greifen zu gewährleisten.
Ausblick
Das starke Wachstum des elektronischen Handels hat die Nachfrage nach größeren Paketen erhöht. Gleichzeitig haben die Einschränkungen aufgrund der globalen Pandemie sowohl zu einem Rückgang der verfügbaren Arbeitskräfte als auch zu einem dringenden Bedarf an räumlicher Distanz in den Betrieben geführt. Um diesen Herausforderungen zu begegnen, wenden sich Unternehmen zunehmend der Roboterautomatisierung zu, bei der künstliche Intelligenz und maschinelles Sehen eine entscheidende Rolle spielen. Gleichzeitig werden damit Kosten gesenkt und die Arbeitssicherheit erhöht.
Die Nachfrage nach qualitativ hochwertigen Module für hochmoderne automatische Kommissionierzellen wächst weltweit. Die Anforderungen von Systemintegratoren an Software- und Hardwarekomponenten steigen gleichermaßen. Die Fizyr-IDS-Lösung bietet folgende Vorteile:
- Sie ermöglicht als Plug-and-Play-Lösung die einfache Integration in jedes System.
- Sie ist hardware-agnostisch und ermöglicht es den Kunden dadurch, ihre Kommissionierungsanlage jederzeit flexibel an ihre Bedürfnisse anzupassen.
- Sie beinhaltet ein robustes, präzises, flexibles und einfach zu handhabendes 3D-Vision-System, das zu jeder Zeit optimale Objektinformationen liefert.
Allesamt unverzichtbare Bestandteile eines zukunftssicheren automatisierten "Good-To-Person"-Systems.
Ensenso N 35: 3D-Vision, schnell und präzise
Das kompakte und robuste Aluminiumgehäuse der Ensenso N35 3D-Kamera mit verschraubbarem GPIO-Anschluss für Trigger und Blitz und GigE-Anschluss, verfügt über zwei monochrome CMOS-Sensoren (Global Shutter, 1280 x 1024 Pixel) und einen Projektor. Über Power over Ethernet ist eine Datenübertragung und Stromversorgung bei großen Kabellängen möglich. Durch die integrierte FlexView-Technologie eignen sich die N35-Modelle besonders für die 3D-Erfassung von unbewegten Objekten und für Arbeitsabstände bis zu 3.000 mm.
Ensenso X36: 3D-Vision mit modularem 3D-Kamerasystem
Das Ensenso X36 3D-Kamerasystem besteht aus einer Projektoreinheit, zwei GigE Kameras mit wahlweise 1,3 MP oder 5 MP Sensoren (CMOS, monochrom), Befestigungs- und Einstellwinkeln, drei Objektiven sowie Sync.- und Patchkabeln zur Verbindung der Kameras mit der Projektoreinheit. Die FlexView2 Technik sorgt für eine noch bessere räumliche Auflösung sowie eine sehr hohe Robustheit des Systems bei dunklen oder reflektierenden Oberflächen.
Kunde
Fizyr entwirft, baut, installiert und wartet Vision-Software-Produkte für automatisches Picking und Placing in rauen Logistikumgebungen. Die entwickelten Lernalgorithmen werden verwendet, um die automatische Handhabung unbekannter Objekte zu ermöglichen, die in Form, Größe, Farbe, Material und Stapelung variieren und aus (geförderten) Schüttgütern entnommen werden. Das Produkt von Fizyr wird weltweit von führenden Systemintegratoren und Endverbrauchern in der Produktion, im Online-Einzelhandel, in der Lagerhaltung und bei Paketdiensten eingesetzt.
www.fizyr.com