“Game changer” IDS NXT
Ein Ingenieur im Interview über eine Bildverarbeitungsanwendung mit KI - einfach zu bedienen und verständlich
"Ich bin Ingenieur, kein Softwareentwickler und kann jetzt sagen, dass ich Bildverarbeitung mit KI realisiert habe", sagt Marco Ullrich von der Hochschule Kempten. Als wissenschaftlicher Mitarbeiter am Institut für Produktion und Informatik betreute er eine Gruppe von Studenten, die im Rahmen ihres Masterstudiums an der Entwicklung eines Mühle-spielenden Roboters mit KI arbeiteten.
Die Bildanalyse wurde mit IDS NXT realisiert – dem Komplettsystem für den Einsatz von intelligenten Kameras. In diesem Interview erfahren Sie mehr über ihre Herausforderungen, Erfahrungen und die endgültige Lösung.
Wie lautete die genaue Aufgabenstellung der Projektarbeit?
Ziel des Projekts war es, Roboter zu entwickeln, die das Brettspiel "Mühle" spielen, und zwar ortsunabhängig voneinander. Eine Roboterzelle in Kempten und eine in Salzburg sollten gegeneinander antreten. Dies erreichten wir durch den Einsatz eines Bildverarbeitungssystems zur Erkennung von Veränderungen auf dem Spielbrett. Die IDS Kamera war ein wesentlicher Bestandteil des Systems.
Vor welchen Herausforderungen stand Ihr Team während des Projekts?
Die Ausgangssituation bestand darin, eine vorhandene Raspberry-Pi-Kamera durch eine Industriekamera zu ersetzen. Außerdem mussten wir einen geeigneten Bildverarbeitungsalgorithmus, die Beleuchtung und die Installationsposition der Kamera auswählen. Darüber hinaus suchten wir eine Methode, um das Bild für eine HMI (Benutzeroberfläche) zu entzerren. Denn für letztere benötigten wir eine Ansicht von oben nach unten. Die Kamera hatten wir aber in einem bestimmten Winkel installiert. Insgesamt war die Integration der Kamera in das bestehende Robotersystem für uns also eine große Herausforderung.
Was war die konkrete Aufgabe des Bildverarbeitungssystems in Ihrer Anwendung?
Die Aufgabe des Bildverarbeitungssystems bestand darin, Veränderungen auf dem Spielbrett zuverlässig und sicher zu erkennen. Da wir Ingenieure und keine Softwareentwickler sind, suchten wir außerdem ein System, das benutzerfreundlich und einfach zu bedienen ist. Die Kamera sollte industrietauglich und idealerweise innovativ sein. Außerdem wollten wir, dass die Bildverarbeitung mit künstlicher Intelligenz erfolgt. Da unsere Zielgruppe jedoch nicht unbedingt aus KI-Experten besteht, mussten wir sicherstellen, dass auch die KI-Anwendung einfach zu bedienen und verständlich ist.
Welche Kriterien waren für die Auswahl des IDS NXT-Systems letzten Endes entscheidend?
Das IDS NXT-System war ideal für unser Projekt, weil es alle unsere Anforderungen erfüllt. Der erste und wichtigste Faktor war, dass IDS sich darauf konzentriert, die Hürde für den Einsatz von künstlicher Intelligenz in realen Anwendungen zu senken. Das heißt, KI benutzerfreundlich zu gestalten und auch zugänglich für Anwender ohne Programmiererfahrung zu machen - Ingenieure wie uns zum Beispiel, die eben keine Softwareentwickler sind. Außerdem benötigten wir keine zusätzlichen Rechenressourcen für die Bildverarbeitung, so dass sich die Kamera leicht in unser bestehendes System integrieren ließ.
Alles läuft auf der Kamera selbst ab, so dass keine zusätzliche Verarbeitungseinheit erforderlich ist.
Wir wollen unseren Kunden das beste Anwendererlebnis im Vision-Markt bieten. Deshalb steht bei uns die einfache Bedienbarkeit nach dem Motto "It´s so easy" im Vordergrund. Können Sie erklären, warum das IDS NXT-System so einfach zu bedienen ist?
Wie ich bereits erwähnt habe, bin ich Ingenieur und kein Softwareentwickler. Dennoch war ich in der Lage, mit Hilfe des IDS NXT-Systems mit KI und neuronalen Netzen für die Bildverarbeitung zu arbeiten. Es erfordert keine großen Investitionen in Rechenressourcen für die Bildverarbeitung. Alles läuft auf der Kamera selbst ab, so dass keine zusätzliche Verarbeitungseinheit erforderlich ist. Dies machte es unglaublich einfach, das System in unsere bestehende Einrichtung zu integrieren.
Können Sie uns etwas über die Schnittstelle sagen, über welche die IDS Kamera mit Ihrem Projektumfeld kommuniziert?
Wir haben mehrere Optionen für die Kommunikation mit der IDS Kamera untersucht, darunter die REP-Schnittstelle und die Cockpit-Software. Letztendlich haben wir uns jedoch für das OPC UA-Protokoll entschieden, da es die Standardkommunikationsmethode unseres Systems ist. Wir haben die Kamera über ein Ethernet-Kabel durch einen Switch mit unserer SPS verbunden.
Wie sind Sie mit dem App-Ansatz der IDS NXT Kameras zurechtgekommen? Welche Erfahrungen haben Sie gemacht?
Wir haben zwei Vision-Apps getestet, den „Classifier“ und den „Object Detector“. Mit beiden Bildverarbeitungs-Apps konnten wir bei genügend Bildern Erfolgsquoten von (fast) 100 Prozent erreichen. Der Object Detector hatte eine etwas geringere Erfolgsquote und war etwas komplexer als der Classifier, aber das sehe ich nicht als negativ an. Insgesamt ist der App-Ansatz sehr intuitiv, vor allem, wenn man kein Programmierer ist und sich mit KI-Algorithmen nicht auskennt.
Eine Ihrer Erkenntnisse lautete, dass eine bessere Analyse des Anforderungsfalls im Vorfeld Entwicklungszeit gespart hätte bzw. Sie dazu veranlasst hätte, von Anfang an andere Methoden anzuwenden. Was denken Sie, war der Grund dafür? Ist die Arbeit mit KI-basierter Bildverarbeitung so anders?
Diese Schlussfolgerung hatte in unserem Anwendungsfall nichts mit KI zu tun. Der Grund, warum wir heute anders vorgehen würden, ist, dass wir die Bedeutung des richtigen Ansatzes oder der richtigen Art, das Projekt zu beginnen, unterschätzt haben. Zu einem Bildverarbeitungssystem gehört viel mehr als nur die Kamera und der Algorithmus. Wir sind keine Experten und wussten daher nicht, wie wichtig es ist, die richtige Kameraposition, Beleuchtung und andere Faktoren zu bewerten. Denn sie haben ebenfalls einen erheblichen Einfluss auf die Leistung.
In unserem Fall war die Kameraposition eine komplexe Aufgabe, da das zuvor verwendete Kamerasystem direkt über dem Spielfeld angebracht war. Die IDS Kamera wurde aus verschiedenen Gründen in einem bestimmten Winkel installiert, was eine Menge Herausforderungen mit sich brachte.
Ergab sich durch den Einsatz des IDS Vision-Systems aufgrund der KI-Auswertung ein Mehrwert beziehungsweise Vorteil für die Spielsteinerkennung und Prozessüberwachung?
Unserer Erfahrung nach ja. Man muss bedenken, dass wir vor der IDS Kamera eine Raspberry Pi-Kamera mit einer in Python eingerichteten Bildverarbeitung verwendet haben, die nur begrenzt nutzbar war. Der Vorteil der IDS Kamera liegt also in der nahtlosen Integration und der einfachen Bedienung, ohne dass man umfangreiche Kenntnisse einer Programmiersprache benötigt.
Sie hatten einmal erwähnt, dass eine Funktion zum Lesen von Codes und eine mehrstufige Bildauswertung sinnvolle Erweiterungen für die Anwendung darstellen würden. Nun, ich habe interessante Neuigkeiten. Beide Funktionen beherrscht das IDS NXT-System nun mit dem blockbasierten Editor. Würden Sie Ihre Anwendung heute mit Hilfe dieser Werkzeuge anders planen?
Das sind wirklich tolle Neuigkeiten, denn der Vorschlag für diese Funktionen kam eigentlich von den Studenten. Es ist beeindruckend zu sehen, dass IDS unsere Vorschläge so schnell umgesetzt hat. Ja, wenn wir das Projekt heute noch einmal machen würden, würden wir auf jeden Fall anders vorgehen, da sich viele Dinge geändert haben.
Derzeit planen wir, dieselbe IDS Kamera in unsere Anlage am Institut in Sonthofen zu integrieren. Während dieses Prozesses habe ich vor, die neuen Funktionen und Merkmale zu testen. Darüber hinaus würden wir uns freuen, mit Ihrem Team auch in Zukunft an verschiedenen spannenden Themen und Forschungsprojekten zu arbeiten.
Wir sind am Ende dieses Interviews angelangt. Marco, vielen Dank, dass Sie Ihre wertvollen Erkenntnisse und Zukunftspläne mit uns geteilt haben. Wir freuen uns auf die weitere Zusammenarbeit mit Ihnen und wünschen Ihnen weiterhin viel Erfolg für Ihre Forschung.
Weiterführende Infos
Wer mehr erfahren möchte, findet dieses Interview und andere Videos über Kameras und Bildverarbeitungstechnologie auf dem IDS Vision Channel oder auf YouTube.