Fachbeiträge

„Image to information" mit NXT Machine Vision

Industriekameras der IDS NXT Familie liefern durch KI-basierte Bildverarbeitung direkt verwertbare Informationen aus Bilddaten.

„Image to information" mit NXT Machine Vision

Intelligente, vernetzbare Geräte sind die Bausteine für den Aufbau von zukunftsorientierten Industrieprozessen. Diese sogenannten cyberphysischen Komponenten tauschen durch standardisierte Kommunikationsprotokolle direkt verwertbare Prozessinformationen aus. Durch eine leistungsfähige Embedded Vision Plattform sind auch Industriekameras der IDS NXT Familie mit moderner Bildverarbeitung und maschinellen Lernmethoden Teil dieser industriellen Revolution.

Die Vision App-basierte IDS NXT Plattform bildet die Basis für eine neue Generation äußerst wandlungsfähiger Industriekameras vom Kamerahersteller IDS Imaging Development Systems GmbH. Mit leistungsfähiger, frei programmierbarer Hardware im Gehäuse von Standard-Industriekameras in Kombination mit dem einzigartigen Vision App-Konzept sind die neuen Modelle IDS NXT rio & rome mehr als reine Bildlieferanten und bilden eine neue Evolutionsstufe digitaler Industriekameras. Unterstützt durch Deep-Learning-Algorithmen führen sie Aufgaben autonom aus oder unterstützen PC-Anwendungen oder Maschinensteuerungen mit vorverarbeiteten Daten. Trotz alledem besitzen sie den Funktionsumfang und die Datenübertragungsleistung einer Standard-Industriekamera mit GenICam-Schnittstelle. IDS kombiniert mit dieser neuen Kamerafamilie zwei Geräte in einem.

Dank des App-basierten Prinzips sind diese Kameras so wandlungsfähig wie Smartphones. Die Industriekamera-Standardfunktionen können durch den Anwender bei Bedarf einfach um individuelle Bildverarbeitungsprozesse in Form sogenannter Vision Apps erweitert werden. Wiederkehrende Aufgaben, wie Codes, Schriftzeichen oder Nummernschilder lesen, genauso wie Objekte finden, vermessen, zählen oder identifizieren, lassen sich damit schnell einrichten und wechseln. Durch „Smart GenICam" stehen Konfiguration, Steuerung und Ergebnisse solcher Vision Apps zudem über die XML-Beschreibungsdatei der Kamera in jeder GenICam-konformen Drittanwendung, wie zum Beispiel HALCON, zur Verfügung. Anwender müssen deshalb wegen dringend benötigter Kamerafeatures nicht lange auf ein Firmware-Update des Herstellers warten oder sich gar nach einem anderen Modell umschauen. Selbst programmierte Kamerafunktionalitäten lassen sich durch Smart GenICam wie jedes herstellerseitige Feature der Kamera ohne zusätzliche Treibersoftware aus jeder GenICam-Anwendung abfragen und ausführen. Deren Entwicklung folgt dabei vollständig den Prinzipien im Umgang mit GenICam-Kameras. Kamerafeatures werden wie normale Kameraanwendung am PC mit einer IDS NXT Kamera programmiert und durch das Vision App-Entwicklungskit per Knopfdruck für die Ausführung on-camera in eine Vision App konvertiert. Damit unterscheiden sich die IDS NXT-Produktfamilien beispielsweise von klassischen Smart Kameras, die in der Regel über PC-ähnliche Betriebssysteme verfügen und gänzlich anderes entwickelt und angesprochen werden wie eine klassische Industriekamera. IDS NXT zielt hingegen darauf ab, die Arbeitsweisen jeder Anwendergruppe zu unterstützen und nicht zu verändern.

Selbst programmierte Vision Apps lassen sich durch Smart GenICam wie jedes herstellerseitige Feature der Kamera aus jeder GenICam-Anwendung abfragen und ausführen.
Selbst programmierte Vision Apps lassen sich durch Smart GenICam wie jedes herstellerseitige Feature der Kamera aus jeder GenICam-Anwendung abfragen und ausführen.

KI-unterstützte Bildverarbeitung

Hardwareseitig wird die Kameraplattform durch einen zur Laufzeit programmierbaren, parallel arbeitenden FPGA unterstützt, wodurch der komplette Datenpfad flexibel nutzbar wird. Mit einer von IDS entwickelten KI-Vision App wird dieser integrierte FPGA zum KI-Prozessor, der viele bereits bekannte Architekturen neuronaler Netze beschleunigt ausführen kann.

Denn künstliche neuronale Netze (KNN) interpretieren mittlerweile komplexe Bildinhalte mit unerreichter Genauigkeit und bieten Lösungen, die sich durch die manuelle Programmierung mit grundlegenden Algorithmen bisher selbst mit hohem Aufwand nicht realisieren ließen. Die Bildverarbeitung, basierend auf künstlicher Intelligenz, setzt da an, wo sich die klassische Bildverarbeitung schwer tut. Um beispielsweise in einer Produktionsumgebung Fehlerquoten immer weiter zu senken, müssen Produktionsfehler frühzeitig erkannt und vermieden werden. Wo sich aber die komplette Vielfalt an möglichen Abweichungen und Fehlern kaum vollständig vorhersagen lässt, liefern KI-basierte Verfahren neue effektivere Ansätze. Mithilfe eines neuronalen Netzes, das mit einer großen Anzahl Beispielbilder trainiert wurde, kann die Kamerasoftware bekannte Merkmale in neuen Bilddaten wiedererkennen (Feature Extraction).

Zusammenhänge und Gewichtung von Merkmalen (Feature Combination) erlauben anschließend den Rückschluss auf vorgegebene Ergebnisklassen und deren Wahrscheinlichkeiten. Durch Machine Learning lassen sich sehr einfach Abweichungen (Anomalien) erkennen, Objekte klassifizieren, Oberflächen auf Qualität und Schadstellen prüfen oder auch Leiterplatten und deren Bestückung verifizieren.

Die Vielfalt von KNNs wird Anwendern durch ein breites Spektrum von Open-Source Frameworks, high-level Software und Services zugänglich gemacht. Eine Vielzahl veröffentlichter KNN-Architekturen deckt dabei bereits unterschiedliche Anforderungen an Komplexität, Genauigkeit oder Inferenzzeiten ab. Durch die  Automatisierung und Überwachung industrieller Anlagen stehen zum Training dieser Architekturen auch immer mehr geeignete Bilddaten zur Verfügung.

„Image to information on-camera"

Die speziell für kompatible Netzarchitekturen entwickelte Interpreter-Anwendung „IDS NXT ferry" übernimmt die Konvertierung von vorhandenen, bereits trainierten KNNs für die Verwendung auf der Embedded Vision Plattform. Anwender können damit eigene neuronalen Netze bequem in der IDS NXT Inferenzkamera für unterschiedliche Aufgaben bereitstellen, die sich damit neben der Erzeugung von Bilddaten auch direkt um die Analyse und Auswertung dieser Informationen kümmert. Die Bestimmung des Informationsgehalts und damit eine Datenreduzierung findet dann dezentral bereits in der Kamera statt, wodurch sich Bandbreiten-Engpässe in der Übertragung vermeiden lassen. Mit der Verbreitung und Vernetzung solcher „cyberphysischen Bausteine" werden nach dem Prinzip des „Internet of things" (IoT) direkte Prozessdaten verfügbar, welche die Automatisierung und das Verarbeitungstempo von Prozessen der industriellen Fertigung nachhaltig vorantreiben.

Durch dezentrale Bildanalysen werden in der Kamera aus Bilddaten direkt prozessrelevante Informationen erzeugt.
Durch dezentrale Bildanalysen werden in der Kamera aus Bilddaten direkt prozessrelevante Informationen erzeugt.

Durch die FPGA-basierte Beschleunigung der künstlichen Intelligenz sind Inferenzzeiten von wenigen Millisekunden mit verbreiteten KNN-Architekturen möglich. Kameras der IDS NXT Plattform können damit, was Genauigkeit und Geschwindigkeit der Ergebnisse angeht, mit modernen Desktop CPUs Schritt halten – bei gleichzeitig deutlich geringerem Platz- und Energieverbrauch. Durch die Wiederprogrammierbarkeit des KNN-Beschleunigers ergeben sich zusätzlich Vorteile, was Zukunftssicherheit, geringe wiederkehrende Kosten und Time-to-Market betrifft. Die KI-Technik schreitet so rasant voran, dass monatlich neue Frameworks und Architekturen dazukommen. Diese können vom Hersteller per Software implementiert werden, ohne die Hardware-Plattform zu ändern und Anwender müssen folglich keine neue Hardware anschaffen. Durch die schnelle Neukonfiguration des dedizierten Prozessors kann außerdem zur Laufzeit in wenigen Millisekunden zwischen mehreren geladenen KNNs umgeschaltet werden. Das ermöglicht die sequentielle Durchführung unterschiedlicher Klassifizierungen mit denselben Bilddaten innerhalb einer Vision App.

Ausblick

Künstliche neuronale Netzwerke haben ihren Mehrwert für die moderne Machine Vision Welt bereits bewiesen. Maschinelle Objekterkennung und -klassifizierung sind zwei der wichtigsten neuen Fähigkeiten, welche die Automatisierung in der Industrie, aber auch viele Anwendungen in anderen Märkten, weiterbringen wird. Die flexible Anpassungsfähigkeit der IDS NXT Plattform vereinfacht deren Integration in ein bestehendes System und die Anpassung an die verschiedenen Märkte. Mit diesem KI-basierten Embedded-System ausgestattet, kann der Anwender seine eigenen neuronalen Netze bequem in der Inferenzkamera für unterschiedliche Aufgaben bereitstellen. Für eine vollständig autonome, PC-unabhängige Arbeitsweise im Industrieumfeld werden Modellvarianten der Industriekameras auch mit Industrieprotokollen wie PROFINET oder OPC-UA verfügbar sein. IDS zeigt mit IDS NXT Industriekameras ab dem zweiten Quartal 2019 einen einfach beherrschbaren Weg, KI-unterstützte Bildverarbeitung als vollständiges Embedded Vision System schnell und einfach an die Maschine zu bringen.