Fachbeiträge

KI per Vision App

Künstliche Intelligenz als App für Industriekameras

Vision App-basierte Industriekameras der künftigen IDS NXT Familien rio und rome sind bereits KI-Ready! Eine von IDS entwickelte KI-Vision App macht sie zur energieeffizienten aber dennoch leistungsstarken Inferenzkamera mit integriertem KI-Beschleuniger. Mit vorhandenen neuronalen Netzen können damit vielfältige KI-basierte Bildverarbeitungsaufgaben in kurzer Zeit realisiert werden.

Durch Machine Vision ist man heute in der Lage, Fertigungsprozesse lückenlos zu überwachen. Kameratechnik und Bildverarbeitung (BV) identifizieren optische Merkmale in aufgenommenen Bilddaten und machen diese für nachfolgende Glieder der Produktionskette verfügbar. Einmal programmiert, funktioniert die klassische BV immer auf dieselbe Art und Weise – aber nur solange die zu identifizierenden Merkmale eindeutig sind und vorab einprogrammiert wurden. Um Fehlerquoten immer weiter zu senken, müssen Produktionsfehler frühzeitig erkannt und vermieden werden. Wo sich aber die komplette Vielfalt an möglichen Abweichungen und Fehlern kaum vollständig vorhersagen lässt, liefern KI-basierte Verfahren neue Ansätze. Künstliche Neuronale Netze (KNN) interpretieren mittlerweile komplexe Bildinhalte mit unerreichter Genauigkeit und bieten Lösungen, die sich durch die manuelle Programmierung mit grundlegenden Algorithmen bisher selbst mit hohem Aufwand nicht realisieren ließen. Neben der Qualitätssicherung oder der vorbeugenden Wartung in der industriellen Produktion sind auch z.B. Einsätze in der medizinischen Diagnose oder Lagerprüfungen in Einzelhandel und Logistik denkbar.

Die Vielfalt von KNNs wird Anwendern durch ein breites Spektrum von Open-Source Frameworks, high-level Software und Services zugänglich gemacht. Eine Vielzahl veröffentlichter KNN-Architekturen decken dabei bereits unterschiedliche Anforderungen an Komplexität, Genauigkeit oder Inferenzzeiten ab. Durch die  Automatisierung und Überwachung industrieller Anlagen stehen zum Training dieser Architekturen immer mehr Daten zur Verfügung. Allerdings bedurfte der Einsatz von KNNs bisher häufig teurer und leistungshungriger Hardware.

Spezielle Embedded-Beschleuniger, das heißt Hardware-Chips mit hoher Rechenleistung bei geringer Leistungsaufnahme, können Abhilfe schaffen. Dabei liegt es nahe, solche Beschleuniger direkt in die Kamera zu integrieren, sodass Bildanalysen dezentral stattfinden und Bandbreiten-Engpässe in der Übertragung vermieden werden können. Dem Anwender wird dadurch die Wahl gelassen, ob die künstliche Intelligenz klassisch auf einem PC, in der Cloud oder auf einer Embedded-Vision-Kamera ausgeführt wird, die sich damit neben der Bereitstellung von Bilddaten auch direkt um die Auswertung der Daten kümmert. Mit der Verbreitung und Vernetzung solcher "cyberphysischen Bausteine" werden Prozessdaten verfügbar, welche in weiteren Planungsebenen die Automatisierung und das Verarbeitungstempo von Prozessen der industriellen Fertigung nachhaltig vorantreiben.

Die Struktur und Arbeitsweise von KNNs hat gezeigt, dass für deren Beschleunigung bewährte Hardware neu überdacht werden muss. Zwar interpretieren sie Bilder mit vergleichsweise simplen Rechenoperationen, wie Additionen und Multiplikationen, müssen doch je nach Tiefe der Vernetzung Milliarden solcher Berechnungen durchführen, um die Bilddaten gegen alle trainierten Merkmale zu prüfen. Um also hohe Inferenzraten bei geringer Latenz bzw. in Echtzeit zu realisieren, ist ein hohes Maß an paralleler Verarbeitung notwendig. Die Auswahl der richtigen Technologie (z.B. GPUs, DSPs oder FPGAs) zur KI-Beschleunigung ist damit eine weitere Variable, die bei der Konzeption des kompletten Bildverarbeitungssystems zu betrachten ist, dessen Umsetzung von Anforderungen wie Kosten, Baugröße, Performance, Qualität und Hardwarekompatibilität abhängt.

Industriekamera und Embedded KI-Plattform in einem

Mit IDS NXT rio und rome bringt der Kamerahersteller KI auf die „Edge“: Die neuartigen Vision App-basierten Industriekameras sind mehr als reine Bildlieferanten. Standard-Kamera-Funktionen können durch den Anwender bequem um Bildverarbeitunsaufgaben in Form sogenannter Vision Apps erweitert werden. Hardwareseitig wird die CPU durch einen zur Laufzeit programmierbaren, parallel arbeitenden FPGA unterstützt, woduch der komplette Datenpfad flexibel nutzbar wird. Durch eine von IDS entwickelte KI-Vision App wird der integrierte FPGA zum KI-Prozessor, der viele bereits bekannte Architekturen neuronaler Netze beschleunigt ausführen kann.

Mit diesem KI-basierten Embedded-System ausgestattet, kann der Anwender seine eigenen neuronalen Netze bequem in der eigenständig arbeitenden Inferenzkamera für unterschiedliche Aufgaben bereitstellen: Anomalien erkennen, Früchte klassifizieren, Oberflächen prüfen, Leiterplatten und deren Bestückung verifizieren, usw. Die flexible Anpassungsfähigkeit der IDS NXT Plattform vereinfacht deren Integration in ein bestehendes System und die Anpassung an verschiedene Märkte.

IDS NXT Industriekameras werden durch die KI-Vision App zu universellen Inferenzkameras inklusive KNN-Beschleuniger. Mehrere vortrainierte Netze gängiger Architekturen können geladen und in wenigen Millisekunden zur Laufzeit umgeschaltet werden.
IDS NXT Industriekameras werden durch die KI-Vision App zu universellen Inferenzkameras inklusive KNN-Beschleuniger. Mehrere vortrainierte Netze gängiger Architekturen können geladen und in wenigen Millisekunden zur Laufzeit umgeschaltet werden.

Ein spezieller Interpreter sorgt dafür, dass die KNNs zusammen mit ihren trainierten Gewichten und definierten Ausgaben für die Verwendung mit dem IDS NXT KI-Prozessor vorbereitet und bei Bedarf einer Optimierung  („Pruning“) unterzogen werden, wodurch die KNN-Geschwindigkeit für die gewünschte Anwendung zusätzlich verbessert wird. Durch die FPGA-basierte KI-Beschleunigung sind Inferenzzeiten von wenigen Millisekunden mit verbreiteten Architekturen möglich. Kameras der IDS NXT Plattform können damit, was Genauigkeit und Geschwindigkeit von KI-Aufgaben angeht, mit modernen Desktop CPUs Schritt halten – bei gleichzeitig wesentlich geringerem Platz- und Energieverbrauch.

Durch die Wiederprogrammierbarkeit des KNN-Beschleunigers ergeben sich Vorteile, was Zukunftssicherheit, geringe wiederkehrende Kosten und Time-to-Market betrifft. Die KI-Technik schreitet so rasant voran, dass monatlich neue Frameworks und Architekturen dazukommen, die nun  implementiert werden können, ohne die Hardware-Plattform zu ändern. Durch die schnelle Neukonfiguration des dedizierten Prozessors kann zur Laufzeit in wenigen Millisekunden zwischen mehreren geladenen KNNs umgeschaltet werden. Das ermöglicht die sequentielle Durchführung unterschiedlicher Klassifizierungen mit denselben Bilddaten innerhalb derselben Anwendung.

Ausblick

Künstliche neurale Netzwerke haben ihren Mehrwert für die moderne Machine Vision Welt bereits eindeutig bewiesen. Maschinelle Objekterkennung und -klassifizierung sind zwei der wichtigsten neuen Fähigkeiten, welche die Automatisierung in der Industrie aber auch viele Anwendungen in anderen Märkten weiterbringen wird. Die Hersteller und Systemintegratoren von Bildverarbeitungskomponenten müssen daher schnell einen beherrschbaren Weg aufzeigen, wie diese Technik einfach und dennoch effizient ohne eigenes Expertenwissen eingesetzt werden kann.

IDS zeigt auf der kommenden Leitmesse für industrielle Bildverarbeitung, der "Vision" in Stuttgart einen funktionsfähigen Prototypen einer KI-basierten Objekterkennung, die vollkommen eigenständig auf einer IDS NXT Industriekamera läuft. Mit der flexiblen Vision App-basierten Plattform werden Anwender ihre vorbereiteten neuronalen Netze als vollständiges KI-Bildverarbeitungssystem schnell und einfach an die Maschine bringen können.