IDS NXT malibu - OnCamera-KI + Kompression + Streaming!
Neu: 4K-Streaming in perfekter Bildqualität direkt von der Kamera
Nach dem Serienstart von IDS NXT malibu mit dem onsemi Sensor AR0521 legt IDS nach: Ab sofort gibt es die Kamera auch mit dem Sony Starvis 2 Sensor IMX678 für Streaming in 4K! Das bedeutet noch mehr Details und noch bessere Bildqualität - und erweitert die Einsatzmöglichkeiten, insbesondere im Low-Light-Bereich.
Consumer-Technologie trifft Industrie-Know-how: Hier steckt mehr drin!
Aus der Zusammenarbeit von IDS und Ambarella ist eine neue Klasse intelligenter Industriekameras entstanden: IDS NXT malibu kombiniert perfekte Bildqualität + OnCamera-KI + Videokompression + Streaming. All das erfolgt direkt in und von der Kamera.
IDS ist der erste Anbieter, der diesen speziellen Chip - bisher von Action-Kameras bekannt - für den Einsatz in industriellen Anwendungen anbietet. Ein integrierter ISP mit hilfreichen Automatik-Features, etwa für Helligkeit, Rauschen und Farbkorrektur holt dabei das Optimum an Bildqualität heraus. Freuen Sie sich auf beeindruckende Bilder und Videos - und noch mehr. Weitere Infos zu neuen Software-Highlights rund um IDS NXT malibu finden Sie im Tab zu Release 4.1.
KI und ISP „on the edge“: Auswertungen & Visualisierungen ohne PC
Die Kamera funktioniert als "Edge Device" und ermöglicht komprimierte Videostreams (H264) mit voller Sensor-Auflösung in hoher Geschwindigkeit (> 25 fps) und deren Ausgabe auf Endgeräten via RTSP-Protokoll.
Darüber hinaus können die Live-Bilder der Kamera zur Visualisierung per MJPEG-Stream (ohne AI-Overlay) direkt in jedem Webbrowser angezeigt werden - über HTTP und ohne zusätzliche Software!
„Mit IDS NXT malibu haben wir eine Kameraserie entwickelt, die Bilder in Echtzeit analysiert und Ergebnisse direkt einbinden kann. Damit empfiehlt sie sich bspw. für Anwendungen, die ein Livebild mit KI-Overlay erfordern“, erklärt Kai Hartmann, Product Innovation Manager bei IDS.
Welche Möglichkeiten eröffnen die intelligenten Industriekameras für Ihre Anwendungen? Bildverarbeitung am Puls der Zeit: entdecken Sie jetzt die Möglichkeiten des IDS NXT Systems.
IDS NXT 4.1: Umfassende Unterstützung von IDS NXT malibu!
MJPEG als Alternative zum Streaming via RTSP
Mit dem neuen MJPEG-Stream steht Ihnen für beide malibu Modelle (Sensoren: onsemi AR0521 und Sony IMX678) eine einfach nutzbare Visualisierungsmöglichkeit in Full HD zur Verfügung. Der Stream nutzt HTTP und lässt sich in jedem Browser ohne zusätzliche PlugIns live ausgeben. Wer zusätzlich KI-Overlays im Livebild darstellen möchte, wählt Streaming via RTSP. Dabei wird die gesamte Sensorauflösung ausgenutzt - mit dem IMX678 bedeutet das Streaming in 4K bei 30 fps!
Klassifizieren, Objekte detektieren und Anomalien erkennen mit selbst trainierten CNNs
In Verbindung mit dem Software Release IDS NXT 4.1 lassen sich ab sofort neuronale Netze mit dem AI-Vision-Studio IDS lighthouse für den Ambarella SoC der IDS NXT malibu Kamerafamilie trainieren. Sie können für die Kameraplattform jetzt auch Vision Apps zur Klassifikation, Objekt-Detektion und Anomalie-Erkennung nach Ihren Vorgaben erstellen und ausführen.
IDS NXT 3.2 - Optimierte Benutzerführung durch neue Projektansicht
Das kostenlose Update verbessert die Benutzerfreundlichkeit und Übersicht im AI-Vision-Studio IDS lighthouse durch eine neue Projektführung sowie durch einen leichteren Zugang zu den Ergebnissen im blockbasierten Editor.
Projektansicht
Die neue Benutzerführung erlaubt es, zusammengehörende neuronale Netze, Bilddatensätze und Vision Apps, in Projekten zu verwalten. Die Workflow-Ansicht führt den Anwender nacheinander durch alle Phasen der Anwendungsentwicklung.
Statusabhängige Icons und Hinweise verbessern dabei die Übersichtlichkeit der Prozessschritte. Damit ist immer sofort erkennbar, wo noch Benutzerinteraktion erforderlich ist bzw. welche Komponenten bereits erfolgreich konfiguriert wurden.
IDS lighthouse unterstützt den Anwender dadurch jetzt noch besser bei der Erstellung eigener KI-basierter Anwendungen.
Die Release Notes finden Sie direkt in IDS lighthouse.
IDS NXT 3.1 - OCR und Objekte finden im Blockbasierten Editor
Das Update erweitert die Funktionalität des Systems um regelbasierte Bildverarbeitung wie OCR und das Auffinden von Objekten ohne trainiertes CNN. Darüber hinaus profitieren Kunden von Workflow-Verbesserungen und einer einfacheren Integration über OPC UA.
Texte erkennen
Das Update macht die Bildverarbeitungs-Funktion OCR, kurz für "optical character recognition", im Blockbasierten Editor verfügbar. Mit dieser Funktion können deutsche und englische Zeichen, Worte oder ganze Textzeilen auf Etiketten, Visitenkarten und sonstigen Dokumenten gefunden und ausgelesen werden. Anschließend lassen sich dafür bestimmte Werte beziehungsweise Eigenschaften erfragen.
Objekte finden ohne KI
Die KI-Funktion Objekterkennung gibt es schon lange in IDS NXT. Was aber, wenn Objekte gefunden werden sollen, ohne vorher ein neuronales Netz zu trainieren? Das ist nun im blockbasierten Editor möglich. Ermittelt werden sie über Helligkeitswerte. Anschließend lassen sie sich weiter filtern bzw. aussortieren.
Bessere Visualisierung per Attention Maps
Sie können jetzt für jeden Testdatensatz eine Visualisierung auf Basis von Attention Maps in im AI-Vision-Studio IDS lighthouse erzeugen. Damit lässt sich die Inferenz mit eigenen Bildern überprüfen, KI-Entscheidungen visuell nachvollziehen und damit die Qualität des trainierten neuronalen Netzes beurteilen.
Einfacherer OPC-UA Zugang
Neben der standardisierten Companion Specification für Machine-Vision-Systeme stellen wir auch ein eigenes, leicht verständliches Informationsmodell für den Zugriff auf IDS NXT über OPC-UA bereit. Dieses haben wir mit IDS NXT 3.1 erweitert, um die Integration per OPC-UA für Anwendungen wie Fabrikautomation noch einfacher zu machen.
IDS NXT 3.0 - Neues KI-Verfahren für Anomalien
Mit dem Software-Release IDS NXT 3.0 erweitern wir die Einsatzmöglichkeiten für das KI-Komplettsystem u.a. um ein weiteres Deep-Learning-Verfahren und sorgen zudem für eine bessere Nachvollziehbarkeit beim Training von neuronalen Netzen.
Anomalie-Detektion
Sie können die IDS NXT Kameras nun zusätzlich zu Objekt-Detektion und Klassifikation auch zur Anomalie-Erkennung einsetzen. Es sind nur wenige Trainingsdaten erforderlich, um sowohl bekannte als auch unbekannte Prozessabweichungen zuverlässig zu identifizieren. Dadurch verringert sich der Aufwand beim Erstellen und Annotieren der Trainingsdaten.
Code-Reader
Mit der neuen Code-Lesefunktion im blockbasierten Editor können Sie die IDS NXT Kameras schnell und einfach dazu befähigen, verschiedene Codetypen und die erforderlichen Parameter zu lokalisieren, zu identifizieren und auszulesen.
Transparenz im Trainingsprozess
Bereits während des Trainings- und Testprozesses in IDS lighthouse zeigen Attention Maps, welche Bildbereiche Auswirkungen auf Klassifikationsergebnisse haben. So können schon frühzeitig Trainingsfehler bzw. Biasse erkannt und ausgeräumt werden, bevor die KI in der Kamera arbeitet. Das reduziert Review- und Wartungsschleifen im Entwicklungsprozess und beschleunigt damit die Inbetriebnahme.
IDS NXT 2.6 - App your camera!
Bei diesem Software-Release steht vor allem die Vereinfachung der App-Erstellung im Mittelpunkt. Der Start eines Entwicklungsvorhabens ist oft eine der größten Herausforderungen bei der Realisierung eines Projekts. Mit Hilfe des neuen Anwendungsassistenten in IDS lighthouse konfigurieren Sie unter Anleitung in wenigen Schritten eine vollständige Vision App, die Sie anschließend direkt auf einer IDS NXT Kamera ausführen können. Neu ist auch der blockbasierte Editor, mit dem sich ohne Programmierkenntnisse eigene Programmabläufe mit KI-Bildverarbeitungsfunktionen wie Objekterkennung oder Klassifizierung entwickeln lassen.
Anwendungsassistent
Im Anwendungsassistenten wählen Sie den Anwendungsfall aus, der zu Ihrem Vorhaben passt. Mit Abfragen und Tipps führt sie der Assistent wie in einem Interview durch den Prozess der Vision App Projekterstellung und erstellt den Programm-Code. Dabei verknüpft er bestehende Trainingsprojekte mit dem Vision App Projekt oder legt bei Bedarf neue Trainingsprojekte und Datensätze in IDS lighthouse an.
Blockbasierter Editor
Mit den kombinierbaren Blöcken und der intuitiven Benutzeroberfläche kann jeder eigene Vorhaben mittels KI-basierter Bildverarbeitung (wie Objektdetektion oder -klassifikation) in Form einer individuellen Vision App realisieren, ohne die Syntax einer bestimmten Programmiersprache kennen zu müssen. In diesem Fall legen Sie das Vision App Projekt selbst an und nutzen die vordefinierten Blöcke des Code-Editors, um Ihre Vision App inkl. Abläufen - wie z. B. Schleifen und bedingten Anweisungen - selbst grafisch aufzubauen.
Confusion-Matrix
Im Bereich "Training-Sessions" in der Registerkarte "Training" von IDS lighthouse können Sie sich für Klassifikationsnetze, die Sie ab Version 2.6 trainiert haben, eine Confusion-Matrix anzeigen lassen. Die Confusion-Matrix eignet sich zur Beurteilung der Leistungsfähigkeit Ihres Klassifikationsnetzes und zeigt, wie die Test- oder Validierungsdaten im Vergleich zu den vergebenen Labels klassifiziert werden.
Multikamera-Unterstützung im IDS NXT cockpit
Sie können nun den jeweiligen Kamerastatus, Bilder und Ergebnisse für mehrere Kameras auf einem Bildschirm überwachen, und über Ihre Anwendungen auf dem Laufenden zu bleiben. Darüber hinaus lässt sich die Konfiguration inkl. Login für schnellen Zugriff speichern.
IDS NXT 2.0 - KI für die Fabrikautomation
Das Update erweitert die KI-Fähigkeiten von IDS NXT um Objekterkennung, führt die Schnittstelle OPC UA ein und sorgt mit einer neuen Entwicklungsumgebung dafür, dass sich eigene Bildverarbeitungsaufgaben als Vision Apps programmieren und auf den Kameras ausführen lassen.
Neue Entwicklungsumgebung für Profis
Entwickler und KI-Spezialisten können mit dem „IDS NXT Vision App Creator“ noch tiefer in das System eintauchen, individuelle Vision Apps erstellen und IDS NXT Kameras so noch besser an die eigenen Bedürfnisse anpassen. Damit wird selbst die Kombination von Klassifikationen oder Objekterkennung mit klassischer Bildverarbeitung, wie etwa Vermessung, in einem Gerät realisierbar.
Automatisierung mittels OPC UA
IDS NXT rio und rome Kameras können nun mit Maschinen und Steuerungen in derselben Sprache kommunizieren und Aufgaben oder Ergebnisse unmittelbar austauschen. Die Verwendung von OPC UA ermöglicht die direkte Integration dieser intelligenter Kameras in die Fabrikautomatisierung, ohne zusätzliche Hardware oder Programmieraufwand. Die standardisierte Kommunikation schafft außerdem die Grundlage für das „Plug-and-Produce“ neuer Geräte. Dadurch verkürzt sich die Inbetriebnahme von Machine Vision Systemen verkürzt auf ein Minimum.