IDS NXT malibu wird zur DashCam für industrielle Anwendungen

OnCamera Event Recording mit Voralarm für IDS NXT malibu

Mit Hilfe des Event Recorders zeichnet die IDS NXT malibu Ereignisse automatisch und unabhängig von einem PC-System auf. Per Software Trigger wird eine komplette Videosequenz im persistenten Kameraspeicher abgelegt, die nicht nur das Event selbst, sondern auch die entscheidenden Momente davor umfasst. Alle Einstellungen für die Aufnahmefunktion und die Video-Streams können bequem im aktualisierten IDS NXT cockpit vorgenommen werden.

Automatische Korrektur von Objektivverzeichnungen

Automatisch und hardware-beschleunigt korrigiert die IDS NXT malibu jetzt Objektivverzeichnungen. Das Software-Update nutzt den im Ambarella SoC integrierten ISP, um eine präzise und effiziente Rektifizierung der Bilder durchzuführen. So erhalten Sie beeindruckend klare Bilder direkt von der Kamera. Entdecken Sie die neue Qualität Ihrer Bilddaten!

OPC-UA jetzt auch für IDS NXT malibu

Die IDS NXT malibu erhält per Vision-App einen OPC-UA-Server und wird damit mit dem Informationsmodell der "OPC UA for Machine Vision" ausgestattet. Das ermöglicht die direkte Integration der intelligenten Kamera in die Fabrikautomatisierung, ohne zusätzliche Hardware oder Programmieraufwand.  OPC-UA "Rezepte" und "Konfigurationen" können komfortable im IDS NXT cockpit angelegt werden.

IDS NXT malibu - OnCamera-KI + Kompression + Streaming!

IDS NXT Kamera vor farbigem Hintergrund

Neu: 4K-Streaming in perfekter Bildqualität direkt von der Kamera

Nach dem Serienstart von IDS NXT malibu mit dem onsemi Sensor AR0521 legt IDS nach: Ab sofort gibt es die Kamera auch mit dem Sony Starvis 2 Sensor IMX678 für Streaming in 4K! Das bedeutet noch mehr Details und noch bessere Bildqualität - und erweitert die Einsatzmöglichkeiten, insbesondere im Low-Light-Bereich.

Consumer-Technologie trifft Industrie-Know-how: Hier steckt mehr drin!

Aus der Zusammenarbeit von IDS und Ambarella ist eine neue Klasse intelligenter Industriekameras entstanden: IDS NXT malibu kombiniert perfekte Bildqualität + OnCamera-KI + Videokompression + Streaming. All das erfolgt direkt in und von der Kamera.

IDS ist der erste Anbieter, der diesen speziellen Chip - bisher von Action-Kameras bekannt - für den Einsatz in industriellen Anwendungen anbietet. Ein integrierter ISP mit hilfreichen Automatik-Features, etwa für Helligkeit, Rauschen und Farbkorrektur holt dabei das Optimum an Bildqualität heraus. Freuen Sie sich auf beeindruckende Bilder und Videos - und noch mehr. Weitere Infos zu neuen Software-Highlights rund um IDS NXT malibu finden Sie im Tab zu Release 4.1.

Kamera IDS NXT malibu mit AI und RTSP Streaming Icon - analysiert und visualisiert Situationen

KI und ISP „on the edge“: Auswertungen & Visualisierungen ohne PC

Die Kamera funktioniert als "Edge Device" und ermöglicht komprimierte Videostreams (H264) mit voller Sensor-Auflösung in hoher Geschwindigkeit (> 25 fps) und deren Ausgabe auf Endgeräten via RTSP-Protokoll.

Darüber hinaus können die Live-Bilder der Kamera zur Visualisierung per MJPEG-Stream (ohne AI-Overlay) direkt in jedem Webbrowser angezeigt werden - über HTTP und ohne zusätzliche Software!

„Mit IDS NXT malibu haben wir eine Kameraserie entwickelt, die Bilder in Echtzeit analysiert und Ergebnisse direkt einbinden kann. Damit empfiehlt sie sich bspw. für Anwendungen, die ein Livebild mit KI-Overlay erfordern“, erklärt Kai Hartmann, Product Innovation Manager bei IDS.

Welche Möglichkeiten eröffnen die intelligenten Industriekameras für Ihre Anwendungen? Bildverarbeitung am Puls der Zeit: entdecken Sie jetzt die Möglichkeiten des IDS NXT Systems.

IDS NXT 4.1: Umfassende Unterstützung von IDS NXT malibu!

In dem Laptop ist ein Fenster geöffnet auf dem live die das Bild gezeigt wird, inklusive Reglern zu Anpassung.

MJPEG als Alternative zum Streaming via RTSP

Mit dem neuen MJPEG-Stream steht Ihnen für beide malibu Modelle (Sensoren: onsemi AR0521 und Sony IMX678) eine einfach nutzbare Visualisierungsmöglichkeit in Full HD zur Verfügung. Der Stream nutzt HTTP und lässt sich in jedem Browser ohne zusätzliche PlugIns live ausgeben. Wer zusätzlich KI-Overlays im Livebild darstellen möchte, wählt Streaming via RTSP. Dabei wird die gesamte Sensorauflösung ausgenutzt - mit dem IMX678 bedeutet das Streaming in 4K bei 30 fps!

Logo mit X und der Info des 'IDS NXT Release 4.1' wird vor verschwommener Kamera hervorgehoben.

Klassifizieren, Objekte detektieren und Anomalien erkennen mit selbst trainierten CNNs

In Verbindung mit dem Software Release IDS NXT 4.1 lassen sich ab sofort neuronale Netze mit dem AI-Vision-Studio IDS lighthouse für den Ambarella SoC der IDS NXT malibu Kamerafamilie trainieren. Sie können für die Kameraplattform jetzt auch Vision Apps zur Klassifikation, Objekt-Detektion und Anomalie-Erkennung nach Ihren Vorgaben erstellen und ausführen.

IDS NXT 3.2 - Optimierte Benutzerführung durch neue Projektansicht

Das kostenlose Update verbessert die Benutzerfreundlichkeit und Übersicht im AI-Vision-Studio IDS lighthouse durch eine neue Projektführung sowie durch einen leichteren Zugang zu den Ergebnissen im blockbasierten Editor.

Workflow-Ansicht mit Icons von allen Phasen

Projektansicht

Die neue Benutzerführung erlaubt es, zusammengehörende neuronale Netze, Bilddatensätze und Vision Apps, in Projekten zu verwalten. Die Workflow-Ansicht führt den Anwender nacheinander durch alle Phasen der Anwendungsentwicklung.

Statusabhängige Icons und Hinweise verbessern dabei die Übersichtlichkeit der Prozessschritte. Damit ist immer sofort erkennbar, wo noch Benutzerinteraktion erforderlich ist bzw. welche Komponenten bereits erfolgreich konfiguriert wurden.

IDS lighthouse unterstützt den Anwender dadurch jetzt noch besser bei der Erstellung eigener KI-basierter Anwendungen.

Die Release Notes finden Sie direkt in IDS lighthouse.

IDS NXT 3.1 - OCR und Objekte finden im Blockbasierten Editor

Das Update erweitert die Funktionalität des Systems um regelbasierte Bildverarbeitung wie OCR und das Auffinden von Objekten ohne trainiertes CNN. Darüber hinaus profitieren Kunden von Workflow-Verbesserungen und einer einfacheren Integration über OPC UA.

Oben wird eine Texterkennung (OCR) dargestellt, die auf dem blockbasierten Code unten basiert.

Texte erkennen

Das Update macht die Bildverarbeitungs-Funktion OCR, kurz für "optical character recognition", im Blockbasierten Editor verfügbar. Mit dieser Funktion können deutsche und englische Zeichen, Worte oder ganze Textzeilen auf Etiketten, Visitenkarten und sonstigen Dokumenten gefunden und ausgelesen werden. Anschließend lassen sich dafür bestimmte Werte beziehungsweise Eigenschaften erfragen.

Früchte werden nach dem oben eingestellten blockbasierten Code hervorgehoben.

Objekte finden ohne KI

Die KI-Funktion Objekterkennung gibt es schon lange in IDS NXT. Was aber, wenn Objekte gefunden werden sollen, ohne vorher ein neuronales Netz zu trainieren? Das ist nun im blockbasierten Editor möglich. Ermittelt werden sie über Helligkeitswerte. Anschließend lassen sie sich weiter filtern bzw. aussortieren.

Studentenfutter wird farblich und in Art der Linien differenziert, anpassbar ist auch der Schwellenwert

Bessere Visualisierung per Attention Maps

Sie können jetzt für jeden Testdatensatz eine Visualisierung auf Basis von Attention Maps in im AI-Vision-Studio IDS lighthouse erzeugen. Damit lässt sich die Inferenz mit eigenen Bildern überprüfen, KI-Entscheidungen visuell nachvollziehen und damit die Qualität des trainierten neuronalen Netzes beurteilen.

Einfacherer OPC-UA Zugang

Neben der standardisierten Companion Specification für Machine-Vision-Systeme stellen wir auch ein eigenes, leicht verständliches Informationsmodell für den Zugriff auf IDS NXT über OPC-UA bereit. Dieses haben wir mit IDS NXT 3.1 erweitert, um die Integration per OPC-UA für Anwendungen wie Fabrikautomation noch einfacher zu machen.

IDS NXT 3.0 - Neues KI-Verfahren für Anomalien

Mit dem Software-Release IDS NXT 3.0 erweitern wir die Einsatzmöglichkeiten für das KI-Komplettsystem u.a. um ein weiteres Deep-Learning-Verfahren und sorgen zudem für eine bessere Nachvollziehbarkeit beim Training von neuronalen Netzen.

Anomalie-Detektion

Sie können die IDS NXT Kameras nun zusätzlich zu Objekt-Detektion und Klassifikation auch zur Anomalie-Erkennung einsetzen. Es sind nur wenige Trainingsdaten erforderlich, um sowohl bekannte als auch unbekannte Prozessabweichungen zuverlässig zu identifizieren. Dadurch verringert sich der Aufwand beim Erstellen und Annotieren der Trainingsdaten.

Code-Reader

Mit der neuen Code-Lesefunktion im blockbasierten Editor können Sie die IDS NXT Kameras schnell und einfach dazu befähigen, verschiedene Codetypen und die erforderlichen Parameter zu lokalisieren, zu identifizieren und auszulesen.

Transparenz im Trainingsprozess

Bereits während des Trainings- und Testprozesses in IDS lighthouse zeigen Attention Maps, welche Bildbereiche Auswirkungen auf Klassifikationsergebnisse haben. So können schon frühzeitig Trainingsfehler bzw. Biasse erkannt und ausgeräumt werden, bevor die KI in der Kamera arbeitet. Das reduziert Review- und Wartungsschleifen im Entwicklungsprozess und beschleunigt damit die Inbetriebnahme.

IDS NXT 2.6 - App your camera!

Bei diesem Software-Release steht vor allem die Vereinfachung der App-Erstellung im Mittelpunkt. Der Start eines Entwicklungsvorhabens ist oft eine der größten Herausforderungen bei der Realisierung eines Projekts. Mit Hilfe des neuen Anwendungsassistenten in IDS lighthouse konfigurieren Sie unter Anleitung in wenigen Schritten eine vollständige Vision App, die Sie anschließend direkt auf einer IDS NXT Kamera ausführen können. Neu ist auch der blockbasierte Editor, mit dem sich ohne Programmierkenntnisse eigene Programmabläufe mit KI-Bildverarbeitungsfunktionen wie Objekterkennung oder Klassifizierung entwickeln lassen.

In einem Browser ist lighthouse geöffnet, wobei die Einfachheit der Software signalisiert wird.

Anwendungsassistent

Im Anwendungsassistenten wählen Sie den Anwendungsfall aus, der zu Ihrem Vorhaben passt. Mit Abfragen und Tipps führt sie der Assistent wie in einem Interview durch den Prozess der Vision App Projekterstellung und erstellt den Programm-Code. Dabei verknüpft er bestehende Trainingsprojekte mit dem Vision App Projekt oder legt bei Bedarf neue Trainingsprojekte und Datensätze in IDS lighthouse an.

Auf der Website mit geöffneter IDS lighthouse App ist ein komplexer, aus Blöcken gebauter Code ersichtlich.

Blockbasierter Editor

Mit den kombinierbaren Blöcken und der intuitiven Benutzeroberfläche kann jeder eigene Vorhaben mittels KI-basierter Bildverarbeitung (wie Objektdetektion oder -klassifikation) in Form einer individuellen Vision App realisieren, ohne die Syntax einer bestimmten Programmiersprache kennen zu müssen. In diesem Fall legen Sie das Vision App Projekt selbst an und nutzen die vordefinierten Blöcke des Code-Editors, um Ihre Vision App inkl. Abläufen - wie z. B. Schleifen und bedingten Anweisungen - selbst grafisch aufzubauen.

Die IDS lighthouse Software kann eine Confusion Matrix anzeigen

Confusion-Matrix

Im Bereich "Training-Sessions" in der Registerkarte "Training" von IDS lighthouse können Sie sich für Klassifikationsnetze, die Sie ab Version 2.6 trainiert haben, eine Confusion-Matrix anzeigen lassen. Die Confusion-Matrix eignet sich zur Beurteilung der Leistungsfähigkeit Ihres Klassifikationsnetzes und zeigt, wie die Test- oder Validierungsdaten im Vergleich zu den vergebenen Labels klassifiziert werden.

Multikamera-Unterstützung im IDS NXT cockpit

Sie können nun den jeweiligen Kamerastatus, Bilder und Ergebnisse für mehrere Kameras auf einem Bildschirm überwachen, und über Ihre Anwendungen auf dem Laufenden zu bleiben. Darüber hinaus lässt sich die Konfiguration inkl. Login für schnellen Zugriff speichern.

IDS NXT 2.0 - KI für die Fabrikautomation

Das Update erweitert die KI-Fähigkeiten von IDS NXT um Objekterkennung, führt die Schnittstelle OPC UA ein und sorgt mit einer neuen Entwicklungsumgebung dafür, dass sich eigene Bildverarbeitungsaufgaben als Vision Apps programmieren und auf den Kameras ausführen lassen.

Auf der Website ist die IDS lighthouse App zu sehen, bei der man den Anwendungsfall wählen kann.

Neue Entwicklungsumgebung für Profis

Entwickler und KI-Spezialisten können mit dem „IDS NXT Vision App Creator“ noch tiefer in das System eintauchen, individuelle Vision Apps erstellen und IDS NXT Kameras so noch besser an die eigenen Bedürfnisse anpassen. Damit wird selbst die Kombination von Klassifikationen oder Objekterkennung mit klassischer Bildverarbeitung, wie etwa Vermessung, in einem Gerät realisierbar.

Automatisierung mittels OPC UA

IDS NXT rio und rome Kameras können nun mit Maschinen und Steuerungen in derselben Sprache kommunizieren und Aufgaben oder Ergebnisse unmittelbar austauschen. Die Verwendung von OPC UA ermöglicht die direkte Integration dieser intelligenter Kameras in die Fabrikautomatisierung, ohne zusätzliche Hardware oder Programmieraufwand. Die standardisierte Kommunikation schafft außerdem die Grundlage für das „Plug-and-Produce“ neuer Geräte. Dadurch verkürzt sich die Inbetriebnahme von Machine Vision Systemen verkürzt auf ein Minimum.