Deep Learning mit HALCON

In dem zweiten Teil der Tutorial-Serie zur HALCON Objektdetektion werden Sie lernen, wie Sie ein Deep Learning-basiertes Objektdetektions-Modell mit MVTec HALCON trainieren können. Anhand der Hyperparameter können Sie den Trainingsfortschritt beeinflussen, wie zum Beispiel die Lernrate. Außerdem lernen Sie, wie und wann Sie Daten augmentieren können. Zuletzt erfahren Sie, wie Sie die umfangreiche Visualisierung während des Trainings interpretieren können.

Im ersten Teil der Tutorial-Serie zur HALCON's Objektdetektion lernen Sie, was Objektdetektion ist, und für welche Anwendungen es genutzt werden kann.

Im Anschluss erfahren Sie, wie Sie einen Datensatz einlesen, den Sie zuvor zum Beispiel mit dem MVTec Deep Learning Tool gelabelt haben. Danach wird dieser Datensatz gesplittet und vor verarbeitet, um die Daten mit dem Deep-Learning-Modell verarbeiten zu können.

In diesem Tutorial erhalten Sie einen Einblick in den empfohlenen Deep-Learning-Workflow, wenn Sie mit MVTec HALCON arbeiten. Alle verfügbaren Deep-Learning-Methoden, wie zum Beispiel Klassifikation und Objekt-Detektion, verfolgen dank der einheitlichen Model-basierten Operatoren einen sehr ähnlichen Ansatz. Basierend auf diesem Workflow sind in HDevelop zahlreiche Beispiele vorhanden, die Ihnen dabei helfen können, Ihre eigene Anwendung zu entwickeln. Um zu verstehen, wie Sie den Code genau Ihren Anforderungen entsprechend anpassen können, lernen Sie mehr über die Datenstrukturen, wie das Dataset und die Samples.

HALCONs deep-learning-basierte Anomalieerkennung erleichtert Ihnen die Prüfung, ob Bilder Abweichungen von bekannten Trainingsdaten enthalten. Für das Training dieses Netzwerks ist nur eine relativ geringe Anzahl "guter" Bilder erforderlich. Sie benötigen keine gelabelten Daten mehr.

Dank der einfachen und flexiblen Anomalieerkennung erhöhen sich die Möglichkeiten zur Lösung Ihrer Anwendungen.

In den meisten Computerprogrammen kann man nur achsenparallele Rechtecke zeichnen und keine orientierten Rechtecke. Daher entwickelte MVTec eine effiziente Methode zum Labeln von Deep-Learning-Trainingsdaten mit orientierten Rechtecken.

Dieses Video zeigt Ihnen, wie sie mit dem MVTec Deep Learning Tool Daten entsprechend labeln. In diesem Video wird Version 0.2 des Deep Learning Tools genutzt.

In diesem Tutorial lernen Sie, wie Bildverarbeitungscode, den Sie in HDevelop entwickelt haben, in eine existierende C# Visual-Studio-Anwendung integriert werden kann. Dafür nutzen wir den Library Projekt Export, der die Verwendung von HDevEngine vereinfacht. Damit können HDevelop-Prozeduren genauso einfach wie HALCON-Operatoren in C++ oder C# Code benutzt werden.

In diesem Tutorial lernen Sie, wie Bildverarbeitungscode, den Sie in HDevelop entwickelt haben, in eine existierende C++ Visual-Studio-Anwendung integriert werden kann. Dafür können Sie den HDevelop Bibliotheks-Projekt Export nutzen, der die Verwendung von HDevEngine vereinfacht.

Damit können HDevelop-Prozeduren genauso einfach wie HALCON-Operatoren in C++ oder C# Code benutzt werden.

Erfahren Sie in diesem Tutorial, wie Sie die Resultate von oberflächenbasiertem Matching mit MVTec HALCON optimieren können, indem Sie Ihre 3D-Eingabedaten geeignet vorverarbeiten. Das Arbeiten mit 2D XYZ-Mappings kann dabei helfen, das Matching schnell und robust zu optimieren. Zum Beispiel kann das Entfernen des Hintergrunds der 3D-Szene sowohl die Geschwindigkeit des Matchings erhöhen als auch falsche Ergebnisse vermeiden.

Mit diesem Tutorial erhalten Sie eine Einführung in oberflächenbasiertes Matching mit MVTec HALCON.
Das oberflächenbasierte Matching kann genutzt werden, um Objekte mit einem 3D-Sensor zu lokalisieren. Als Beispiel wird in diesem Video das Oberflächenmodell einer Rohrverbindung aus deren CAD-Datei erstellt. Diese Rohrverbindungen finden sich in mehreren 3D-Szenen. Schließlich erfahren Sie noch, wie verschiedene Probleme erkannt werden können, und welche Parameter Sie einstellen können.

In diesem Video sehen Sie die neuen Features von MVTecs HALCON 18.11. Das Release beinhaltet neue KI-Technologien aus den Bereichen Convolutional Neural Networks (CNN) und Deep Learning, wie Klassifikation ganzer Bilder, Objektdetektion und semantische Segmentierung. Außerdem wurden einige Verbesserungen für Entwickler eingeführt, wie z. B. eine neue Datenstruktur "Dictionaries" und viele mehr.

In diesem Tutorial erfahren Sie, wie Sie einfach Live-Bilder in HDevelop verwenden können: Mit dem Bilderfassungsassistenten wird einfach der gewünschte Code generiert. Zusätzlich werden einige in HDevelop verfügbare Tools verwendet, um das Bild zu fokussieren und die Blende anzupassen. Schließlich werden die aufgenommenen Bilder interaktiv auf der Festplatte gespeichert.

In diesem Video lernen Sie, wie man einen tief lernenden Klassifikator trainiert, um Objekte und Fehler mit MVTec HALCON 18.05 klassifizieren zu können. Anhand der vorverarbeiteten Bilddaten erfahren Sie, wie die Daten in Trainings-, Validierungs- und Testteilmengen aufgeteilt werden. Dann werden verschiedene Parameter überprüft, die das Training beeinflussen, wie die Chargengröße und die Lernrate.

In diesem Video werden verschiedene Methoden vorgestellt, die Ihnen helfen können, einen geschulten Klassifikator zu bewerten, wie Konfusionsmatrizen und Heatmaps. Darüber hinaus wird ein Verfahren verwendet, das z.B. alle falschen Klassifikatorbilder anzeigen kann, was Ihnen helfen kann, die Einschränkungen Ihres Klassifikators zu beurteilen. Schließlich können verschiedene Bewertungsmessungen berechnet werden, wie z.B. der F-Score, der Top-K-Fehler, die Präzision und der Rückruf.

Mit HALCON 17.12 können Objekte und Defekte mit Hilfe von Deep Learning klassifiziert werden. In diesem Video lernen Sie, wie beschriftete Bilder aufbereitet werden, um sie für das Training eines Depp Learning-basierten Klassifikators verwendet zu können.

Es wird auch ein Blick auf die Organisation der Bilder geworfen, sodass die Etiketten einfach von HALCON extrahiert werden können. Zusätzlich lernen Sie, wie man die Vorverarbeitung anwendet, sodass die Bilder von den mit HALCON gelieferten vortrainierten Netzwerken verarbeitet werden können und warum eine anwendungsspezifische Vorverarbeitung nützlich sein kann.

In diesem Tutorial wird die Visual Studio Extension "HALCON Variable Inspect" demonstriert, die in der Standardinstallation von MVTec HALCON enthalten ist. Mit dieser Erweiterung können Sie einfach auf Variablen zugreifen - die vom HALCON-Code in Ihrer Anwendung verwendet werden - zeigen von Ihrer Kamera aufgenommenen Bilder an, visualisieren die Regionen und XLDs und verschaffen sich einen schnellen Überblick über die Steuervariablen.

Entdecken Sie die Kraft des Deep Learning mit MVTec HALCON! Mit HALCON 17.12 bietet MVTec Anwendern die Möglichkeit, ihre eigenen CNNs (Convolutional Neural Networks) für Machine Vision Anwendungen zu trainieren. Nach dem Training können diese Netzwerke genutzt werden, um neue Bilddaten mit HALCON zu klassifizieren. Typische Anwendungsgebiete, in denen diese Technologie des Deep Learnings nützlich ist, finden sich im Bereich der Defektklassifizierung (z.B. für Leiterplatten, Flaschenmündungen oder Pillen) oder der Objektklassifizierung (z.B. Identifizierung der Pflanzenart aus einem einzigen Bild).

Regionen sind ein mächtiges Werkzeug in der Arbeit mit MVTec HALCON. Dieses Video zeigt, wie man ein Bild mit mit Hilfe des Werkzeugs Grau-Histogramm segmentiert. Die resultierende Region wird dann mittels Morphologie verarbeitet, um sich berührende Objekte zu trennen. Zuletzt werden die Objekte mit Hilfe unterschiedlicher Eigenschaften der Regionen (z.B. Zirkularität) in getrennte Regionen geclustert.

Dieses Video erklärt, wie sich Embedded Vision Systeme von typischen Setups in der industriellen Bildverarbeitung unterscheiden und zeigt, wie die volle Leistung der MVTec-Standardsoftware HALCON auf Ihr Embedded-Gerät gebracht werden kann – mit HALCON Embedded.

Mit 2D-Vermessung können die Dimensionen von Objekten vermessen werden, welche durch bestimmte geometrische Primitive abgebildet werden können. Dieses Tutorial-Video zeigt, wie 2D-Vermessung mit HALCON durchgeführt werden kann.

Dieses Tutorial-Video zeigt, wie mit HALCON Kanten entlang von Linien oder Kreissegmenten einfach, schnell und höchstgenau vermessen werden können.