TechTipps

Flexibel und dynamisch: Adaptive Hotpixelkorrektur verwenden

Was ist das für ein Punkt in meinem Bild? Wer sich diese Frage stellt, ist wahrscheinlich einem Hotpixel auf der Spur. Diese in jedem gängigen Bildsensor in gewisser Anzahl vorhandenen Pixel werden vom Betrachter im Bild als störend wahrgenommen, da sie überdurchschnittlich hell oder dunkel wirken. Selbst mit hohem Aufwand in der Sensorfertigung lassen sich Hotpixel nicht gänzlich vermeiden.

In der Kamerafertigung werden die intensivsten Hotpixel ermittelt und für die Hotpixelkorrektur im Kameraspeicher dauerhaft abgelegt. Dies berücksichtigt jedoch nur die Situation zum Testzeitpunkt. Da die Sichtbarkeit der Hotpixel mit steigender Belichtungszeit, Verstärkung oder Sensortemperatur zunimmt, werden je nach Bildinhalt nicht nur diese Hotpixel als störend empfunden. Dadurch kann ein Vielfaches der kalibrierten Hotpixelanzahl sichtbar werden.

Wäre es da nicht geschickt, wenn Hotpixel direkt in der Anwendung bei allen Betriebsbedingungen dynamisch bestimmt und korrigiert werden könnten? Mit der neuen "Adaptiven Hotpixelkorrektur" ab IDS Software Suite 4.82 ist dies jetzt möglich.

Hintergund

Hotpixel sind Sensorpixel, die entweder gar nicht oder aber nicht linear auf einfallendes Licht reagieren. Sie weisen zu ihren Nachbarn eine Abweichung in der Sättigung, Empfindlichkeit, Rauschverhalten und anderen Pixelcharakteristiken auf. Durch diesen "Defekt" fallen Hotpixel im Bild störend auf.

Das Auftreten von Hotpixel wird begünstigt durch lange Belichtungszeiten, hohe Verstärkungseinstellung (Gain) oder hohe Betriebstemperatur des Sensors.

Hotpixel bei einem Farbsensor (links) und das "korrigierte" Bild (rechts)
Hotpixel bei einem Farbsensor (links) und das "korrigierte" Bild (rechts)

Die Ermittlung und Korrektur von Hotpixel basiert auf Pixeloperationen, die sehr rechenintensiv sind. Es gibt daher verschieden effektive, aber nicht immer ressourcenschonende Ansätze diese Datenkorrektur durchzuführen. Je nach Kamera oder Anwendung ist das eine oder das andere Verfahren sinnvoll.

Hotpixelkorrektur

Hotpixelkorrektur in uEye Cockpit
Hotpixelkorrektur in uEye Cockpit

Die IDS Software Suite bietet Ihnen je nach eingesetzter Kamera 3 mögliche Korrekturen zur Verwendung an. Über das uEye Cockpit können Sie die verschiedenen Verfahren testen bzw. für Ihre Anwendung einstellen. Öffnen Sie dazu die Kameraeigenschaften im uEye Cockpit unter "uEye > Eigenschaften". Im Reiter "Diverses" können Sie die Hotpixelkorrektur konfigurieren.

Mit der Option "Hotpixelkorrektur" aktivieren Sie die Korrektur für die statischen Hotpixellisten, die im nicht-flüchtigen Kameraspeicher hinterlegt sind. Die Option "Sensor-Hotpixelkorrektur" aktiviert bei den Modellen die interne Korrektur, die diese sensorseitig unterstützen. Die neue adaptive Hotpixelkorrektur wird mittels der dritten Option aktiviert.

Hotpixelkorrektur

Bevor IDS Kameras die Fertigung verlassen, wird jede Kamera auf Hotpixel geprüft und eine Hotpixelliste im nicht-flüchtigen Kameraspeicher hinterlegt (Kalibrierung). Bei aktivierter Hotpixelkorrektur werden in diesem statischen Verfahren nur die Pixel dieser Liste korrigiert. Dennoch können neben den fest hinterlegten Hotpixel im laufenden Betrieb zusätzliche Hotpixel sichtbar werden.

Die während der Kalibrierung ermittelte Hotpixel-Liste kann mit dem uEye Hotpixel Editor durch den Benutzer erweitert werden (siehe TechTipp "Hotpixelkorrektur mit dem uEye Hotpixel Editor").

Sensor-Hotpixelkorrektur

Manche Sensoren haben zusätzlich eine sensoreigene Hotpixelkorrektur integriert. Diese Variante arbeitet vollautomatisch ohne zusätzliche CPU-Belastung. Hotpixel werden ermittelt und korrigiert, noch bevor sie als Bilddaten den Sensor verlassen.

Adaptive Hotpixelkorrektur

Die neue adaptive Hotpixelkorrektur ab IDS Software Suite 4.82 kann Hotpixel dynamisch während der laufenden Anwendung detektieren und korrigieren. Das Verfahren wird als "adaptiv" bezeichnet, da die Pixelwerte in Richtung und Intensität an die umgebenden Pixel effektiv angepasst werden.

Adaptive Hotpixelkorrektur verwenden

Die neue adaptive Hotpixelkorrektur können Sie in zwei verschiedenen Modi betreiben.

Modus "Detect once"

In diesem Modus werden Hotpixel einmal ermittelt und im Arbeitsspeicher temporär abgelegt. Solange keine weitere dynamische Ermittlung von Hotpixel durchgeführt wird, arbeitet die adaptive Hotpixelkorrektur mit dieser Liste. Dadurch entsteht keine zusätzliche Rechenbelastung. Dieser Modus ist passend für alle Anwendungen mit statischen Lichtverhältnissen, die keine weitere dynamische Anpassung benötigen.

Über die Schaltfläche "Neu ermitteln" können Sie die Hotpixelliste zurücksetzen und Ihre Anwendung mit dem nächsten Bild neu "kalibrieren". Die Schaltfläche kann nur im Modus "Detect once" verwendet werden. Die Detektion arbeitet am effizientesten, wenn der Sensor während der Hotpixelermittlung abgedunkelt wird.

Muss das System in diesem Modus neu gestartet werden, ist die Liste im Arbeitsspeicher nicht mehr vorhanden. Wird die Kamera wieder geöffnet, führt die adaptive Hotpixelkorrektur bei der Aktivierung aufgrund der fehlenden Liste automatisch eine Hotpixel-Detektion durch. Mit jeder Veränderung des Bildausschnitts (AOI) wird ebenfalls automatisch eine neue Liste angelegt.

Modus "Detect dynamically"

Die Hotpixelliste wird mit jedem Bild dynamisch ermittelt. Dadurch kann die adaptive Hotpixelkorrektur besser auf sich ändernde Lichtverhältnisse reagieren. Allerdings kann in diesem rechenintensiven Modus unter Umständen nicht die volle Bildrate (Framerate) erzielt werden.

Als zusätzliche Information wird Ihnen die Anzahl der korrigierten Hotpixel angezeigt. Im Modus "Detect once" wird der Wert einmalig ermittelt und bleibt fix bis zur nächsten Ermittlung. Beim Modus "Detect dynamically" ändert sich der Wert mit jedem Bild.

Empfindlichkeit der adaptiven Hotpixelkorrektur

Mit dem Empfindlichkeitsregler können Sie Einfluss darauf nehmen, wann Pixel als Hotpixel ermittelt werden. In der Standardeinstellung werden Hotpixel aus dem Sensorrauschen gefiltert bevor sie sichtbar werden. Sollten in Ausnahmefällen zu viele Hotpixel erkannt werden oder Hotpixel nach Einschalten der Korrektur sichtbar bleiben, kann die Empfindlichkeit angepasst werden.

Anwendungsgebiete

Die adaptive Hotpixelkorrektur ist hilfreich, um Hotpixel zu beseitigen, die erst nach der werkseitigen Kalibrierung sichtbar werden, bspw. durch sehr lange Belichtungszeiten, hohen Verstärkungseinstellungen oder hohe Betriebstemperaturen.

Bei langen Belichtungszeiten spielt eine hohe Framerate keine Rolle. In diesem Fall ist die adaptive und dynamische Hotpixelkorrektur pro Bild sinnvoll. Im Modus "Detect dynamically" werden für jedes Bild Hotpixel neu ermittelt und korrigiert.

Um hohe Frameraten zu erreichen, sollten Sie die adaptive Hotpixelkorrektur im Modus "Detect once" einsetzen. Hier können Sie eine Hotpixelliste erzeugen, die im Arbeitsspeicher abgelegt wird. Nur Pixel dieser Liste werden anschließend durch die Hotpixelkorrektur interpoliert. Bei Bedarf können Sie die Liste über die Schaltfläche "Run once" neu erzeugen, um auf stark veränderte Bildinhalte zu reagieren oder die Liste in bestimmten Zeitintervallen zu aktualisieren.

Vergleich der verschiedenen Verfahren

 

Detektion

Korrektur

uEye Modelle

Hotpixelkorrektur

1x automatisch bei Kamerafertigung
→ persistente, begrenzte Pixelliste
Durch "uEye Hotpixel-Editor" manuell erweiterbar

Mit jedem Bild
Mit statischer Liste
Nicht adaptiv
Zusätzliche CPU-Last

Für alle verfügbar

Adaptive Hotpixelkorrektur

"ONCE"
1x zu jedem Zeitpunkt möglich
→ Temporäre, unbegrenzte Pixelliste

Mit jedem Bild
Mit dynamischer Liste
Adaptive Korrektur
Zusätzliche CPU-Last

Für alle verfügbar

"DYNAMIC"
Mit jedem Bild
→ Temporäre, unbegrenzte Pixelliste
Zusätzliche CPU-Last

Sensor-Hotpixelkorrektur

Sensorabhängig

Sensorabhängig

Nur bestimmte Modelle

 

  • Die Adaptive Hotpixelkorrektur arbeitet ähnlich effektiv wie eine sensoreigene Korrektur, aber softwareseitig und steht damit für jede Kamera zur Verfügung. Da Hotpixel vermehrt bei langen Belichtungszeiten auftreten, ist die etwas höhere CPU-Belastung vernachlässigbar.
  • Durch die dynamische Erzeugung von Hotpixellisten zu jedem Zeitpunkt kann Ihr System für jede Betriebssituation schnell und optimal "kalibriert" werden.
  • Durch die adaptive Korrektur können gerade an Kanten bessere Ergebnisse erzielt werden und es stellt den minimalsten Eingriff in den Bildinhalt dar.

Bessere Ergebnisse an Kanten durch die adaptive Hotpixelkorrektur
Bessere Ergebnisse an Kanten durch die adaptive Hotpixelkorrektur

Fazit

Mit der neuen adaptiven Hotpixelkorrektur können Sie viel variabler in verschiedenen Anwendungen gegen Hotpixel vorgehen. Zudem kann die adaptive Hotpixelkorrektur direkt vor Ort in der Applikation durchgeführt werden und erlaubt so eine bestmögliche Optimierung auf die Applikationsbedingungen.

Um beste Ergebnisse mit der adaptiven Hotpixelkorrektur zu erzielen, beachten Sie folgende Punkte:

  • Im Modus "Detect dynamically" erfolgt die Korrektur der Hotpixel für jedes Bild, dadurch erhöht sich die CPU-Belastung. In diesem Modus wird unter Umständen nicht die volle Framerate erzielt.
  • Kleine, kontrastreiche Bildstrukturen, bspw. 1-4 Pixel große Reflexionen, werden eventuell als Hotpixel erkannt und korrigiert. Ist dieses Verhalten unerwünscht, empfehlen wir die Verwendung des Modus "Detect once".
  • Die adaptive Hotpixelkorrektur kann zusammen mit Subsampling, Binning oder Scaler verwendet werden.
  • Die adaptive Hotpixelkorrektur kann derzeit nur mit Software- oder RAW-Farbformaten verwendet werden.


Weitere Informationen zur Programmierung der Hotpixelkorrektur finden Sie im uEye Handbuch unter http://de.ids-imaging.com/manuals-ueye.html.