Fachbeiträge

Rolling Shutter Sensoren

Die kostengünstige Alternative

Ein Bildsensor wird durch viele Merkmale definiert. Seit der Einführung der CMOS Sensoren ist das Shuttersystem sicherlich eines der Bekanntesten davon. In unzähligen Artikeln wurde über die Vor- und Nachteile berichtet. Warum also ein weiterer Artikel zu diesem Thema? Einige Facetten wurden bisher nur wenig beleuchtet, sind heute aber aktueller denn je.

Warum unterscheiden wir im Wesentlichen zwischen den beiden Betriebsarten der Bildaufnahme? Global und Rolling Shutter.

 

1. Die heutigen Sensoren

Das wesentliche Unterscheidungsmerkmal zwischen Rolling und Global Shutter ist das Zeitverhalten während der Belichtungsphase.

Beim Global Shutter werden zeitlich zuerst alle vorhandenen Informationen in den Pixeln gelöscht und dieser Zustand vermessen.

Danach werden die Pixel alle gemeinsam elektronisch fürs Licht geöffnet, der Beginn der aktiven Belichtungsphase. Am Ende der Belichtungszeit findet das gleichzeitige Speichern der Ladungsinformation in einem lichtunempfindlichen Bereich statt. Diese Informationen werden bei CMOS Sensoren im Anschluss daran Zeile für Zeile in Grauwerte umgewandelt und übertragen.

Heutige CMOS Sensoren sind mittlerweile so schnell, das Pixelinformationen auf bis zu 24 Leitungen seriell gleichzeitig übertragen werden. Eine extreme Heraus

Herausforderung an die nachfolgende Schaltungstechnik. Sei es FPGA, ASIC oder ein USB- bzw. Ethernet-Chipsatz.

Die mit einem Global Shutter Pixel aufgenommenen Bilder sind frei von irgendwelchen Artefakten, die durch Bewegung erzeugt werden. Da es sich um einen Schnappschuss, eine Momentaufnahme handelt.

2. Aufnehmen und Auslesen

Der heutige Trend zu mehr Pixeln auf immer kleinerer Fläche bedingt einen extremen Kompromiss, denn in einem Pixel müssen viele Bauelemente untergebracht werden. Um den einzelnen Pixel nun noch kleiner zu bekommen, bspw. um damit auch dem Smartphone eine zweistellige Megapixel-Auflösung zu ermöglichen, muss der Pixel in den 1 µm Bereich verkleinert werden. Dies geht nur durch das konsequente Weglassen von Bauteilen, wie des Zwischenspeichers im Pixel. Eine globale Aufnahme zu einem bestimmten Zeitpunkt ist dann nicht mehr möglich.

Die Lösung: Das Ende der Belichtung wird durch das direkte Auslesen der Information bestimmt. Da Zeile für Zeile nacheinander übertragen wird, ist es eine rollierende Aufnahme. Daher die Bezeichnung Rolling Shutter.

Erreicht ein Sensor 60 Bilder pro Sekunde, dauert das Auslesen und damit Belichtungszeitende 16 ms von der ersten bis zur letzten Zeile. Die oberen Bildteile werden im Vergleich zur unteren Bildhälfte also früher in der Belichtung gestoppt. Damit alle Zeilen auch die gleiche Belichtungszeit bekommen, muss auch der Start der Belichtung entsprechend verschoben werden. Zeile für Zeile wird nacheinander für das Licht geöffnet.

Bewegt sich ein Objekt – wie es bspw. für Anwendungen in der Verkehrstechnik (ITS) grundsätzlich der Fall ist – gibt es keine akkurate Bildwiedergabe.

3. Bildübertragung

CMOS Sensoren der ersten Generationen hatten für die Ausgabe der Bilddaten ein paralleles Interface. Datenmengen von 100 Megapixeln pro Sekunde waren hier schon obere Liga. Das bedeutet für einen 5 Megapixel Sensor also ungefähr 20 Bilder pro Sekunde bzw. 50 ms Auslesezeit für ein Bild. Der Rolling Shutter Effekt ist also deutlich sichtbar, denn ein fahrendes Auto legt in dieser Zeit eine gute Strecke zurück.

Neuere CMOS Sensoren sind mittlerweile um Faktor 5 bis 10 schneller. Die Auslesezeit ist enorm. 500 Megapixel pro Sekunde bzw. 120 oder 240 Bilder pro Sekunde sind der heutige Standard. Das ist im Wesentlichen in neuen Umwandlungstechnologien und elektrischen Interfaces begründet. Die resultierenden 4 ms Shutterzeit bei 240 fps ergeben eine deutliche Verbesserung bei der Handhabung.

Vergleich der Shutter-Geschwindigkeit bisheriger (Bild links) und heutiger Rolling Shutter Sensoren (Bild rechts). Das seitlich angebrachte Schild des Rennbahnwagens (skalierte Geschwindigkeit eines Straßenfahrzeugs ist ca. 205 Km/h) ist les- und verwertbar.

Wenn dazu die Laufrichtung des Shutters mit der des Objektes übereinstimmt, sind nahezu keine störenden geometrischen Verzeichnungen zu beobachten. Bahn-inspektion mit hochkant montierter Rolling Shutter Kamera ist mittlerweile gängige Praxis.

Barcode Erkennung bei rotierenden sich bewegenden Motiven quer zur Kamera erzeugt nicht lesbare Codes (links abgebildet), eine 90° Kameradrehung schafft Abhilfe. Der Barcode ist les- und auswertbar.

Die gängige Verkehrsüberwachungsaufgabe von einer Brücke oder einem Ampelmast über der Straße direkt auf ein sich näherndes Objekt ausgerichtet ist nun auch mit kostengünstigeren Sensoren für eine OCR oder Objekterkennung möglich.

Das gilt auch für den umgekehrtem Anwendungsfall: Das Motiv ist unbewegt, die Kamera ist mobil. In Bussen, Zügen oder bei einem Barcode-Handscanner. Für diese Anwendungen ist heutzutage oftmals kein höherpreisiger Global Shutter Sensor notwendig.

4. Rolling Shutter Vorteile

Ein Rolling Shutter Sensor hat darüber hinaus noch zwei weitere Vorteile gegenüber seinem Global Shutter Pendant.

1. Bessere Bildqualität durch Weglassen des Zwischenspeichers: Am Ende der Belichtungszeit wird der Helligkeitswert im Global Shutter Pixel in eine Speicherzelle „weggerettet“. Das können bei sehr modernen Sensoren die Elektronen sein oder die schon umgewandelte echte Spannung. Mit Zeit und Temperatur kann sich diese lagernde Information nachteilig verändern, denn die letzte Zeile wartet ja die gesamte Dauer eines Frames darauf, endlich abgeholt zu werden.

Die Folge sind je nach Sensorkonstruktion verstärkte Hotpixelbildung und eine Erhöhung des Schwarzwertes sowie des Bildrauschens. Der Rolling Shutter Sensor hingegen wandelt die Helligkeitsinformation direkt ohne diesen Zwischenschritt um.

2. Keine Geisterbilder: Ein Global Shutter Sensor kann Geisterbilder erzeugen, die bei Außenaufnahmen im Sonnenlicht stören. Denn dies ist eine Extremsituation für jeden Sensor: extrem viel Licht bei gleichzeitig sehr kurzer Belichtungszeit in Größenordnungen von 10 bis 30 µs.

Die im Zwischenspeicher liegende Information ist nach der Aufnahme und vor dem Auslesen zudem noch indirekt dem Licht ausgesetzt. Elektronen aus der Photodiode wandern hier herüber und erzeugen eine Nachbelichtung. Die Folge sind Geisterbilder, d.h. die Objektbewegung kann auch nach Beendigung der Belichtungszeit als Überlagerung im Bild verfolgt werden. Ein Rolling Shutter Sensor weist diese Eigenheit nicht auf.

Die Aufnahme links zeigt einen Global Shutter Sensor bei extrem kurzer Belichtungszeit und hohem Gain. Deutlich ist das Nachziehen von hellen Bildstellen zu erkennen, rechts beim Rolling Shutter Sensor ist das Bild ohne Schlieren.

5. Die Sony STARVIS Sensoren

Das Unternehmen Sony hat mit den Sensoren der STARVIS-Reihe eine neue Rolling Shutter Sensorfamilie im Angebot, die konsequent auf Bildqualität optimiert ist. STARVIS-Sensoren besitzen ein extrem niedriges Rauschen von nur 2 Elektronen pro Sekunde. Da der Pixel selbst weniger Komponenten besitzt, kann er mit der größeren Photodiode auch mehr Ladungen aufnehmen. Diese hohe Ladungskapazität ergibt mit dem niedrigen Grundrauschen des Sensors dann die gewünschte, sehr hohe Dynamik; für viele Anwendungen einer der wichtigsten Schlüsselparameter.

Ein weiterer Zusatznutzen der Rolling Shutter STARVIS Sensoren ist die Möglichkeit der Langzeitbelichtung. Die Sensoren erreichen in der IDS Implementierung 120 Sekunden Belichtungszeit. Das ermöglicht den Einsatz in neuen Anwendungsfeldern wie bspw. im Bereich der Mikroskopie und Analyse, da dort oftmals wenig Licht vorhanden und dadurch eine lange Belichtungszeit notwendig ist. Die Geschwindigkeit der Objektbewegung spielt hier in der Regel keine Rolle, was einen teureren Global Shutter Sensor somit obsolet macht.

Eine gängige Anwendung für IDS Kameras mit Rolling Shutter Sensoren ist beispielsweise das riesige Feld der Qualitätssicherung. Egal ob Proben positioniert oder Maschinen visuell eingerichtet werden, Lebensmittel intensiv in Größe und Qualität geprüft und anschließend sortiert werden oder Oberflächen bei Druck- und Beschichtungsprozessen analysiert und kontrolliert werden. Weitere Einsatzgebiete in denen sich die Sensoren bewährt haben: Medical, Bio, Science, Traffic, Kiosk, Reading und Detection.

6. Zusammenfassung

Die von IDS in verschiedene Industriekameras mit USB 3.0, USB 3.1 Gen.1 und GigE-Schnittstelle implementierten Sensoren IMX178 und IMX290 der Sony STARVIS Serie ermöglichen sehr hochwertige Lösungen ideal für preissensible Projekte mit mittlerem und hohem Volumen. Speziell in der Kombination mit unseren USB 3.1 Gen 1 uEye LE Boardlevel-Kameras bieten sie vielfältige Optionen zur individuellen Anpassung an Ihre Anwendung, wie bspw. die Wahl M12-, C-/CS-Mount oder reiner Platinenvariante.

Kameramodelle (USB)
UI-3860CP
UI-3860LE
UI-3880CP
UI-3880LE
Sensor
Sony IMX290
(2,12 MP)
Sony IMX178
(6,41 MP)
SNR 40,5 dB/ 6,7 Bit 41,2 dB/ 6,8 Bit
QE @ 533 nm 78% 72%
Linearitätsfehler 0,04% 0,18%
Dynamik 70,5 dB/ 11,7 Bit 71,3 dB/ 11,8 Bit
Dark Noise 2,7e-/s 2,9e-/s
 
Die EMVA 1288 Messwerte belegen die außergewöhnlichen Eigenschaften der IDS Kameras mit Sony STARVIS Sensoren.