DE19816003A1 - Verfahren zum Korrigieren der Grauwerte von Bildern einer digitalen Infrarot-Kamera - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zum Korrigieren der Grauwerte von Bildern einer digitalen Infrarot-Kamera mit einem zweidimensionalen Detektor, wobei in einem Speicher eines Bildverarbeitungssystems Korrekturkoeffizienten K¶j¶ für jeden Bildpunkt j abgelegt sind und die Korrekturkoeffizienten K¶j¶ mit Hilfe eines dynamischen Korrekturverfahrens ständig verbessert werden. Diese Verfahren weisen jedoch den Nachteil auf, daß stationäre Objekte mit hoher Ortsfrequenz, zum Beispiel Kanten, auf Dauer durch das Korrekturverfahren aufgelöst werden und in die "verbesserten" Korrekturkoeffizienten mit eingehen. Bei einem Szenenwechsel treten dann sogenannte Geisterbilder auf, die von den "verbesserten" Korrekturkoeffizienten verursacht werden. DOLLAR A Damit stationäre Objekte mit hoher Ortsfrequenz keinen Einfluß auf die Korrekturkoeffizienten haben, werden das Bild auf dem Detektor und der Detektor relativ zueinander bewegt.

Description

Die AIM AEG Infrarot Module GmbH fertigt seit den siebziger Jahren hochwertige Infrarotdetektoren mit den dazugehörigen Komponenten wie Kühler und Ausleseelektronik. Eingesetzt werden die Detektoren im militärischen Bereich, in Forschung, Medizin und Industrie. Bei den Detektoren der neuesten Generation sind die Einzelelemente in einer zweidimensionalen Struktur in der Fläche angeordnet und benötigen keinen mechanischen Scanner zur Bilderzeugung mehr. Bei dem zweidimensionalen Detektor kann eine Szene direkt durch eine geeignete Optik auf den photosensitiven Chip abgebildet werden. Die Einzelelemente werden seriell ausgelesen und durch die weitere elektronische Datenverarbeitung wieder zu einer zweidimensionalen Datenstruktur, einem Bild, zusammengesetzt.

Durch die technologisch bedingte Inhomogenität des Detektors in den Einzelelementen entsteht ein Abbildungsfehler. Es treten sowohl zeitinvariante als auch Zeitvariante Inhomogenitäten auf. Aus der DE 197 15 983 .4 ist ein Verfahren zum Korrigieren der Grauwerte von Bildern einer digitalen Infrarot-Kamera bekannt, bei dem in einem Speicher eines Bildverarbeitungssystems Korrekturkoeffizienten K für jeden Bildpunkt j des Detektors abgelegt sind. Das bekannte Verfahren weist folgende Verfahrensschritte auf. Zunächst erfolgt das Erfassen der Grauwerte Uj eines Bildes. Anschließend werden die Grauwerte Uj des Bildes mit Hilfe der Korrekturkoeffizienten K im Bildverarbeitungssystem korrigiert und die korrigerten Grauwerte Ukj zwischengespeichert. Nach dem Filtern der korrigerten Grauwerte Ukj durch einen lokal wirkenden adaptiven Filter M wird der verbleibende Abbildungsfehlers ej mit Hilfe der Grauwerte Ukj des ungefilterten korrigerten Bildes und der Grauwerte F(Ukj) des gefilterten korrigerten Bildes bestimmt und die Korrekturkoeffizienten K mit Hilfe des ermittelten verbleibenden Abbildungsfehlers ej verbessert. Letztlich erfolgt das Ablegen der verbesserten Korrekturkoeffizienten K im Speicher des Bildverarbeitungssystems.

Dieses Bekannte Verfahren weist jedoch den Nachteil auf, daß stationäre Objekte mit hoher Ortsfrequenz, zum Beispiel Kanten, auf Dauer durch das Korrekturverfahren aufgelöst werden und in die "verbesserten" Korrekturkoeffizienten mit eingehen. Bei einem Szenenwechsel treten dann sogenannte Geisterbilder auf, die von den "verbesserten" Korrekturkoeffizienten verursacht werden.

Aufgabe der Erfindung ist es daher, das bekannte Verfahren zum Korrigieren der Grauwerte von Bildern einer digitalen Infrarot-Kamera derart zu verbessern, daß stationäre Objekte mit hoher Ortsfrequenz keinen Einfluß auf die Korrekturkoeffizienten haben.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen der unabhängigen Patentansprüche gelöst. Die weitere Ausgestaltung der Verfahren erfolgt gemäss den Merkmalen der abhängigen Ansprüche.

Bei einem Verfahren zum Korrigieren der Grauwerte von Bildern einer digitalen Infrarot-Kamera mit einem zweidimensionalen Detektor, wobei in einem Speicher eines Bildverarbeitungssystems Korrekturkoeffizienten Kj für jeden Bildpunkt j abgelegt sind und die Korrekturkoeffizienten Kj mit Hilfe eines dynamischen Korrekturverfahrens ständig verbessert werden, ist es vorgesehen das Bild auf dem Detektor und den Detektor relativ zueinander zu bewegen. Dadurch wird erreicht, daß bei statischen Szenen mit stationären Objekte hoher Ortsfrequenz diese keinen Einfluss auf die Verbesserung der Korrekturkoeffizienten haben, da sich der Ort der Abbildung auf dem Detektor ändert.

Es ist weiterhin vorgesehen, daß das Bild auf dem Detektor und der Detektor zyklisch zueinander bewegt werden. Dadurch ist die Bewegung einfach durch periodische Maßnahmen zu erreichen. Die Auswertung kann entsprechend einfach erfolgen.

In einer vorteilhaften Ausgestaltung des Verfahrens erfolgt die relative Bewegung des Bildes um einen Bruchteil des Abstandes zwischen den Pixeln in relativer Bewegungsrichtung zwischen Abbildung und Detektor.

Es ist besonders vorteilhaft, wenn die relative Bewegung des Bildes um den halben Abstandes zwischen den Pixeln in Bewegungsrichtung erfolgt. Dann erzielt man bei entsprechender Aufbereitung der Bildinformation eine Verdoppelung der Auflösung des Bildes gegenüber der physikalischen Auflösung des Detektors.

In einer weiteren Ausgestaltung ist es vorgesehen, daß durch die zyklische Bewegung zunächst Positionen zwischen benachbarten Pixeln, dann Positionen zwischen entfernteren Pixeln eingenommen werden. Dieser spezielle weg der Bewegung des Bildes auf dem Detektor sorgt dafür, daß der zeitliche Abstand zwischen den Bildern hinsichtlich der Zusammenführung zu einem Gesamtbild höherer Auflösung optimiert ist.

Es ist vorgesehen jeweils 4 Bilder zu einem Gesamtbild mit doppelter Auflösung zusammen zu setzen. Dabei werden die Korrekturkoeffizienten auf jedes (Teil-) Bild angewendet.

Bei einer digitalen Infrarot - Kamera mit einem zweidimensionalen Detektor und einem Bildverarbeitungssystem, wobei in einem Speicher des Bildverarbeitungssystems Korrekturkoeffizienten Kj für jeden Bildpunkt j des Detektors abgelegt sind und die Korrekturkoeffizienten Kj mit Hilfe eines dynamischen Korrekturverfahrens ständig verbessert werden ist ein Mikroscanner im Strahlengang der Infrarot - Kamera angeordnet, der das Bild auf dem Detektor und relativ zum Detektor bewegt.

Kurze Beschreibung der Figuren:

Fig. 1 zeigt die Abfolge der Zentrumslage eines Bildpunktes der Szene um 4 Bildpunkte des Detektors.

Fig. 2 zeigt ein Blockdiagramm der Komponenten der Infrarot- Kamera.

Fig. 3 zeigt die Synchronisierung zwischen Mikroscanner und Bildverarbeitung.

Die Erfindung dient der Verbesserung von Bilddaten, die mit Infrarot- Detektormosaiken aufgenommen wurden. Verbessert wird mittels einer optischen Vorkehrung, einem sogenannten Mikroscanner, der die auf die Optik einfallende Bildinformation schrittweise in verschiedene Zwischenpositionen (Fig. 1) um einen Bildpunkt herumführt, und so eine dichtere Abtastung der Szene liefen als es der vorgegebenen Bildpunktezahl des Detektors entspräche. Bei jeder Positionsänderung des Mikroscanners blicken alle Bildpunkte der Detektormatrix auf jeweils eine andere Stelle der beobachteten Szene. Die auf einen bestimmten Bildpunkt des Detektors fallende Information der Szene stammt so nicht mehr spezifisch von einem Punkt der Szene, sondern liefert randomisiert die IR - Strahlung verschiedener Punkte der Szene auf einem Bildpunkt an. Wegen dieser Randomisierung bietet der Mikroscanner im Zusammenspiel mit dem in der Patentanmeldung 197 15 983.4 beschriebenen Korrekturverfahren die Möglichkeit, die Inhomogenitäten des Detektors ohne Hilfe von Referenzstrahlern und ohne Bewegung in der beobachteten Szene zu ermitteln und zu korrigieren. Stationäre Objekte mit hoher Ortsfrequenz, zum Beispiel Kanten, haben wegen der Bewegung der Abbildung auf dem Detektor nun keinen Einfluß auf das Korrekturverfahren.

Die Fig. 1 zeigt in schematischer Darstellung die Abfolge der Zentrumslage eines Punktes der Bildszene nach Ablenkung durch den Mikroscanner. In der Fig. 1 wurden wegen der Übersichtlichkeit vier Bildpunkte A-D des Detektors beispielhaft herausgegriffen und durch Schraffur die IR-aktive Flächen der Detektorelemente gekennzeichnet.

Der Mikroscanner benötigt mehrere Auslesezyklen des gesamten Detektors, um die - im in Fig. 1 gezeigten Beispiel 4 Teilbilder zu einem Vollbild zusammenzusetzen. Das Vollbild beinhaltet dann Daten, die zu 4 verschiedenen Zeitpunkten belichtet und ausgelesen wurden. Benachbarte Bildpunkte stammen bei ungeeigneter Wahl der Abfolge der Positionen dann aus Epochen, die bis zu einer Vollbildzeit - üblicherweise ca. 40 ms - auseinander liegen. Dies wäre im in Fig. 1 gezeigten Beispiel dann für die Positionen 1 und 4 der Fall, wenn die vier Positionen einer gedachten Kreislinie folgend nacheinander angelaufen werden. Die in Fig. 1 gezeigte davon abweichende Folge der vier angelaufenen Positionen in der nicht monoton dem als Kreislinie angezeigten Umlaufsinn folgenden Sequenz 1, 2, 4, 3 ermöglicht bei zeilenweisem Auslesen der Bilddaten nach dem im Folgenden erläuterten Verfahren eine minimierte Zeitdifferenz zwischen der Belichtung eines der vier Teilbilder und dem Auslesen von zwei benachbarten Zeilen und reduziert den zeitlichen Abstand von je zwei benachbarten Bildpunkten auf das Minimum. Bilddaten aus den Epochen 1 und 2 bzw. 3 und 4 liegen je ein Viertel der Vollbildzeit auseinander. Bilddaten aus den Epochen 1 und 4 bzw. 2 und 3 liegen je eine halbe Vollbildzeit auseinander. Der längste zeitliche Abstand zwischen nächsten Nachbarn ist so um Faktor 2 kürzer als bei einer anders gewählten Folge. Diese Eigenschaft ist wichtig für die maschinelle Weiterbearbeitung von Bilddaten, z. B. in Trackern.

Infrarot - Detektoren mit mehr als einem Element, oder selbst Einelement- Detektoren bei Vorhandensein zeitlicher Instabilitäten, weisen aufgrund unvermeidbarer Toleranzen in der Fertigung oder auch zeitlicher Schwankungen Inhomogenitäten im Bild auf. Die verschiedenen Fehler zeigen sich als Helligkeitsschwankungen im Bild, die selbst beim Betrachten völlig homogener Szenen ohne jegliche thermische Signatur nicht verschwinden. Die Fehler führen folglich erst recht zu Bildfehlern in dynamischen Szenen und können formalisiert werden als die inhomogene Verteilung von Gleichspannungs-Untergrund (Offset) und Verstärkungsverlauf (Gain) einzelner Bildpunkte (Pixel) gegenüber dem mittleren Verhalten im Bild. Die Behebung dieser Bildfehler (Non Uniformity) erfolgt mit Hilfe einer geeigneten Hard- und Software, die als NUC (Non Uniformity Correction) bezeichnet wird.

Die Erfindung kombiniert die in der DE 197 15 983.4 beschriebene spezielle NUC mit einem Mikroscanner und liefert folgende Vorteile:

• - die werkseitige Kalibrierung des Detektors genügt, um ohne Bedarf aufwendiger Vor-Ort- Maßnahmen oder schnell bewegter pseudo­ randomisierter Szenen die Inhomogenitäten des Detektors in Echtzeit zu korrigieren,
• - die Fähigkeit zur Kompensation zeitlicher Instabilitäten im Detektor durch einen selbständig lernenden Beobachter-Algorithmus der dynamisch neu entstandene Inhomogenitäten erkennt und beseitigt aber reale Szeneninformationen weitestgehend erhält,
• - die Erhöhung der geometrischen Auflösung des Detektors mittels Mikroscan bei gleichzeitiger Minimierung des zeitlichen Abstands.

Das Verfahren ermöglicht es, nach einer einmal vorgenommenen genauen Vermessung des Detektors zur Identifikation aller Inhomogenitäten einschließlich nichtlinearer Effekte ohne wiederholtes Nachkalibrieren auch thermisch und zeitlich instabile Detektoren, wie z. B. HgCdTe im LWIR (8-10 µm wellenlängenband) zu betreiben ohne eine Verschlechterung des Bildes durch Inhomogenitäten hinnehmen zu müssen. Das Verfahren stellt sich darüber hinaus, in dem Rahmen, in dem die genaue Vermessung des Detektors vorgenommen wurde, selbständig auf dynamische Szenen ein. Das Verfahren kann nach entsprechender Lernzeit durch den Beobachteralgorithmus auch bei Instabilitäten der Betriebsbedingungen oder signifikant schwankenden Szenentemperaturen gut korrigierte Detektordaten liefern ohne eine Nachkalibrierung unter den veränderten Bedingungen zu erfordern.

Ein geeignetes Rechenwerk ist in Fig. 2 schematisch dargestellt. Der Mikroscanner wird über eine PLL vom externen weiterverarbeitenden System synchronisiert. Diese von außen eingeführte PLL Schleife bietet die Möglichkeit, verschiedene Bildquellen wie z. B. einen Tageslicht - Kanal und das Infrarot - Bild zu synchronisieren. Der Mikroscanner erhält dazu ein Signal FFS-S, welch es das erste von z. B. vier Teilbildern des Detektors ab ruft, die später zu einem Vollbild zusammengesetzt werden sollen. Der Mikroscanner liefert seinerseits vier Bild - Synchronpulse FFS-M an den IR - Detektor um von diesem je ein Bild für die angelaufenen Positionen abzuholen. Der IR - Detektor liefert, synchron zu dessen internem Zeitablauf, eigene Zeilen und Bildstart- Pulse LS-D und FS-D an die Bildverarbeitung M-VIP. Der Detektor liefert weiterhin die digitalisierten Daten, im Beispiel 14 Bit tief DD-0-DD13 und eine Information, daß gültige Daten am Ausgang an liegen DV-D.

Der M-VIP beinhaltet mehrere Digital Signalprozessoren, kurz DSP, für nachfolgend beschriebene Aufgaben. Ein DSP korrigiert die - hinter einem First in First Out (FIFO) Speicher als asynchronem Puffer - angelieferten Rohdaten mittels der bekannten Korrekturkoeffizienten. Ein zweiter DSP verbessert kontinuierlich die Korrektur-Koeffizienten mit Hilfe des bekannten Verfahrens. Ein dritter DSP sortiert die Daten frühestmöglich zeilenweise nach der in Fig. 3 gezeigten Folge und liefert sie in ein Ausgangs FIFO. Zwischen den verschiedenen DSPs existieren weitere First in First Out (FIFO) Speicher um eine Asynchronität aller Operationen auf der gleichen Datenbasis korrigierter Bilddaten und der Korrektur-Koeffizienten zu ermöglichen.

Das externe System liefert einen Synchronpuls für die extern als eine Zeile des Vollbilds erscheinende Bildzeile. Dieser Puls LS-S schaltet ein Doppel-FIFO periodisch um, so daß für Ausgangsdaten stets ein FIFO für das externe System zum Lesen und ein zweites für den M-VIP zum Beschreiben zur Verfügung steht.

Der M-VIP liefert dem externen System einen Bildstart-Puls FS-V als Information, daß ein die erste Zeile eines neuen Vollbildes abholbereit ist.

Die Details der zeitlichen Abfolge sind in Fig. 3 schematisch dargestellt.

Claims (8)

1. Verfahren zum Korrigieren der Grauwerte von Bildern einer digitalen Infrarot-Kamera mit einem zweidimensionalen Detektor, wobei in einem Speicher eines Bildverarbeitungssystems Korrekturkoeffizienten Kj für jeden Bildpunkt j abgelegt sind und die Korrekturkoeffizienten Kj mit Hilfe eines dynamischen Korrekturverfahrens ständig verbessert werden dadurch gekennzeichnet, daß das Bild auf dem Detektor und der Detektor relativ zueinander bewegt werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Bild auf dem Detektor und der Detektor zyklisch zueinander bewegt werden.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die relative Bewegung des Bildes um einen Bruchteil des Abstandes zwischen den Pixeln in Bewegungsrichtung erfolgt.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß die relative Bewegung des Bildes um den halben Abstandes zwischen den Pixeln in Bewegungsrichtung erfolgt.

5. Verfahren nach einem der Ansprüche 1-4, dadurch gekennzeichnet, daß durch die zyklische Bewegung zunächst Positionen zwischen benachbarten Pixeln, dann Positionen zwischen entfernteren Pixeln eingenommen werden.

6. Verfahren nach einem der Ansprüche 1-5, dadurch gekennzeichnet, daß 4 Bilder zu einem Gesamtbild mit doppelter Auflösung zusammengesetzt werden.

7. Verfahren nach einem der Ansprüche 1-6, dadurch gekennzeichnet, daß die Korrekturkoeffizienten auf jedes Bild angewendet wird.

8. Digitale Infrarot-Kamera mit einem zweidimensionalen Detektor und einem Bildverarbeitungssystem, wobei in einem Speicher des Bildverarbeitungssystems Korrekturkoeffizienten Kj für jeden Bildpunkt j des Detektors abgelegt sind und die Korrekturkoeffizienten Kj mit Hilfe eines dynamischen Korrekturverfahrens ständig verbessert werden dadurch gekennzeichnet, daß ein Mikroscanner im Strahlengang der Infrarot-Kamera angeordnet ist, der das Bild auf dem Detektor und relativ zum Detektor bewegt.