DE102018123781B4

DE102018123781B4 - Verfahren zum Durchführen einer Shading-Korrektur und optisches Beobachtungsgerätesystem

Info

Publication number: DE102018123781B4
Application number: DE102018123781.2A
Authority: DE
Inventors: Dominik Scherer; Susanne Kohlhammer; Stefan Saur
Original assignee: Carl Zeiss Meditec AG
Current assignee: Carl Zeiss Meditec AG
Priority date: 2018-09-26
Filing date: 2018-09-26
Publication date: 2023-08-03
Anticipated expiration: 2038-09-27
Also published as: US20200098151A1; US11954766B2; US11295484B2; US20220189079A1; DE102018123781A1

Abstract

Verfahren zum Durchführen einer Shading-Korrektur für ein mit wenigstens einem Bildsensor (23, 63) eines optischen Beobachtungsgeräts (2, 48) gewonnenes digitales Bild von einem dreidimensionalen Beobachtungsobjekt (70), welches mit eine bestimmte Intensitätsverteilung aufweisendem Beleuchtungslicht (74) beleuchtet wird, wobei im digitalen Bild von dem Beobachtungsobjekt (70) eine Inhomogenität in der Bildhelligkeit vorliegt, mit den Schritten:- Ermitteln der Topografie des dreidimensionalen Beobachtungsobjekts (70);- Korrigieren der Inhomogenität in der Bildhelligkeit des digitalen Bildes anhand wenigstens der ermittelten Topografie und der Intensitätsverteilung des Beleuchtungslichts (74).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Durchführen einer Shading-Korrektur für ein mit einem Bildsensor eines optischen Beobachtungsgeräts gewonnenes digitales Bild von einem dreidimensionalen Beobachtungsobjekt, welches mit eine bestimmte Intensitätsverteilung aufweisendem Beleuchtungslicht beleuchtet wird. Daneben betrifft die vorliegende Erfindung ein optisches Beobachtungsgerätesystem mit einem optischen Beobachtungsgerät, welches wenigstens einen Bildsensor zum Aufnehmen digitaler Bilder von einem dreidimensionalen Beobachtungsobjekt umfasst, und einer Beleuchtungseinrichtung zum Beleuchten des Beobachtungsobjekts mit eine bestimmte Intensitätsverteilung aufweisendem Beleuchtungslicht. Das optische Beobachtungsgerät mit dem Bildsensor kann ein Mikroskop sein, insbesondere ein Stereomikroskop wie beispielsweise ein Operationsm ikroskop.
Bei manchen optischen Beobachtungsgeräten, etwa bei Operationsmikroskopen, aber gelegentlich auch bei anderen Mikroskopen, soll eine Mittenbetonung der Beleuchtung für einen angenehmen Seheindruck beim Einblick in ein Okular sorgen. Eine Mittenbetonung der Beleuchtung bedeutet dabei, dass die Beleuchtungsintensität im Objektfeld so eingestellt wird, dass die Bildhelligkeit am Rand des mit dem Okular betrachteten Bildfeldes gegenüber dem Zentrum des Bildfeldes abfällt. Dies soll im optischen Pfad, d.h. wenn der Nutzer mit einem Okular ein mit rein optischen Mitteln generiertes Zwischenbild betrachtet, für ein angenehmeres Sehen sorgen. Von besonderer Bedeutung ist die mittenbetonte Beleuchtung aber für Fluoreszenzanwendungen. In diesen liegt der interessierende Bereich des Objektfeldes in der Regel im Zentrum des Bildfeldes. Durch die Beleuchtung des Objektfeldes derart, dass die Bildhelligkeit im Zentrum des Bildfeldes höher als an seinem Rand ist, führt dabei dazu, dass die Intensität der Beleuchtung im interessierenden Bereich des Objektfeldes, d.h. in dem Bereich, an dem die Fluoreszenz angeregt werden soll, gegenüber den umgebenden Bereichen erhöht ist. Dies führt zu einem besonders starken Fluoreszenzsignal, was vor allem bei sogenannten niedriggradigen Tumoren eine hohe Bedeutung hat.
Wird das Bildfeld statt mit einem Okular betrachtet zu werden von einem Bildsensor aufgenommen und schließlich auf einem Monitor dargestellt, wirkt sich die zum Rand hin abfallende Bildhelligkeit jedoch negativ aus. Daher ist man bemüht, diesen Randabfall mit Hilfe einer sogenannten Shading-Korrektur zu korrigieren, um zu einer gleichmäßigen Bildhelligkeit im gesamten digitalen Bild zu gelangen.
Eine zum Rand hin abfallende Bildhelligkeit kann statt durch eine mittenbetonte Beleuchtung auch durch Vignettierungen, Linsentrübungen, Verunreinigungen, etc. im Beobachtungsstrahlengang verursacht werden. Bei Proben, die sich in Tröpfchen befinden, kann zudem eine Inhomogenität in der Beleuchtung beim Durchtritt des Beleuchtungslichtes durch die Tröpfchen hervorgerufen werden.
Um derartige Inhomogenität auszugleichen, sind Shading-Verfahren bekannt, in denen wenigstens ein Bild von dem Objektfeld aufgenommen wird, ohne dass sich darin eine Probe befindet, um daraus die Verteilung der Beleuchtungsintensität in der Objektebene zu ermitteln und schließlich einen Korrekturfaktor zu berechnen, der dann auf das Bild mit dem im Objektfeld befindlichen Beobachtungsobjekt angewendet wird. Derartige Verfahren zur Shading-Korrektur sind beispielsweise in US 2010/0188497 A1 und DE 10 2014 107 933 A1 beschrieben.
Aus der WO 2017/104271 A1 ist eine Shading-Korrektur im Rahmen eines Inspektionsverfahrens bekannt, bei dem ein Objekt mittels Fluoreszenz untersucht wird. Im Rahmen der Shading-Korrektur wird eine Anzahl von Bildern von einer fluoreszierenden Oberfläche bei verschiedenen Arbeitsabständen aufgenommen. Auf der Basis der aufgenommenen Bilder werden dann Koeffizienten für die Shading-Korrektur berechnet.
Aus US 2018/0075583 A1 ist eine Bildaufnahmevorrichtung wie beispielsweise eine Digitalkamera oder ein Smartphone bekannt, die eine Bildverarbeitungseinheit aufweist, welche saturierte Pixel in einem aufgenommenen Bild rekonstruiert und emulierte Bilder generiert.
In US 2017/0221196 A1 ist eine Shading-Korrektur erwähnt, jedoch nicht näher beschrieben.
Aus EP 3 021 257 A1 ist eine Vorrichtung zum Ermitteln der Position und/oder der Form eines Objekts, das sich in einem Abstand von der Vorrichtung befindet, bekannt.
Die US 2003/0198398 A1 beschreibt ein Bildkorrekturverfahren für einen Kopierer, das eine Shading-Korrektur anhand einer weißen Referenzfläche beinhaltet.
Daneben sind Shading-Korrekturen anhand von Algorithmen bekannt. Die US 2009/0268053 A1 und die US 2018/0059398 A1 beschreiben eine Shading-Korrekturen, in denen für jedes Pixel im digitalen Bild ein Korrekturfaktor berechnet wird. In US 2009/0268053 A1 erfolgt das Berechnen der Korrekturfaktoren anhand der Aufnahme von Rohbildern mit wenigstens zwei unterschiedlichen Standardbeleuchtungen, für die jeweils Korrekturen berechnet werden. Diese Korrekturen werden gespeichert und beim Aufnehmen eines Bildes wird eine der Korrekturen in Abhängigkeit von der Beleuchtungssituation ausgewählt. In US 2018/0059398 A1 werden erste und zweite Bildgruppen aus unterschiedlichen Richtungen aufgenommen und die Korrekturfaktoren auf der Basis dieser Bilder berechnet. Aus EP 2 796 916 A1 ist außerdem ein Verfahren zur Shading-Korrektur bekannt, in dem ein Korrekturbild aus einer Anzahl von Bildern mit einem gemeinsamen Bildabschnitt berechnet wird. Die GB 2 370 440 B beschreibt zudem ein Verfahren zur Shading-Korrektur, in dem beim Berechnen der Shading-Korrektur der Einfallswinkel des Beleuchtungslichtes auf einen Film Berücksichtigung findet.
Die beschriebenen Verfahren zur Shading-Korrektur liefern gute Ergebnisse, wenn die Beleuchtungssituation bei der eigentlichen Aufnahme im Wesentlichen der Beleuchtungssituation bei der Aufnahme des Referenzbildes entspricht und sich das Beobachtungsobjekt im Wesentlichen innerhalb der Objektebene liegt, für die die Referenzmessungen durchgeführt worden sind. Bei manchen optischen Beobachtungsgeräten wie beispielsweise bei Operationsmikroskopen sind diese Voraussetzungen jedoch nicht erfüllt. Bei Operationsmikroskopen weisen die beobachteten Beobachtungsobjekte in der Regel eine dreidimensionale Topographie auf. Zudem kann sich während der Anwendung des Operationsmikroskops, also beispielsweise während einer Operation, die Orientierung des Operationsmikroskops relativ zum Beobachtungsobjekt variieren, wodurch sich der Beleuchtungswinkel, unter dem das Objekt beleuchtet wird, ändert. Insbesondere bei Objekten mit ausgeprägt dreidimensionaler Topographie ist die Variation der in der Bildhelligkeit sehr stark vom Beleuchtungswinkel abhängig und zudem auch von der Verteilung der Beleuchtung über den Beleuchtungslichtkegel. Die beschriebenen Verfahren zur Shading-Korrektur liefern daher häufig keine befriedigenden Ergebnisse. Im Falle anderer Auflichtmikroskope (bei denen die Beleuchtung das Beobachtungsobjekt nicht durchstrahlt) als Operationsmikroskopen können bei Beobachtungsobjekten mit ausgeprägt dreidimensionaler Topographie ähnliche Schwierigkeiten auftreten, so dass die beschriebenen Verfahren zur Shading-Korrektur auch bei anderen Auflichtmikrosopen unbefriedigende Ergebnisse liefern können.
Es ist daher Aufgabe der vorliegenden Erfindung, ein vorteilhaftes Verfahren zum Durchführen einer Shading-Korrektur zur Verfügung zu stellen, welches insbesondere auch für einen großen Bereich an Orientierungen eines optischen Beobachtungsgeräts relativ zum Beobachtungsobjekt gute Ergebnisse liefert. Daneben ist es eine Aufgabe der Erfindung, ein vorteilhaftes optisches Beobachtungssystem mit einem optischen Beobachtungsgerät zur Verfügung zu stellen, welches mit einer Shading-Korrektureinrichtung ausgestattet ist, die insbesondere auch für einen großen Bereich an Orientierungen des optischen Beobachtungsgeräts relativ zum Beobachtungsobjekt gute Ergebnisse liefert.
Die erste Aufgabe wird durch ein Verfahren zum Durchführen einer Shading-Korrektur nach Anspruch 1 gelöst, die zweite Aufgabe durch ein optisches Beobachtungsgerätesystem nach Anspruch 14. Die abhängigen Ansprüche enthalten vorteilhafte Ausgestaltungen der Erfindung.
Erfindungsgemäß wird ein Verfahren zum Durchführen einer Shading-Korrektur für ein mit einem Bildsensor eines optischen Beobachtungsgerätes gewonnenes digitales Bild von einem dreidimensionalen Beobachtungsobjekt, welches mit eine bestimmte Intensitätsverteilung aufweisenden Beleuchtungslicht beleuchtet wird, wobei im digitalen Bild von dem Beobachtungsobjekt eine Inhomogenität in der Bildhelligkeit vorliegt, zur Verfügung gestellt. Das optische Beobachtungsgerät kann beispielsweise ein Mikroskop, insbesondere ein Auflichtmikroskop wie etwa ein Operationsmikroskop sein. Das Verfahren umfasst die Schritte:

- Ermitteln der Topographie des dreidimensionalen Beobachtungsobjekts; und
- Korrigieren der Inhomogenität in der Bildhelligkeit des digitalen Bildes anhand wenigstens der ermittelten Topographie und der Intensitätsverteilung des Beleuchtungslichtes. Die Inhomogenität in der Bildhelligkeit kann dabei durch ein vorgegebenes inhomogenes Intensitätsprofil des Beleuchtungslichtes zumindest mitverursacht sein, wobei das vorgegebene Intensitätsprofil dann in der Intensitätsverteilung des Beleuchtungslichts Berücksichtigung findet.

Da im erfindungsgemäßen Verfahren neben der Intensitätsverteilung des Beleuchtungslichtes auch die ermittelte Topographie Berücksichtigung finden, kann die Shading-Korrektur auch bei ausgeprägt dreidimensionalen Topographien für einen großen Bereich an Beleuchtungswinkeln genau ermittelt werden. Die Topographie des dreidimensionalen Beobachtungsobjektes gibt dabei die geometrische Gestaltung der Oberfläche des Beobachtungsobjekts beispielsweise in Form einer Tiefenkarte an.
Das Korrigieren der Inhomogenität in der Bildhelligkeit des digitalen Bildes kann insbesondere ein Ermitteln von Korrekturfaktoren für die Helligkeit der Pixel oder für die Helligkeit von Pixelgruppen im digitalen Bild umfassen. Dabei besteht auch die Möglichkeit, die Verwendung von Korrekturfaktoren für einzelne Pixel oder von Korrekturfaktoren für Pixelgruppen vom Ort im Bild abhängig zu machen. Beispielsweise kann es in Bildern oder in Bildbereichen, in denen die Intensitätsverteilung im Beleuchtungslicht sowie die geometrischen und topografischen Gegebenheiten nur zu schwach variierender Bildhelligkeit führen, ausreichen, Korrekturfaktoren für Pixelgruppen zu berechnen, wohingegen es in Bildern oder Bildbereichen, in denen die Intensitätsverteilung im Beleuchtungslicht sowie die geometrischen und topografischen Gegebenheiten zu stark variierender Bildhelligkeit führen, vorteilhaft sein kann, von Korrekturfaktoren für einzelne Pixel zu berechnen. Durch das Ermitteln von Korrekturfaktoren für die Helligkeit der Pixel oder für die Helligkeit von Pixelgruppen im digitalen Bild wird eine Shading-Korrektur möglich, die für unterschiedliche Gegebenheiten jeweils die notwendige Auflösung in der Korrektur ermöglicht.
Für die Berechnung der Korrekturfaktoren kann insbesondere die Inverse der Intensitätsverteilung des Beleuchtungslichtes innerhalb einer virtuellen Ebene, deren Lage in Bezug auf das Beobachtungsobjekt bekannt ist, gebildet werden. Die Korrekturfaktoren werden dann anhand einer Projektion der innerhalb der virtuellen Ebene gebildeten Inversen der Intensitätsverteilung auf die Topographie des dreidimensionalen Beobachtungsobjektes berechnet. Unter einer virtuellen Ebene soll in diesem Zusammenhang eine gedachte Ebene in einer beliebigen Orientierung zum Beobachtungsobjekt zu verstehen sein, die den Beleuchtungslichtkegel schneidet, solange die Orientierung so ist, dass der Beleuchtungslichtkegel in der virtuellen Ebene von einer geschlossenen Kontur bspw. in Form eines Kreises oder einer Ellipse begrenzt ist. In dieser Ausgestaltung liefert die Inverse der Intensitätsverteilung des Beleuchtungslichtes innerhalb der virtuellen Ebene ein Maß für die Intensitätsverteilung des Beleuchtungslichtes, welches dann durch die Projektion auf die Topographie für jeden Pixel oder jede Pixelgruppe geeignet skaliert werden kann.
Die Intensitätsverteilung des Beleuchtungslichtes innerhalb der virtuellen Ebene kann durch eine Kalibrierungsmessung ermittelt werden. Alternativ kann die Intensitätsverteilung des Beleuchtungslichtes innerhalb der virtuellen Ebene unter Berücksichtigung der Abstrahlcharakteristik der das Beleuchtungslicht aussendenden Beleuchtungslichtquelle sowie der Lage und ggf. der Orientierung der Beleuchtungslichtquelle (falls diese nicht als Punktlichtquelle angesehen werden kann) in Bezug auf die virtuelle Ebene berechnet werden. Bei dieser Berechnung kann außerdem wenigstens einer der folgenden Einstellparameter einer die Beleuchtungslichtquelle enthaltenden Beleuchtungseinrichtung berücksichtigt werden: Ein Einstellparameter, der eine Zoomstellung der Beleuchtungseinrichtung kennzeichnet, ein Einstellparameter, der einen Fokusabstand der Beleuchtungseinrichtung kennzeichnet, ein Einstellparameter, der eine Blendeneinstellung der Beleuchtungseinrichtung kennzeichnet. Eine Berücksichtigung eines oder mehrerer dieser Parameter ermöglicht es, für jede Einstellung der Beleuchtungseinrichtung die Intensitätsverteilung des Beleuchtungslichtes innerhalb der virtuellen Ebene mit hinreichender Genauigkeit zu berechnen. Im Falle von Kalibrierungsmessungen können Kalibrierungsmessungen für unterschiedliche Kombinationen der genannten Parameter stattfinden. Die Kalibrierungsmessung hat gegenüber der Berechnung den Vorteil, dass sie eine höhere Genauigkeit beim Ermitteln der Intensitätsverteilung des Beleuchtungslichtes innerhalb der virtuellen Ebene ermöglicht. Beim Berechnen der Intensitätsverteilung fällt dagegen der Zusatzaufwand für die Kalibrierungsmessung weg. Je nachdem, wie hoch die benötigte Genauigkeit ist, kann also entweder das Kalibrierungsverfahren oder das Berechnungsverfahren zur Anwendung kommen. Wenn beim Ermitteln der Intensitätsverteilung des Beleuchtungslichtes innerhalb der virtuellen Ebene Einstellparameter berücksichtigt werden, die eine Zoomstellung und/oder einen Fokusabstand und/oder eine Blendenstellung der Beleuchtungseinrichtung kennzeichnen, reicht es in der Regel aus, für einige wenige Zoomstufen und/oder Fokusabstände und/oder Blendeneinstelllungen jeweils eine Kalibrierungsmessung vorzunehmen oder eine Intensitätsverteilung zu berechnen. Intensitätsverteilungen innerhalb der virtuellen Ebene bei Parameterwerten der Zoomstellung und/oder des Fokusabstandes und/oder der Blendeneinstellung, die nicht den während der Kalibrierungsmessungen verwendeten Parameterwerten bzw. den bei der Berechnung der Intensitätsverteilung verwendeten Parameterwerten entsprechen, können aus den bei dem Kalibrierungsmessungen ermittelten Intensitätsverteilungen bzw. aus den berechneten Intensitätsverteilungen interpoliert werden.
Es ist vorteilhaft, wenn die Intensitätsverteilung innerhalb der virtuellen Ebene vor der Projektion auf die Topographie des dreidimensionalen Beobachtungsobjektes normiert wird. Durch die Normierung wird der Intensitätsverteilung innerhalb der virtuellen Ebene unabhängig von der absoluten Intensität der Beleuchtungslichtquelle. Die Normierung kann dabei insbesondere bei einer mittenbetonten Beleuchtung so erfolgen, dass der Wert der normierten Intensitätsverteilung innerhalb der virtuellen Ebene im Zentrum des innerhalb der virtuellen Ebene gebildeten Lichtflecks den Wert „1“ besitzt, so dass keine durch die Shading-Korrektur veranlasste Korrektur der Bildhelligkeit im Zentrum des Bildes stattfindet und die Korrektur auf die Randbereiche des Bildes beschränkt ist..
Zum Ermitteln der Topographie des dreidimensionalen Beobachtungsobjektes stehen verschiedene Verfahren zur Verfügung. In einem ersten Verfahren ist das optische Beobachtungsgerät zum Aufnehmen stereoskopischer Bilder ausgebildet. In diesem Fall wird die Topographie des dreidimensionalen Beobachtungsobjektes anhand der aufgenommenen stereoskopischen Bilder ermittelt. Dieses Verfahren ist insbesondere bei Stereomikroskopen, die in jedem Stereokanal bereits einen Bildsensor aufweisen, vorteilhaft, da dann anhand der mit den Kameras aufgenommenen Bilder die Topographie mittels einer geeigneten Software berechnet werden kann, ohne dass die Installation einer zusätzlichen Hardware im Strahlengang des Mikroskops notwendig ist. Zudem ist in dieser Ausgestaltung die Topografie relativ zu den Bildsensoren erfasst, so dass die Topografie im Koordinatensystem des optischen Beobachtungsgeräts und damit der Bildsensoren, mit denen auch das zu korrigierende Bild aufgenommen wird, beschrieben werden kann.
Eine zweite Möglichkeit zum Ermitteln der Topographie des dreidimensionalen Beobachtungsobjektes besteht darin, die Topographie des dreidimensionalen Beobachtungsobjektes anhand eines mit einem Time-of-Flight-Kamerasystem aufgenommenen Bildes von dem Objekt zu ermitteln. Time-of-Flight-Kamerasysteme zeichnen sich dadurch aus, dass sie Bilder mit einer hohen Bildwiederholrate aufnehmen können, so dass die Topographie des Beobachtungsobjektes mit einer hohen Rate aktualisiert werden kann. Dies ist insbesondere bei Beobachtungsobjekten vorteilhaft, die raschen Änderungen ihrer Topographie unterworfen sind. Falls die Lage und die Orientierung der Bildsensoren relativ zum Beobachtungsubjekt sowie die Lage und die Orientierung des Time-of-Flight-Kamerasystems relativ zum Beobachtungsubjekt in unterschiedlichen Koordinatensystemen gegeben sind, erfolgt in dieser Ausgestaltung noch eine Koordinatentransformation, um die Topografie im Koordinatensystem der Bildsensoren zu beachreiben.
Eine dritte Möglichkeit zum Ermitteln der Topographie des Beobachtungsobjektes besteht darin, eine Beleuchtungseinrichtung zum strukturierten Beleuchten des Beobachtungsobjektes vorzusehen und die Topographie des dreidimensionalen Beobachtungsobjektes anhand der Verzerrung der Struktur der Beleuchtung in einem während des strukturierten Beleuchtens aufgenommenen Bild von dem Beobachtungsobjekt, welches insbesondere mit dem wenigstens einen Bildsensor des optischen Beobachtungsgeräts aufgenommen werden kann, zu ermitteln. Die strukturierte Beleuchtung kann insbesondere auch in einer Beleuchtungseinrichtung des optischen Beobachtungsgerätes realisiert sein. Wenn eine strukturierte Beleuchtung zur Anwendung kommt, kann das strukturierte Beleuchten des Beobachtungsobjektes insbesondere in einem Spektralbereich erfolgen, der außerhalb des eigentlichen mit dem optischen Beobachtungsgerät beobachteten Spektralbereichs liegt, also beispielsweise außerhalb des sichtbaren Spektralbereichs oder außerhalb desjenigen Spektralbereichs, in dem eine Fluoreszenz angeregt oder beobachtet werden soll. Diese Ausgestaltung ermöglicht es, die Topographie des Beobachtungsobjektes simultan mit der eigentlichen Beobachtung des Beobachtungsobjektes bzw. der Fluoreszenz zu ermitteln. Anderenfalls muss die Beobachtung für das Ermitteln der Topographie unterbrochen werden. Auch in dieser Ausgestaltung ist die Topografie relativ zu dem Bildsensor erfasst, so dass die Topografie im Koordinatensystem des optischen Beobachtungsgeräts und damit des Bildsensors, mit denen auch das zu korrigierende Bild aufgenommen wird, beschrieben werden kann.
Eine vierte Möglichkeit zum Ermitteln der Topographie des Beobachtungsobjektes besteht darin, die Topografie des dreidimensionalen Beobachtungsobjekts mit Hilfe eines Laser-Scannersystems zu ermitteln. Falls die Lage und die Orientierung des Laser-Scannersystems relativ zum Beobachtungsubjekt sowie die Lage und die Orientierung des Time-of-Flight-Kamerasystems relativ zum Beobachtungsubjekt in unterschiedlichen Koordinatensystemen gegeben sind, erfolgt in dieser Ausgestaltung noch eine Koordinatentransformation, um die Topografie im Koordinatensystem der Bildsensoren zu beachreiben.
Im erfindungsgemäßen Verfahren ist es vorteilhaft, wenn die Topographie des dreidimensionalen Beobachtungsobjektes sowie die räumliche Lage und die Orientierung des wenigstens einen Bildsensors alle im selben Koordinatensystem angegeben sind. Wenn zum Ermitteln der Korrekturfaktoren die Inverse der Intensitätsverteilung des Beleuchtungslichtes innerhalb einer virtuellen Ebene herangezogen wird, ist es zudem vorteilhaft, wenn auch die Lage und die Orientierung der virtuellen Ebene und die Lage der Lichtquelle im selben Koordinatensystem wie die Topographie des dreidimensionalen Beobachtungsobjektes sowie die räumliche Lage und Orientierung des wenigstens einen Bildsensors angegeben sind. Für den Fall, dass die Lichtquelle nicht als Punktlichtquelle anzusehen ist, würde auch die Orientierung der Lichtquelle vorteilhafter Weise im selben Koordinatensystem angegeben sein. Durch die Verwendung desselben Koordinatensystems kann der Rechenaufwand minimiert werden, da Koordinatentransformationen dann nicht erforderlich sind. Um die Topographie des dreidimensionalen Beobachtungsobjektes und die räumliche Lage und Orientierung des wenigstens einen Bildsensors sowie ggf. die Lage und auch die Orientierung der virtuellen Ebene und die Lage der Lichtquelle (falls diese nicht als Punktlichtquelle angesehen werden kann auch die Orientierung der Lichtquelle) im selben Koordinatensystem zu erhalten, können die Topographie, die Lagen und die Orientierungen bspw. unter Zuhilfenahme eines Navigationssystems ermittelt werden.
Ein erfindungsgemäßes optisches Beobachtungsgerätesystem umfasst:

- Ein optisches Beobachtungsgerät, welches wenigstens einen Bildsensor zum Aufnehmen digitaler Bilder von einem dreidimensionalen Beobachtungsobjektes umfasst;
- eine Beleuchtungseinrichtung zum Beleuchten des Beobachtungsobjektes mit einer bestimmten Intensitätsverteilung aufweisenden Beleuchtungslicht;
- eine Topographieermittlungseinheit zum Ermitteln der Topographie des Beobachtungsobjektes; und
- Eine Shading-Korrektureinrichtung.

Die Shading-Korrektureinrichtung ist mit dem wenigstens einen Bildsensor zum Empfang des digitalen Bildes sowie mit der Topographieermittlungseinheit zum Empfang der ermittelten Topographie verbunden. Sie ist dazu eingerichtet, anhand der empfangenen Topographie und der bestimmten Intensitätsverteilung eine Inhomogenität in der Bildhelligkeit des digitalen Bildes zu korrigieren.
In dem erfindungsgemäßen optischen Beobachtungsgerätesystem kann das optische Beobachtungsgerät beispielsweise ein Mikroskop, insbesondere ein Auflichtmikroskop wie etwa ein Operationsmikroskop sein. Außerdem kann die Beleuchtungseinrichtung so ausgestaltet sein, dass sie eine Beleuchtung des Beobachtungsobjekts mit einem vorgegebenen inhomogenen Intensitätsprofil, welches die Inhomogenität in der Bildhelligkeit zumindest mitverursacht, ermöglicht.
Mit dem erfindungsgemäßen optischen Beobachtungsgerätsystem lässt sich das erfindungsgemäße Verfahren ausführen, so dass eine Inhomogenität in der Bildhelligkeit des digitalen Bildes auch dann gut ausgeglichen werden kann, wenn das Beobachtungsobjekt eine ausgeprägte dreidimensionale Topographie aufweist und die Richtungen, unter denen das Beobachtungsobjekt betrachtet wird, wechseln können.
In einer Ausgestaltung des erfindungsgemäßen optischen Beobachtungsgerätesystems ist die Shading-Korrektureinrichtung dazu eingerichtet, Korrekturfaktoren für die Helligkeit der Pixel oder für die Helligkeit von Pixelgruppen im digitalen Bild zu ermitteln. Insbesondere kann die Shading-Korrektureinrichtung dabei dazu eingerichtet sein, die Inverse der Intensitätsverteilung der Beleuchtung innerhalb einer virtuellen Ebene, deren Lage und Orientierung in Bezug auf das Beobachtungsobjekt bekannt ist, zu ermitteln und die Korrekturfaktoren anhand einer Projektion dieser Inversen auf die Topographie des dreidimensionalen Beobachtungsobjektes zu berechnen. Die mit dieser Ausgestaltung der Shading-Korrektureinrichtung verbundenen Vorteile ergeben sich unmittelbar aus dem mit Bezug auf die entsprechenden Verfahrensschritte beschriebenen Vorteile. Auf die Beschreibung der Verfahrensschritte wird daher verwiesen.
Im erfindungsgemäßen optischen Beobachtungsgerätesystem kann die Topographieeinheit insbesondere umfassen:

- Eine Aufnahmeeinheit zum Aufnehmen stereoskopischer Bilder und eine Berechnungseinheit, welche die Topographie des dreidimensionalen Beobachtungsobjektes anhand der aufgenommenen stereoskopischen Bilder berechnet; oder
- ein Time-of-Flight-Kamerasystem und eine Berechnungseinheit, welche die Topographie des dreidimensionalen Beobachtungsobjektes anhand eines mit dem Time-of-Flight-Kamerasystem aufgenommenen Bildes von dem Beobachtungsobjekt berechnet; oder
- eine Beleuchtungseinrichtung zum Strukturierten Beleuchten des Beobachtungsobjektes, eine Aufnahmeeinheit zum Aufnehmen eines Bildes von dem mit der strukturierten Beleuchtung beleuchteten Beobachtungsobjektes und eine Berechnungseinheit, welche die Topographie des dreidimensionalen Beobachtungsobjektes anhand der Verzerrung der Struktur der Beleuchtung in dem Bild von dem von der strukturierten Beleuchtung beleuchteten Beobachtungsobjektes berechnet;
- oder ein Laser-Scanner-System.

Auch die mit den beschriebenen Ausgestaltungen der Topographieermittlungseinheit verbundenen Vorteile ergeben sich unmittelbar aus den Passagen, in denen das Ermitteln der Topographie mit Bezug auf das erfindungsgemäße Verfahren beschrieben worden ist. Auf diese Passagen wird daher verwiesen.
Zusätzliche vorteilhafte Ausgestaltungen des erfindungsgemäßen optischen Beobachtungssystems können aus der Beschreibung des erfindungsgemäßen Verfahrens abgeleitet werden.
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen für die Erfindung unter Bezugnahme auf die beiliegenden Figuren.

1 zeigt den Aufbau eines Operationsmikroskops mit einem optischen Einblick in einer schematischen Darstellung.
2 zeigt schematisch den grundsätzlichen Aufbau eines Varioskopobjektivs.
3 zeigt ein digitales Operationsmikroskop in einer schematischen Darstellung.
4 zeigt eine erste Variante optisches Beobachtungsgerätesystem mit einer Shading-Korrektureinrichtung.
5 zeigt eine zweite Variante optisches Beobachtungsgerätesystem mit einer Shading-Korrektureinrichtung.
6 zeigt anhand eines Ablaufdiagramms das Durchführen einer Shading-Korrektur.
7 zeigt anhand eines Ablaufdiagramms das Berechnen von Korrekturfaktoren im Rahmen der Shading-Korrektur.

Nachfolgend wird mit Bezug auf die 1 der grundsätzliche Aufbau des Operationsmikroskops 2, welches in den nachfolgenden Ausführungsbeispielen für die Erfindung das optische Beobachtungsgerät repräsentiert, erläutert. Die Erfindung kann jedoch auch bei anderen Mikroskopen, insbesondere anderen Auflichtmikroskopen zum Einsatz kommen.
Das in 1 gezeigte Operationsmikroskop 2 umfasst als wesentliche Bestandteile ein einem Objektfeld 3 zuzuwendendes Objektiv 5, das insbesondere als achromatisches oder apochromatisches Objektiv ausgebildet sein kann. Im vorliegenden Ausführungsbeispiel besteht das Objektiv 5 aus zwei miteinander verkitteten Teillinsen, die ein achromatisches Objektiv bilden. Das Objektfeld 3 wird in der Brennebene des Objektivs 5 angeordnet, so dass es vom Objektiv 5 nach Unendlich abgebildet wird. Mit anderen Worten, ein vom Objektfeld 3 ausgehendes divergentes Strahlenbündel 7 wird bei seinem Durchgang durch das Objektiv 5 in ein paralleles Strahlenbündel 9 umgewandelt.
Beobachterseitig des Objektivs 5 ist ein Vergrößerungswechsler 11 angeordnet, der entweder wie im dargestellten Ausführungsbeispiel als Zoom-System zur stufenlosen Änderung des Vergrößerungsfaktors oder als so genannter Galilei-Wechsler zur stufenweisen Änderung des Vergrößerungsfaktors ausgebildet sein kann. In einem Zoom-System, das bspw. aus einer Linsenkombination mit drei Linsen aufgebaut ist, können die beiden objektseitigen Linsen verschoben werden, um den Vergrößerungsfaktor zu variieren. Tatsächlich kann das Zoom-System aber auch mehr als drei Linsen, bspw. vier oder mehr Linsen aufweisen, wobei die äußeren Linsen dann auch fest angeordnet sein können. In einem Galilei-Wechsler existieren dagegen mehrere feste Linsenkombinationen, die unterschiedliche Vergrößerungsfaktoren repräsentieren und im Wechsel in den Strahlengang eingebracht werden können. Sowohl ein Zoom-System, als auch ein Galilei-Wechsler wandeln ein objektseitiges paralleles Strahlenbündel in ein beobachterseitiges paralleles Strahlenbündel mit einem anderen Bündeldurchmesser um. Der Vergrößerungswechsler 11 ist im vorliegenden Ausführungsbeispiel bereits Teil des binokularen Strahlengangs des Operationsmikroskops 1, d.h. er weist eine eigene Linsenkombination für jeden stereoskopischen Teilstrahlengang 9A, 9B des Operationsmikroskops 1 auf. Das Einstellen eines Vergrößerungsfaktors mittels des Vergrößerungswechslers 11 erfolgt im vorliegenden Ausführungsbeispiel über ein motorisch angetriebenes Stellglied, das zusammen mit dem Vergrößerungswechsler 11 Teil einer Vergrößerungswechseleinheit zum Einstellen des Vergrößerungsfaktors ist.
An den Vergrößerungswechsler 11 schließt sich im vorliegenden Beispiel beobachterseitig eine Schnittstellenanordnung 13A, 13B an, über die externe Geräte an das Operationsmikroskop 1 angeschlossen werden können und die im vorliegenden Ausführungsbeispiel Strahlteilerprismen 15A, 15B umfasst. Grundsätzlich können aber auch andere Arten von Strahlteilern Verwendung finden, bspw. teildurchlässige Spiegel. Die Schnittstellen 13A, 13B dienen im vorliegenden Beispiel zum Auskoppeln eines Strahlenbündels aus dem Strahlengang des Operationsmikroskops 2 (Strahlteilerprisma 15B) bzw. zum Einkoppeln eines Strahlenbündels in den Strahlengang des Operationsmikroskops 2 (Strahlteilerprisma 15A). Sie können jedoch auch beide zum Auskoppeln eines Strahlenbündels aus dem Strahlengang des Operationsmikroskops 2 oder beide zum Einkoppeln eines Strahlenbündels in den Strahlengang des Operationsmikroskops 2 ausgebildet sein.
Das Strahlteilerprisma 15A in dem Teilstrahlengang 9A dient im vorliegenden Ausführungsbeispiel dazu, mit Hilfe eines Displays 37, bspw. einer Digital Mirror Device (DMD) oder eines LCD-Displays, und einer zugehörigen Optik 39 über das Strahlteilerprisma 15A Informationen oder Daten für einen Betrachter in den Teilstrahlengang 9A des Operationsmikroskops 1 einzuspiegeln. Im anderen Teilstrahlengang 9B ist an der Schnittstelle 13B ein Kameraadapter 19 mit einer daran befestigten Kamera 21 angeordnet, die mit einem elektronischen Bildsensor 23, bspw. mit einem CCD-Sensor oder einem CMOS-Sensor, ausgestattet ist. Mittels der Kamera 21 kann ein elektronisches und insbesondere ein digitales Bild des Gewebebereichs 3 aufgenommen werden. Als Bildsensor kann insbesondere auch ein Hyper-Spektralsensor Verwendung finden, in dem nicht nur drei Spektralkanäle (bspw. rot, grün und blau) vorhanden sind, sondern eine Vielzahl von Spektralkanälen. Wenn beide Schnittstellen 13A, 13B zum Auskoppeln eines Strahlenbündels aus dem Strahlengang des Operationsmikroskops 2 ausgebildet sind, kann an beide Schnittstellen 13A, 13B jeweils ein Kameraadapter 19 mit einer daran befestigten Kamera 21 angeordnet sein. Auf diese Weise können stereoskopische Bilder aufgenommen werden.
An die Schnittstelle 13 schließt sich im vorliegenden Beispiel beobachterseitig ein Binokulartubus 27 an. Dieser weist zwei Tubusobjektive 29A, 29B auf, welche das jeweilige parallele Strahlenbündel 9A, 9B auf eine Zwischenbildebene 31 fokussieren, also das Beobachtungsobjekt 3 auf die jeweilige Zwischenbildebene 31A, 31B abbilden. Die in den Zwischenbildebenen 31A, 31B befindlichen Zwischenbilder werden schließlich von Okularlinsen 35A, 35B wiederum nach Unendlich abgebildet, so dass ein Betrachter das Zwischenbild mit entspanntem Auge betrachten kann. Außerdem erfolgt im Binokulartubus mittels eines Spiegelsystems oder mittels Prismen 33A, 33B eine Vergrößerung des Abstandes zwischen den beiden Teilstrahlenbündeln 9A, 9B, um diesen an den Augenabstand des Betrachters anzupassen. Mit dem Spiegelsystem oder den Prismen 33A, 33B erfolgt zudem eine Bildaufrichtung.
Das Operationsmikroskop 2 ist außerdem mit einer Beleuchtungseinrichtung 40 ausgestattet, mit der der das Objektfeld 3 mit Beleuchtungslicht beleuchtet werden kann. Hierzu weist die Beleuchtungseinrichtung 40 im vorliegenden Beispiel eine Weißlichtquelle 41, etwa eine Halogenglühlampe oder eine Gasentladungslampe, auf. Das von der Weißlichtquelle 41 ausgehende Licht wird über einen Umlenkspiegel 43 oder ein Umlenkprisma in Richtung auf das Objektfeld 3 gelenkt, um dieses auszuleuchten. In der Beleuchtungseinrichtung 40 ist weiterhin eine Beleuchtungsoptik 45 vorhanden, die für eine gleichmäßige Ausleuchtung des gesamten beobachteten Objektfeldes 3 sorgt. Die Beleuchtungsoptil 45 kann dabei auch ein Zoom-System umfassen, mit dem sich die Größe des Beleuchtungslichtflecks verändern lässt, und/oder ein System, mit dem sich der Fokusabstand der Beleuchtungsoptik variieren lässt. Außerdem kann die Beleuchtungseinrichtung 40 einen Lichtquelle zum Aussenden von Licht, welches im Beobachtungsobjekt eine Fluoreszenz anregt ausgestattet sein. Alternativ kann wie in 1 dargestellt ein Spektralfilter 47 vorhanden sein, der in den Beleuchtungsstrahlengang eingebracht werden kann und der aus dem Licht der Weißlichtquelle 41 nur diejenigen spektralen Bestandteile passieren lässt, die im Beobachtungsobjekt eine Fluoreszenz anregen. In den Beleuchtungsstrahlengang werden dann Filter 40A, 40B eingebracht, welche diejenigen spektralen Bestandteile, die im Beobachtungsobjekt die Fluoreszenz anregen blockieren. Die Beleuchtungseinrichtung 40 umfasst ferner eine Einrichtung, welche eine Beleuchtung des Beobachtungsobjekts mit einem vorgegebenen inhomogenen Intensitätsprofil ermöglicht. Die Einrichtung umfasst in dem in 1 gezeigten Beispiel eine oder mehrere in der Figur schematisch eingezeichnete Blenden und/oder Linsen 49, mit dem sich das Profil des von der Lichtquelle ausgehenden Beleuchtungslichtkegels beeinflussen lässt. Insbesondere lässt sich mit der Einrichtung ein mittenbetontes Beleuchtungsprofil generieren. Die wenigstens eine Blenden und/oder wenigstens eine Linse 49 kann bzw. können bei Bedarf in den Beleuchtungsstrahlengang eingebracht werden. Wenn dauerhaft ein mittenbetontes Beleuchtungsprofil zur Anwendung kommen soll, kann in alternativen Ausgestaltungen die wenigstens eine Blenden und/oder wenigstens eine Linse 49 permanent im Strahlengang angeordnet sein. Weiterhin kann die Beleuchtungseinrichtung Blenden umfassen, mit denen sich eine scharfe Begrenzung des Leuchtfeldes im Objektfeld herbeiführen lässt.
Es sei darauf hingewiesen, dass der in 1 dargestellte Beleuchtungsstrahlengang stark schematisiert ist und nicht notwendigerweise den tatsächlichen Verlauf des Beleuchtungsstrahlengangs wiedergibt. Grundsätzlich kann der Beleuchtungsstrahlengang als sogenannte Schrägbeleuchtung ausgeführt sein, die der schematischen Darstellung in 1 am nächsten kommt. In einer solchen Schrägbeleuchtung verläuft der Strahlengang in einem relativ großen Winkel (6° oder mehr) zur optischen Achse des Objektivs 5 und kann, wie in 1 dargestellt, vollständig außerhalb des Objektivs verlaufen. Alternativ besteht jedoch auch die Möglichkeit, den Beleuchtungsstrahlengang der Schrägbeleuchtung durch einen Randbereich des Objektivs 5 hindurch verlaufen zu lassen. Eine weitere Möglichkeit zur Anordnung des Beleuchtungsstrahlengangs ist die sogenannte 0°-Beleuchtung, bei der der Beleuchtungsstrahlengang durch das Objektiv 5 hindurch verläuft und zwischen den beiden Teilstrahlengängen 9A, 9B, entlang der optischen Achse des Objektivs 5 in Richtung auf das Objektfeld 3 in das Objektiv eingekoppelt wird. Schließlich besteht auch die Möglichkeit, den Beleuchtungsstrahlengang als sogenannte koaxiale Beleuchtung auszuführen, in der ein erster und ein zweiter Beleuchtungsteilstrahlengang vorhanden sind. Die Beleuchtungsteilstrahlengänge werden über einen oder mehrere Strahlteiler parallel zu den optischen Achsen der Beobachtungsteilstrahlengänge 9A, 9B in das Operationsmikroskop eingekoppelt, so dass die Beleuchtung koaxial zu den beiden Beobachtungsteilstrahlengängen verläuft.
In der in 1 gezeigten Ausführungsvariante des Operationsmikroskops 2 besteht das Objektiv 5 lediglich aus einer festbrennweitigen Achromatlinse. Es kann jedoch auch ein Objektivlinsensystem aus mehreren Linsen Verwendung finden, insbesondere ein so genanntes Varioskopobjektiv, mit dem sich der Arbeitsabstand des Operationsmikroskops 2, d.h. der Abstand der objektseitigen Brennebene vom Scheitel der ersten objektseitigen Linsenfläche des Objektivs 5, auch Objektschnittweite genannt, variieren lässt. Auch vom Varioskopobjektiv 50 wird das in der Brennebene angeordnete Objektfeld 3 nach Unendlich abgebildet, so dass beobachterseitig ein paralleles Strahlenbündel vorliegt.
Ein Beispiel für ein Varioskopobjektiv ist schematisch in 2 dargestellt. Das Varioskopobjektiv 50 umfasst ein Positivglied 51, also ein optisches Element mit positiver Brechkraft, das in 2 schematisch als Konvexlinse dargestellt ist. Darüber hinaus umfasst das Varioskopobjektiv 50 ein Negativglied 52, also ein optisches Element mit negativer Brechkraft, das in 2 schematisch als Konkavlinse dargestellt ist. Das Negativglied 52 befindet sich zwischen dem Positivglied 51 und dem Objektfeld 3. Im dargestellten Varioskopobjektiv 50 ist das Negativglied 52 fix angeordnet, wohingegen das Positivglied 51 wie durch den Doppelpfeil 53 angedeutet entlang der optischen Achse OA verschiebbar angeordnet ist. Wenn das Positivglied 51 in die in 2 gestrichelt dargestellte Position verschoben wird, verlängert sich die Schnittweite, so dass sich der Arbeitsabstand des Operationsmikroskops 2 vom Objektfeld 3 ändert.
Obwohl in 2 das Positivglied 51 verschiebbar ausgestaltet ist, besteht grundsätzlich auch die Möglichkeit, das Negativglied 52 statt des Positivglieds 51 entlang der optischen Achse OA bewegbar anzuordnen. Das Negativglied 52 bildet jedoch häufig die Abschlusslinse des Varioskopobjektivs 50. Ein feststehendes Negativglied 52 bietet daher den Vorteil, dass das Innere des Operationsmikroskops 2 leichter gegen äußere Einflüsse abgedichtet werden kann. Weiterhin sei angemerkt, dass, obwohl das Positivglied 51 und das Negativglied 52 in 2 lediglich als Einzellinsen dargestellt sind, jedes dieser Glieder statt in Form einer Einzellinse auch in Form einer Linsengruppe oder eines Kittglieds realisiert sein kann, bspw. um das Varioskopobjektiv achromatisch oder apochromatisch auszubilden.
3 zeigt ein Beispiel für ein digitales Operationsmikroskop 48 in einer schematischen Darstellung. Bei diesem Operationsmikroskop unterscheiden sich das Hauptobjektiv 5, der Vergrößerungswechsler 11 sowie das Beleuchtungssystem 41, 43, 45 nicht von dem in 1 dargestellten Operationsmikroskop 2 mit optischem Einblick. Der Unterschied liegt darin, dass das in 3 gezeigte Operationsmikroskop 48 keinen optischen Binokulartubus umfasst. Statt der Tubusobjektive 29A, 29B aus 1 umfasst das Operationsmikroskop 48 aus 3 Fokussierlinsen 49A, 49B mit denen die binokularen Beobachtungsstrahlengänge 9A, 9B auf digitale Bildsensoren 61A, 61B abgebildet werden. Die digitalen Bildsensoren 61A, 61B können dabei beispielsweise CCD-Sensoren oder als CMOS-Sensoren sein. Die von den Bildsensoren 61A, 61B aufgenommenen Bilder werden digital an digitale Displays 63A, 63B gesendet, die als LED-Displays, als LCD-Displays oder als auf organischen Leuchtioden (OLEDs) beruhende Displays ausgebildet seien können. Den Displays 63A, 63B können wie im vorliegenden Beispiel Okularlinsen 65A, 65B zugeordnet sein, mit denen die auf den Displays 63A, 63B dargestellten Bildern nach unendlich abgebildet werden, so dass ein Betrachter sie mit entspannten Augen betrachten kann. Die Displays 63A, 63B und die Okularlinsen 65A, 65B können Teil eines digitalen Binokulartubus sein, sie können aber auch Teil eines am Kopf zu tragenden Displays (head mounted display, HMD) wie etwa einer Datenbrille sein.
Obwohl in 3 wie in 1 lediglich eine Achromatlinse 5 mit einer festen Brennweite dargestellt ist, kann das in 3 gezeigte Operationsmikroskop 48 wie das in 1 dargestellte Operationsmikroskop 2 ein Varioskopobjektiv statt der Objektivlinse 5 umfassen. Weiterhin ist in 3 eine Übertragung der von den Bildsensoren 61A, 61B aufgenommenen Bilder an die Displays 63A, 63B mittels Kabeln 67A, 67B gezeigt. Statt Kabelgebunden können die Bilder jedoch auch drahtlos an die Displays 63A, 63B übertragen werden, insbesondere dann, wenn die Displays 63A, 63B Teil eines Head Mounted Displays sind.
4 zeigt ein erfindungsgemäßes optisches Beobachtungsgerätesystem mit einem Operationsmikroskop 2, wie es mit Bezug auf die 1 bis 3 erläutert worden ist, als optisches Beobachtungsgerät. Als Bildsensoren zum Aufnehmen digitaler Bilder von einem dreidimensionalen Beobachtungsobjekt 70 können dabei entweder Bildsensoren 23 von Kameras 21, wie sie mit Bezug auf 1 beschrieben worden sind, oder Bildsensoren 61A, 61B, wie sie mit Bezug auf 3 beschrieben worden sind, zum Einsatz kommen. Im vorliegenden Ausführungsbeispiel des optischen Beobachtungsgerätesystems befindet sich in jedem stereoskopischen Teilstrahlengang des Operationsmikroskops 2 eine Kamera 21 mit einem Bildsensor 23, sodass stereoskopische Bilder aufgenommen werden können. Eine im vorliegenden Ausführungsbeispiel im oder am Operationsmikroskop 2 angeordnete Berechnungseinheit 72 empfängt ein stereoskopisches Bild des Beobachtungsobjekts 70 und berechnet anhand der stereoskopischen Teilbilder die Topographie des Beobachtungsobjekts 70, also die dreidimensionale Oberflächengeometrie des Beobachtungsobjekts 70. Die Bildsensoren 23 der Kameras 21 bilden daher zusammen mit der Berechnungseinheit 72 im vorliegenden Ausführungsbeispiel die Topographieermittlungseinheit des optischen Beobachtungsgerätesystems. Mit Hilfe der Bildsensoren 23 der Kameras 21 wird im vorliegenden Ausführungsbeispiel auch das digitale Bild erzeugt, für das eine Shading-Korrektur vorgenommen werden soll.
Das optische Beobachtungsgerätesystem umfasst außerdem eine Beleuchtungseinrichtung 40, wie sie mit Bezug auf 1 beschrieben worden ist. Ein von der Beleuchtungseinrichtung 40 ausgehender Beleuchtungslichtkegel 74 weist im vorliegenden Ausführungsbeispiel ein mittenbetontes Intensitätsprofil auf, um einem Nutzer, der das Beobachtungsobjekt mittels der Okularlinsen 35A, 35B betrachtet, einen angenehmen Seheindruck zu vermitteln. Die Beleuchtungseinrichtung 40 ist im vorliegenden Ausführungsbeispiel in das Operationsmikroskop 2 integriert und damit relativ zu den Bildsensoren 23 des Operationsmikroskops 2 fix angeordnet.
Wenn wie im vorliegenden Ausführungsbeispiel die Topografie anhand mit dem Operationsmikroskop 2 aufgenommener stereoskopischer Teilbilder ermittelt wird, wird die Topografie direkt in Bezug auf die Bildsensoren 23 berechnet, mit denen auch das zu korrigierende Bild aufgenommen wird. Sie kann daher im Koordinatensystem der Bildsensoren 23 und damit im Koordinatensystem des Operationsmikroskops 2 und der Beleuchtungseinrichtung 40 ermittelt werden. Lage und Orientierung der Bildsensoren 23 sowie der Lichtquelle 41 in Bezug auf die Topografie des Beobachtungsobjekts 70 sind somit im selben Koordinatensystem bekannt. Die für die Shading-Korrektur erforderlichen Berechnungen können dann in diesem Koordinatensystem ausgeführt werden.
Falls die Topografie nicht anhand mit dem Operationsmikroskop 2 aufgenommener stereoskopischer Teilbilder ermittelt wird, sondern wie in dem in 5 dargestellte Ausführungsbeispiel mit Hilfe eines externen Time-of-Flight-Kamerasystems 73 oder einer anderen externen Topografieerfassungseinheit, liegt die ermittelte Topografie im Koordinatensystem der jeweiligen Topografieerfassungseinheit vor. In diesem Fall ist es notwendig, die mit der externen Topografieerfassungseinheit ermittelte Topografie, d.h. in dem in 5 dargestellten Ausführungsbeispiel die mit dem Time-of-Flight-Kamerasystem 73 ermittelte Topografie, in ein Koordinatensystem zu transformieren, in dem auch die Lage und die Orientierung des Operationsmikroskops 2 - und damit die Lage und die Orientierung der Bildsensoren 23 und der Beleuchtungseinrichtung 40 mit der Lichtquelle 41, angegeben sind. In dem in 5 dargestellten Ausführungsbeispiel dient daher ein Navigationssystem 69 dient dazu, die Lage und die Orientierung des Operationsmikroskops 2 einerseits sowie die Lage und die Orientierung des Time-of-Flight-Kamerasystems 73 andererseits zu ermitteln. Damit sind dann die Lage und die Orientierung des Time-of-Flight-Kamerasystems 73 sowie die Lage und die Orientierung des Operationsmikroskops 2 in einem gemeinsamen Koordinatensystem, nämlich dem Koordinatensystem des Navigationssystems 69, bekannt. Die Koordinaten des gemeinsamen Koordinatensystems können als Weltkoordinaten und das gemeinsame Koordinatensystem als Welt-Koordinatensystem angesehen werden. Die Lage und die Orientierung der Bildsensoren 23 sowie die Lage und die Orientierung der Beleuchtungslichtquelle 41 im Welt-Koordinatensystem ergeben sich aus der jeweils bekannten Einbaulage und -orientierung der Bildsensoren 23 und der Beleuchtungslichtquelle 41 im Operationsmikroskop 2 und der darin integrieren Beleuchtungseinrichtung 40. Auf der Basis der in dem Welt-Koordinatensystem bekannten Lage und bekannten Orientierung des Time-of-Flight-Kamerasystems 73 können die Koordinaten des Time-of-Flight-Kamerasystems 73, in denen die Topografie angegeben ist, in Koordinaten des Welt-Koordinatensystems transformiert werden. Die für die Shading-Korrektur erforderlichen Berechnungen können dann in diesem Welt-Koordinatensystem ausgeführt werden. Zum Ermitteln von Lage und Orientierung des Operationsmikroskops 2 und des Time-of-Flight-Kamerasystems 73 in den Weltkoordinaten kann das Navigationssystem 69 beispielsweise einen Infrarotsensor 77 umfassen, der infrarotes Licht aussendet, welches von Markern 76, die am Operationsmikroskop 2 und am Time-of-Flight-Kamerasystem 73 angeordnet sind, reflektiert werden. Mittels zweier Infrarotempfänger 78 werden die von den Markern 76 reflektierten Infrarotstrahlen des Infrarotsensors 77 detektiert. Anhand der detektierten reflektierten Infrarotstrahlen kann ein Computer 79 dann Lage und Orientierung der markierten Gegenstände im Welt-Koordinatensystem ermitteln.
Die Beleuchtungseinrichtung 40 ist im vorliegenden Ausführungsbeispiel in das Operationsmikroskop integriert und relativ zum Operationsmikroskop 2 fix angeordnet. Bei einer Veränderung der Lage und/oder Orientierung des Operationsmikroskops 2 relativ zum Beobachtungsobjekt 70 ändert sich daher der Beleuchtungswinkel, mit dem das Beobachtungsobjekt 70 beleuchtet wird. Die Auftreffwinkel der Lichtstrahlen des Beleuchtungslichtkegels auf eine Oberflächenabschnitt des Beobachtungsobjekts 70 hängen einerseits vom Beleuchtungswinkel, unter dem das Beobachtungsobjekt 70 beleuchtet wird, und andererseits von der Flächennormalen desjenigen Oberflächenabschnitt, auf den sie auftreffen, ab. Je nach Orientierung der Flächennormalen kann die Beleuchtungsintensität (Lichtleistung pro Flächeneinheit) an dem Oberflächenabschnitt bei gleichem Beleuchtungswinkel unterschiedlich sein. Aufgrund seiner dreidimensionalen Topografie können dabei in Abhängigkeit vom Beleuchtungswinkel an unterschiedlichen Orten der Topografie selbst bei gleichem Beleuchtungswinkel unterschiedliche Beleuchtungsintensitäten vorliegen, was zu lokalen Variationen in der Bildhelligkeit führt. Im Stand der Technik kann im Rahmen der Shading-Korrektur nicht entschieden werden, ob derartige lokale Variationen in der Bildhelligkeit auf die Topografie des Beobachtungsobjekts oder auf Inhomogenität in der Beleuchtung zurückzuführen sind. Daher kann es im Rahmen einer Shading-Korrektur nach Stand der Technik zu Fehlkorrekturen kommen. Mit Hilfe im Rahmen der Erfindung ermittelten Topografie können die auf die Topografie zurückzuführenden lokalen Variationen in der Beleuchtungsintensität korrekt berücksichtigt werden, so dass für einen großen Bereich an Beleuchtungswinkeln eine zuverlässige Shading-Korrektur auch bei Beobachtungsobjekten mit ausgeprägt dreidimensionaler Topografie möglich ist..
Zum Durchführen der Shading-Korrektur umfassen die in 4 und in 5 dargestellten Ausführungsbeispiele für das erfindungsgemäße optische Beobachtungsgerätesystem jeweils eine Shading-Korrektureinrichtung 80, die im Falle des in 4 dargestellten Ausführungsbeispiels mit der Berechnungseinheit 72 der Topographieermittlungseinheit zum Empfang der Topographie verbunden ist. Im Falle des in 5 dargestellten Ausführungsbeispiels ist die Shading-Korrektureinrichtung 80 zum Empfang der Topographie mit dem Time-of-Flight-Kamerasystem 73 verbunden. Außerdem ist sie zum Empfang von Lage und Orientierung des Time-of-Flight-Kamerasystems 73 sowie von Lage und Orientierung Operationsmikroskops 2 - und damit der Bildsensoren 23 sowie der Lichtquelle 41 - im Welt-Koordinatensystem mit dem Computer 79 des Navigationssystems 69 verbunden. Außerdem ist die Shading-Korrektureinrichtung 80 in beiden Ausführungsbeispielen mit dem Operationsmikroskop 2 zum Empfang der mit Hilfe der Bildsensoren 23 der Kameras 21 vom Beobachtungsobjekt 70 aufgenommenen, im vorliegenden Ausführungsbeispiel dreidimensionalen Bilder, für die die eine Shading-Korrektur vorgenommen werden soll, verbunden. Anhand der ermittelten Topographie sowie der Lage und Orientierung der Bildsensoren 23 und der Lage und Orientierung der Lichtquelle relativ zur Topografie des Beobachtungsobjekts 70 berechnet die Shading-Korrektureinheit 80 eine Shading-Korrektur, mit der ein vom Operationsmikroskop 2 empfangenes digitales Bild derart korrigiert wird, dass eine ungleichmäßige Bildhelligkeit, die auf einer inhomogenen Beleuchtung beruht, ausgeglichen ist wenn das digitale Bild auf einem Monitor 82 dargestellt wird.
Falls die Lage und/oder die Orientierung der Beleuchtungseinrichtung 40 während der Benutzung des optischen Beobachtungsgerätesystem verändert werden kann, können die Lage und/oder die Orientierung der Beleuchtungseinrichtung 40 relativ zum Beobachtungsobjekt 70, und damit die die Lage und die Orientierung der Lichtquelle 41 relativ zum Beobachtungsobjekt 70, ebenfalls mit Hilfe des Navigationssystems 69 und eines an der Beleuchtungseinrichtung 40 angebrachten Markers 76 ermittelt werden.
Das Verfahren zum Durchführen der Shading-Korrektur wird nachfolgend mit Bezug auf die 6 und 7 beschrieben.
6 zeigt anhand eines Blockdiagrammes die beim Durchführen der Shading-Korrektur ausgeführten Verfahrensschritte. Beim Durchführen der Shading-Korrektur erfolgt in Schritt S1 ein Ermitteln der Topographie des Beobachtungsobjekts 70. In dem in 4 gezeigten Ausführungsbeispiel wird hierzu mittels der Bildsensoren 23 der Kameras ein stereoskopisches Bild aufgenommen, aus dem die Berechnungseinheit 72 die Topographie ermittelt. Wenn das optische Beobachtungsgerät 2 des optischen Beobachtungsgerätesystems wie das mit Bezug auf 4 beschriebene Operationsmikroskop 2 in der Lage ist, stereoskopische digitale Bilder vom Beobachtungsobjekt 70 aufzunehmen und daraus die Topographie mit Hilfe einer Berechnungseinheit 72 zu ermitteln, bietet dies den Vorteil, dass die Topographie anhand desselben Strahlengangs ermittelt wird, mit dem auch das digitale Bild, für das eine Shading-Korrektur durchgeführt werden soll, aufgenommen wird, so dass Umrechnungen aufgrund unterschiedlicher Orientierungen des optischen Beobachtungsgerätes und der Topographieerfassungseinheit entfallen können. Grundsätzlich besteht auch die Möglichkeit, das im optischen Beobachtungsgerätesystem verwendete optische Beobachtungsgerät mit einer Topographieerfassungseinheit auszustatten, die nicht auf einem Ermitteln der Topographie auf der Basis stereoskopischer Bilder beruht. Denkbar ist beispielsweise die Verwendung eines Time-of-Flight-Kamerasystems, wie dies in 5 gezeigt ist. Aber auch die Verwendung eines Laser-Scanners oder die Verwendung einer strukturierten Beleuchtung sind denkbar. Im letzteren Fall wird ein bestimmtes Beleuchtungsmuster auf das Beobachtungsobjekt projiziert und die Topographie anhand der Verzerrung des Beleuchtungsmusters im aufgenommenen digitalen Bild berechnet. Die letzte Variante kann so ausgeführt werden, dass die strukturierte Beleuchtung mit Hilfe der Beleuchtungseinrichtung 40 und das Aufnehmen des während der strukturierten Beleuchtung gewonnenen Bildes mit Hilfe des optischen Beobachtungsgerätes, also im Falle des in 4 dasrgestellte Ausführungsbeispiels mit Hilfe des Operationsmikroskops 2, erfolgt. Auch in diesem Fall können Umrechnungen aufgrund unterschiedlicher Orientierungen des optischen Beobachtungsgeräts der TopographieErfassungseinheit vermieden werden. Wenn die Projektion des Musters auf das Beobachtungsobjekt 40 in einem Wellenlängenbereich erfolgt, der nicht zur eigentlichen Beobachtung des Beobachtungsobjektes 70 mit Hilfe des optischen Beobachtungsgerätes herangezogen wird, können das Ermitteln der Topographie und das Aufnehmen des Bildes vom Beobachtungsobjekt, für das eine Shading-Korrektur durchgeführt werden soll, simultan erfolgen. Beispielsweise kann das Muster im infraroten Wellenlängenbereich projiziert werden, wenn eine Beobachtung des Beobachtungsobjekts im sichtbaren Wellenlängenbereich erfolgen soll. Im Falle einer Floreszenz-Beobachtung kann die Projektion des Musters in einem Wellenlängenbereich erfolgen, der weder zum Anregen der Floreszenz geeignet ist, noch dem Wellenlängenbereich entspricht, in dem die Floreszenz erfolgt.
Im Falle des in 5 gezeigten Ausführungsbeispiels erfolgt in Schritt S3 ein Erfassen der räumlichen Lage und Orientierung des Operationsmikroskops 2 und der Time-of-Flight-Kamera 73. Lage und Orientierung des Operationsmikroskops 2 und der Time-of-Flight-Kamera 73 können mit Hilfe eines Navigationssystems 69 ermittelt werden, wie dies mit Bezug auf 5 beschrieben worden ist. Falls das optische Beobachtungsgerät nur in seiner Lage oder nur in seiner Orientierung verändert werden kann, kann ein Erfassen der unveränderlichen Orientierung bzw. der unveränderlichen Lage durch Einlesen von die unveränderliche Orientierung bzw. die unveränderliche Lage repräsentierenden Größen aus einem Speicher, in dem diese Größen hinterlegt ist, erfolgen, so dass lediglich die veränderliche Lage bzw. die veränderliche Orientierung repräsentierenden Größen mit Hilfe des Navigationssystems 69 ermittelt werden müssen. Wenn die Lage und/oder die Orientierung der Beleuchtungseinrichtung 40 unabhängig von der Lage und/oder der Orientierung des Operationsmikroskops 2 veränderbar ist, wird diese ebenfalls mit Hilfe der Lageerfassungseinheit, also beispielsweise mit Hilfe des Navigationssystems 69, ermittelt. Auch hier kann, wenn lediglich die Lage oder die Orientierung veränderbar sind, das Erfassen der jeweils unveränderlichen Orientierung oder Lage durch ein Auslesen von die unveränderliche Orientierung oder Lage repräsentierenden Größen aus einem Speicher, in dem diese Größen abgelegt sind, erfolgen. Obwohl die Schritte S1 und S3 in 6 sequenziell dargestellt sind, können sie selbstverständlich auch parallel oder in umgekehrter Reihenfolge ausgeführt werden.
Im Falle des in 4 dargestellten Ausführungsbeispiels, in dem die Topografie auf der Basis von mit dem Operationsmikroskop 2 aufgenommenen stereoskopischen Bildern ermittelt wird, entfällt Schritt S3, da sich die relative Lage und die relative Orientierung der Topografie des Beobachtungsobjekts 70 in Bezug auf die Lage und die Orientierung des Operationsmikroskops 2 bereits aus der Art und Weise, wie die Topografie ermittelt wird, ergibt. Entsprechendes gilt, wenn die Topografie anhand einer strukturierten Beleuchtung ermittelt wird, wenn hierzu ein Bildsensor 23 des Operationsmikroskops 2 und die Lichtquelle 41 des Operationsmikroskops 2 Verwendung finden.
In Schritt S5 erfolgt ein Ermitteln der Intensitätsverteilung des Beleuchtungslichtkegels 74 innerhalb einer virtuellen Ebene 84, deren Lage und Orientierung relativ zur Topografie des Beobachtungsobjekts 70 und relativ zur Lichtquelle 41 der Beleuchtungseinrichtung 40 bekannt ist. Da die Lage und Orientierung der Lichtquelle 41 der Beleuchtungseinrichtung 40 und der Bildsensoren 23 einerseits und der Topografie des Beobachtungsobjekts 70 andererseits entweder wie in dem in 4 dargestellten Ausführungsbeispiel aus der Ermittlung der Topografie im selben Koordinatensystem bekannt sind oder wie in dem in 5 dargestellten Ausführungsbeispiel mit Hilfe der in Schritt S3 ermittelten Lagen und/oder Orientierungen in einem gemeinsamen Welt-Koordinatensystem ermittelt werden können, kann die Lage und Orientierung der virtuellen Ebene 84 in beiden Fällen in demjenigen Koordinatensystem beschrieben werden, in dem auch die Lage und Orientierung der Lichtquelle 41 sowie die Lage und die Orientierung der Topografie beschrieben sind. Grundsätzlich ist es hierbei unerheblich, wie die Ebene 84 zur Topografie des Beobachtungsobjekts 70 und zur Lichtquelle 41 der Beleuchtungseinrichtung 40 orientiert ist, so lange der Beleuchtungslichtkegel 74 in der Ebene 84 von einer geschlossenen Kontur bspw. in Form eines Kreises oder einer Ellipse begrenzt ist.
Das Ermitteln der Intensitätsverteilung innerhalb der virtuellen Ebene 84 kann entweder anhand einer Optikrechnung auf der Basis der bekannten Lage und Orientierung der Lichtquelle 41 in Bezug auf die virtuelle Ebene 84 erfolgen, wobei die Parameter der Lichtquelle, wie etwa die Abstrahlcharakteristik, die Intensität der Lichtquelle etc., berücksichtigt werden. Es besteht jedoch auch die Möglichkeit, vorab für bestimmte Lagen und Orientierungen der virtuellen Ebene 84 relativ zur Beleuchtungseinrichtung 40, und damit relativ zur Beleuchtungslichtquelle 41, Intensitätsverläufe in Kalibrierungsmessungen zu messen. Hierzu kann beispielsweise ein flächiger Sensor Verwendung finden, der innerhalb der virtuellen Ebene 84 platziert wird, so dass er den gesamten Beleuchtungslichtkegel abdeckt. Wenn dann beim Ermitteln der Intensitätsverteilung die relative Lage zwischen der Beleuchtungseinrichtung 40 und der virtuellen Ebene 84 nicht der relativen Lage zwischen der Beleuchtungseinrichtung 40 und der virtuellen Ebene 84 in einer der Kalibrierungsmessungen entspricht, kann die Intensitätsverteilung innerhalb der virtuellen Ebene 84 aus Intensitätsverläufen, die mittels Kalibrierungsmessungen ermittelt worden sind, interpoliert werden.
Beim Ermitteln der Intensitätsverteilung innerhalb der virtuellen Ebene 84 werden auch die Zoomstellung des Beleuchtungszooms, in den Beleuchtungsstrahlengang eingebrachte Blenden sowie der Fokusabstand der Beleuchtungsoptik berücksichtigt.
In Schritt S7 erfolgt die Aufnahme des Bildes, für das die Shading-Korrektur durchgeführt werden soll. Das in S7 aufgenommene Bild kann entweder eine monoskopisches oder ein stereoskopisches Bild sein. Im Falle eines stereoskopischen Bildes werden die einzelnen stereoskopischen Teilbilder wie monoskopische Bilder behandelt, und es wird für jedes stereoskopisches Teilbild eine eigene Shading-Korrektur durchgeführt. Ein Fachmann erkennt, dass das Bild für das die Shading-Korrektur durchgeführt werden soll, auch vor Schritt S5, Schritt S3 oder gar Schritt S1 aufgenommen werden kann. Auch das parallele Ausführen eines oder mehrerer der Schritte S1, S3 und S7 sind möglich.
Schließlich wird in Schritt S9 die Shading-Korrektur an dem aufgenommenen Bild mit Hilfe der in Schritt S1 ermittelten Topografie und der in Schritt S5 ermittelten Intensitätsverteilung durchgeführt Die in Schritt S9 durchgeführte Shading-Korrektur wird nachfolgend mit Bezug auf 7 im Detail erläutert.
In Schritt S91 wird die in Schritt S5 ermittelt Intensitätsverteilung invertiert, um eine invertierten Intensitätsverteilung zu erhalten. In Schritt S93 erfolgt dann eine Normierung der invertierten Intensitätsverteilung. Im vorliegenden Ausführungsbeispiel erfolgt die Normierung derart, dass die Intensitätsverteilung im Zentrum der geschlossenen Kontur in der virtuellen Ebene 84 der Wert „1“ annimmt. Im Falle einer mittenbetonten Beleuchtung liegt an diesem Punkt die höchste Beleuchtungsintensität innerhalb der virtuellen Ebene vor.
Die invertierte Intensitätsverteilung wird sodann in Schritt S95 auf die Topographie des Beobachtungsobjektes 70, also auf die Oberflächengeometrie des Beobachtungsobjektes 70, projiziert. Diese Projektion kann durchgeführt werden, da sowohl die Lage und Orientierung des Beobachtungsobjekts 70 als auch die Lage und Orientierung der virtuellen Ebene 84 sowie die Lage und Orientierung der Beleuchtungslichtquelle 41 - und damit der Verlauf des Beleuchtungslichtkegels - im selben Koordinatensystem bekannt sind. Sollte dies nicht der Fall sein, wären noch Koordinatentransformationen auszuführen.
Aus der Projektion der invertierten und normierten Intensitätsverteilung auf die Topographie des Beobachtungsobjektes 70 berechnet die Shading-Korrektureinrichtung 80 in Schritt S97 die zu erwartende Beleuchtungsintensität am jeweiligen Ort der Topografie und daraus in Schritt S99 wiederum Korrekturfaktoren für Pixel oder Pixelgruppen im zu korrigierenden digitalen Bild, wobei die Korrekturfaktoren dazu dienen, Verringerungen der Beleuchtungsintensität, die auf der in Schritt S5 ermittelten Intensitätsverteilung innerhalb der virtuellen Ebene 84 beruhen, auszugleichen.
Grundsätzlich kann für jedes Pixel im zu korrigierenden digitalen Bild ein eigener Korrekturfaktor berechnet werden. Es besteht aber auch die Möglichkeit, Pixel im zu korrigierenden digitalen Bild zu Pixelgruppen zusammenzufassen und für die Pixel einer Pixelgruppe jeweils einen einzigen, allen Pixeln gemeinsamen Korrekturfaktor zu ermitteln. Dies bietet sich insbesondere in solchen Bildbereichen an, in denen die aus der in Schritt S5 ermittelten Intensitätsverteilung innerhalb der virtuellen Ebene 84 resultierenden Schwankungen in der Bildhelligkeit eine niedrige Ortsfrequenz aufweisen, so dass die Schwankungen zwischen benachbarten Pixeln gering sind. In Bildbereichen, in denen die durch der in Schritt S5 ermittelten Intensitätsverteilung innerhalb der virtuellen Ebene 84 hervorgerufenen Helligkeitsschwankungen eine hohe Ortsfrequenz aufweisen, ist es vorteilhaft, für jedes Pixel einen individuellen Korrekturfaktor zu berechnen. Selbstverständlich kann auch im Falle niedriger Ortsfrequenzen ein individueller Raumfaktor für jedes Pixel berechnet werden.
In Schritt S101 werden die Korrekturfaktoren schließlich mit den Helligkeitswerten der Pixel in dem zu korrigierenden digitalen Bild multipliziert, um zu einem Bild mit Shading-Korrektur zu gelangen.
Die vorliegende Erfindung wurde zu Erläuterungszwecken anhand von Ausführungsbeispielen im Detail beschrieben. Ein Fachmann erkennt jedoch, dass nicht alle Merkmale des Ausführungsbeispiels zwingend notwendig sind. Beispielsweise braucht das optische Beobachtungsgerät nicht wie im Ausführungsbeispiel ein Operationsmikroskop zu sein. Die vorliegende Erfindung eignet sich auch zur Shading-Korrektur bei anderen Arten von Auflichtmikroskopen, beispielswiese von Mikroskopen zur Materialprüfung oder wissenschaftlichen Auflichtmikroskopen. Weiterhin kann das optische Beobachtungsgerät ein rein digitales optisches Beobachtungsgerät sein, wie es mit Bezug auf 3 beschrieben worden ist. Außerdem erkennt ein Fachmann, dass manche Schritte, die im Rahmen der Ausführungsbeispiele sequenziell nacheinander ausgeführt worden sind in geänderter Reihenfolge ausgeführt werden können oder parallel zueinander ausgeführt werden können. Die vorliegende Erfindung soll daher nicht auf spezielle Merkmale der Ausführungsbeispiele beschränkt sein, sondern lediglich durch die beigefügten Ansprüche.
Bezugszeichenliste

2: Operationsmikroskop
3: Operationsfeld
5: Objektiv
7: divergentes Strahlenbündel
9: Strahlenbündel
9A, 9B: stereoskopischer Teilstrahlengang
11: Vergrößerungswechsler
13A, 13B: Schnittstellenanordnung
15A, 15B: Strahlteilerprisma
19: Kameraadapter
21: Kamera
23: Bildsensor
27: Binokulartubus
29A, 29B: Tubusobjektiv
31A, 31B: Zwischenbildebene
33A, 33B: Prisma
35A, 35B: Okularlinse
37: Display
38A, 38B: Spektralfilter
39: Optik
40: Beleuchtungseinrichtung
41: Weißlichtquelle
43: Umlenkspiegel
45: Beleuchtungsoptik
47: Spektralfilter
49: Neutraldichtefilter
50: Vario-Objektiv
51: Positivglied
52: Negativglied
53: Verschiebeweg
61A, 61B: Bildsensoren
63A, 63B: Displays
65A, 65B: Okularlinsen
67A, 67B: Kabel
69: Navigationssystem
70: Beobachtungsobjekt
72: Berechnungseinheit
73: Time-of-Flight-Kamera
74: Beleuchtungslichtkegel
76: Marker
77: Infrarotsender
78: Infrarotempfänger
79: Computer
80: Shading-Korrektureinrichtung
82: Monitor
84: virtuelle Ebene
S1: Ermitteln Topographie
S3: Erfassen Lage und Orientierung
S4: Ermitteln Intensitätsverteilung
S7: Bild aufnehmen
S9: Bild korrigieren
S91: invertieren Intensitätsverteilung
S93: Normieren der invertierten Intensitätsverteilung
S95: Projizieren der normierten invertierten Intensitätsverteilung auf die Topographie
S97: Berechnen von Korrekturfaktoren
S99: Berechnen der Beleuchtungsintensität
S101: Korrigieren des Bildes anhand der Korrekturfaktoren

Claims

Verfahren zum Durchführen einer Shading-Korrektur für ein mit wenigstens einem Bildsensor (23, 63) eines optischen Beobachtungsgeräts (2, 48) gewonnenes digitales Bild von einem dreidimensionalen Beobachtungsobjekt (70), welches mit eine bestimmte Intensitätsverteilung aufweisendem Beleuchtungslicht (74) beleuchtet wird, wobei im digitalen Bild von dem Beobachtungsobjekt (70) eine Inhomogenität in der Bildhelligkeit vorliegt, mit den Schritten: - Ermitteln der Topografie des dreidimensionalen Beobachtungsobjekts (70); - Korrigieren der Inhomogenität in der Bildhelligkeit des digitalen Bildes anhand wenigstens der ermittelten Topografie und der Intensitätsverteilung des Beleuchtungslichts (74).
Verfahren nach Anspruch 1, in dem die Inhomogenität in der Bildhelligkeit durch ein vorgegebenes inhomogenes Intensitätsprofil der Intensitätsverteilung des Beleuchtungslichtes (74) mitverursacht wird.
Verfahren nach Anspruch 1 oder Anspruch 2, in dem das Korrigieren der Inhomogenität in der Bildhelligkeit des digitalen Bildes ein Ermitteln von Korrekturfaktoren für die Helligkeit der Pixel oder für die Helligkeit von Pixelgruppen im digitalen Bild umfasst.
Verfahren nach Anspruch 3, in dem die Inverse der Intensitätsverteilung des Beleuchtungslichtes (74) innerhalb einer virtuellen Ebene (84), deren Lage und Orientierung in Bezug auf das Beobachtungsobjekt (70) bekannt ist, gebildet wird und die Korrekturfaktoren anhand einer Projektion der innerhalb der virtuellen Ebene (84) gebildeten Inversen der Intensitätsverteilung auf die Topografie des dreidimensionalen Beobachtungsobjekts (70) berechnet werden.
Verfahren nach Anspruch 4, in dem die Intensitätsverteilung des Beleuchtungslichts (74) innerhalb der virtuellen Ebene (84) durch eine Kalibrierungsmessung ermittelt wird.
Verfahren nach Anspruch 4, in dem die Intensitätsverteilung des Beleuchtungslichts (74) innerhalb der virtuellen Ebene (84) unter Berücksichtigung der Abstrahlcharakteristik der das Beleuchtungslicht aussendenden Lichtquelle (41) und der Lage und ggf. der Orientierung der das Beleuchtungslicht aussendenden Lichtquelle (41) in Bezug auf die virtuelle Ebene berechnet wird.
Verfahren nach Anspruch 6, in dem beim Berechnen der Intensitätsverteilung des Beleuchtungslichts (74) innerhalb der virtuellen Ebene (84) außerdem wenigstens einer der folgenden Einstellparameter einer die Beleuchtungslichtquelle (41) enthaltenden Beleuchtungseinrichtung (40) berücksichtigt wird: - ein Einstellparameter, der eine Zoomstellung der Beleuchtungseinrichtung (40) kennzeichnet, - ein Einstellparameter, der einen Fokusabstand der Beleuchtungseinrichtung (40) kennzeichnet, - ein Einstellparameter, der eine Blendeneinstellung der Beleuchtungseinrichtung (40) kennzeichnet.
Verfahren nach einem der Ansprüche 4 bis 7, in dem die Inverse der Intensitätsverteilung innerhalb der virtuellen Ebene (84) vor der Projektion auf die Topografie des dreidimensionalen Beobachtungsobjekts (70) normiert wird.
Verfahren nach Anspruch 8, in dem die Inverse der Intensitätsverteilung innerhalb der virtuellen Ebene (84) vor der Projektion auf die Topografie des dreidimensionalen Beobachtungsobjekts (70) derart normiert wird, dass die Intensitätsverteilung innerhalb der virtuellen Ebene (84) im Zentrum des durch die Beleuchtung innerhalb der virtuellen Ebene (84) gebildeten Lichtflecks den Wert „1“ aufweist.
Verfahren nach einem der Ansprüche 1 bis 9, in dem - das optische Beobachtungsgerät (2, 48) zum Aufnehmen stereoskopischer Bilder ausgebildet ist und die Topografie des dreidimensionalen Beobachtungsobjekts (70) anhand der aufgenommenen stereoskopischer Bilder ermittelt wird; oder - die Topografie des dreidimensionalen Beobachtungsobjekts (70) anhand eines mit einem Time-of-Flight-Kamerasystem aufgenommenen Bildes von dem Beobachtungsobjekt (70) ermittelt wird; oder - die Topografie des dreidimensionalen Beobachtungsobjekts (70) anhand einer strukturierten Beleuchtung und der Verzerrung der Struktur der Beleuchtung in einem mit der strukturierten Beleuchtung aufgenommenen Bild von dem Beobachtungsobjekt (70) ermittelt wird; oder - mit Hilfe eines des Laser-Scannersystems ermittelt wird;
Verfahren nach Anspruch 10, in dem das optische Beobachtungsgerät (2, 48) eine Beleuchtungseinrichtung zum strukturierten Beleuchten des Beobachtungsobjekts umfasst und die Topografie des dreidimensionalen Beobachtungsobjekts (70) anhand der Verzerrung der Struktur der Beleuchtung in einem mit der strukturierten Beleuchtung aufgenommenen Bild von dem Beobachtungsobjekt (70) ermittelt wird, und in dem das strukturierte Beleuchten des Beobachtungsobjekts in einem Wellenlängenbereich erfolgt, der außerhalb des sichtbaren Wellenlängenbereiches von Licht liegt.
Verfahren nach einem der vorangehenden Ansprüche, in dem die Topografie des dreidimensionalen Beobachtungsobjekts (70) und die räumliche Lage und Orientierung des wenigstens einen Bildsensors (23, 63) sowie die Lage und Orientierung der virtuellen Ebene (84) und ggf. die Lage der Lichtquelle (41) im selben Koordinatensystem angeben sind.
Verfahren nach Anspruch 12, in dem die Topografie des dreidimensionalen Beobachtungsobjekts (70) und die räumliche Lage und Orientierung des wenigstens einen Bildsensors (23, 63) sowie ggf. die Lage und Orientierung der virtuellen Ebene (84) und ggf. die Lage der Lichtquelle (41) unter Zuhilfenahme eines Navigationssystems ermittelt werden.
Optisches Beobachtungsgerätesystem mit - einem optischen Beobachtungsgerät (2, 48), welches wenigstens einen Bildsensor (23, 63) zum Aufnehmen digitaler Bilder von einem dreidimensionalen Beobachtungsobjekt (70) umfasst; - einer Beleuchtungseinrichtung (40) zum Beleuchten des Beobachtungsobjekts (70) mit eine bestimmte Intensitätsverteilung aufweisendem Beleuchtungslicht (74); - einer Topografieermittlungseinheit (72) zum Ermitteln der Topografie des Beobachtungsobjekts (70); und - einer Shading-Korrektureinrichtung (80), die mit dem wenigstens einen Bildsensor (23, 63) zum Empfang des digitalen Bildes verbunden und mit der Topografieermittlungseinheit (72) zum Empfang der ermittelten Topografie verbunden ist, und die dazu eingerichtet ist, anhand der empfangenen Topografie sowie der Intensitätsverteilung eine Inhomogenität in der Bildhelligkeit des digitalen Bildes zu korrigieren.
Optisches Beobachtungsgerätesystem nach Anspruch 14, in dem die Beleuchtungseinrichtung (40) eine Beleuchtung des Beobachtungsobjekts (70) mit einem vorgegebenen inhomogenen Intensitätsprofil der Intensitätsverteilung ermöglicht, welches die Inhomogenität in der Bildhelligkeit zumindest mitverursacht.
Optisches Beobachtungsgerätesystem nach Anspruch 14 oder Anspruch 15, in dem die Shading-Korrektureinrichtung (80) dazu eingerichtet ist, Korrekturfaktoren für die Helligkeit der Pixel oder für die Helligkeit von Pixelgruppen im digitalen Bild zu ermitteln.
Optisches Beobachtungsgerätesystem nach Anspruch 16, in dem die Shading-Korrektureinrichtung (80) dazu eingerichtet ist, die Inverse der Intensitätsverteilung des Beleuchtungslichtes (74) innerhalb einer virtuellen Ebene (84), deren Lage und Orientierung in Bezug auf das Beobachtungsobjekt (70) bekannt ist, zu ermitteln, und die Korrekturfaktoren anhand einer Projektion der innerhalb der virtuellen Ebene (84) gebildeten Inversen der Intensitätsverteilung auf die Topografie des dreidimensionalen Beobachtungsobjekts (70) zu berechnen.
Optisches Beobachtungsgerätesystem nach einem der Ansprüche 14 bis 17, in dem die Topografieermittlungseinheit umfasst: - eine Aufnahmeeinheit (23, 63) zum Aufnehmen stereoskopischer Bilder und eine Berechnungseinheit (72), welche die Topografie des dreidimensionalen Beobachtungsobjekts (70) anhand der aufgenommenen stereoskopischer Bilder berechnet; oder - ein Time-of-Flight-Kamerasystem und eine Berechnungseinheit, welche die Topografie des dreidimensionalen Beobachtungsobjekts anhand eines mit dem Time-of-Flight-Kamerasystem aufgenommenen Bildes von dem Beobachtungsobjekt berechnet; oder - eine Beleuchtungseinrichtung zum strukturierten Beleuchten des Beobachtungsobjekts, eine Aufnahmeeinheit zum Aufnehmen eine Bildes von dem mit der strukturierten Beleuchtung beleuchteten Beobachtungsobjekts und eine Berechnungseinheit, welche die Topografie des dreidimensionalen Beobachtungsobjekts anhand der Verzerrung der Struktur der Beleuchtung in dem Bild von dem mit der strukturierten Beleuchtung beleuchteten Beobachtungsobjekt berechnet; oder - ein Laser-Scannersystem.