DE10235657A1

DE10235657A1 - Verfahren, Anordnung und Software zur Optimierung der Bildqualität von mit einem Mikroskop aufgenommenen beweglichen Objekten

Info

Publication number: DE10235657A1
Application number: DE10235657A
Authority: DE
Inventors: Frank Olschewski
Original assignee: Leica Microsystems Heidelberg GmbH; Leica Microsystems CMS GmbH
Current assignee: Leica Microsystems CMS GmbH
Priority date: 2002-08-02
Filing date: 2002-08-02
Publication date: 2004-02-12
Also published as: US8014624B2; US20040022449A1

Abstract

Es ist ein Verfahren und eine Anordnung zur Optimierung der Bildqualität beweglicher mit einem Mikroskopsystem aufgenommener Objekte vorgeschlagen. Das Mikroskopsystem umfasst mindestens ein Objektiv, das ein Bildfenster definiert. Bewegungen der zu beobachtenden Objekte werden im Bildframe erfasst. Ein Rechnersystem mit einem Mittel zum Ermitteln jeweils eines Verschiebungsvektorfeldes aus einem Vergleich der Pixel von jeweils zwei zeitlich aufeinander folgender Bilder erzeugt aus der Zusammenschau der Verschiebungsvektorfelder aller aufgenommenen Bilder eine Trajektorie. Ferner ist ein Mittel zum Anwenden einer Operation auf die Bilddaten entlang einer Trajektorie vorgesehen.

Description

Die Erfindung betrifft ein Verfahren zur Optimierung der Bildqualität von mit einem Mikroskop aufgenommenen Bildfolgen beweglicher Objekte.
Ferner betrifft die Erfindung eine Anordnung zur Optimierung der Bildqualität von mit einem Mikroskop aufgenommenen Bildfolgen beweglicher Objekte.
Bei der Beobachtung lebender und beweglicher Objekte entstehen Artefakte in der Bildgebung, da sich die Objekte bewegen. Dies bewirkt zum einen eine Unschärfe (Bewegung erzeugt ähnliche Artefakte wie Defokussierung) zum anderen haben die Bilder in der Konfokalmikroskopie eine schlechte Qualität (Signal zu Noise Ratio), da sich Verfahren wie Bildmittelung auf einer Pixel bei Bewegung nicht anwenden lassen. Bei Averaging würden bei Bewegung z.B. Objektpixel mit nicht Objektpixeln gemischt.
Der Erfindung liegt die Aufgabe zugrunde ein Verfahren zu schaffen, mit dem es möglich ist qualitativ gute Bilder bei beweglichen Objekten zu erzeugen und eine effiziente Anwendung von Operationen wie beispielsweise Mittelung und Filterung auch bei beweglichen Objekten zu ermöglichen.
Die objektive Aufgabe wird durch ein Verfahren gelöst, das die Merkmale des Patentanspruchs 1 aufweist.
Eine weitere Aufgabe der Erfindung ist es eine Anordnung zu schaffen, mit der es möglich ist qualitativ gute Bilder von beweglichen Objekten zu erzeugen bzw. eine effiziente Anwendung von Operationen wie beispielsweise Mittelung oder Filterung auch bei beweglichen Objekten zu ermöglichen.
Die objektive Aufgabe wird durch eine Anordnung gelöst, die die Merkmale des Patentanspruchs 7 aufweist.
Zur Lösung der mit diesen Aufgaben verbundenen Problemstellung ist es vorteilhaft, dass eine Trajektorie für jedes Pixel des Bildes ermittelt wird welches Verschiebungen und somit Objektbewegungen registriert. Diese werden vorteilhafterweise aus Verschiebungsvektorfeldern ermittelt, welche sämtliche Bewegungen innerhalb der Szene gesamtheitlich bewertet. Das Verschiebungsvektorfeld ergibt sich aus einem Vergleich der Pixel von jeweils mindestens zwei zeitlich aufeinander folgender Bilder. Die Nutzung von mehr als zwei Bildern einer Folge führt gegebenenfalls zu besserer Konvergenz. Die Ermittlung derartiger Verschiebungsfelder erfolgt durch die Lösung eines Flussproblems, wobei ein Pixeländerungsmodell als Differentialgleichung formuliert und numerisch an die Bilddaten nach einem Minimum Description Length (MDL) Verfahren angefittet werden. Der wohl prominenteste Vertreter derartiger Modelle ist die Modellierung der Bewegung fester Körper (solid body) in der Videotechnik für die sich synonym schon die Verfahrensbezeichnung „optischer Fluss" etabliert hat. Weitere Vertreter sind z.B. in der Klimamodellierung zu finden, wo flüssige Körper (von Wolken bis Wasser) modelliert werden. Obwohl hier die Bezeichnung optischer Fluss nicht üblich ist, verwendet dieser Text den Begriff synonym. Eine Trajektorie konstruiert man durch die Verfolgung der lokalen Verschiebungsvektoren von Pixel zu Pixel was einfach durch einen Computeralgorithmus erfolgen kann. Die derart ermittelte Trajektorie ist eine so genannte Richtschnur für die Anwendung von Operationen. Operationen entlang der ermittelten Trajektorie können zum Beispiel (ohne Beschränkung der Allgemeinheit) eine Dekonvolution, eine Glättung oder ein Averaging-Filter sein. Eine Erweiterung auf die gesamte Klasse zeitlich-lateral operierender Bildverarbeitungsklassen ist in diesem Sinne in diese Meldung eingeschlossen und bleibt in der Realisierung eines Systems der Phantasie des Fachmanns überlassen.
Eine Besonderheit dieser neuen Operationen ist Uneindeutigkeiten die durch die Bewegung und das Verschiebungsvektorfeld entstehen. So kann zum Beispiel ein Objekt in den Bildausschnitt hineinwandern und ein Filter mit Gedächtnis muss diese neuen Pixel anders behandeln als andere statischere Pixel in der selben Szene. Ein weiteres Beispiel ist das Aufteilen eines Objekts in mehrere Objekte (Quelle von Trajektorien). Wieder ein anderes ist die Zusammenführung einzelner Pixel zu einem (Senke von Trajektorien). Dies wird durch ein intelligentes Trajektorienmanagment gelöst.
Weitere vorteilhafte Ausgestaltungen der Erfindung können den Unteransprüchen entnommen werden.
In der Zeichnung ist der Erfindungsgegenstand schematisch dargestellt und wird anhand der Figuren nachfolgend beschrieben. Dabei zeigen:
1 eine schematische Darstellung eines Scanmikroskops;
2 eine schematische Darstellung des durch das Mikroskop aufgenommen Bildframes und wie dieser in einzelne Bereiche bzw. Pixel unterteilt ist;
3 eine schematische Darstellung der Verarbeitung der aus der Beobachtung lebender und beweglicher Objekte gewonnener Daten;
4 ein Blockdiagramm des erfindungsgemäßen Verfahrens;
5 eine beispielhafte Darstellung, einer Situation, bei der ein Objekt das Bild verlässt, und die ermittelte Trajektorie am Rand endet;
6 eine Darstellung einer beispielhafte Situation, bei der ein Objekt ins Bild kommt;
7 eine Darstellung einer Situation, bei der sich ein Objekt teilt und daraus mehrere Trajektorien resultieren; und
8 eine Darstellung einer Situation, bei der sich mehrere Objekte auf ein Objekt vereinigen, dabei enden die Trajektorien der einzelnen Objekte auf einen Punkt.
In 1 ist das Ausführungsbeispiel eines konfokalen Scanmikroskopsystems schematisch gezeigt, mit dem das erfinderische Verfahren ausgeführt werden kann. Andere Mikroskopsysteme können ebenfalls verwendet werden. Als eine Detektoreinheit 19 ist mit einem Videosystem oder einem CCD-Sensor zur Aufnahme von Bildern ausgestattet.
Dies soll jedoch nicht als Beschränkung der Erfindung aufgefasst werden. Es ist dem Fachmann hinlänglich klar, dass die Erfindung auch mit konventionellen Mikroskopen bei digitaler Bildgebung realisiert werden kann. Der von mindestens einem Beleuchtungssystem 1 kommende Beleuchtungslichtstrahl 3 wird von einem Strahlteiler oder einem geeigneten Umlenkmittel 5 zu einem Scanmodul 7 geleitet. Bevor der Beleuchtungslichtstrahl 3 auf das Umlenkmittel 5 trifft, passiert dieser ein Beleuchtungspinhole 6. Das Scanmodul 7 umfasst einen kardanisch aufgehängten Scanspiegel 9, der den Beleuchtungslichtstrahl 3 durch eine Scanoptik 12 und eine Mikroskopoptik 13 hindurch über bzw. durch ein Objekt 15 führt. Der Beleuchtungslichtstrahl 3 wird bei nicht transparenten Objekten 15 über die Objektoberfläche geführt. Bei biologischen Objekten 15 (Präparaten) oder transparenten Objekten kann der Beleuchtungslichtstrahl 3 auch durch das Objekt 15 geführt werden. Zu diesen Zwecken werden nichtleuchtende Präparate ggf. mit einem geeigneten Farbstoff präpariert (nicht dargestellt, da etablierter Stand der Technik). Die in dem Objekt vorhandenen Farbstoffe werden durch den Beleuchtungslichtstrahl 3 angeregt und senden Licht in einem ihnen eigenen charakteristischen Bereich des Spektrums aus. Dieses vom Objekt 15 ausgehende Licht definiert einen Detektionslichtstrahl 17. Dieser gelangt durch die Mikroskopoptik 13, die Scanoptik 12 und über das Scanmodul 7 zum Umlenkmittel 5, passiert dieses und gelangt über ein Detektionspinhole 18 auf eine Detektoreinheit 19, die im hier dargestellten Ausführungsbeispiel, mit mindestens einem Photomultiplier, als Detektor, ausgestattet ist. Es ist dem Fachmann klar, dass auch andere Detektoren, wie z.B. Dioden, Diodenarrays, Photomultiplierarrays, CCD Chips oder CMOS Bildsensoren eingesetzt werden können. Der vom Objekt 15 ausgehende bzw. definierte Detektionslichtstrahl 17 ist in 1 als gestrichelte Linie dargestellt. In der Detektoreinheit 19 werden elektrische, zur Leistung des vom Objekt 15 ausgehenden Lichtes, proportionale Detektionssignale erzeugt. Da, wie bereits oben erwähnt, vom Objekt 15 Licht nicht nur einer Wellenlänge ausgesandt wird, ist es sinnvoll vor der Detektoreinheit 19 ein Selektionsmittel 21 für das von der Probe ausgehende Spektrum einzufügen. Die von der Detektoreinheit 19 erzeugten Daten werden an ein Rechnersystem 23 weitergegeben. Dem Rechnersystem 23 ist mindestens ein Peripheriegerät 27 zugeordnet. Das Peripheriegerät kann z.B.
ein Display sein, auf dem der Benutzer Hinweise zur Einstellung des Scanmikroskops erhält oder den aktuellen Setup und auch die Bilddaten in graphischer Form entnehmen kann. Ferner ist mit dem Rechnersystem 23 ein Eingabemittel zugeordnet, das z.B. aus einer Tastatur 28, einer Einstellvorrichtung 29 für die Komponenten des Mikroskopsystems und einer Maus 30 besteht.
In 2 ist eine schematische Darstellung eines mit dem Mikroskop 100 aufgenommen Bildframes 41. Der Bildframe 41 ist durch das durch das Mikroskop 100 bestimmte Bildfenster festgelegt. Der Bildframe 41 und ist in einzelne Bereiche bzw. Pixel 39 unterteilt. Innerhalb des Bildframes 41 befindet sich das bewegliche Objekt 40. Die Pixel 39 können als 2-dimensionale Bereiche des Bildframes 41 oder auch als 3-dimensionale Bereiche des Bildframes 41 ausgebildet sein.
3 zeigt die Beobachtung lebender und beweglicher Objekte 40 und die Verarbeitung der aus der Beobachtung lebender und beweglicher Objekte 40 gewonnenen Daten. Bei der Beobachtung lebender und beweglicher Objekte 40 werden z.B. mit dem in 1 beschriebenen Scannmikroskop 100 nacheinander mehrere Bilder bzw. Bildframes 41₁ , 41₂ , 41₃ ,..., 41_n aufgenommen. Wobei jeder Bildframe 41₁ , 41₂ , 41₃ ,..., 41_n eine xy-Ebene oder ein aufgenommenes Probenvolumen xyz definiert. Zwischen zwei aufeinander folgenden Bildern z.B. 41₁ , 41₂ oder 41₂ , 41₃ oder 41_n–1 , 41_n , wird jeweils Verschiebungsvektorfeld 421, 42₂ ,..., 42_n–1 bestimmt. Das Verschiebungsvektorfeld zwischen zwei aufeinander folgender Bilder, z.B. 41₂ , und 41₃ , lässt sich aus dem Vergleich der einzelnen, sich gegenseitig entsprechenden Pixel, von den zwei Bildern ermitteln. Ausgehend von einem ersten Bild 41₁ mit N Pixeln, lassen sich somit die neuen Positionen im nächsten Bild 42₂ , durch die Verschiebung bestimmen. Es kann auch noch ein genaueres Modell aus den diskreten Verschiebungen mit Subpixelgenauigkeit für eine Trajektorie 43 gefittet werden. Vorteilhafterweise werden dann mehr als ein aufeinander folgendes Bild für diese genauigkeitserhöhende Operation verwendet. Die Trajektorie 43 für das bewegliche Objekt erhält man aus der Vielzahl der Verschiebungsvektorfelder 42₁ , 42₂ ,..., 42_n–1 durch Verfolgung der Verschiebungsvektorfelder der einzelnen Bilder 41₁ , 41₂ , 41₃ , ..., 41_n . In der graphischen Darstellung der Trajektorie 43 sind die bewegten Objekte durch mindestens eine Trajektorie durch den xyt-Raum 44 dargestellt.
Ein Video beinhaltet eine 3-dimensionale Raumzeit (zwei räumliche Dimensionen xy, eine Zeitdimension t). Der Pixel eines beweglichen Objektes 40 bewegt sich somit auf einer gekrümmten Bahn (Trajektorie) innerhalb dieser Raumzeit. Die ermittelte Trajektorie 43 definiert eindeutig diese gekrümmte Bahn und man erhält dadurch Daten über die Bewegung des Objekts 40. Operationen, die auf das bewegte Objekt angewendet werden sollen, können somit entlang der Trajektorie 43 erfolgen. So kann man z.B. einen Averaging-Filter mit Daten auf dieser Trajektorie 43 füttern und erhält ein in der Qualität gesteigertes Bild, das der Bewegung des Objekts 40 Rechnung trägt, und zwar in dem Sinne, dass das Signal zu Rauschen Verhältnis besser ist. Dieser Ansatz ist natürlich auch für Sequenzen von Volumen möglich (4-dimensionale Raumzeit) und auf beliebige Operationen wie, z.B. Filter (Dekonvolution, Glättung) übertragbar. Zur Realisierung dieser Filter muss anstelle der in der Bildverarbeitung gebräuchlichen einfachen Summenformeln die kontinuierliche Operationsgleichung auf der Trajektorie in der gekrümmten Raumzeit unter Einbezug der aktuellen Geometrie diskretisiert werden. Derartige Verfahren sind in der numerischen Mathematik etabliert und in der Simulationstechnik Stand der Technik.
In 4 ist ein Blockdiagramm des erfindungsgemäßen Verfahrens dargestellt. Zunächst erfolgt die Bildaufnahme 50 einer Serie von Bildern. Wie bereits oben beschrieben erfolgt die Aufnahme mit der Detektoreinheit 19 des Mikroskops bzw. des Scanmikroskops. Die Daten, die jeweils ein Bild repräsentieren werden in einem ersten Bildspeicher 52 abgelegt. Von dem Bildspeicher 52 werden die Bilder nacheinander einem Berechnen 53 für den optischen Fluss zugeführt. Parallel dazu werden die Daten jeweils eines Bildes einem nicht linearen Filter 54 zugeführt. Vom Berechner 53 für den optischen Fluss werden die durch den Berechner 53 veränderten Daten einem Trajektorientracker 55 und anschließend einem Trajektorienspeicher 56 zugeführt. Die im Trajektorienspeicher 56 vorhandenen Daten werden ebenfalls dem nicht linearen Filter 54 zur Verfügung gestellt um eine Diskretisierung zu ermöglichen. Wie bereits oben erwähnt werden auf die aufgenommenen Bilddaten beliebige Operationen angewendet, die im nicht linearen Filter 54 unter Berücksichtigung der gespeicherten Trajektorie 43 erfolgen. Die derart veränderten Daten gelangen in einen zweiten Bildspeicher 58 und können vor dort z.B. zur Darstellung auf einem Display abgerufen werden.
In den 5 bis 8 sind verschiedene Ereignisse dargestellt, die zu jeweils ausgezeichneten Trajektorien führen. In 5 ist die Situation dargestellt, dass das Objekt 40 den Bildframe 41 während des Aufzeichnung von N-Bildframes verlässt. Das Objekt kann durch das Mikroskop bei der Aufzeichnung des N+1ten Bildframes nicht mehr erfasst werden. Die aus den N erfassten Bildframes resultierende Trajektorie 43 endet am Rand des xyt-Raums 44. Sie kann aus dem Trajektorienspeicher 56 durch denn Trajektorientracker 55 gelöscht werden.
In 6 ist die Situation dargestellt, dass sich ein Objekt 40 im ersten Bildframe 41₁ befindet. Während der Aufzeichnung von N-Bildframes gelangt ein weiteres Objekt 60 in den Bereich des Bildframes, so dass es mit dem Mikroskop erfassbar ist. Das Objekt 60 kann durch das Mikroskop auch bei der Aufzeichnung des N-ten Bildframes erfasst werden. Zusätzlich zur der Trajektorie 43 für das Objekt 40 kommt eine weitere Trajektorie 63 für das neu in den Bildframe des Mikroskops gelangten Objekts 60 im xyt-Raums 44 hinzu.
In 7 ist die Situation dargestellt, dass sich ein Objekt 70 im ersten Bildframe 41₁ befindet. Bis zur Aufzeichnung des N-ten Bildframes hat sich das Objekt 70 in z.B. vier Objekte 70₁ , 70₂ , 70₃ und 70₄ im Bildframe geteilt. Die Objekte 70₁ , 70₂ , 70₃ und 70₄ können durch das Mikroskop auch bei der Aufzeichnung des N-ten Bildframes erfasst werden. Zusätzlich zur der Trajektorie 43 für das Objekt 70 kommen an einem Endpunkt der Trajektorie 43 zu einem gewissen Zeitpunkt t vier weitere Trajektorien 73₁ , 73₂ , 73₃ und 73₄ hinzu, die für die Bewegung der vier Objekte 70₁ , 70₂ , 70₃ und 70₄ stehen.
In 8 ist die Situation dargestellt, dass sich ein vier Objekte 80₁ , 80₂ , 80₃ und 80₄ im ersten Bildframe 41₁ befinden. Zur Aufzeichnung des N-ten Bildframes haben sich die Objekte 80₁ , 80₂ , 80₃ und 80₄ zu einem Objekt 80 vereinigt. Die Trajektorien 83₁ , 83₂ , 83₃ und 83₄ der Objekte 80₁ , 80₂ , 80₃ und 80₄ enden im xyt-Raum 44 in einem Punkt 84.
Die Erfindung wurde in Bezug auf eine besondere Ausführungsform beschrieben. Es ist jedoch selbstverständlich, dass Änderungen und Abwandlungen durchgeführt werden können, ohne dabei den Schutzbereich der nachstehenden Ansprüche zu verlassen.

1: Beleuchtungssystem
3: Beleuchtungslichtstrahl
5: Umlenkmittel
6: Beleuchtungspinhole
7: Scanmodul
9: Scanspiegel
12: Scanoptik
13: Mikroskopoptik
15: Objekt
17: Detektionslichtstrahl
18: Detektionspinhole
19: Detektoreinheit
20: SP Modul
21: Selektionsmittel
23: Rechnersystem
27: Peripheriegerät
28: Tastatur
29: Einstellvorrichtung
30: Maus
31: Prisma
32: Lichtfächer
39: Pixel des Bildframes
40: bewegliches Objekt
41: Bildframe
41₁, 41₂, 41₃,..., 41_n: Bildframes
42₁, 42₂,..., 42_n–1: Verschiebungsvektorfelder
43: Trajektorie
50: Bildaufnahme
52: erster Bildspeicher
44: xyt-Raum
53: Berechner
54: Filter
55: Trajektorienspeicher
56: Trajektorienspeicher
58: zweiter Bildspeicher
60: weiteres Objekt
63: weitere Trajektorie
70: Objekt
70₁, 70₂, 70₃ und 70₄: Objekte
73₁, 73₂, 73₃ und 73₄: weitere Trajektorien
80₁, 80₂, 80₃ und 80₄: Objekte
83₁, 83₂, 83₃ und 83₄: Trajektorien
84: Punkt
100: Scanmikroskops

Claims

Verfahren zur Optimierung der Bildqualität beweglicher mit einem Mikroskopsystem aufgenommener Objekte, gekennzeichnet durch die folgenden Schritte: a) Aufnehmen einer Vielzahl aus mehreren Pixeln bestehender Bilder b) Ermitteln jeweils eines Verschiebungsvektorfeldes aus einem Vergleich der Pixel von jeweils zwei zeitlich aufeinander folgender Bilder. c) Bestimmen einer Trajektorie für jedes Pixel des Bildes aus den Verschiebungsvektorfeldern; und d) Anwenden einer Operation auf die Bilddaten entlang einer Trajektorie.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Operation entlang der ermittelten Trajektorie eine Dekonvolution, eine Glättung, ein Averaging-Filter oder irgendeine zeitlich lateral wirkende Operation ist
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Vielzahl der aufgenommenen Bilder einem Bildspeicher zugeführt werden, und dass parallel dazu Daten aus der Vielzahl der aufgenommenen Bilder einem Berechnen für den optischen Fluss und einem Trajektorientracker einem Trajektorienspeicher zugeführt werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das für die Anwendung eines Filters Daten der aufgenommenen Bilder aus dem Bildspeicher und entsprechende Daten aus den Trajektorienspeicher abrufbar und verrechenbar sind.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die durch die Anwendung des Filters erzeugten Daten einen zweiten Bildspeicher zuführbar sind.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Mikroskopsystem ein Scanmikroskop oder ein herkömmliches Mikroskop beinhaltet.
Anordnung zur Optimierung der Bildqualität beweglicher mit einem Mikroskopsystem aufgenommener Objekte, wobei das Mikroskopsystem mindestens ein Bildfenster definierendes Objektiv, eine Detektoreinheit zum Aufnehmen einer Vielzahl aus mehreren Pixeln bestehender Bilder, und ein Rechnersystem aufweist, dadurch gekennzeichnet, dass das Rechnersystem ein Mittel zum Ermitteln jeweils eines Verschiebungsvektorfeldes aus einem Vergleich der Pixel von jeweils mindestens zwei zeitlich aufeinander folgender Bilder, ein Mittel zum Bestimmen einer Trajektorie für jedes Pixel des Bildes aus den Verschiebungsvektorfeldern; und ein Mittel zum Anwenden einer Operation auf die Bilddaten entlang einer Trajektorie umfasst.
Anordnung nach Anspruch 7, dadurch gekennzeichnet, dass das Mittel zum Anwenden einer Operation auf die Bilddaten entlang einer Trajektorie, ein Dekonvolutionsmittel, ein Glättungsmittel oder einen Averaging-Filter oder eine beliebige zeitlich-spatial wirkende Operation umfasst.
Anordnung nach Anspruch 7, dadurch gekennzeichnet, dass ein erster Bildspeicher vorgesehen ist, der die Daten der Vielzahl der aufgenommenen Bilder speichert und dass ein zweiter Bildspeicher vorgesehen ist, der die Daten speichert, die aus der Verrechnung der Daten aus dem ersten Bildspeicher mit den Daten aus einem Trajektorienspeicher entstanden sind.
Anordnung nach Anspruch 7, dadurch gekennzeichnet, dass Mikroskopsystem ein Scanmikroskop oder ein herkömmliches Mikroskop umfasst.
Software auf einem Datenträger, dadurch gekennzeichnet, dass die Software ein Mikroskopsystem veranlasst ein Verfahren nach einem der Ansprüche 1 bis 6 auszuführen.