DE102008036812B4

DE102008036812B4 - Verfahren und Vorrichtung zur Segmentierung eines Objekts aus einem Bilddatensatz

Info

Publication number: DE102008036812B4
Application number: DE102008036812A
Authority: DE
Inventors: Grzegorz Dr. Soza; Andreas Wimmer
Original assignee: Siemens AG; Siemens Corp
Current assignee: Siemens AG; Siemens Corp
Priority date: 2008-08-07
Filing date: 2008-08-07
Publication date: 2010-07-15
Anticipated expiration: 2028-08-08
Also published as: DE102008036812A1

Abstract

Die vorliegende Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur Segmentierung eines Objekts aus einem Bilddatensatz. Bei dem Verfahren wird ein implizites ASM für die Segmentierung eingesetzt. Die Anpassung der aktiven Kontur (1) an die Bilddaten wird dabei über eine besondere Technik erreicht, bei der innerhalb eines schmalen Bereiches um die aktive Kontur (1) Wahrscheinlichkeiten berechnet werden, mit denen Rasterpunkte des Bilddatensatzes auf dem Rand des Objekts liegen. Auf Projektionsstrahlen (12, 13), die auf dem gleichen Rasterpunkt (16) der aktiven Kontur (1) enden, wird dann jeweils nur der Rasterpunkt mit der höchsten Wahrscheinlichkeit ausgewählt. Mit dem vorgeschlagenen Verfahren und der zugehörigen Vorrichtung wird eine robuste Segmentierung auch bei Objekten mit starken Krümmungen erreicht.

Description

Die vorliegende Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur Segmentierung eines Objekts aus einem Bilddatensatz, bei denen aus Trainingsdaten zunächst ein implizites statistisches Formmodell des Objekts erstellt wird und die Segmentierung des Objekts anschließend durch Anpassung einer aktiven Kontur an eine Objektkontur im Bilddatensatz erfolgt, wobei das Formmodell die Deformation der aktiven Kontur beschränkt.
Im Bereich der medizinischen Bildgebung stellt die Segmentierung anatomischer Strukturen wie bspw. der Leber aus Bilddatensätzen eine fundamentale Aufgabe dar. Auf Grundlage des Segmentierungsergebnisses kann die Größe oder der Volumeninhalt des Objekts bestimmt werden. Diese Größen sind bspw. in der Onkologie wichtig, um das Tumorwachstum und damit den Therapieerfolg zu überwachen. Eine Segmentierung ist auch für die Planung eines Eingriffs sehr wichtig, bspw. für eine geplante Organtransplantation.
Die Segmentierung komplexer Strukturen, in der vorliegenden Patentanmeldung ebenfalls als Objekte bezeichnet, stellt eine anspruchsvolle Aufgabe dar, für die zahlreiche Algorithmen bekannt sind. Beim Einsatz von Algorithmen, die alleine auf der Auswertung von Intensitätswerten oder davon abgeleiteten Merkmalen der Bilddaten beruhen, ergeben sich Schwierigkeiten bei Bilddaten mit geringem Kontrast oder fehlenden Kanten. Zusätzlich können pathologische Strukturen und starkes Rauschen, bspw. aufgrund der reduzierten Strahlungsdosis in der Computertomographie (CT), falsche Kanten und eine ungleichmäßige Merkmalsstatistik verursachen und damit Algorithmen beeinträchtigen, die auf Kantendetektion bzw. Homogenitätskriterien für Regionen basieren.
S. J. Lim et al., ”Segmentation of the Liver Using the Deformable Contour Method an CT Images”, PCM 2005, LNCS, 3767: 570–581, 2005, beschreiben eine 2D-Segmentierung der Leber, bei der zunächst eine Kombination einer Schwellwerttechnik mit morphologischen Operationen auf unterschiedlichen Bildauflösungen angewendet wird. Die damit erhaltene Anfangskontur wird dann über die Suche nach einem glatten Pfad in den Gradientenmagnituden der Bilddaten verfeinert.
Liu et al., „Liver Segmentation for CT Images Using GVF Snake”, Medical Physics, 32(12): 3699–3706, 2005, nutzen eine aktive Kontur auf Basis eines Gradientenvektorfeldes (GVF) zur Segmentierung der Leber. Über einen sog. Canny-Kantendetektor wird ein Kanten-Bild erzeugt, das vorverarbeitet wird, um irrtümlich ausgeschlossene konkave Gebiete vor der Berechnung des Gradientenvektorfeldes zu eliminieren.
Heimann et al., „A Statistical Deformable Model for the Segmentation of Liver CT Volumes”, 3D Segmentation in the Clinic – A Grand Challenge, MICCAI 2007 Workshop, 2007, beschreiben eine 3D-Segmentierung der Leber durch Anpassen eines Active Shape Model an die Bilddaten. Dies erfolgt gemäß der bekannten Technik von Cootes et al., ”Active Shape Models – Their Training and Application”, Computer Vision and Image Understanding, 61(1): 38–59, 1995. Das explizite Active Shape Model wird über eine Hauptkomponentenanalyse (PCA: Principal Component Analysis) an Trainingskonturen erstellt, die aus Mengen korrespondierender Landmarken-Punkte bestehen. Neue mit dem Formmodell konsistente Konturen werden dann durch eine Linearkombination der mittleren Kontur und der größten Eigenmoden ausgedrückt, die durch die PCA erhalten werden. Zur Anpassung des Formmodells an die Bilddaten werden für jede Landmarke Intensitätsprofile in Richtung der Oberflächennormale der momentan aktiven Kontur mit unterschiedlichen Verschiebungen bestimmt. Ein so genannter Nächster Nachbar Klassifikator wird dann genutzt, um den Punkt entlang der Normale zu erhalten, der mit der höchsten Wahrscheinlichkeit zur Kontur der Leber gehört. Die momentane Kontur des Active Shape Model wird dann in Richtung der wahrscheinlichsten Objektkonturpunkte unter Berücksichtigung der Limitierungen des Active Shape Model deformiert.
Ein weiterer Ansatz zur 3D-Segmentierung der Leber wird in Kainmüller et al., „Shape Constrained Automatic Segmentation of the Liver based an a Heuristic Intensity Model”, 3D Segmentation in the Clinic – A Grand Challenge, MICCAI 2007 Workshop, 2007, beschrieben. Dieser Ansatz basiert ebenfalls auf einem Active Shape Model der Leber. Anstelle eines Nächsten Nachbar Klassifikators wird hier jedoch ein heuristisches Intensitätsmodell zur Anpassung der Kontur an die Bilddaten eingesetzt.
Die meisten 2D-Segmentierungstechniken für die Segmentierung der Leber basieren heutzutage auf dem sog. Aktive Konturen Ansatz („Snakes”). Hierbei werden häufig heuristische Ansätze einbezogen, um die Bildung von unzulässigen Konturen zu verhindern, bspw. um konkave Bereiche zu entfernen. Das begrenzt jedoch die Anwendbarkeit dieser Techniken. Die meisten bekannten 3D-Techniken zur Segmentierung der Leber nutzen heutzutage ein Active Shape Model. Hierbei handelt es sich um sog. explizite Active Shape Models, bei denen die Repräsentation der Konturen durch Landmarken-Punkte erfolgt. Eine derartige Repräsentation kann normalerweise nur mit einer starren Topologie umgehen, so dass bspw. ein Aufspalten oder Zusammenführen von Objektbereichen nicht möglich ist. Ebenfalls bekannte Freiform-Deformationen, die oft in die Modelle einbezogen werden, um durch die Formmodelle auferlegte Begrenzungen zu lockern, erfordern eine spezielle Vorgehensweise, um Selbstüberschneidungen zu vermeiden. Die Nutzung von expliziten Active Shape Models bereitet vor allem bei Objekten Probleme, die starke Krümmungen aufweisen. In diesem Fall können aufgrund des oftmals nur groben Abstandes der Landmarken-Punkte sowie bei starker Krümmung der Kontur wertvolle Bildinformationen leicht übersehen werden.
R. Goldenberg et al., „Fast Geodesic Active Contours”, IEEE Transactions an Image Processing, Oct. 2001, Vol. 10, No. 10. S. 1467–1475, beschreiben ein numerisches System zur Implementierung des geodätischen aktiven Kontur-Modells. Für die Segmentierung wird eine Level-Set-Methode eingesetzt, wobei die für die Segmentierung interessierende 0-Level-Set-Funktion als Distanzfunktion angesehen werden kann. Zur Verringerung des Rechenaufwandes wird lediglich ein schmales Band um die aktive Kontur betrachtet.
Die DE 10 2006 017 113 A1 beschreibt ein Verfahren und eine Vorrichtung zum Detektieren von Gefäßgrenzen in einem Bild mit Hilfe einer Kantendetektion. Die Kantendetektion basiert auf der Veränderung der Intensität über einen gewissen Abstand, beispielsweise durch Betrachtung von Projektionsstrahlen, die von einem Keimpunkt ausgehen. Die Suche erfolgt dabei an diskreten Punkten. Eine anfängliche Gefäßgrenze wird auf Basis der detektierten Kanten bestimmt und ein Form-Deskriptor auf die anfängliche Gefäßgrenze angewendet, um eine finale Gefäßgrenze zu bestimmen.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren sowie eine Vorrichtung zur Segmentierung von Objekten in Bilddatensätzen anzugeben, die eine robuste Segmentierung auch von Objekten mit starken Krümmungen oder geringer Dicke ermöglichen.
Die Aufgabe wird mit dem Verfahren und der Vorrichtung gemäß den Patentansprüchen 1 und 5 gelöst. Vorteilhafte Ausgestaltungen des Verfahrens sowie der Vorrichtung sind Gegenstand der abhängigen Patentansprüche oder lassen sich der nachfolgenden Beschreibung entnehmen.
Bei dem vorgeschlagenen Verfahren zur Segmentierung eines Objekts aus einem Bilddatensatz wird kein explizites sondern ein implizites Active Shape Model eingesetzt. Das dem impliziten Active Shape Model eigene statistische Formmodell wird in bekannter Weise zunächst aus Trainingsdaten erstellt. An schließend erfolgt die Segmentierung durch Annäherung bzw. Anpassung einer aktiven Kontur auf Basis des Active Shape Model an eine wahrscheinliche Objektkontur im Bilddatensatz. Hierbei kann es sich sowohl um einen 2D- als auch um einen 3D-Bilddatensatz handeln, wobei das Formmodell und die aktive Kontur dann jeweils passend aus 2D- oder 3D-Trainingsdaten erstellt werden. Die Annäherung der aktiven Kontur erfolgt beim vorliegenden Verfahren in mehreren Annäherungsschritten. Dabei wird wiederholt ein Bereich gleichen Abstands gemäß einem Band um die dem Bilddatensatz überlagerte aktive Kontur festgelegt. Dadurch ergeben sich eine äußere Begrenzung – außerhalb des von der aktiven Kontur umschlossenen Gebiets – und eine innere Begrenzung – innerhalb des von der aktiven Kontur umschlossenen Gebiets. Innerhalb des festgelegten Bereichs gleichen Abstands um die aktive Kontur werden den einzelnen Rasterpunkten des Bilddatensatzes vorzeichenbehaftete Distanzwerte zugeordnet, die ein Maß für den euklidischen Abstand des jeweiligen Rasterpunktes zur aktiven Kontur darstellen. Punkte innerhalb des Bereiches und außerhalb der Kontur erhalten einen positiven Distanzwert, Punkte innerhalb des Bereiches und innerhalb der Kontur erhalten einen negativen Distanzwert.
Unter den Rasterpunkten werden hierbei die einzelnen Bildpunkte des Bilddatensatzes verstanden. Darüber hinaus wird für jeden Rasterpunkt im Bereich eine Wahrscheinlichkeit bestimmt, mit welcher der Punkt auf der Kontur des gesuchten Objekts liegt. Dies kann z. B. mit dem oben erwähnten nächsten Nachbar Klassifikator erfolgen. Dabei wird für jeden Rasterpunkt ein Intensitätsprofil aus dem Bilddatensatz abgetastet, wobei die Richtung des Profils durch den Gradientenvektor der vorzeichenbehafteten Distanzfunktion gegeben ist. Anschaulich entspricht dieser Gradientenvektor für Punkte auf der Kontur des Active Shape Model der Normalen an die Kontur. Anhand des Intensitätsprofils wird jedem Rasterpunkt im Bereich eine Wahrscheinlichkeit zugewiesen. Von der äußeren Begrenzung des Bereichs, der inneren Begrenzung des Bereichs und von lokalen Minima der Distanzwerte innerhalb des Bereichs werden Projektionsstrahlen in Richtung der Kontur des Active Shape Model betrachtet, die senkrecht auf der aktiven Kontur enden. Unter allen Rasterpunkten, die auf einem Projektionsstrahl liegen, wird derjenige Rasterpunkt bestimmt, der auf diesem Projektionsstrahl mit der höchsten Wahrscheinlichkeit zur Begrenzung des zu segmentierenden Objekts gehört. Für jedes Paar von Projektionsstrahlen, die auf dem gleichen Rasterpunkt der aktiven Kontur enden, werden die beiden auf diese Weise bestimmten Rasterpunkte in ihrer Wahrscheinlichkeit verglichen und der Rasterpunkt mit der höchsten Wahrscheinlichkeit ausgewählt. Dies erfolgt für alle betrachteten Projektionsstrahlen. Die Projektionsstrahlen sind hierbei so gewählt, dass sie alle Rasterpunkte des Bilddatensatzes innerhalb des Bereichs gleichen Abstandes um die aktive Kontur beinhalten. Die auf diese Weise ausgewählten Rasterpunkte ergeben eine wahrscheinliche Objektkontur, an die dann die Kontur des Active Shape Model unter Berücksichtigung der Beschränkungen des zugrunde liegenden Formmodells angenähert wird. Diese Vorgehensweise wird im nächsten Annäherungsschritt jeweils wiederholt, bis eine ausreichende Annäherung oder Anpassung der aktiven Kontur an das zu segmentierende Objekt erreicht ist, d. h. bis der Unterschied zwischen der aktiven Kontur und der bei dem entsprechenden Annäherungsschritt ermittelten Objektkontur einen vorgebbaren Schwellwert unterschreitet. In diesem Fall gibt die aktive Kontur dann die Grenzen des Objekts unter Berücksichtigung des Active Shape Models wieder, so dass damit das Objekt segmentiert ist. Die Berechnung der vorzeichenbehafteten Distanzen, der Wahrscheinlichkeiten und der Projektionspfade muss nicht in jedem Annäherungsschritt neu erfolgen, sondern nur, wenn die Kontur des Active Shape Model den Bereich, in welchem die Distanzen etc. das letzte Mal berechnet wurden, verlässt. Ist dies nicht der Fall, reicht es einfach aus, die Kontur des Active Shape Model an die jeweils nächsten bereits bestimmten Punkte mit der höchsten Wahrscheinlichkeit anzunähern.
Bei dem vorgeschlagenen Verfahren und der zugehörigen Vorrichtung, in die dieses Verfahren implementiert ist, wird somit ein implizites Active Shape Model (implizites ASM) eingesetzt, das eine robuste Segmentierung ermöglicht. Durch Verzicht auf ein auf Landmarken basierendes Modell werden die mit derartigen Modellen verbundenen Schwierigkeiten umgangen. Allerdings ist die Anpassung eines impliziten ASM an die Bilddaten komplizierter, da keine Landmarken-Punkte verfügbar sind, die in Richtung der wahrscheinlichsten Begrenzung des Objektes bewegt werden können. Durch die vorgeschlagene Vorgehensweise auf Basis des Bereichs gleichen Abstandes und der darin durchgeführten Bestimmungen wird die Annäherung bzw. Anpassung jedoch mit hoher Zuverlässigkeit ermöglicht. Das vorgeschlagene Verfahren führt vor allem bei Objekten mit starken Krümmungen zu besseren Ergebnissen als ein auf Landmarken basierendes Modell, da keine Rasterpunkte bei der Prüfung verloren gehen. Weiterhin können ohne weitere Maßnahmen auch sehr dünne Strukturen oder Objekte ohne die Gefahr von Selbstüberschneidungen segmentiert werden.
Vorzugsweise wird bei dem vorgeschlagenen Verfahren ein implizites ASM eingesetzt, wie es von Rousson et al., „Implicit Active Shape Models for 3D Segmentation in MR Imaging”, MICCAI 2004, 3216: 209–216, 2004, beschrieben wird, wobei das implizite ASM in die sog. Levelset-Methodik eingebunden wird. Zur Anpassung eines derartigen impliziten ASM wird die aktive Kontur als Nullniveaumenge einer Levelset-Funktion ϕ definiert, die sich einerseits gemäß dem Bildinhalt entwickelt und andererseits durch eine weitere Levelset-Funktion ψ, welche aus dem statistischen Formmodell erzeugt wird, in den annehmbaren Formen beschränkt ist. Diese Levelset-Funktion ψ setzt sich aus der mittleren Levelset-Funktion ψ - sowie einer gewichteten Summe der N größten Eigenmoden ψ_i zusammen, also
wobei ψ - durch Mittelung aller vorzeichenbehafteten Distanzfunktionen der Trainingsdatensätze bestimmt wird und ψ_i die Eigenmoden der PCA der Trainingsdatensätze sind.
Die Anpassung der aktiven Kontur unter Berücksichtigung des ASM wird durch das folgende Energiefunktional bestimmt, das die quadratische Differenz zwischen beiden Levelset-Funktionen angibt:
A ist dabei eine affine Transformation, welche die in ψ als Nullniveaumenge eingebettete Kontur des Formmodells an die in ϕ als Nullniveaumenge eingebettete aktive Kontur, welche am Bildinhalt ausgerichtet ist, anpasst. Die Komponenten des Vektors λ sind die Gewichte der Eigenmoden. Da nur die Anpassung der beiden Konturen, d. h. der Nullniveaumengen von ϕ und ψ, interessiert, wird die Dirac'sche Deltafunktion δ in die obige Energiefunktion eingeführt. Der Integrationsraum wird als Ω ⊂ R² (bzw. Ω ⊂ R³ für den dreidimensionalen Fall) bezeichnet.
Diese Gleichung wird im Hinblick auf ϕ sowie A und λ iterativ minimiert. Für die einzelnen Gewichte λ_i sowie für die Komponenten der Transformation A, welche Rotationswinkel um die Koordinatenachsen sowie Skalierung und Translationen sind, wird dazu jeweils die Ableitung von E nach dem jeweiligen Gewicht λ_i bzw. nach der jeweiligen Komponente von A berechnet und damit ein Gradientenabstieg durchgeführt. Eine Vorschrift zur Optimierung von E im Hinblick auf ϕ ergibt sich entsprechend der Variationsrechnung aus der Euler Lagrange Gleichung zu obiger Gleichung (1). Das Resultat ist eine Einschränkung der partiellen Differentialgleichung, welche die Deformation von ϕ und damit die Deformation der aktiven Kontur steuert. Weitere Einzelheiten zu einer derartigen Vorgehensweise finden sich in der bereits genannten Veröffentlichung von Rousson et al.. Damit erfolgt die Anpassung der aktiven Kontur, d. h. der Levelset-Funktion ϕ, auf Basis sowohl des statistischen Formmodells als auch der Bildinformation. Während die Anpassung auf Basis des Formmodells grundsätzlich bekannt ist, besteht die Besonderheit des vorliegenden Verfahrens in der vorgeschlagenen Vorgehensweise zur Anpassung an die Bildinformation bzw. Bilddaten. Die Bestimmung der Rasterpunkte auf den jeweiligen Projektionsstrahlen, die mit der höchsten Wahrscheinlichkeit zur Objektbegrenzung zählen, kann auf unterschiedliche Weise erfolgen, vorzugsweise auf Basis eines sog. Appearance Model, wie bspw. des nächsten Nachbar Klassifikators.
Um die aktive Kontur zu den Rasterpunkten innerhalb der Begrenzung mit den höchsten Wahrscheinlichkeiten zu bewegen, kann grundsätzlich der Gradient der Wahrscheinlichkeitskarte berechnet werden. Da das Einzugsgebiet des Gradienten einer Wahrscheinlichkeitskarte begrenzt ist, wird vorzugsweise eine zusätzliche Maßnahme ergriffen. Diese Maßnahme besteht in der Berechnung des Gradientenvektorfeldes (GVF) der Wahrscheinlichkeitskarte. Dadurch werden die Gradientenvektoren, welche sonst nur nahe von Rasterpunkten mit einer Wahrscheinlichkeit größer Null existieren, über den gesamten Bereich gleichen Abstands diffundiert. Auf diese Weise entsteht ein wesentlich größerer Einzugsbereich der Gradientenvektoren, um die aktive Kontur zu führen. Die Berechnung eines derartigen Gradientenvektorfeldes ist bspw. aus Xu et al., „Snakes, Shapes and Gradient Vector Flow”, IEEE Transactions an Image Processing, 7(3): 359–369, 1998 bekannt. Bei dieser Ausführungsform wird der GVF-Term in die partielle Differentialgleichung zur Deformation der aktiven Kontur eingebracht und konkurriert mit dem Term, der die Beschränkungen auf Basis des Formmodells repräsentiert. So beschreiben bspw. Paragios et al., „Gradient Vector Flow Fast Geodesic Active Contours”, International Conference an Computer Vision 2001, 67–73, 2001, die Einführung eines derartigen GVF-Terms in die Gleichung für die Entwicklung der aktiven Kontur.
Die vorgeschlagene Vorrichtung umfasst zumindest eine Speichereinheit für die Trainingsdaten und den Bilddatensatz, eine Recheneinheit zur Ausführung der für die Durchführung des Verfahrens erforderlichen Prozessschritte, ein Trainingsmodul zur Erstellung des statistischen Formmodells auf Basis der Trainingsdatensätze sowie ein Segmentierungsmodul, das die Verfahrensschritte zur Anpassung der aktiven Kontur an das zu segmentierende Objekt gemäß dem vorgeschlagenen Verfahren durchführt. Das segmentierte Objekt kann dann an einer Bildanzeigeeinrichtung dargestellt werden, die mit der Vorrichtung verbunden sein kann.
Das vorgeschlagene Verfahren und die zugehörige Vorrichtung eignen sich vor allem für Bilddatensätze der medizinischen Bildgebung, bspw. zur Segmentierung der Leber aus tomographischen Bilddatensätzen. Derartige Bilddatensätze können von unterschiedlichen Bildaufzeichnungsgeräten stammen, bspw. von einem Computertomographen oder einem Magnetresonanztomographen, sind jedoch nicht auf die letztgenannten Geräte beschränkt.
Das vorgeschlagene Verfahren sowie die zughörige Vorrichtung werden nachfolgend anhand eines Ausführungsbeispiels in Verbindung mit den Zeichnungen nochmals kurz erläutert. Hierbei zeigen:
1 eine schematische Darstellung der prinzipiellen Vorgehensweise bei dem vorgeschlagenen Verfahren;
2 eine schematische Darstellung der Festlegung des Bereiches gleichen Abstands um die aktive Kontur;
3 eine schematische Darstellung zur Ermittlung der Wahrscheinlichkeiten unter Nutzung von Projektionsstrahlen und
4 eine schematische Darstellung der vorgeschlagenen Vorrichtung.
Das vorgeschlagene Verfahren und die zugehörige Vorrichtung werden nachfolgend am Beispiel der Segmentierung der Leber aus einem CT-Bilddatensatz nochmals näher erläutert. 1 zeigt hierzu den Ablauf in stark schematisierter Darstellung. Die Ausführungen beziehen sich hierbei auf einen 2D-Bilddatensatz, so dass die aktive Kontur eine geschlossene Linie und der Bereich gleichen Abstands ein Band darstellt, auf dessen zentraler Achse diese geschlossene Linie verläuft. Es ist jedoch offensichtlich, dass sich das vorgeschlagene Verfahren ohne weiteres auch auf drei Dimensionen erweitern lässt, um eine Segmentierung in einem 3D-Bilddatensatz durchzuführen.
Bei dem vorgeschlagenen Verfahren werden mehrere Bilddatensätze der Leber von unterschiedlichen Patienten zur Verfügung gestellt, die als Trainingsdatensätze für die Erstellung eines statistischen Formmodells dienen. Ein Satz an Segmentierungsmasken, die durch manuelle Segmentierung der Leber in den Trainingsdatensätzen erhalten werden, stellt die Basis des statistischen Formmodells dar. Maskenpunkte mit einem Wert ungleich 0 gehören zu dem Objekt, d. h. der Leber. Alle anderen Maskenpunkte mit einem Wert gleich 0 stellen den Hintergrund dar. Für die Analyse der möglichen Formen der Leber müssen zunächst Variationen zwischen den einzelnen Segmentierungsmasken eliminiert werden, die durch Ähnlichkeitstransformationen verursacht werden, d. h. durch Translation, Rotation und isotrope Skalierung. Daher wird zunächst eine der Masken als Referenzmaske gewählt. Für alle anderen Masken werden dann entsprechende Transformationen ermittelt, durch die der Überlappungsgrad zwischen jedem Maskenpaar maximiert wird. Dies kann bspw. mit der Technik von Tsai et al., „A Shape-Based Approach to the Segmentation of Medical Imagery Using Level Sets”, IEEE Transactions an Medical Imaging, 22(2): 137–154, 2003 erfolgen. Translation, Rotation und Skalierung werden für jede Transformation mit der Technik des Gradientenabstiegs optimiert. Da das Verfahren eine größere Anzahl von Iterationen erfordert und anfällig für lokale Minima ist, werden Translation, Rotation und Skalierung normalisiert, bevor die Technik des Gradientenabstiegs zur Verfeinerung der zunächst nur groben Überlagerung eingesetzt wird.
Im Anschluss an diese gegenseitige Ausrichtung und geeignete Skalierung der einzelnen Segmentierungsmasken werden die durch diese Masken repräsentierten Formen in eine implizite Repräsentation umgewandelt. Dies erfolgt durch Erzeugung einer Vorzeichen-behafteten Abstandsfunktion für jede Maske, bei der jedem Rasterpunkt sein positiver oder negativer euklidischer Abstand zur Begrenzung der dargestellten Form zugeordnet wird. Rasterpunkte innerhalb der Form erhalten dabei ein negatives Vorzeichen, Rasterpunkte außerhalb der Form, die damit zum Hintergrund zählen, ein positives Vorzeichen.
Anschließend wird eine Hauptkomponentenanalyse (PCA) mit den dadurch erhaltenen Abstandskarten (Abstands-Map) durchgeführt, um die verbleibenden Variationen zu analysieren, die auf unterschiedliche Formen der Leber zurückzuführen sind. Neue Formen werden implizit als Nullniveaumenge der Levelset-Funktion
ausgedrückt, wobei λ dem Vektor der Modengewichte λ_i der Eigenmoden, ψ - dem Mittelwert über alle Abstandsfunktionen und ψ_i den N signifikanten Eigenmoden entsprechen, die aus der PCA erhalten werden.
Für den Einsatz dieses aus Trainingsdaten erstellten Modells zur Bildsegmentierung wird eine weitere Levelset-Funktion ϕ eingeführt, die sich als aktive Kontur entsprechend dem Bildinhalt entwickelt und in ihrer Entwicklung durch die Levelset-Funktion ψ des Formmodells eingeschränkt ist. Die Beschränkung der Anpassung der aktiven Kontur durch das Formmodell kann durch das bereits weiter oben erläuterte Energiefunktional beschrieben werden, die die quadratische Differenz zwischen beiden Levelset-Funktionen angibt:
Diese Gleichung wird in iterativer Weise minimiert, bis sich eine statische Lösung ergibt, d. h. die Werte der Modengewichte λ_i sowie die Werte der Transformationsparameter in A (Rotationswinkel, Skalierungsfaktor, Translationswerte) und insbesondere die Aktive Kontur Levelset-Funktion ϕ ändern sich nicht mehr. Die aktive Kontur entspricht dann dem segmentierten Objekt, das bspw. an einem Monitor dargestellt werden kann.
Die Besonderheit des vorgeschlagenen Verfahrens besteht in der Kombination eines impliziten ASM mit einer besonderen Vorgehensweise bei der Anpassung der aktiven Kontur an die Bildinformation. Diese Anpassung wird im Folgenden nochmals anhand des vorliegenden Beispiels näher erläutert.
Bei einem expliziten ASM werden in der Regel sog. Appearance Models eingesetzt, um die Deformation oder Entwicklung der aktiven Kontur zu führen. Dies schließt die Bestimmung von Intensitätsprofilen an jeder Landmarke in einer Richtung normal zur Oberfläche des Objekts während einer Trainingsphase ein. Bei Annahme einer Normalverteilung wird das Appearance Model dadurch erhalten, dass die Mittelwert- und die Kovarianzmatrix der Profile berechnet wird. Dieses Prinzip wurde auch auf zufällige Verteilungen erweitert, indem sowohl Rand- als auch nicht auf dem Rand liegende Profile bestimmt und ein Nächster Nachbar Klassifikator eingesetzt wurden. Während der Segmentierung wird dann jeder Landmarken-Punkt in seiner Normalrichtung in Richtung des wahrscheinlichsten Begrenzungspunktes des Objekts bewegt. Verglichen mit einfachen Randdetektoren wird mit dieser bekannten Vorgehensweise auf Basis eines expliziten ASM eine größere Robustheit der Segmentierung erreicht.
Im Gegensatz zu dieser bekannten Technik setzt das vorliegende Verfahren und die zughörige Vorrichtung ein implizites ASM ein, in das ein Bildterm auf Basis eines Appearance Models integriert wird. Die Vorgehensweise der Anpassung der aktiven Kontur an die Bilddaten wird anhand der schematischen Darstellungen der 2 und 3 näher erläutert.
2 zeigt hierbei die aktive Kontur 1, die durch die Nullniveaumenge von Φ repräsentiert wird. Die Bilddaten selbst, denen diese Kontur überlagert wird, sind in dieser und der nächsten Figur nicht zu erkennen. Die aktive Kontur 1 ist Bestandteil des ASM und stellt in ihrer Anfangsform bspw. den Mittelwert über die aus den Trainingsdaten gewonnenen Formen der Leber dar. Für die Anpassung an die Bilddaten wird beim vorgeschlagenen Verfahren zunächst ein schmales Band gleichen Abstands um die aktive Kontur 1 gelegt. Die Breite des Bandes kann hierbei bspw. 5–30 mm betragen. Dieses Band wird in der Figur durch die äußere Begrenzung 3 und die innere Begrenzung 2 in gestrichelten Linien dargestellt. Der Abstand der äußeren Begrenzung 3 zur aktiven Kontur 1 und der inneren Begrenzung 2 zur aktiven Kontur 1 entspricht dem Abstand r, der mit dem Bezugszeichen 4 in der Figur gekennzeichnet ist. Jedem Rasterpunkt des Bilddatensatzes, der innerhalb dieses Bandes liegt, wird ein positiver oder negativer Abstandswert, abhängig von der Lage und dem Abstand zur aktiven Kontur 1, zugeordnet. So erhält bspw. Punkt 5 einen positiven Abstandswert 7 und Punkt 6 einen negativen Abstandswert 8. Die dabei erhaltene Abstandskarte kann bspw. über den sog. Fast Marching Algorithmus erstellt werden. Für alle Rasterpunkte innerhalb des schmalen Bandes, d. h. bspw. für die Punkte 5, 6 und 9, werden Intensitätsprofile an ihrer entsprechenden Position innerhalb des Bildes bestimmt, wobei die Intensitätsprofile in Normalenrichtung ermittelt werden, die durch ∇Φ gegeben ist. Diese Normalenrichtung wird in der 2 beispielhaft am Punkt 9 durch den Vektor 10 angedeutet. Über ein geeignetes Appearance Model wird für jeden Rasterpunkt die Wahrscheinlichkeit dafür berechnet, dass er zur Begrenzung bzw. Oberfläche des zu segmentierenden Objektes zählt. Als Appearance Model kann bspw. ein sog. k Nächster Nachbar (k-NN) Klassifikator eingesetzt werden. Anstelle eines k-NN Klassifikators können selbstverständlich auch andere Techniken, wie z. B. Mittelwertvektor & Kovarianzmatrix, verwendet werden, die ebenfalls eine kontinuierliche Wahrscheinlichkeit liefern.
Anschließend wird jeweils entlang von Projektionsstrahlen der Rasterpunkt mit der höchsten Wahrscheinlichkeit auf dem jeweiligen Projektionsstrahl bestimmt. Die Projektionsstrahlen beginnen auf den Rändern des schmalen Bandes (Begrenzungslinien 2, 3) und an lokalen Extrema der zugrunde liegenden Abstandskarte, die durch die gepunktete Linie lokaler Minima 11 in der 3 angedeutet sind. Die Projektionsstrahlen enden senkrecht auf der aktiven Kontur 1. Für jeden Projektionsstrahl, der innerhalb (Projektionsstrahl 12) oder außerhalb (Projektionsstrahl 13) der durch die aktive Kontur 1 eingeschlossenen Gebiete liegt, wird ein Gradienten-Anstieg oder -abstieg auf der die Levelset-Funktion Φ repräsentierenden, Vorzeichen-behafteten Abstandskarte durchgeführt, bis die aktive Kontur 1 erreicht ist. Nur der Rasterpunkt mit der höchsten Wahrscheinlichkeit wird entlang jedes Projektionspfades bestimmt. Dies betrifft bspw. bei Projektionspfad 12 den Punkt 14 und bei Projektionspfad 13 den Punkt 15. Alle anderen Rasterpunkte werden nicht mehr berücksichtigt.
Schließlich wird für alle Paare von internen und externen Projektionsstrahlen, die auf dem gleichen Rasterpunkt 16 auf der aktiven Kontur 1 enden, nur derjenige der beiden vorher bestimmten Rasterpunkte ausgewählt, der von beiden die höhere Wahrscheinlichkeit aufweist, zur Objektbegrenzung zu gehören. Als Ergebnis dieses Algorithmus wird eine Karte (Map) erhalten, die lediglich die Rasterpunkte mit der höchsten Wahrscheinlichkeit enthält. Wird davon ausgegangen, dass echte Randpunkte des Objekts durch das Appearance Model höhere Wahrscheinlichkeiten erhalten haben als Rasterpunkte, die nicht zum Rand des Objekts zählen, so wird durch die vorgeschlagene Vorgehensweise eine Eliminierung falscher Randpunkte erreicht. Damit wird verhindert, dass sich der Anpassungsalgorithmus an der falschen Position in einem lokalen Minimum festsetzt.
Da der Einfangbereich der oben beschriebenen Wahrscheinlichkeitskarte begrenzt ist, kann die Führung der aktiven Kontur in Richtung der Randpunkte alleine auf Basis des Gradienten unter Umständen nicht ausreichen. Daher wird im vorliegenden Beispiel das Gradientenvektorfeld (GVF) der Wahrscheinlichkeitskarte berechnet, um die Gradientenvektoren über das gesamte schmale Band zu verteilen. Dies vergrößert den Einfangbereich deutlich. Der GVF-Term wird in die Entwicklung der aktiven Kontur einbezogen, wie dies bspw. aus der bereits genannten Veröffentlichung von Paragios et al. bekannt ist. Der GVF-Term konkurriert mit dem vorher beschriebenen Begrenzungsterm auf Basis des Formmodells, der sich aus dem weiter oben angeführten Energiefunktional (Gleichung (1)) ableitet. Die Entwicklungsgleichung für die Levelset-Funktion Φ der aktiven Kontur kann dann folgendermaßen dargestellt werden:
Wobei Φ_t die Zeitableitung der Levelset-Funktion, g eine Stoppfunktion, „div” den Divergenzoperator und ν das GVF-Feld darstellen. Der erste Term auf der rechten Seite dieser Gleichung (2), der durch α gewichtet ist, trägt zu Glättung der Kontur unter Berücksichtigung des Bildinhalts mittels der Stoppfunktion g bei. Der zweite Term, der durch β gewichtet ist, führt den GVF ein, um die Kontur zu den Randpunkten zu treiben. Schließlich stellt der dritte Term, durch γ gewichtet, die durch das ASM auferlegten Beschränkungen dar. Er er gibt sich gemäß der Variationsrechnung über Φ aus der Euler-Lagrange Gleichung des obigen Energiefunktionals (Gleichung (1)). Weitere Details zu dem ersten und zweiten Term können bspw. der oben genannten Veröffentlichung von Paragios et al. und zum dritten Term der oben genannten Veröffentlichung von Rousson et al. entnommen werden.
4 zeigt schließlich ein Beispiel für die Vorrichtung zur Durchführung des vorgeschlagenen Verfahrens in stark schematisierter Darstellung. Die Vorrichtung kann bspw. durch eine Rechenstation mit einer Recheneinheit 17 und einem Datenspeicher 18 gebildet sein, der die entsprechenden Trainingsdatensätze, den Bilddatensatz sowie alle während der Durchführung des Verfahrens anfallenden Daten aufnimmt. Ein Modul 19 erstellt aus den Trainingsdatensätzen das statistische Formmodell auf Basis der bekannten Verfahrensschritte. Ein Segmentierungsmodul 20 führt schließlich die besonderen Verfahrensschritte des vorgeschlagenen Verfahrens aus, insbesondere die Anpassung der aktiven Kontur an die Bilddaten unter Berücksichtigung des ASM. Das segmentierte Objekt kann schließlich an einem mit der Vorrichtung verbundenen Monitor 21 einem Benutzer dargestellt werden. Die Segmentierung kann nach Erstellung des ASM ohne jeglichen Benutzereingriff vollautomatisch erfolgen.
Das vorgeschlagene Verfahren arbeitet verglichen mit den Algorithmen, die auf Landmarken basieren, vor allem in Objektbereichen mit starker Krümmung zuverlässiger, bei denen Randpunkte bei den bekannten Verfahren aufgrund der groben Abstände der Landmarken übersehen werden können. Durch die Verschiebung der Landmarken in Normalenrichtung kann hier in Bereichen zwischen den auseinander laufenden Verschiebungspfaden möglicherweise wichtige Bildinformation nicht berücksichtigt werden. Ein weiteres Problem tritt bspw. auch dann auf, wenn ein Randpunkt mit der höchsten Wahrscheinlichkeit hinter einem anderen Teil der Oberfläche liegt.
Diese Probleme werden mit dem vorliegenden Algorithmus vermieden. Bei diesem Algorithmus werden Wahrscheinlichkeiten für das gesamte schmale Band berechnet, so dass kein einziger Randpunkt übersehen werden kann. Allerdings müssen falsche Randpunkte entfernt werden, um ein festsetzen des Algorithmus in lokalen Minima zu verhindern. Dies wird bei dem vorgeschlagenen Verfahren dadurch erreicht, dass alle hierbei bestimmten Wahrscheinlichkeiten zurück auf die momentane aktive Kontur projiziert werden und nur der Punkt mit der höchsten Wahrscheinlichkeit für jedes Paar von Projektionsstrahlen für die Anpassung der aktiven Kontur berücksichtigt wird.

Claims

Verfahren zur Segmentierung eines Objekts aus einem Bilddatensatz, bei dem – ein implizites Formmodell für das zu segmentierende Objekt aus Trainingsdatensätzen erstellt und – das Objekt durch schrittweise Annäherung einer aktiven Kontur (1) auf Basis des Formmodells an eine wahrscheinliche Objektkontur im Bilddatensatz segmentiert wird, wobei für die Annäherung wiederholt – ein Bereich gleichen Abstands gemäß einem Band um die dem Bilddatensatz überlagerte aktive Kontur (1) betrachtet wird, – jedem Rasterpunkt (14, 15) des Bilddatensatzes innerhalb des Bereiches ein vorzeichenbehafteter Distanzwert zugeordnet wird, der ein Maß für einen Abstand des Rasterpunktes (14, 15) zu der aktiven Kontur (1) darstellt, – Projektionsstrahlen (12, 13) festgelegt werden, die jeweils von einer inneren Begrenzung (2) des Bereiches, von einer äußeren Begrenzung (3) des Bereiches sowie von lokalen Extrema (11) der Distanzwerte ausgehen und senkrecht auf der aktiven Kontur (1) enden, wobei die Projektionsstrahlen (12, 13) so gewählt werden, dass alle Rasterpunkte (14, 15) innerhalb des Bereiches von den Projektionsstrahlen (12, 13) erfasst werden, – für jeden der Projektionsstrahlen (12, 13) jeweils aus den Bilddaten ein lokaler Intensitätsverlauf an jedem auf dem Projektionsstrahl (12, 13) liegenden Rasterpunkt (14, 15) des Bilddatensatzes bestimmt und ein Rasterpunkt ermittelt wird, der aufgrund des lokalen Intensitätsverlaufs mit höchster Wahrscheinlichkeit einen Punkt auf der Objektkontur darstellt, – für jedes Paar von Projektionsstrahlen (12, 13) die auf dem gleichen Rasterpunkt (16) der aktiven Kontur (1) enden, die vorher ermittelten Rasterpunkte hinsichtlich ihrer Wahrscheinlichkeit, einen Punkt auf der Objektkontur darzustellen, verglichen werden und der Rasterpunkt mit der höchsten Wahrscheinlichkeit ausgewählt wird, und – die aktive Kontur (1) unter Berücksichtigung von Vorgaben des Formmodells an den Verlauf der ausgewählten Rasterpunkte angenähert wird.
Verfahren nach Anspruch 1, bei dem die Annäherung der aktiven Kontur (1) an den Verlauf der ausgewählten Rasterpunkte unter Minimierung der Gleichung
erfolgt, wobei ϕ die aktive Kontur (1) und ψ zulässige Formen des Formmodells repräsentieren, λ dem Vektor der Modengewichte der Eigenvektoren des Formmodells und δ der Dirac'schen Deltafunktion entsprechen und A eine affine Transformation darstellt, die ψ an ϕ anpasst.
Verfahren nach einem der Ansprüche 1 bis 2, bei dem die Ermittlung des Rasterpunktes (14, 15) auf jedem Projektionsstrahl (12, 13), der aufgrund des lokalen Intensitätsverlaufs mit höchster Wahrscheinlichkeit einen Punkt auf der Objektkontur darstellt, auf Basis eines Appearance Model erfolgt.
Verfahren nach einem der Ansprüche 1 bis 3, bei dem für alle Rasterpunkte (14, 15) innerhalb des Bereichs auf Basis der für die Rasterpunkte bestimmtem lokalen Intensitätsverläufe Wahrscheinlichkeiten ermittelt werden, mit denen sie einen Punkt auf der Objektkontur darstellen, und aus den Wahrscheinlichkeiten und einer durch die Lage der Rasterpunkte gegebenen räumlichen Verteilung dieser Wahrscheinlichkeiten ein Gradientenvektorfeld berechnet wird, wobei die Annäherung der aktiven Kontur (1) durch folgende Entwicklungsgleichung erfolgt:
in der Φ_t eine Zeitableitung der die aktive Kontur (1) repräsentierenden Levelset-Funktion, g eine Stoppfunktion, „div” den Divergenzoperator, ν das Gradientenvektorfeld und α, β und γ Wichtungsfaktoren darstellen.
Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 4, die zumindest eine Recheneinheit (17), einen Datenspeicher (18), ein Formmodell-Modul (19) und ein Segmentierungsmodul (20) aufweist, wobei das Formmodell-Modul (19) so ausgebildet ist, dass es die Erstellung eines impliziten statistischen Formmodells eines zu segmentierenden Objekts aus Trainingsdatensätzen ermöglicht, und wobei das Segmentierungsmodul (20) so ausgebildet ist, dass es die Verfahrensschritte des Verfahrens nach einem oder mehreren der Ansprüche 1 bis 4 durchführt.