DE19848765A1

DE19848765A1 - Positionsverifizierung in Kamerabildern

Info

Publication number: DE19848765A1
Application number: DE19848765A
Authority: DE
Inventors: Stefan Vilsmeier
Original assignee: Brainlab Medizinische Computersysteme GmbH
Current assignee: Brainlab SE
Priority date: 1998-10-22
Filing date: 1998-10-22
Publication date: 2000-05-11
Anticipated expiration: 2018-10-23
Also published as: DE19848765C2; US6724922B1

Abstract

Die Erfindung betrifft ein Verfahren zum Einblenden dreidimensional bestimmter Positionsmarken in ein Videokamerabild, bei dem ein Raumabschnitt mit mindestens zwei Kameras, die unsichtbares Licht, insbesondere Infrarotlicht, erfassen können, und mit mindestens einer Videokamera überwacht wird, die Bildinformationen der Kameras computergestützt ausgewertet werden, die dreidimensionalen Informationen, die mittels der Kameras für unsichtbares Licht erhalten wurden, verwendet werden, um die Raumlage von Objekten, die in den überwachten Raumabschnitt eingebracht und von den Kameras für das unsichtbare Licht erfasst werden, zu errechnen, und bei dem dann dem Objekt zugeordnete Positionsmarken zusammen mit dem Videobild auf einem Bildschirm ausgegeben werden, sowie eine Vorrichtung zur Durchführung des Verfahrens bzw. zur visuellen Verifizierung der korrekten Lage eines Objektes.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Einblenden dreidimensional be stimmter Positionsmarken in ein Videokamerabild. Sie betrifft insbesondere ein Verfahren zur visuellen Verifizierung der korrekten Lage eines Objektes und speziell ein Verfahren zur visuellen Verifizierung der korrekten Lage eines Patienten. Ferner betrifft die Erfin dung eine Vorrichtung zur Durchführung solcher Verfahren bzw. zur visuellen Verifizie rung der korrekten Lage eines Objektes.

Besonders auf dem medizinischen Gebiet ist man seit einiger Zeit dazu übergegangen, optische Hilfssysteme zur Verfügung zu stellen, um Patienten, zu behandelnde Körper stellen oder Instrumente innerhalb eines Behandlungsraumes computerunterstützt zu lokalisieren bzw. zu positionieren.

Herkömmlicherweise hat man z. B. in der Strahlentherapie die Position eines Tumors, wie sie auf einem Röntgenbild oder Bildern eines anderen bildgebenden Verfahrens zu erkennen war, mittels einer Farbmarkierung auf der Haut des Patienten gekennzeichnet, um dann den Behandlungsstrahl auf diese Stellen auszurichten und die Bestrahlung vorzunehmen.

Da diese Methode mit sehr großen Ungenauigkeiten behaftet ist, welche die Genauigkeit, mit der heutzutage Bestrahlungen vorgenommen werden können, von Anfang an relati viert, sind Systeme entwickelt worden, welche die genaue Positionierung computer gestützt vornehmen.

Beispielsweise werden einem Patienten Referenzierungsmarker um die zu behandelnde Stelle aufgesetzt, wonach die Position des Zielvolumens gegenüber den Referenzierungs markern mittels einer Computertomographie exakt festgestellt und in einem Datensatz gespeichert wird. Wenn nunmehr dieser Patient zu einem Bestrahlungsgerät verbracht wird, kann ein Navigationssystem, beispielsweise bestehend aus zwei Infrarotkameras, die mit einem Computer verbunden sind, die Lage der Referenzierungsmarker dreidimensio nal erfassen und mit Hilfe des Datensatzes aus der Computertomographie die Lage der Läsion im Behandlungsraum bestimmen. Wenn nun dem Computer noch die räumliche Lage des Fokuspunktes des Bestrahlungsgerätes bekannt gemacht wird, kann mit Hilfe dieser Informationen dann das Zielvolumen exakt an diesen Fokuspunkt verbracht wer den, um eine zielgenaue Bestrahlung vorzunehmen.

Natürlich ist diese Art der genauen Positionierung auch bei andern technischen Aufgaben stellungen anwendbar, bei denen die exakte Anordnung eines Objektes vonnöten ist.

Probleme ergeben sich hierbei deshalb, weil keinerlei Verifizierungsmechanismus bereit steht. So muß beispielsweise der Strahlentherapeut, nachdem die Patientenpositionierung wie oben erläutert erfolgt ist, der Technik absolutes Vertrauen schenken, wenn er das Bestrahlungsgerät einschaltet. Er hat keine ausreichend genaue visuelle Kontrolle mehr und kann nicht feststellen, ob durch einen Systemfehler möglicherweise eine Fehlpositio nierung aufgetreten ist.

Es ist deshalb die Aufgabe der vorliegenden Erfindung ein Verfahren und eine Vor richtung bereitzustellen, die eine Verifizierung von solchen oben erläuterten, computer gestützten Positionierungsmethoden gestatten.

Gelöst wird diese Aufgabe einerseits erfindungsgemäss durch ein Verfahren zum Ein blenden dreidimensional bestimmter Positionsmarken in ein Videokamerabild bei dem

- ein Raumabschnitt mit mindestens zwei Kameras, die unsichtbares Licht, ins besondere Infrarotlicht, erfassen können, und mit mindestens einer Videokamera über wacht wird;
- die Bildinformationen der Kameras computergestützt ausgewertet werden, wobei die dreidimensionalen Informationen, die mittels der Kameras für unsichtbares Licht erhalten wurden, verwendet werden, um die Raumlage von Objekten, die sich in dem überwachten Raumabschnitt befinden und von den Kameras für das unsichtbare Licht erfasst werden, zu errechnen, und
- den Objekten zugeordnete Positionsmarken zusammen mit dem Videobild auf einem Bildschirm ausgegeben werden.

Der Vorteil des erfindungsgemässen Verfahrens liegt grundsätzlich darin, daß es eine visuelle Verifizierung erst möglich macht. Wenn die Objekte in den von den Kameras überwachten Raumabschnitt eingebracht wird, werden sie einerseits durch die Videokame ra und andererseits durch die beiden anderen Kameras für das unsichtbare Licht erfasst, und nach der Auswertung und Zuordnung der Daten ist auf der Bildschirmausgabe sichtbar, ob die Positionsmarken sich mit den Videobildpunkten der Objekte decken. Wenn dies der Fall ist, kann man davon ausgehen, dass die computergestützte Positio nierung erfolgreich war. Ergibt sich eine Diskrepanz, ist es notwendig diese Positionie rung nachzubessern oder zu wiederholen.

Der spezielle Vorteil der Verwendung von Kameras für unsichtbares Licht, also ins besondere Infrarotkameras liegt darin, daß die dreidimensionale Lagebestimmung un gestört von sichtbaren Lichteinstrahlungen oder -reflexen erfolgen kann und deshalb genauer und mit geringerem Rechenaufwand durchgeführt wird.

Bei einer speziellen Ausführungsform weist das erfindungsgemässe Verfahren zum Einblenden dreidimensional bestimmter Positionsmarken in ein Videokamerabild die folgenden Schritten auf:

- ein Raumabschnitt wird mit mindestens zwei Kameras, die unsichtbares Licht, insbesondere Infrarotlicht, erfassen können, überwacht;
- ein im wesentlichen übereinstimmender Raumabschnitt wird mit mindestens einer Videokamera überwacht;
- die Bildinformationen der Kameras werden computergestützt ausgewertet;
- ein Kalibrierungswerkzeug, welches Markierungen aufweist, die sowohl von den Kameras für das unsichtbare Licht als auch von der Videokamera erfassbar sind, wird in den von den Kameras überwachten Raumabschnitt eingebracht;
- mittels der von den Kameras für unsichtbares Licht erhaltenen, dreidimensiona len Informationen über die Lage der Markierungen auf dem Kalibrierungswerkzeug wird die Raumlage der Markierungen auf dem Kalibrierungswerkzeug im Videokamerabild computergestützt zugeordnet;
- auf der Basis dieser Zuordnung werden die Raumkoordinaten von Objekten, die
- in den überwachten Raumabschnitt eingebracht und von den Kameras für das unsichtbare Licht erfasst werden, errechnet und als Positionsmarken zusammen mit dem Videobild auf einem Bildschirm ausgegeben.

Durch die Kalibrierung wird dem System mitgeteilt, wie sich die von der Videokamera einerseits und von den Kameras für unsichtbares Licht andererseits überwachten Raum abschnitte positionell zueinander verhalten. Auch erfahrt der Computer, welche Positions änderungen erfolgen, wenn sich bekannte dreidimensionale Gegenstände im überwachten Raumabschnitt bewegen und kann damit auch danach auf dem Videobild räumliche Strukturen positionsmässig zuordnen.

Das Kalibrierungswerkzeug, dessen Markierungsanordnung im Computer gespeichert ist, wird gemäss einer bevorzugten Ausführungsform der Erfindung beim Kalibrierungs vorgang so lange im überwachten Raumabschnitt bewegt, bis computergestützt eine Ausgabe erfolgt (z. B. eine Tonausgabe), die den Abschluss der Kalibrierung anzeigt. Der Bediener weiss nun, das das Videobild kalibriert ist und kann die durch das System unterstützten Tätigkeiten ausführen.

Wie schon vorher erwähnt werden bevorzugt zwei Infrarotkameras und eine Videokamera verwendet. Diese Kameras sind vorzugsweise so angeordnet, daß die beiden Infrarotka meras den Raumabschnitt von zwei äusseren Punkten aus überwachen, während die Position der Videokamera im wesentlichen unkritisch ist. Sie ist bei einer Ausführungs form an einem Punkt angeordnet, der etwa auf der Mittelachse zwischen den beiden anderen Kameras liegt. Auch die Verwendung von Kameras für ultraviolettes Licht ist grundsätzlich denkbar.

Gemäß einer vorgeschlagenen Anwendung des erfindungsgemässen Verfahrens ist der überwachte Raumabschnitt ein Patientenbehandlungsraum, insbesondere ein Behandlungs raum für strahlentherapeutische bzw. strahlenchirurgische Patientenbehandlung. Die Objekte, für die Positionsmarken auf dem Videobild ausgegeben werden, können im speziellen Anwendungsfall Patienten-Referenzierungsmarker sein. Hier kommt die Anwendung des erfindungsgemässen Verfahrens für medizinische Zwecke, insbesondere in der Bestrahlungschirurgie zum Tragen, wo es sehr wichtig ist, zu verifizieren, dass der Bestrahlungsfokus auf dem zu bestrahlenden Körperteil, also der Gewebsläsion liegt. Der Strahlentherapeut kann auf dem Videobild die Übereinstimmung der Positionsmarken mit den Patienten-Referenzierungsmarkern prüfen, bevor er die Bestrahlung vornimmt.

Es besteht die Möglichkeit, zusätzlich zu den Objekten, für die Positionsmarken auf dem Videobild ausgegeben werden, noch weitere Anzeigen für Objekte auf dem Videobild auszugeben. Insbesondere können Patientenkörperteile oder deren Umrisse sichtbar gemacht werden, deren Anordnung gegenüber den Positionsmarken bekannt ist. Im Falle der Anwendung bei Bestrahlungen kann damit, wenn beispielsweise aus einer Computer tomographie Daten über Organpositionen gegenüber den Patienten-Referenzierungs markern vorliegen, auf dem Videobild eine Art "gläserner Patient" überlagert werden, wobei die Organe und insbesondere die zu behandelnden Organteile in richtiger Raumlage und mit nach hinten verkleinerten Umrissen gezeigt werden, als könnte man tatsächlich in den Patienten hineinsehen. Wenn der Patient beispielsweise an einer Stelle im linken Lungenflügel bestrahlt werden soll, kann dann der Arzt auch vergleichen, ob die mittels Laserlinien angezeigten Ziellinien eines Bestrahlungsgerätes auch tatsächlich den Fo kuspunkt auf die erkrankte Gewebsstelle legen.

Bei einer allgemeinen Ausführungsform der Erfindung stellt diese ein Verfahren zur visuellen Verifizierung der korrekten Lage eines Objektes zur Verfügung, bei dem

- Referenzierungsmarker an dem Objekt angebracht werden und die Lage eines Objektteils gegenüber diesen Referenzierungsmarkern festgestellt und computergestützt ausgewertet bzw. gespeichert wird;
- das Objekt mit den Referenzierungsmarkern in einen Überwachungsraum ver bracht wird; und bei dem
- mittels eines Verfahrens wie es oben erörtert wurde die korrekte Lage des Objektes bzw. des Objektteils dann festgestellt wird, wenn alle oder eine aussagekräftige Anzahl der Referenzierungsmarker auf dem Videobild an den Stellen erscheinen, an denen die Positionsmarken ausgegeben bzw. überlagert werden.

In spezieller Ausgestaltung kann das oben zuletzt angesprochene Verfahren zur visuellen Verifizierung der korrekten Lage eines Patienten dienen, wobei

- Patienten-Referenzierungsmarker an einen Patienten angebracht werden und die Lage eines zu behandelnden Körperteils gegenüber diesen Patienten Referenzierungs markern festgestellt und computergestützt ausgewertet bzw. gespeichert wird;
- der Patient mit den Patienten-Referenzierungsmarkern in einen Behandlungsraum verbracht wird; und bei dem
- mittels eines Verfahrens, wie es oben erörtert wurde, die korrekte Lage des Patienten bzw. des zu behandelnden Körperteils dann festgestellt wird, wenn alle oder eine aussagekräftige Anzahl der Patienten-Referenzierungsmarker auf dem Videobild an den Stellen erscheinen, an denen die Positionsmarken ausgegeben bzw. überlagert wer den.

Auch hier besteht natürlich die Möglichkeit, zusätzlich zu den Positionsmarken Organ strukturen oder Zielvolumen auf dem Videobild auszugeben.

Wie schon eingangs bemerkt, stellt die Erfindung auch eine Vorrichtung zur visuellen Verifizierung der korrekten Lage eines Objektes zur Verfügung. Diese umfasst:

- Referenzierungsmarker, die an dem Objekt angebracht werden
- mindestens zwei Kameras, die unsichtbares Licht, insbesondere Infrarotlicht, erfassen können und einen Raumabschnitt überwachen, in dem sich das Objekt befindet, und
- einen Computer, welcher die Lage des Objekts bzw. eines Objektteils gegenüber diesen Referenzierungsmarkern mittels der Bildinformationen der Kameras für das unsichtbare Licht computergestützt erfasst und auswertet.

Zur Lösung der ebenfalls eingangs genannten Aufgabe weist die erfindungsgemässe Vorrichtung auf:

- mindestens eine Videokamera, die im wesentlichen denselben Raumabschnitt
- überwacht; sowie
- eine durch den Computer unterstützte Bildschirmausgabe für das Bild der Videokamera, auf welcher die Raumkoordinaten des Objektes, die von den Kameras für das unsichtbare Licht erfasst und vom Computer errechnet bzw. ausgewertet werden, als zugeordnete Positionsmarken oder Strukturen zusammen mit dem Videobild auf einem Bildschirm ausgegeben werden.

Mit dieser Vorrichtung kann das erfindungsgemässe Verfahren in vorteilhafter Weise ausgeführt und die schon oben erwähnten Vorteile können erzielt werden. Natürlich können auch alle im Zusammenhang mit medizinischen, insbesondere bestrahlungstech nischen Anwendungen oben erwähnten Merkmale bei der erfindungsgemässen Vor richtung als vorteilhafte Ausführungsformen realisiert werden.

In bevorzugter Ausgestaltung der erfindungsgemässen Vorrichtung sind die Referenzie rungsmarker Reflektoren für unsichtbares Licht, insbesondere Infrarotlicht, und es wird eine Lichtquelle für das unsichtbare Licht vorgesehen, welche den Raumabschnitt aus leuchtet. Dies trägt zum unkomplizierteren Handling der Vorrichtung bei.

Claims

1. Verfahren zum Einblenden dreidimensional bestimmter Positionsmarken oder Strukturen in ein Videokamerabild bei dem

- ein Raumabschnitt mit mindestens zwei Kameras, die unsichtbares Licht, ins besondere Infrarotlicht, erfassen können, und mit mindestens einer Videokamera über wacht wird;
- die Bildinformationen der Kameras computergestützt ausgewertet werden, wobei die dreidimensionalen Informationen, die mittels der Kameras für unsichtbares Licht erhalten wurden, verwendet werden, um die die Raumlage von Objekten, die sich in dem
- überwachten Raumabschnitt befinden und von den Kameras für das unsichtbare Licht erfasst werden, zu errechnen, und
- den Objekten zugeordnete Positionsmarken zusammen mit dem Videobild auf einem Bildschirm ausgegeben werden.

2. Verfahren zum Einblenden dreidimensional bestimmter Positionsmarken oder Strukturen in ein Videokamerabild mit den folgenden Schritten:

- ein Raumabschnitt wird mit mindestens zwei Kameras, die unsichtbares Licht, insbesondere Infrarotlicht, erfassen können, überwacht;
- ein im wesentlichen übereinstimmender Raumabschnitt wird mit mindestens einer Videokamera überwacht;
- die Bildinformationen der Kameras werden computergestützt ausgewertet;
- ein Kalibrierungswerkzeug, welches Markierungen aufweist, die sowohl von den Kameras für das unsichtbare Licht als auch von der Videokamera erfassbar sind, wird in den von den Kameras überwachten Raumabschnitt eingebracht;
- mittels der von den Kameras für unsichtbares Licht erhaltenen, dreidimensiona len Informationen über die Lage der Markierungen auf dem Kalibrierungswerkzeug wird die Raumlage der Markierungen auf dem Kalibrierungswerkzeug im Videokamerabild computergestützt zugeordnet;
- auf der Basis dieser Zuordnung werden die Raumkoordinaten von Objekten, die in den überwachten Raumabschnitt eingebracht und von den Kameras für das unsichtbare Licht erfasst werden, errechnet und als Positionsmarken zusammen mit dem Videobild auf einem Bildschirm ausgegeben.

3. Verfahren nach Anspruch 1 oder 2, bei dem zwei Infrarotkameras und eine Videokamera verwendet werden.

4. Verfahren nach einem der Ansprüche 2 oder 3, bei dem das Kalibrierungswerk zeug, dessen Markierungsanordnung im Computer gespeichert ist, so lange im überwach ten Raumabschnitt bewegt wird, bis computergestützt eine Ausgabe erfolgt, die den Abschluss der Kalibrierung anzeigt.

5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem der überwachte Raum abschnitt ein Patientenbehandlungsraum, insbesondere ein Behandlungsraum für strahlen therapeutische bzw. strahlenchirurgische Patientenbehandlung ist.

6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem die Objekte, für die Positionsmarken auf dem Videobild ausgegeben werden, Patienten-Referenzierungsmarker sind.

7. Verfahren nach einem der Ansprüche 1 bis 6, bei dem zusätzlich zu den Objekten, für die Positionsmarken auf dem Videobild ausgegeben werden, noch weitere Anzeigen für Objekte auf dem Videobild ausgegeben werden, deren Anordnung gegenüber den Positionsmarken bekannt ist, insbesondere Patientenkörperteile und/oder deren Umrisse und/oder Zielvolumen für eine Bestrahlung.

8. Verfahren zur visuellen Verifizierung der korrekten Lage eines Objektes, bei dem

- Referenzierungsmarker an dem Objekt angebracht werden und die Lage eines Objektteils gegenüber diesen Referenzierungsmarkern festgestellt und computergestützt ausgewertet bzw. gespeichert wird;
- das Objekt mit den Referenzierungsmarkern in einen Überwachungsraum ver bracht wird; und bei dem
- mittels eines Verfahrens nach einem der vorhergehenden Ansprüche die korrekte Lage des Objektes bzw. des Objektteils dann festgestellt wird, wenn alle oder eine aussagekräftige Anzahl der Referenzierungsmarker auf dem Videobild an den Stellen erscheinen, an denen die Positionsmarken ausgegeben bzw. überlagert werden.

9. Verfahren zur visuellen Verifizierung der korrekten Lage eines Patienten, bei dem

- Patienten-Referenzierungsmarker an einen Patienten angebracht werden und die Lage eines zu behandelnden Körperteils gegenüber diesen Patienten-Referenzierungs markern festgestellt und computergestützt ausgewertet bzw. gespeichert wird;
- der Patient mit den Patienten-Referenzierungsmarkern in einen Behandlungsraum
- verbracht wird; und bei dem
- mittels eines Verfahrens nach einem der Ansprüche 1 bis 7 die korrekte Lage des Patienten bzw. des zu behandelnden Körperteils dann festgestellt wird, wenn alle oder eine aussagekräftige Anzahl der Patienten-Referenzierungsmarker auf dem Videobild an den Stellen erscheinen, an denen die Positionsmarken ausgegeben bzw. überlagert wer den.

10. Vorrichtung zur visuellen Verifizierung der korrekten Lage eines Objektes, mit

- Referenzierungsmarkern, die an dem Objekt angebracht werden;
- mindestens zwei Kameras, die unsichtbares Licht, insbesondere Infrarotlicht, erfassen können und einen Raumabschnitt überwachen, in dem sich das Objekt befindet, und mit
- einem Computer, welcher die Lage des Objekts bzw. eines Objektteils gegenüber diesen Referenzierungsmarkern mittels der Bildinformationen der Kameras für das unsichtbare Licht computergestützt erfasst und auswertet; gekennzeichnet durch
- mindestens eine Videokamera, die im wesentlichen denselben Raumabschnitt überwacht; sowie durch
- eine durch den Computer unterstützte Bildschirmausgabe für das Bild der Videokamera, auf welcher die Raumkoordinaten des Objektes, die von den Kameras für das unsichtbare Licht erfasst und vom Computer errechnet bzw. ausgewertet werden, als zugeordnete Positionsmarken zusammen mit dem Videobild auf einem Bildschirm ausge geben werden.

11. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die Referenzie rungsmarker Reflektoren für unsichtbares Licht, insbesondere Infrarotlicht, sind und eine Lichtquelle für das unsichtbare Licht den Raumabschnitt ausleuchtet.