Beschreibung
Die vorliegende Erfindung betrifft das oberbegrifflich Beanspruchte. Damit befaßt sich die vorliegende Erfindung mit einer kamerabasierten Positionsbestimmungsanordnung.
Kamerabasierte Positionsbestimmungsanordnung'eή 'sind bekannt. Sie werden etwa verwendet, um bei medizinischen Operationen die Position der für den Eingriff- verwendeten Instrumente feststellen zu können und ausgehend von dieser Feststellung beispielsweise computergestützt zu steuern. Dabei wird typisch auf dem jeweiligen Instrument eine Markierung angebracht, anhand derer die Lage der Instrumente bestimmt werden kann. Die Markierung kann etwa im Infraroten eine starke Rückstreuung bzw. starke Rückreflexe aufweisen; beides wird für Zwecke der vorliegenden Erfindung nicht unterschieden, soweit nicht anders erwähnt . Die Verwendung von IR- Markierungen ist deshalb bevorzugt, weil sich hiermit besonders starke Signale ergeben, die somit eine präzise und durch Rauschen im Bild allenfalls wenig beeinträchtigte Ortung er- möglichen.
Sind nun, was üblich ist, mehrere Instrumente gleichzeitig im Einsatz, so müssen diese dauerhaft voneinander unterschieden werden. Hierzu gibt es unterschiedliche Verfahren im Stand der Technik. So können die Bahnen der Markierungen, nachdem diese einmal zugeordnet wurden, verfolgt werden. Dies ist rechnerisch aufwendig und ergibt überdies Probleme, wenn die
- l
Instrumente verdeckt werden und damit die Bahnen einige Zeit nicht erkannt werden. Hierzu wurde bereits vorgeschlagen, daß mehrere Kameras vorgesehen werden können, die eine redundante Beobachtung der zu verfolgenden Instrumente ermöglichen. Da- mit ist es weniger wahrscheinlich, daß die Bahnverfolgung aufgegeben werden muß. Auch ist es möglich, mit ersten Kameras andere Kameras zu beobachten und damit wiederum deren Position festzulegen, was es erlaubt, die Kameras immer wieder dicht an die Instrumente heran zu bewegen. Dies lindert das Problem bereits wesentlich.
Eine weitere Möglichkeit im Stand der Technik besteht darin, die Markierungen in ihrer Form unterschiedlich zu gestalten und/oder selbst mit Markierungen in Form etwa einer Zahl zu versehen und somit unterscheidbar zu machen. Problematisch ist .hier, daß ein vergleichsweise hoher Aufwand zur Mustererkennung erforderlich ist, insbesondere weil das Objekt schräg im Raum liegen kann.
Die DE 196 39 615 C2 beschreibt ein Reflektorenreferenzie- rungssystem für chirurgische oder medizinische Instrumente und Behandlungsapparaturen mit mindestens zwei Kameras und einer mit den Kameras verbundenen Rechnereinheit mit einer Grafik-Bildschirmausgabe, wobei eine Strahlungsquelle für In- frarotstrahlung und eine Reflektorengruppe mit mindestens zwei Reflektoren, für diese Infrarotstrahlung, vorgesehen ist und wobei die Reflektoren in einer nur für diese Reflektorengruppe charakteristischen Anordnung an den Instrumenten bzw. Behandlungsapparaturen angebracht sind.
Die DE 198 48 765 C2 beschreibt ein Verfahren zur Positionierung einblendbarer Positionsmarken oder Strukturen in' einem
Videokamerabild von Objekten, bei dem der Raumabschnitt mit den Objekten von mindestens zwei Kameras, die unsichtbares Licht, insbesondere Infrarotlicht, erfassen, und von mindestens einer Videokamera aufgenommen wird, aus den Bildinfor- mationen der Kameras, die unsichtbares Licht erfassen, computergestützt die dreidimensionale Raumlage der Objekte errechnet wird, und den Objekten zugeordnete Positionsmarken entsprechend dieser jeweils errechneten Raumlage ins Videokamerabild der Objekte eingeblendet und zusammen mit diesem Vi- deokamerabild auf einem Bildschirm ausgegeben werden.
Die DE 42 05 406 AI beschreibt ein Verfahren, das eine genaue Bestimmung der Position von Meßmarken auf der Abbildungsfläche optoelektrischer Sensoren und die automatische Identifi- zierung derselben aufgrund besonderer farblicher Gestaltung ermöglichen soll.
Die Aufgabe der vorliegenden Erfindung besteht darin, Neues für die gewerbliche Anwendung bereitzustellen.
Die Lösung dieser Aufgabe wird in unabhängiger Form beansprucht. Bevorzugte Ausführungsformen finden sich in den Unteransprüchen.
Gemäß einem ersten wesentlichen Aspekt der Erfindung wird somit vorgeschlagen, daß eine Positionsbestimmungsanordnung mit Markierungserfaßungskameras zur Ausgabe markierungserfaßungs- indikativer Signale und Signalauswertemitteln zur Markierungspositionsbestimmung im Ansprechen auf die Kamerasignale so ausgestaltet ist, daß eine Vielzahl von IR- und Farbkameras zur Erfassung farbkodierter IR-Marker vorgesehen ist und
die Signalauswertemittel zur Markierungsidentifikation im Ansprechen auf die Farbkamerasignale ausgebildet sind.
Es wird mit anderen Worten eine einfache Erkennung, welche IR-Markierung sich zu einem bestimmten Zeitpunkt an einem bestimmten Ort befindet, dadurch ermöglicht, daß die Markierung zugleich farbig ausgelegt wird und dann mit einer farbempfindlichen Kamera bestimmt wird, welche Farbe eine jeweilige Markierung aufweist. Auf diese Weise ist es möglich, die Rau- scharmut der IR-Kameras, die sich aufgrund der sehr hellen
Signale ergibt, bei der eigentlichen Positionsbestimmung -auszunutzen und dann unter Ausnutzung der gegebenenfalls weniger präzisen Ortung durch die Farbkamera eine sehr einfache Identifikation vorzunehmen.
Es sάnd dabei wenigstens 3 Kameras vorgesehen, wobei typisch 2 Infrarotkameras vorgesehen sein werden. Mit diesen zwei Infrarotkameras ist es möglich, die Position eines Markers sehr genau festzulegen, weil schon mit zwei Kameras auf bekannte Weise, etwa durch Triangulation, eine Positionsbestimmung erfolgen kann. In einer Grundvariante ist dagegen nur eine Farbkamera erforderlich, um die Marker,- die auf den' mit den IR-Kameras ermittelten Stellen befindlich sind, zu identifizieren.
Besonders bevorzugt ist es, wenn die Positionsbestimmungsanordnung mit IR-Marker verwendet wird, die einen engen Rückstrahlkegel aufweisen. Dann können nahe den IR-Kameras IR- Lichtquellen vorgesehen sind, wie IR-LEDs, so daß das Licht bei Erregung dieser Lichtquelle praktisch nur in die jeweilige IR-Kamera zurückfällt. Insbesondere wird also zumindest eine IR-Lichtquelle so nahe an einer IR-Kamera angeordnet,
daß zumindest wesentliche Anteile des Rückstrahlkegels in diese IR-Kamera fallen. Es ist im übrigen zwar nicht zwingend erforderlich, die Marker zugleich als IR-Marker und farbig auszulegen. Vielmehr wäre es prinzipiell möglich, Farbfelder o.a. getrennt von den IR-Markern anzubringen. Bevorzugt ist es jedoch in jedem Fall, wenn die IR-Marker zugleich farbig sind, weil dies die Auswertung vereinfacht.
Es ist möglich, daß einer Mehrzahl von Kameras Lichtquellen zugeordnet sind, deren von den Markierungen rückgestreutes Licht zumindest überwiegend . in die entsprechenden Kameras fällt. Mit anderen Worten wird bei besonders engen Rückstreukegeln von der für die Positionsbestimmung eingestrahlte Lichtenergie viel in die jeweilige Kamera zurückgestrahlt. Dies ist bevorzugt, weil so die Gesamtenergie, die auf das Sichtfeld eingestrahlt werden muß, geringer gehalten werden kann. Dies ist gerade bei Operationen, wo der Situs sehr hell auszuleuchten ist, relevant, da durch die hellen OP-Leuchten ohnehin eine starke Wärmebelastung gegeben ist. Es ist weiter möglich, in einem solchen Fall eine Steuerung vorzusehen, um die unterschiedlichen Lichtquellen separat zu erregen._ Dies kann bei dicht beieinander liegenden Lichtquellen vorteilhaft sein, um eine noch bessere Trennung zu erzielen.
Obwohl mit einer Farbkamera erfindungsgemäß gearbeitet werden kann, sind typisch wenigstens zwei vorgesehen. Dies ermöglicht einerseits eine bestimmte Redundanz, etwa gegen Ausfall einer Kamera oder zur Bestimmung einer Verschiebung, wenn eine Auswertung der Farben unter Heranziehung nur einer Kamera erfolgt. Andererseits und/oder alternativ ist es möglich, auch mit den Farbkameras eine Triangulation vorzunehmen. Dies ist besonders bevorzugt. Dann ist es möglich, die Groblage
eines Objektes anhand der verrauschten und/oder ungenauen Farbbilder zu bestimmen und anhand der IR-Kamerabildaus- wertung festzulegen, wo genau die Markierungen im Raum sitzen, die mit den Farbkameras grob in ihrer Position erkannt und identifiziert wurden.
Die Positionsbestimmungsanordnung wird bevorzugt so ausgebildet, daß wenigstens zwei IR- und zwei Farbkameras und eine Steuerung vorgesehen sind, um mit diesen Positionen zu be- stimmen, insbesondere, um Positionen durch gegebenenfalls ge- wichtete Positionsbestimmung genauer festzulegen, um mit höherer Wiederholrate Messungen zu bestimmen, etwa indem phasenverschoben erst mit einem ersten Satz und dann mit einem zweiten Satz von je zwei IR-Kameras und einer Farbkamera Mar- kierungspositionen erfaßt werden und/oder um, insbesondere bei -zueinander beweglichen Kameras mit einem ersten Satz Kameras die Positionen weiterer Kameras zu kontrollieren und/oder zu bestimmen. Ein Wechsel zwischen Kameras kann etwa auch so erfolgen, daß zwei IR-Kameras und zwei Farbkameras vorgesehen sind und dann jede Farbkamera alternierend, aber synchron mit den beiden IR-Kameras ausgelesen wird. Das synchrone Auslesen gewährleistet, daß sich nicht durch rasche Bewegungen Fehler ergeben können. Das phasenverschobene alternierende Auslesen ist etwa dann vorteilhaft, wenn die ma- ximal mögliche Auslesefrequenz der IR-Kameras höher als jene der Farbkameras ist.
Die Positionsbestimmungsanordnung ist besonders bevorzugt für die Anwendung in Operationssälen und kann insbesondere steri- lisierbar und/oder mit Schnittstellen für die Positionierung von Instrumenten und/oder die Aufzeichnung von Instrumentenpositionen ausgebildet sein.
Es ist dann insbesondere möglich, eine Mehrzahl Kameras in eine Operationsleuchte einzubauen.
Schutz wird weiter beansprucht für Marker für eine Positionsbestimmungsanordnung der Erfindung, wobei dieser zumindest an Teilen einen Rückstreukegel von nicht mehr als 10° (in der Seitenansicht des Kegels) insbesondere für IR-Licht aufweist, färbkodiert und steril verpackt ist.
Die Erfindung wird im folgenden nur beispielsweise anhand der Zeichnung erläutert. In dieser ist gezeigt durch:
Fig. 1 eine Anordnung gemäß der Erfindung.
Nach Fig 1. zeigt eine allgemein mit 1 bezeichnete Positionsbestimmungsanordnung 1 mit Markierungserfaßungskameras 2 zur Ausgabe von für die Erfassung von Markierungen 3 indikativen Signalen und Signalauswertemitteln 4 zur Markierungspositi- onsbestimmung im Ansprechen auf die Kamerasignale, wobei die Markierungserfaßungskameras 2 eine Vielzahl von IR- und Farbkameras zur Erfassung der farbkodierten IR-Marker 3 vorgesehen ist und die Signalauswertemittel 4 zur Markierungsidentifikation im Ansprechen auf die Farbkamerasignale ausgebildet sind.
Die Positionsbestimmungsanordnung 1 ist im vorliegenden Beispiel' zur Verwendung in einem Operationsaal ausgebildet und insbesondere sind die Kameras 2 in einer Operationsleuchte 5 mit Lampen 5a eingebaut und mit dieser schwenkbar, so daß sie immer eine weitgehend freie Sicht auf den Situs aus kurzer Entfernung besitzen. Wohin die Operationsleuchte 5 geschwenkt
wird und somit von welcher Position aus beobachtet wird, wird mit einem Satz raumfester Kameras (nicht eingezeichnet) beobachtet, die in der Decke oder den Wänden des Operationssaales angeordnet sind, wobei auf der Operationsleuchte diesen Kame- ras zugewandte Marker angeordnet sitzen (gleichfalls nicht eingezeichnet) .
Die Kameras 2 umfassen im vorliegenden, einfachen Ausführungsbeispiel zwei identische IR-Kameras 2a, 2c und eine Farb- kamera 2b. Diese drei Kameras sind gemeinsam auf den Situs .gerichtet. Die beiden IR-Kameras sind so zueinander angeordnet, daß die Position und Ausrichtung eines Instrumentes bzw. einer darauf angeordneten Markierung mit ihnen durch Triangulation erfaßbar ist. Nahe jeder Kamera 2a, 2b ist eine IR-LED 6a, 6b angeordnet, deren Licht auf den Situs und dessen Umgebung, gerichtet ist, so daß insbesondere in der Nähe des Situs befindliche Marker 3 auf chirurgischen Instrumenten 7, die Licht in einem engen Kegel mit einem Öffnungswinkel alpha von etwa 3° in Richtung auf die LED und damit in die dicht dane- ben befindliche IR-Kamera rückstreuen. Marker-Klebefolien, die einen engen Rückstreukegel erzeugen, sind kommerziell erhältlich. Für die Zwecke der vorliegenden Erfindung sind solche Folien steril verpackt und farbkodiert, d.h. sie weisen eine einer Vielzahl unterschiedlicher Farben auf. Es sei dar- auf hingewiesen, daß die Marker nicht zwingend folienartig sein müssen, sondern auch zum Beispiel Kugelform besitzen können. Auch dann ist eine sterile Verpackung möglich.
Weiter ist eine farbempfindliche Kamera 2b vorgesehen, die ein farbiges Bild des Situs aufnimmt und mit der demgemäß erkannt werden kann, welche Farbkodierung der Marker 3 besitzt. Es sind mit der festen Anordnung der Kameras in der Operati-
onsleuchte auch die Abbildungeigenschaften des Systems und insbesondere der Farbkamera bekannt, so daß errechnet werden kann, wohin ein bestimmter Raumpunkt innerhalb des Sichtfeldes auf dem Bild abgebildet wird.
Die Signale aus den Kameras 2 werden über Signalleitungen an die Signalauswertemittel 4 gespeist. Diese ist dazu ausgebildet, durch Triangulation aus den Signalen der IR-Kameras die XYZ-Position der Markierung zu bestimmen. Weiter ist sie dazu ausgebildet, zu einer gegebenen .XYZ-Position im Raum zu ermitteln, wohin diese, im Bild der Farbkamera projiziert wird und dann die Farbe bei diesem Bildpunkt zu ermitteln, um die Markierung und damit das Instrument 7 anhand der Farbe zu erkennen.
Die Anordnung kann wie folgt verwendet werden:
Das System wird einmal kalibriert. Dann werden die sterilen IR-Markierungen definiert auf einer Reihe chirurgischer In- strumente 7 angebracht, wobei jedem Instrument eine Markierung in einer anderen, von der Farbkamera unterscheidbaren Farbe zugeordnet wird.
Nun wird die Operationsleuchte 5 an eine vorgegebene und be- kannte Stelle über dem Situs bewegt. Hernach wird ein erstes der Instrumente 7 im Sichtfeld der Kameras verwendet und die IR-Leds bei jeder Kamera erregt. Die dabei mit der zugeordneten Kamera 2a, 2b erhaltenen Bilder weisen dort, wo die Markierung sitzt, einen scharfen, hellen Fleck auf, während die anderen Bereiche dunkel sind.
Die Bilder der beiden IR-Kameras 2a, 2c werden nun ausgewertet, um durch Triangulation die genaue Position der Markierung im Raum zu ermitteln. Da die relativen Positionen der Kameras zueinander bekannt und das System kalibriert ist, kann dies ohne weiteres geschehen.
Nun wird bestimmt, wohin der XYZ-Punkt, an dem sich die Markierung befindet, auf der Farbkamera abgebildet wird. Dann wird ein Bild mit der Farbkamera aufgenommen und der Farbwert an jenem Bildbereich, auf dem sich die Markierung befinden soll,, ermittelt. Anhand des . Farbwertes wird bestimmt, welches Instrument die Markierung trägt und es ist somit die Position dieses eindeutig identifizierten Instrumentes bekannt.
Es sei zunächst erwähnt, daß einleuchtenderweise nicht nur eine Positionsbestimmung möglich ist, sondern auch räumliche Ausrichtungen ermittelt werden können. Dazu können etwa zwei oder mehr Markierungen auf einem Instrument vorgesehen werden.
Wenn mehr als eine Markierung simultan im Blickfeld der Kameras ist, etwa weil mehr als ein Instrument verwendet wird und/oder weil auch dessen räumliche Ausrichtung ermittelt werden soll, kann es bevorzugt sein, wenn mehr als eine Farb- kamera vorhanden ist. Es kann dann insbesondere auch mit diesen ein Triangulation vorgenommen werden und es ist möglich, eine geeignete Zuordnung festzulegen, mit welcher IR- Markierung eine Korrespondenz an einer gegebenen Stelle am wahrscheinlichsten ist. So können durch Projektion eines mit den Farbkameras ermittelten xyz-Punktes gegebener Farbe auf die IR-Kameras entsprechende Bereiche identifiziert werden, auf denen ein IR-Signal zu erwarten ist. Die genaue Position
dieser IR-Punkte wird dann ermittelt, um so eine genauere xyz-Koordinate zu erhalten.
Weiter ist es möglich, eine größere Vielzahl an Kameras vor- zusehen, um durch mehrfache Triangulation die Genauigkeit zu verbessern, eine Redundanz gegen Kameraausfall oder Sicht- feldverdeckung zu schaffen und/oder um durch phasenverschobenes Auslesen des Bildes die Zeitauflösung zu erhöhen.
Es sei erwähnt, daß durch andere Zuordnungen als oben angegeben gleichfalls eine Bestimmung von XYZ-Koordinaten mit mehr als zwei IR- und Farbkameras möglich ist.