[go: up one dir, main page]

JP6475324B2 - オプティカルトラッキングシステム及びオプティカルトラッキングシステムの座標系整合方法 - Google Patents

オプティカルトラッキングシステム及びオプティカルトラッキングシステムの座標系整合方法 Download PDF

Info

Publication number
JP6475324B2
JP6475324B2 JP2017515177A JP2017515177A JP6475324B2 JP 6475324 B2 JP6475324 B2 JP 6475324B2 JP 2017515177 A JP2017515177 A JP 2017515177A JP 2017515177 A JP2017515177 A JP 2017515177A JP 6475324 B2 JP6475324 B2 JP 6475324B2
Authority
JP
Japan
Prior art keywords
patient
unit
coordinate
coordinate system
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017515177A
Other languages
English (en)
Other versions
JP2017535308A (ja
Inventor
ヒョン キ イ、
ヒョン キ イ、
Original Assignee
コー・ヤング・テクノロジー・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コー・ヤング・テクノロジー・インコーポレーテッド filed Critical コー・ヤング・テクノロジー・インコーポレーテッド
Publication of JP2017535308A publication Critical patent/JP2017535308A/ja
Application granted granted Critical
Publication of JP6475324B2 publication Critical patent/JP6475324B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B17/00234—Surgical instruments, devices or methods for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Description

本発明は、オプティカルトラッキングシステム及びオプティカルトラッキングシステムの座標系整合方法に関するもので、より詳細には、患者や施術道具をトラッキングするためのオプティカルトラッキングシステム及びオプティカルトラッキングシステムの座標系整合方法に関するものである。
本発明は、知識経済部の産業源泉技術開発事業の一環として実行された研究から導き出されたものである[課題固有番号：１００４００９７、課題名：医療手術ロボット画像基盤の耳鼻咽喉科及び神経外科手術用の最小侵襲多自由度手術ロボットシステム技術開発]。
最近、患者の患部を治療する手術において、既撮影された画像を用いた画像誘導手術(ｉｍａｇｅ−ｇｕｉｄｅｄ ｓｕｒｇｅｒｙ)が多く活用されている。特に、患者身体内の重要な神経と主要な臓器を回避しながら手術を進めなければならない場合には、既撮影された画像を基盤として高い精度を有する手術を行うことが要求される。
一般に、既撮影された映像は、ＭＲＩ撮影、ＣＴ撮影などにより取得された３次元画像を含み、手術開始時には、このような既撮影された３次元画像の座標系と患者の座標系を互いに一致させる整合(ｒｅｇｉｓｔｒａｔｉｏｎ)が必要で、手術進行中には患者や手術道具の動きによる位置及び姿勢変化をリアルタイムで把握することが必要である。また、手術中に患者の姿勢が変わる場合、患者の座標系を再整合(ｒｅ−ｒｅｇｉｓｔｒａｔｉｏｎ)して患者あるいは患部を持続的に追跡することが必要である。
従来は、このような整合及びトラッキングのために動的参照装置(ｄｙｎａｍｉｃ ｒｅｆｅｒｅｎｃｅ ｂａｓｅ、ＤＲＢ)が活用されてきた。即ち、事前に前記動的参照装置を患者に付着した後、ＣＴのような３次元画像を撮影し、手術開始時に前記３次元画像の座標系と患者の座標系を互いに整合した後、手術進行中には、前記動的参照装置に基づいて手術道具をトラッキングすることにより、患者の患部に対する相対的な手術道具の位置などをトラッキングする。この場合、整合のために前記動的参照装置が患者に固定されたままで事前に３次元画像が撮影される必要があり、正確なトラッキングのために厳格に患者に固定される必要がある。
このために、従来は、例えば、患者の骨の部分にマーカー(ｍａｒｋｅｒ)を打ち込んだ後、これをセンシングしてトラッキングする方法、患者の歯にマーカーが付着されたテンプレート(ｔｅｍｐｌａｔｅ)をかまし、これをセンシングしてトラッキングする方法などが採用されたり、人工構造物を生成して加工されたスタンプ(ＳＴＡＭＰ、Ｓｕｒｆａｃｅ Ｔｅｍｐｌａｔｅ−Ａｓｓｉｓｔｅｄ Ｍａｒｋｅｒ Ｐｏｓｉｔｉｏｎ)を用いる方法などが採用されてきた。
しかし、前記のような従来の方法は、マーカー付着の困難と骨に打ち込むことで生じる副作用、歯にかますことにより発生し得るマーカーの位置変化による精度及び信頼性の減少、手術前に高価なスタンプを製作しなければならない煩わしさと製作に要される多くの時間と費用等のような様々な問題がある。また、従来の方法の場合、動的参照装置が厳格に患者に固定されるとしても、患者が動く場合には、前記動的参照装置と患者の患部との間の距離、姿勢などが変わることがあるので、正確なトラッキングがなされず、再整合もできず、これを用いることができない問題がある。従って、従来の方法の場合、患者が動かないと仮定して手術を進めるが、現実的に手術中に患者が動く場合が多いので、実質的に正確なトラッキングがなされるには困難がある。
従って、より短時間に少ない費用で、正確な整合結果を取得できる整合方法の開発が要請され、手術中に患者が動いたり姿勢が変わる場合にも、トラッキングが比較的正確で容易なトラッキングシステム及びトラッキング方法の開発が要請されている。
従って、本発明が解決しようとする課題は、より短時間に少ない費用で、正確かつ容易に患者や施術道具をトラッキングできるオプティカルトラッキングシステムを提供するものである。
本発明が解決しようとする他の課題は、より短時間に少ない費用で、正確かつ容易に患者や施術道具をトラッキングできるオプティカルトラッキングシステムの整合方法を提供するものである。
本発明の例示的な一実施例によるオプティカルトラッキングシステム(ｏｐｔｉｃａｌ ｔｒａｃｋｉｎｇ ｓｙｓｔｅｍ)は、患者に対する施術前に予め取得された３次元画像を用いて患者や前記患者を施術するための施術道具をトラッキングするために提供される。前記オプティカルトラッキングシステムは、基準マーカー(ｍａｒｋｅｒ)部、形状測定部、トラッキングセンサ部及び処理部を含む。前記基準マーカー部は、前記患者に相対的に固定配置される。前記形状測定部は、前記３次元画像に対応する前記患者の所定部位に対して３次元形状を測定する。前記トラッキングセンサ部は、前記基準マーカー部及び前記形状測定部をそれぞれトラッキングできるように前記基準マーカー部及び前記形状測定部をセンシング(ｓｅｎｓｉｎｇ)する。前記処理部は、前記トラッキングセンサ部でセンシングされた結果に基づいて前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部と前記トラッキングセンサ部との間の座標変換関係を取得し、前記形状測定部で測定された結果に基づいて前記患者の所定部位と前記形状測定部との間の座標変換関係を取得し、前記取得された座標変換関係から前記基準マーカー部に対して相対的な前記患者の座標系を定義する。
一実施例によれば、前記形状測定部は、前記３次元画像に対応する前記患者の所定部位に対して３次元形状を測定する測定装置及び前記測定装置に設けられたマーカーを含み得、前記トラッキングセンサ部は、前記形状測定部のマーカーをセンシングすることができる。前記処理部は、前記形状測定部のマーカーと前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部の前記測定装置と前記マーカーの間の座標変換関係を取得することができる。
例えば、前記座標変換関係は、座標変換行列で表されることができ、前記処理部は、下記の数式により前記基準マーカー部に対して相対的な前記患者の座標系を定義することができる。

(ＰＲは、前記基準マーカー部に対する前記患者の座標変換行列、Ｔ１は、前記トラッキングセンサ部に対する前記基準マーカー部の座標変換行列、Ｔ２は、前記トラッキングセンサ部に対する前記形状測定部のマーカーの座標変換行列、Ｔ３は、前記形状測定部のマーカーに対する測定装置の座標変換行列、Ｔ４は、前記形状測定部の測定装置に対する前記患者の座標変換行列)
例えば、前記トラッキングセンサ部は、前記トラッキングセンサ部に対する前記基準マーカー部の座標変換行列（Ｔ１）及び前記トラッキングセンサ部に対する前記形状測定部のマーカーの座標変換行列（Ｔ２）を取得するための情報を測定することができ、前記形状測定部は、前記形状測定部の測定装置に対する前記患者の座標変換行列（Ｔ４）を取得するための情報を測定することができる。前記処理部は、前記測定された情報を用いて前記座標変換行列（Ｔ１、Ｔ２、Ｔ４）を取得し、前記取得された座標変換行列（Ｔ１、Ｔ２、Ｔ４）から前記形状測定部のマーカーに対する測定装置の座標変換行列（Ｔ３）及び前記基準マーカー部に対する前記患者の座標変換行列（ＰＲ）を算出することができる。前記トラッキングセンサ部及び前記形状測定部の測定は２回以上実行することができる。
一実施例によれば、前記処理部は、前記患者に対する施術前に予め取得された３次元画像の座標系及び前記基準マーカー部に対して相対的に定義された前記患者の座標系を前記形状測定部で測定された３次元形状に基づいて整合することができる。
前記オプティカルトラッキングシステムは、マーカーを含み、前記患者を施術するための施術道具をさらに含み得る。前記トラッキングセンサ部は、前記施術道具のマーカーをトラッキングできるように前記施術道具のマーカーをセンシングすることができ、前記処理部は、前記トラッキングセンサ部でセンシングされた結果に基づいて前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記施術道具のマーカーと前記トラッキングセンサ部との間の座標変換関係を取得し、前記取得された座標変換関係及び前記基準マーカー部に対して相対的に定義された前記患者の座標系を用いて前記患者に対して相対的な前記施術道具の座標系を定義することができる。
一実施例によれば、前記処理部は、前記患者に対する施術前に予め取得された３次元画像の座標系及び前記患者に対して相対的に定義された前記施術道具の座標系を、前記３次元画像の座標系及び前記患者の座標系の整合結果に基づいて整合することができる。
前記処理部は、前記患者が動く場合、自動または手動で前記患者の座標系を再定義することができる。
本発明の例示的な他の実施例によるオプティカルトラッキングシステムの座標系整合方法は、患者に対する施術前に前記患者の３次元画像を取得する段階と、前記患者に相対的に固定配置された基準マーカー部及び前記３次元画像に対応する前記患者の所定部位に対して３次元形状を測定する形状測定部をトラッキングセンサ部によりセンシングする段階と、前記トラッキングセンサ部でセンシングされた結果に基づいて前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部と前記トラッキングセンサ部の間の座標変換関係を取得し、前記形状測定部で測定された結果に基づいて前記患者の所定部位と前記形状測定部との間の座標変換関係を取得する段階と、前記取得された座標変換関係から前記基準マーカー部に対して相対的な前記患者の座標系を定義する段階とを含む。
一実施例によれば、前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部と前記トラッキングセンサ部との間の座標変換関係を取得し、前記患者の所定部位と前記形状測定部との間の座標変換関係を取得する段階は、前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部のマーカーと前記トラッキングセンサ部との間の座標変換関係を取得する段階と、前記形状測定部の前記測定装置と前記マーカーとの間の座標変換関係を取得する段階と、前記患者と前記形状測定部の前記測定装置との間の座標変換関係を取得する段階とを含み得る。
前記トラッキングシステムの座標系整合方法は、前記取得された座標変換関係から前記基準マーカー部に対して相対的な前記患者の座標系を定義する段階後に、前記取得された３次元画像の座標系及び前記定義された前記患者の座標系を前記形状測定部で測定された３次元形状に基づいて整合する段階をさらに含み得る。
前記トラッキングシステムの座標系整合方法は、前記取得された３次元画像の座標系及び前記定義された前記患者の座標系を整合する段階後に、前記患者を施術するための施術道具のマーカーをセンシングする段階と、前記トラッキングセンサ部でセンシングされた結果に基づいて前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記施術道具のマーカーと前記トラッキングセンサ部との間の座標変換関係を取得する段階と、前記取得された座標変換関係及び前記基準マーカー部に対して相対的に定義された前記患者の座標系を用いて前記患者に対して相対的な前記施術道具の座標系を定義する段階とをさらに含み得る。
前記トラッキングシステムの座標系整合方法は、前記患者に対して相対的な前記施術道具の座標系を定義する段階後に、前記取得された３次元画像の座標系及び前記定義された前記施術道具の座標系を前記３次元画像の座標系及び前記患者の座標系の整合結果に基づいて整合する段階をさらに含み得る。
前記患者が動く場合、前記患者に相対的に固定配置された基準マーカー部及び前記３次元画像に対応する前記患者の所定部位に対して３次元形状を測定する形状測定部をトラッキングセンサ部によりセンシングする段階以下は繰り返し実行することができる。
本発明によれば、オプティカルトラッキングシステムが形状測定部を備え、患者の所定部位に対して３次元形状を測定し、トラッキングセンサ部で前記形状測定部と基準マーカー部をセンシングすることにより、これらの間の座標変換関係から前記基準マーカー部に対して相対的な前記患者の座標系を定義することができ、施術時にリアルタイムで前記患者及び施術道具をトラッキングできる。
また、前記基準マーカー部に対して相対的な前記患者の座標系を定義する過程が容易に再実行され得るので、前記患者が動いたり姿勢が変わる場合にも、正確に座標系を再設定することができ、前記患者及び前記施術道具をリアルタイムで正確にトラッキングできる。
また、施術時に測定された前記患者の３次元形状自体を標識に整合が可能なので、動的参照装置（ＤＲＢ）を患者に直接付着しなくても、施術前に予め取得された３次元画像の座標系と施術時にリアルタイムで移動され得る患者の座標系及び施術道具の座標系を互いに整合することができる。また、事前に前記３次元画像を取得する時にも、前記動的参照装置を付着する必要がなく、いつでも座標系の再設定及び再整合が可能なので、前記基準マーカー部は、前記患者に対して厳格に固定される必要もない。
従って、マーカーを患者に直接付着することで引き起こされる患者の苦痛と誤差、手術前にスタンプを製作しなければならない等の作業の煩わしさと多くの所要時間及び費用等のような従来技術の問題を解決することができる。
即ち、別途の準備過程なしに手術室内で迅速に患者の座標系を設定して、画像整合を行うことができるので、より短時間及び少ない費用で正確かつ容易に患者の座標系及び施術道具の座標系設定及び画像整合が可能で、患者に直接付着される動的参照装置（ＤＲＢ）を省略して患者に直接操作を加えなくてもよく、患者の苦痛及び副作用を軽減することができる。
本発明の一実施例によるオプティカルトラッキングシステムを示す概念図である。 図１のオプティカルトラッキングシステムのモデリング過程を説明するための概念図である。 図１のオプティカルトラッキングシステムで施術道具のトラッキング及び整合を説明するための概念図である。 本発明の一実施例によるオプティカルトラッキングシステムの座標系整合方法を示すフローチャートである。
本発明は多様な変更を加えることができ、多様な形態を有することができるところ、特定実施例を図面に例示して本文に詳細に説明する。しかし、これは本発明を特定の開示形態に対して限定しようというものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むと理解されるべきである。
第１、第２等の用語は、多様な構成要素を説明するのに用いられるが、前記構成要素は、前記用語により限定されてはならない。前記用語は１つの構成要素を他の構成要素から区別する目的でのみ用いられる。例えば、本発明の権利範囲を逸脱せず、第１構成要素は第２構成要素と命名され得、同様に第２構成要素も第１構成要素と命名され得る。
本出願で用いた用語は、単に特定の実施例を説明するために用いられたもので、本発明を限定しようという意図ではない。単数の表現は文脈上明確に異なって言及しない以上、複数の表現を含む。本出願で、「含む」または「有する」などの用語は、明細書に記載された特徴、数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものが存在することを指定しようというものであって、１つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものの存在または付加の可能性を予め排除しないと理解されなければならない。
別に定義されない限り、技術的であったり科学的な用語を含めてここで用いられる全ての用語は、本発明の属する技術分野で通常の知識を有する者に一般に理解されるものと同一の意味を有する。
一般に用いられる辞典に定義されている用語は、関連技術の文脈上有する意味と一致する意味を有すると解釈されるべきで、本出願で明確に定義していない限り、理想的であったり過度に形式的な意味に解釈されない。
以下、添付した図面を参照して、本発明の好ましい実施例をより詳細に説明する。
図１は、本発明の一実施例によるオプティカルトラッキングシステムを示す概念図である。
本発明の一実施例によるオプティカルトラッキングシステム（ｏｐｔｉｃａｌ ｔｒａｃｋｉｎｇ ｓｙｓｔｅｍ）は、患者に対する施術前に予め取得された３次元画像を用いて患者や前記患者を施術するための施術道具をトラッキングするために提供される。
前記３次元画像は、前記患者１０に対する施術前に予め取得された画像であって、前記患者１０に対する施術時に基準画像として活用され得る。ここで、前記施術は、手術を含む患者に対する医療的治療行為全体を含む。例えば、前記３次元画像は、診断及び治療のために病院で一般に取得するＣＴ(コンピュータ断層撮影、ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ)画像を含み得る。これとは異なり、前記３次元画像はＭＲＩ(磁気共鳴画像、ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ)などのような他の３次元画像を含み得る。また、ここで前記３次元画像は、ＣＴ画像のように直接撮影された画像を操作したり再構成した画像も含む概念であって、実際の施術時に広く活用される多平面再構成画像及び３次元再構成画像も全て含む概念である。
図１を参照すると、前記オプティカルトラッキングシステム１００は、基準マーカー（ｍａｒｋｅｒ）部１１０、形状測定部１２０、トラッキングセンサ部１３０及び処理部１４０を含む。
前記基準マーカー部１１０は、患者１０に相対的に固定配置される。
前記基準マーカー部１１０には、マーカー１１２が設けられ、前記マーカー１１２は後述されるトラッキングセンサ部１３０でセンシングが可能にエネルギーまたは信号を発生させ得る。例えば、前記基準マーカー部１１０には、複数のマーカーが設けられ、所定のパターンが形成された１つのマーカーが設けられることもできる。
前記基準マーカー部１１０は、従来の動的参照装置（ＤＲＢ）と対応するが、前記基準マーカー部１１０は、従来の動的参照装置と異なって整合の基準にならないので、ＣＴ、ＭＲＩのような前記３次元画像を撮影する時、これを前記患者１０に付着する必要がない。また、従来の動的参照装置は、必ず前記患者１０に直接付着されなければならず、前記患者１０に厳格に固定されなければならないのに対し、前記基準マーカー部１１０は、前記患者１０に直接付着されてもよいが、前記患者１０に相対的に固定されさえすればよいので、手術室のベッドなど他の固定物体に付着され得、前記患者１０に厳格に固定される必要がない。
前記形状測定部１２０は、前記３次元画像に対応する前記患者１０の所定部位に対して３次元形状を測定する。
一実施例によれば、前記形状測定部１２０は、測定装置１２２及びマーカー１２４を含み得る。
前記測定装置１２２は、前記３次元画像に対応する前記患者１０の所定部位に対して３次元形状を測定する。一実施例によれば、前記測定装置１２２は、格子パターン光を前記患者１０の所定部位に照射し、前記格子パターン光による前記患者１０の所定部位に対する反射イメージを取得した後、前記取得された反射イメージにバケットアルゴリズム（ｂｕｃｋｅｔ ａｌｇｏｒｉｔｈｍ）を適用して３次元形状を測定できる。また、前記測定された３次元形状から３次元画像を取得することができる。
前記マーカー１２４は、前記測定装置１２２に設けられる。前記マーカー１２４は、後述するトラッキングセンサ部１３０でセンシングが可能にエネルギーまたは信号を発生させ得る。例えば、前記形状測定部１２０には、複数のマーカーが設けられ、所定のパターンが形成された１つのマーカーが設けられることもある。
前記トラッキングセンサ部１３０は、前記基準マーカー部１１０及び前記形状測定部１２０をそれぞれトラッキングできるように前記基準マーカー部１１０及び前記形状測定部１２０をセンシング（ｓｅｎｓｉｎｇ）する。
例えば、前記トラッキングセンサ部１３０は、前記基準マーカー部１１０のマーカー１１２をセンシングすることができ、前記形状測定部１２０のマーカー１２４をセンシングすることができる。これにより、前記基準マーカー部１１０の位置及び/又は姿勢が分かり、前記形状測定部１２０の位置及び/又は姿勢が分かる。
前記処理部１４０は、例えば、コンピュータまたはコンピュータの中央処理装置を含み得る。
前記処理部１４０は、前記トラッキングセンサ部１３０でセンシングされた結果に基づいて前記基準マーカー部１１０と前記トラッキングセンサ部１３０との間の座標変換関係及び前記形状測定部１２０と前記トラッキングセンサ部１３０との間の座標変換関係を取得する。また、前記処理部１４０は、前記形状測定部１２０で測定された結果に基づいて前記患者１０の所定部位と前記形状測定部１２０との間の座標変換関係を取得する。ここで、前記座標変換関係は、例えば、行列形態で定義され得る。
前記処理部１４０は、前記取得された座標変換関係から前記基準マーカー部１１０に対し相対的な前記患者１０の座標系を定義する。例えば、前記座標系は、行列形態で定義され得る。
一方、前記形状測定部１２０の前記測定装置１２２の測定位置と前記形状測定部１２０のマーカー１２４の位置は多少差があるので、正確な座標系の定義のために前記測定装置１２２と前記マーカー１２４との間の位置差による誤差をキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）することもできる。これにより、前記処理部１４０は、前記形状測定部１２０のマーカー１２４と前記トラッキングセンサ部１３０との間の座標変換関係及び前記形状測定部１２０の前記測定装置１２２と前記マーカー１２４との間の座標変換関係を別個に取得することができる。
例えば、前記座標変換関係は、座標変換行列で表され得る。
以下、前記座標変換関係を用いて前記患者１０の座標系を定義するための前記オプティカルトラッキングシステム１００のモデリング設定及び解決過程を図面を参照してより詳細に説明する。
図２は、図１のオプティカルトラッキングシステムのモデリング過程を説明するための概念図である。
図２を参照すると、前記オプティカルトラッキングシステム１００は、前記座標変換関係を座標変換行列Ｔ１、Ｔ２、Ｔ３、Ｔ４及びＰＲでそれぞれ示すことができる。
ここで、ＰＲは、前記基準マーカー部１１０に対する前記患者１０の座標変換行列、Ｔ１は、前記トラッキングセンサ部１３０に対する前記基準マーカー部１１０の座標変換行列、Ｔ２は、前記トラッキングセンサ部１３０に対する前記形状測定部１２０のマーカー１２４の座標変換行列、Ｔ３は、前記形状測定部１２０のマーカー１２４に対する測定装置１２２の座標変換行列、Ｔ４は、前記形状測定部１２０の測定装置１２２に対する前記患者１０の座標変換行列を意味する。
前記基準マーカー部１１０に対する前記患者１０の座標変換行列ＰＲを図２に示された矢印方向に基づいて閉ループ（ｃｌｏｓｅｄ ｌｏｏｐ）を形成するようにＴ１、Ｔ２、Ｔ３及びＴ４で示ると、数式1が得られる。
一方、前記トラッキングセンサ部１３０から前記患者１０まで互いに異なる２つの経路を閉ループになるように形成して数式２を得た後、これを変形しても同一の結果である数式１が得られる。
前記処理部１４０は、数式１(または、数式２)により座標変換行列ＰＲを取得することにより、前記基準マーカー部１１０に対し相対的な前記患者１０の座標系を定義することができる。
例えば、前記トラッキングセンサ部１３０は、前記トラッキングセンサ部１３０に対する前記基準マーカー部１１０の座標変換行列Ｔ１及び前記トラッキングセンサ部１３０に対する前記形状測定部１２０のマーカーの座標変換行列Ｔ２を取得するための情報を測定することができ、前記形状測定部１２０は、前記形状測定部１２０の測定装置に対する前記患者１０の座標変換行列Ｔ４を取得するための情報を測定することができる。前記処理部１４０は、前記測定された情報を用いて座標変換行列Ｔ１、Ｔ２、Ｔ４を取得することができ、前記取得された座標変換行列Ｔ１、Ｔ２、Ｔ４から前記形状測定部１２０のマーカー１２２に対する測定装置１２４の座標変換行列Ｔ３及び前記基準マーカー部１１０に対する前記患者１０の座標変換行列ＰＲを算出することができる。
具体的には、前記座標変換行列Ｔ３、ＰＲは、下記のような数学的方式を適用して取得され得、前記処理部１４０は、このような数学的方式を具現して前記座標変換行列Ｔ３、ＰＲを算出することができる。
まず、前記座標変換行列を回転変換部分Ｒと位置変換部分ｔを含むように構成した後、これを数式２に代入して整理すると数式３が得られる。
数式３を整理すると、数式４が得られる。
数式４の各成分を等式で表せば、数式５及び数式６が得られる。
数式５において、ＲＴＴを定義して数式５を整理すると、数式７が得られる。
また、数式６において、ｔＴＴを追加で定義して数式６を整理すると、数式８が得られる。
数式７及び数式８において、回転変換行列Ｒは３×３形態を有し、位置変換行列ｔは３×１形態を有するので、数式７から３×３行列の各成分に対する式である９つの方程式が得られ、数式８から３×１行列の各成分に対する式である３つの方程式が得られる。
数式７においてＲＴＴの全ての成分(即ち、ＲＴ１及びＲＴ２の全ての成分)及びＲＴ４の全ての成分を先に説明された測定から分かり、数式８においてこれに加えてｔＴ４の全ての成分が分かるので、未知数はＲＰＲとＲＴ３それぞれの９つの成分と、ｔＰＲとｔＴ４のそれぞれの３つの成分などいずれも２４個である。
数式７及び数式８は、いずれも２４個の未知数を含む１２個の方程式なので、２回以上の測定で、より正確な解を求めることができ、これにより、前記トラッキングセンサ部１３０及び前記形状測定部１２０の測定は２回以上行われ得る。
従って、前記のように測定された座標変換関係を用いて前記患者１０の座標系を定義することができる。
前記座標変換行列Ｔ３、ＰＲを取得するために上述した数学的方式は他の方式により代替することもできる。例えば、前記処理部１４０は、デュアルクォータニオン（ｄｕａｌ ｑｕａｔｅｒｎｉｏｎ）方式を応用して、前記座標変換行列Ｔ３、ＰＲを算出することができる。
具体的には、まず先に記述した数式１から下記の数式９が得られ、数式９を変形して下記の数式１０が得られる。
数式１０を展開し、高次項を除去すると、数式１１が得られる。
数式9と数式11をそれぞれデュアルクォータニオン方式を応用して変形すると、下記の数式１２と下記の数式１３が得られる。
数式１２及び数式１３を行列方程式の形態に変形すると、下記の数式１４が得られ、数式１４から前記座標変換行列Ｔ３、ＰＲを算出することができる。
一方、前記処理部１４０は、前記患者１０に対する施術前に予め取得された３次元画像の座標系及び前記基準マーカー部１１０に対し相対的に定義された前記患者１０の座標系を前記形状測定部１２０で測定された３次元形状に基づいて整合することができる。
具体的には、前記患者１０に直接マーカーまたはマーカーに相当する構造物を付着し、これに基づいて３次元画像の座標系と患者の座標系を整合する代わりに、前記のように取得された３次元形状(または、これから得られる３次元画像)の座標系と前記３次元画像の座標系を、前記３次元形状自体を標識にして整合する（ｎａｔｕｒａｌ ｌａｎｄｍａｒｋ）。
このように、前記処理部１４０は、前記座標変換関係から前記基準マーカー部１１０に対し相対的な前記患者１０の座標系を定義することができ、施術時にリアルタイムで前記患者１０をトラッキングできる。
一方、前記基準マーカー部１１０に対し相対的な前記患者１０の座標系を定義する過程は自動で、あるいは使用者により手動で容易に再実行され得る。即ち、前記処理部１４０は、前記患者１０が動く場合、自動または手動で前記患者の座標系を再定義することができる。この時、前記患者１０が直接動く場合ではなくても、前記患者１０と前記基準マーカー部１１０との間の距離が変わる場合には、前記患者１０が動く場合とみなすことができる。
前記処理部１４０が前記基準マーカー部１１０に対し相対的な前記患者１０の座標系を定義する過程は自動で、あるいは使用者により手動で容易に再実行され得る。
従って、前記患者１０が動いたり姿勢が変わる場合、前記座標系を定義する過程を再実行することにより、正確に座標系を再設定することができる(変化したＰＲの取得)。
一実施例によれば、前記オプティカルトラッキングシステム１００は、前記患者１０の動きを感知する動き感知部(図示せず)を含み得、これを別途に含む代わりに、前記トラッキングセンサ部１３０で前記患者１０の動きを感知することができる。前記動き感知部または前記トラッキングセンサ部１３０で前記患者１０の動きを感知すると、前記処理部１４０は、前記座標系を定義する過程を再実行することにより、前記座標系を再設定することができる。
これにより、前記基準マーカー部１１０に対し相対的な前記患者１０の座標系をリアルタイムで定義することができるので、施術中に患者が動いたり姿勢が変わる場合にも、リアルタイムで前記患者１０を正確にトラッキングできる。
また、施術時に測定された３次元形状自体を標識に整合が可能なので、前記患者１０にマーカーまたはマーカーに対応する構造物のような動的参照装置（ＤＲＢ）を患者に直接付着しなくても、施術前に予め取得された３次元画像の座標系と施術時にリアルタイムで移動され得る患者１０の座標系を互いに整合することができる。また、事前に前記３次元画像を取得する時にも、前記動的参照装置を付着する必要がなく、いつでも座標系の再設定及び再整合が可能なので、前記基準マーカー部１１０は、前記患者１０に対し厳格に固定される必要もない。
従って、マーカーを患者に直接付着することで引き起こされる患者の苦痛と誤差、手術前にスタンプを製作しなければならない等の作業の煩わしさと多くの所要時間及び費用等のような従来技術の問題を解決することができる。即ち、別途の準備過程なしに手術室内で迅速に患者の座標系を設定して画像整合を行うことができるので、より短時間及び少ない費用で正確かつ容易に患者の座標系設定及び画像整合が可能であり、患者に直接付着される動的参照装置（ＤＲＢ）を省略して患者に直接操作を加えなくてもよいので、患者の苦痛及び副作用を軽減することができる。
図３は、図１のオプティカルトラッキングシステムで施術道具のトラッキング及び整合を説明するための概念図である。
図３を参照すると、前記オプティカルトラッキングシステム１００は、施術道具１５０をさらに含み得る。
前記施術道具１５０は、前記患者１０を施術するための道具であって、マーカー１５２を含む。前記マーカー１５２と前記マーカー１１２は、前記トラッキングセンサ部１３０でセンシングが可能にエネルギーまたは信号を発生させ得る。例えば、前記マーカー１５２は複数に形成され得、パターン情報を含むこともできる。
前記トラッキングセンサ部１３０は、前記施術道具１５０のマーカー１５２をセンシングして前記施術道具１５０をトラッキングできる。
前記処理部１４０は、前記トラッキングセンサ部１３０でセンシングされた結果に基づいて前記基準マーカー部１１０と前記トラッキングセンサ部１３０との間の座標変換関係及び前記施術道具１５０のマーカー１５２と前記トラッキングセンサ部１３０との間の座標変換関係を取得する。ここで、前記座標変換関係は、例えば、行列形態で定義され得、座標変換行列で表されることができる。
前記処理部１４０は、前記取得された座標変換関係及び前記基準マーカー部１１０に対し相対的に定義された前記患者１０の座標系を用いて前記患者１０に対し相対的な前記施術道具１５０の座標系を定義することができる。例えば、前記座標系は行列形態で定義され得る。
前記基準マーカー部１１０は、前記患者１０に相対的に固定配置されているので、先に図１及び図２で説明された前記基準マーカー部１１０に対し相対的に定義された前記患者１０の座標系を用いることができる。即ち、前記基準マーカー部１１０に対する前記患者１０の座標変換行列ＰＲを用いて、前記トラッキングセンサ１３０でセンシングして算出される座標変換行列Ｔ１’及びＴ２’を用いると、数式１及び数式２で変形された下記の数式１５によって前記患者１０に対し相対的に定義された前記施術道具１５０の座標変換行列Ｔ５が分かる。
従って、前記のように測定された座標変換関係を用いて前記患者１０に対し相対的な前記施術道具１５０の座標系を定義することができる。
図３及び数式１５において、前記施術道具１５０の座標変換行列Ｔ５は、前記マーカー１５２に基づいて示されているが、トラッキングが必要な地点、例えば、前記施術道具１５０の端部１５４に基づいて座標変換行列を定義することができる。即ち、前記座標変換行列Ｔ５を前記施術道具１５０のマーカー１５２に対する端部１５４の座標変換行列Ｔ３’及び前記施術道具１５０の端部１５４に対する前記患者１０の座標変換行列Ｔ４’を用いて定義することができ(Ｔ５＝Ｔ３’Ｔ４’)、この場合、Ｔ３’は、前記施術道具１５０の幾何学的形状から分かるので、前記患者１０に対し相対的な前記施術道具１５０の座標系を前記端部１５４に基づいて定義することができる。
一方、前記処理部１４０は、前記患者１０に対する施術前に予め取得された３次元画像の座標系及び前記患者１０に対し相対的に定義された前記施術道具１５０の座標系を前記３次元画像の座標系及び前記患者の座標系の整合結果に基づいて整合することができる。
即ち、図１及び図２で説明された通り、前記患者１０に対する施術前に予め取得された３次元画像の座標系及び前記基準マーカー部１１０に対し相対的に定義された前記患者１０の座標系を前記形状測定部１２０で測定された３次元形状に基づいて整合することができ、前記で説明された通り、前記患者１０に対し相対的な施術道具１５０の座標系を定義することができるので、これにより前記患者１０に対する施術前に予め取得された３次元画像の座標系及び前記患者１０に対し相対的に定義された前記施術道具１５０の座標系を互いに整合することができる。
前記オプティカルトラッキングシステム１００は、前記処理部１４０と連結されたディスプレイ部(図示せず)をさらに含み得る。前記ディスプレイ部は、前記施術前に予め取得された３次元画像、前記形状測定部１２０で測定された３次元形状に関する画像、前記施術道具１５０に対する画像、前記画像が整合されたオーバーラップ画像などがディスプレイされ得る。
このように、前記処理部１４０は、前記座標変換関係から前記患者１０に対し相対的な前記施術道具１５０の座標系を定義することができ、施術時にリアルタイムで前記施術道具１５０をトラッキングできる。
一方、前記基準マーカー部１１０に対し相対的な前記患者１０の座標系を定義する過程は自動で、あるいは使用者により手動で容易に再実行され得る。即ち、前記処理部１４０は、前記患者１０が動く場合、自動または手動で前記患者の座標系を再定義できる。この時、前記患者１０が直接動く場合ではなくても、前記患者１０と前記基準マーカー部１１０との間の距離が変わる場合には、前記患者１０が動く場合とみなすことができる。
従って、前記患者１０が動いたり姿勢が変わる場合、前記座標系を定義する過程を再実行することにより、正確に座標系を再設定することができる(変化したＰＲの取得)。また、前記処理部１４０は、前記患者１０に対し相対的な前記施術道具１５０の座標系も再設定することができ、施術時にリアルタイムで前記施術道具１５０をトラッキングできる。
これにより、前記基準マーカー部１１０に対し相対的な前記患者１０の座標系をリアルタイムで定義することができるので、施術中に患者が動いたり姿勢が変わる場合にも、リアルタイムで前記施術道具１５０を正確にトラッキングできる。
また、前記患者１０にマーカーまたはマーカーに相当する構造物のような動的参照装置ＤＲＢを患者に直接付着しなくても、施術前に予め取得された３次元画像の座標系と施術時にリアルタイムで移動する施術道具１５０の座標系を互いに整合することができる。また、事前に前記３次元画像を取得する時にも、前記動的参照装置を付着する必要がなく、いつでも座標系の再設定及び再整合が可能なので、前記基準マーカー部１１０は、前記患者１０に対し厳格に固定される必要もない。
従って、マーカーを患者に直接付着することで引き起こされる患者の苦痛と誤差、手術前にスタンプを製作しなければならない等の作業の煩わしさと多くの所要時間及び費用等とのような従来技術の問題を解決することができる。即ち、別途の準備過程なしに手術室内で迅速に施術道具の座標系を設定して画像整合を行うことができるので、より短時間及び少ない費用で正確かつ容易に施術道具の座標系設定及び画像整合が可能であり、患者に直接付着される動的参照装置ＤＲＢを省略して、患者に直接操作を加えなくてもよいので、患者の苦痛及び副作用を軽減することができる。
以下、前記したオプティカルトラッキングシステム１００を用いて施術前に予め撮影される３次元画像の座標系と、患者の患部と施術機構が位置する施術時の実際の世界の座標系を整合する過程を図面を参照として説明する。
図４は、本発明の一実施例によるオプティカルトラッキングシステムの座標系整合方法を示したフローチャートである。
図１〜図４を参照すると、まず、患者１０に対する施術前に前記患者１０の３次元画像、例えば、ＣＴ画像を取得する(Ｓ１１０)。
前記のように施術前に予め取得したＣＴ画像のような３次元画像(これを再構成した画像を含む)を、例えば、コンピュータに格納することができる。
続いて、次の通り施術時の過程が行われる。
まず、前記患者１０に相対的に固定配置された基準マーカー部１１０及び前記３次元画像に対応する前記患者１０の所定部位に対して３次元形状を測定する形状測定部１２０をトラッキングセンサ部１３０によりセンシングする(Ｓ１２０)。
次に、前記トラッキングセンサ部１３０でセンシングされた結果に基づいて前記基準マーカー部１１０と前記トラッキングセンサ部１３０との間の座標変換関係及び前記形状測定部１２０と前記トラッキングセンサ部１３０との間の座標変換関係を取得し、前記形状測定部１２０で測定された結果に基づいて前記患者１０の所定部位と前記形状測定部１２０との間の座標変換関係を取得する(Ｓ１３０)。
この時、前記基準マーカー部１１０と前記トラッキングセンサ部１３０との間の座標変換関係及び前記形状測定部１２０のマーカーと前記トラッキングセンサ部１３０との間の座標変換関係を取得し、前記形状測定部１２０の前記測定装置１２２と前記マーカー１２４との間の座標変換関係を取得し、前記患者１０と前記形状測定部１２０の前記測定装置１２２との間の座標変換関係を取得することができる。
続いて、前記取得された座標変換関係から前記基準マーカー部１１０に対し相対的な前記患者１０の座標系を定義する(Ｓ１４０)。
次に、前記取得された３次元画像の座標系及び前記定義された前記患者１０の座標系を、前記形状測定部１２０で測定された３次元形状に基づいて整合することができる(Ｓ１５０)。
このように、前記患者１０の座標系を前記基準マーカー部１１０に対し相対的に定義し、予め取得されたＣＴ画像のような３次元画像の座標系と前記患者１０の座標系を整合することができる。
医師のような施術者にマーカー１５２が付着された施術道具１５０が提供され、前記施術者は、前記患者１０を施術するための前記施術道具１５０を直接あるいは手術ロボットなどの装備を用いて運用する。前記施術道具１５０に対しては、次の通りトラッキングのための過程が行われる。
前記トラッキングセンサ部１３０は、前記施術道具１５０のマーカー１５２をセンシングする(Ｓ１６０)。
続いて、前記トラッキングセンサ部１３０でセンシングされた結果に基づいて前記基準マーカー部１１０と前記トラッキングセンサ部１３０との間の座標変換関係及び前記施術道具１５０のマーカー１５２と前記トラッキングセンサ部１３０との間の座標変換関係を取得する(Ｓ１７０)。
次に、前記取得された座標変換関係及び前記基準マーカー部１１０に対し相対的に定義された前記患者１０の座標系を用いて、前記患者１０に対し相対的な前記施術道具１５０の座標系を定義する(Ｓ１８０)。
続いて、前記取得された３次元画像の座標系及び前記定義された前記施術道具１５０の座標系を、前記３次元画像の座標系及び前記患者の座標系の整合結果に基づいて整合する(Ｓ１９０)。
このように、前記患者１０を施術するための施術道具１５０の座標系を前記患者１０に対し相対的に定義し、予め取得されたＣＴ画像のような３次元画像の座標系と前記施術道具１０の座標系を整合することができる。
一方、前記患者１０が動く場合、自動または手動で前記患者の座標系を再定義することができるので、先の前記形状測定部１２０をトラッキングセンサ部１３０によりセンシングする過程(Ｓ１２０)以下を繰り返すことができる。この時、前記患者１０が直接動く場合ではなくても、前記患者１０と前記基準マーカー部１１０との間の距離が変わる場合には、前記患者１０が動く場合とみなすことができる。
本実施例では、前記オプティカルトラッキングシステム１００の座標系整合方法を図４のフローチャートを参照として簡略に説明しているが、前記オプティカルトラッキングシステム１００の具体的な動作は先に図１〜図３で説明された内容と実質的に同一なので、重複する詳細な説明は省略する。
本発明によれば、オプティカルトラッキングシステムが形状測定部を備えて患者の所定部位に対して３次元形状を測定し、トラッキングセンサ部で前記形状測定部と基準マーカー部をセンシングすることにより、これらの間の座標変換関係から前記基準マーカー部に対して相対的な前記患者の座標系を定義することができ、施術時にリアルタイムで前記患者及び施術道具をトラッキングできる。
また、前記基準マーカー部に対して相対的な前記患者の座標系を定義する過程が容易に再実行され得るので、前記患者が動いたり姿勢が変わる場合にも、正確に座標系を再設定することができ、前記患者及び前記施術道具をリアルタイムで正確にトラッキングできる。
また、施術時に測定された前記患者の３次元形状自体を標識に整合が可能なので、動的参照装置（ＤＲＢ）を患者に直接付着しなくても施術前に予め取得された３次元画像の座標系と施術時にリアルタイムで移動され得る患者の座標系及び施術道具の座標系を互いに整合することができる。また、事前に前記３次元画像を取得する時にも前記動的参照装置を付着する必要がなく、いつでも座標系の再設定及び再整合が可能なので、前記基準マーカー部は、前記患者に対して厳格に固定される必要もない。
従って、マーカーを患者に直接付着することで引き起こされる患者の苦痛と誤差、手術前にスタンプを製作しなければならない等の作業の煩わしさと多くの所要時間及び費用等のような従来技術の問題を解決することができる。
即ち、別途の準備過程なしに手術室内で迅速に患者の座標系を設定して画像整合を行うことができるので、より短時間及び少ない費用で正確かつ容易に患者の座標系及び施術道具の座標系設定及び画像整合が可能で、患者に直接付着される動的参照装置（ＤＲＢ）を省略して患者に直接操作を加えなくてもよいので、患者の苦痛及び副作用を軽減することができる。
前述した本発明の詳細な説明では、本発明の好ましい実施例を参照して説明したが、当該技術分野の熟練した当業者または当該技術分野に通常の知識を有する者であれば、後述される特許請求の範囲に記載された本発明の思想及び技術領域から逸脱しない範囲内で本発明を多様に修正及び変更させることができるものである。従って、前述した説明及び下記の図面は、本発明の技術思想を限定するわけではなく本発明を例示するものと解釈されるべきである。
１００：オプティカルトラッキングシステム
１１０：基準マーカー部
１２０：形状測定部
１３０：トラッキングセンサ部
１４０：処理部
１５０：施術道具

Claims (13)

  1. 患者に対する施術前に予め取得された３次元画像を用いて患者や前記患者を施術するための施術道具をトラッキングするためのオプティカルトラッキングシステム（ｏｐｔｉｃａｌ ｔｒａｃｋｉｎｇ ｓｙｓｔｅｍ）において、
    前記患者に相対的に配置されて前記患者から離隔している物体に固定付着された基準マーカー（ｍａｒｋｅｒ）部と、
    前記３次元画像に対応する前記患者の所定部位に対して３次元形状を測定する形状測定部と、
    前記基準マーカー部及び前記形状測定部をそれぞれトラッキングできるように前記基準マーカー部及び前記形状測定部をセンシング（ｓｅｎｓｉｎｇ）するトラッキングセンサ部と、
    前記トラッキングセンサ部でセンシングされた結果に基づいて前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部と前記トラッキングセンサ部との間の座標変換関係を取得し、前記形状測定部で測定された結果に基づいて前記患者の所定部位と前記形状測定部との間の座標変換関係を取得し、前記取得された座標変換関係から前記基準マーカー部に対して相対的な前記患者の座標系を定義する処理部と
    を含むオプティカルトラッキングシステム。
  2. 前記形状測定部は、測定装置及び前記測定装置に設けられたマーカーを含み、
    前記トラッキングセンサ部は、前記形状測定部のマーカーをセンシングし、
    前記処理部は、前記形状測定部のマーカーと前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部の測定装置と前記形状測定部のマーカーとの間の座標変換関係を取得することを特徴とする、請求項１に記載のオプティカルトラッキングシステム。
  3. 前記座標変換関係は座標変換行列で表され、
    前記処理部は、下記の数式により前記基準マーカー部に対して相対的な前記患者の座標系を定義することを特徴とする、請求項２に記載のオプティカルトラッキングシステム。

    (ＰＲは、前記基準マーカー部に対する前記患者の座標変換行列、Ｔ１は、前記トラッキングセンサ部に対する前記基準マーカー部の座標変換行列、Ｔ２は、前記トラッキングセンサ部に対する前記形状測定部のマーカーの座標変換行列、Ｔ３は、前記形状測定部のマーカーに対する前記形状測定部の測定装置の座標変換行列、Ｔ４は、前記形状測定部の測定装置に対する前記患者の座標変換行列)
  4. 前記処理部は、前記患者に対する施術前に予め取得された３次元画像の座標系及び前記基準マーカー部に対して相対的に定義された前記患者の座標系を、前記形状測定部で測定された３次元形状に基づいて整合することを特徴とする、請求項１に記載のオプティカルトラッキングシステム。
  5. 前記患者を施術するためのマーカーを含む施術道具をさらに含み、
    前記トラッキングセンサ部は、前記施術道具のマーカーをトラッキングできるように前記施術道具のマーカーをセンシングし、
    前記処理部は、前記トラッキングセンサ部でセンシングされた結果に基づいて前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記施術道具のマーカーと前記トラッキングセンサ部との間の座標変換関係を取得し、前記座標変換関係及び前記基準マーカー部に対して相対的に定義された前記患者の座標系を用いて前記患者に対して相対的な前記施術道具の座標系を定義することを特徴とする、請求項４に記載のオプティカルトラッキングシステム。
  6. 前記処理部は、前記患者に対する施術前に予め取得された３次元画像の座標系及び前記患者に対して相対的に定義された前記施術道具の座標系を、前記３次元画像の座標系及び前記患者の座標系の整合結果に基づいて整合することを特徴とする、請求項５に記載のオプティカルトラッキングシステム。
  7. 前記処理部は、前記患者が動く場合、自動または手動で前記患者の座標系を再定義することを特徴とする、請求項１に記載のオプティカルトラッキングシステム。
  8. オプティカルトラッキングシステムのトラッキングセンサ部が、患者に相対的に配置されて前記患者から離隔している物体に固定付着された基準マーカー部及び前記患者に対する施術前に取得した３次元画像に対応する前記患者の所定部位に対して３次元形状を測定する形状測定部をセンシングする段階と、
    オプティカルトラッキングシステムの処理部が、前記トラッキングセンサ部でセンシングされた結果に基づいて前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部と前記トラッキングセンサ部との間の座標変換関係を取得し、前記形状測定部で測定された結果に基づいて前記患者の所定部位と前記形状測定部との間の座標変換関係を取得する段階と、
    前記処理部が、前記取得された座標変換関係から前記基準マーカー部に対して相対的な前記患者の座標系を定義する段階と
    を含むオプティカルトラッキングシステムの作動方法。
  9. 前記形状測定部は、測定装置及び前記測定装置に設けられたマーカーを含み、
    前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部と前記トラッキングセンサ部との間の座標変換関係を取得し、前記患者の所定部位と前記形状測定部との間の座標変換関係を取得する段階は、
    前記処理部が、前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記形状測定部のマーカーと前記トラッキングセンサ部との間の座標変換関係を取得する段階と、
    前記処理部が、前記形状測定部の測定装置と前記形状測定部のマーカーとの間の座標変換関係を取得する段階と、
    前記処理部が、前記患者と前記形状測定部の測定装置との間の座標変換関係を取得する段階と
    を含むことを特徴とする、請求項８に記載のオプティカルトラッキングシステムの作動方法。
  10. 前記取得された座標変換関係から前記基準マーカー部に対して相対的な前記患者の座標系を定義する段階後に、
    前記処理部が、前記取得された３次元画像の座標系及び前記定義された前記患者の座標系を前記形状測定部で測定された３次元形状に基づいて整合する段階をさらに含むことを特徴とする、請求項８に記載のオプティカルトラッキングシステムの作動方法。
  11. 前記取得された３次元画像の座標系及び前記定義された前記患者の座標系を整合する段階後に、
    前記トラッキングセンサ部が、前記患者を施術するための施術道具のマーカーをセンシングする段階と、
    前記処理部が、前記トラッキングセンサ部でセンシングされた結果に基づいて前記基準マーカー部と前記トラッキングセンサ部との間の座標変換関係及び前記施術道具のマーカーと前記トラッキングセンサ部との間の座標変換関係を取得する段階と、
    前記処理部が、前記座標変換関係及び前記基準マーカー部に対して相対的に定義された前記患者の座標系を用いて前記患者に対して相対的な前記施術道具の座標系を定義する段階と
    をさらに含むことを特徴とする、請求項１０に記載のオプティカルトラッキングシステムの作動方法。
  12. 前記患者に対して相対的な前記施術道具の座標系を定義する段階後に、
    前記処理部が、前記取得された３次元画像の座標系及び前記定義された前記施術道具の座標系を、前記３次元画像の座標系及び前記患者の座標系の整合結果に基づいて整合する段階をさらに含むことを特徴とする、請求項１１に記載のオプティカルトラッキングシステムの作動方法。
  13. 前記患者が動く場合、
    前記処理部が、前記患者に相対的に固定配置された基準マーカー部及び前記３次元画像に対応する前記患者の所定部位に対して３次元形状を測定する形状測定部をトラッキングセンサ部によりセンシングする段階以下は繰り返し実行することを特徴とする、請求項８に記載のオプティカルトラッキングシステムの作動方法。
JP2017515177A 2014-09-19 2015-09-18 オプティカルトラッキングシステム及びオプティカルトラッキングシステムの座標系整合方法 Active JP6475324B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140125204A KR101638477B1 (ko) 2014-09-19 2014-09-19 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법
KR10-2014-0125204 2014-09-19
PCT/KR2015/009842 WO2016043560A1 (ko) 2014-09-19 2015-09-18 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법

Publications (2)

Publication Number Publication Date
JP2017535308A JP2017535308A (ja) 2017-11-30
JP6475324B2 true JP6475324B2 (ja) 2019-02-27

Family

ID=55533522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017515177A Active JP6475324B2 (ja) 2014-09-19 2015-09-18 オプティカルトラッキングシステム及びオプティカルトラッキングシステムの座標系整合方法

Country Status (6)

Country Link
US (2) US11206998B2 (ja)
EP (2) EP3195823B1 (ja)
JP (1) JP6475324B2 (ja)
KR (1) KR101638477B1 (ja)
CN (2) CN107072720B (ja)
WO (1) WO2016043560A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11596369B2 (en) * 2016-05-03 2023-03-07 Daegu Gyeongbuk Institute Of Science And Technology Navigation system for vascular intervention and method for generating virtual x-ray image
EP3284410B1 (en) 2016-06-13 2020-06-03 Shanghai United Imaging Healthcare Co., Ltd. Systems for x-ray scanner positioning
CN107714060B (zh) * 2016-08-11 2020-09-22 上海联影医疗科技有限公司 X射线成像设备
KR101812001B1 (ko) * 2016-08-10 2017-12-27 주식회사 고영테크놀러지 3차원 데이터 정합 장치 및 방법
KR101848027B1 (ko) 2016-08-16 2018-04-12 주식회사 고영테크놀러지 정위수술용 수술로봇 시스템 및 정위수술용 로봇의 제어방법
KR101843992B1 (ko) * 2017-11-30 2018-05-14 재단법인 구미전자정보기술원 중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 시스템 및 그 방법
KR101895369B1 (ko) * 2018-04-04 2018-09-07 주식회사 고영테크놀러지 정위수술용 수술로봇 시스템
KR102203544B1 (ko) 2019-03-13 2021-01-18 큐렉소 주식회사 C-arm 기반의 의료영상 시스템 및 2D 이미지와 3D 공간의 정합방법
CN112641512B (zh) * 2020-12-08 2023-11-10 北京信息科技大学 一种应用于手术机器人前规划的空间配准方法
CN114129262B (zh) * 2021-11-11 2023-12-22 北京歌锐科技有限公司 一种患者手术位置的跟踪方法、设备及装置
TWI790181B (zh) * 2022-08-03 2023-01-11 國立陽明交通大學 手術機器人系統
CN115624385B (zh) * 2022-09-19 2024-05-10 重庆生物智能制造研究院 术前空间配准方法及装置、计算机设备、存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831295B2 (en) 2003-06-05 2010-11-09 Aesculap Ag & Co. Kg Localization device cross check
US7463823B2 (en) * 2003-07-24 2008-12-09 Brainlab Ag Stereoscopic visualization device for patient image data and video images
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
EP1913333B1 (en) * 2005-08-01 2012-06-06 Resonant Medical Inc. System and method for detecting drifts in calibrated tracking systems
JP4836122B2 (ja) * 2006-02-09 2011-12-14 国立大学法人浜松医科大学 手術支援装置、方法及びプログラム
EP1857070A1 (de) * 2006-05-18 2007-11-21 BrainLAB AG Kontaktfreie medizintechnische Registrierung mit Distanzmessung
CN100536792C (zh) * 2007-03-28 2009-09-09 新奥博为技术有限公司 一种支持多种模式的导航系统及导航方法
KR100961661B1 (ko) 2009-02-12 2010-06-09 주식회사 래보 수술용 항법 장치 및 그 방법
KR101049507B1 (ko) 2009-02-27 2011-07-15 한국과학기술원 영상유도수술시스템 및 그 제어방법
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
KR101188715B1 (ko) 2010-10-04 2012-10-09 한국과학기술연구원 수술 도구의 3차원 추적 시스템 및 이를 이용한 위치 감지 방법
US8900126B2 (en) * 2011-03-23 2014-12-02 United Sciences, Llc Optical scanning device
US20130131505A1 (en) 2011-10-28 2013-05-23 Navident Technologies, Inc. Surgical location monitoring system and method using skin applied fiducial reference
US9554763B2 (en) 2011-10-28 2017-01-31 Navigate Surgical Technologies, Inc. Soft body automatic registration and surgical monitoring system
KR20140088167A (ko) * 2011-10-28 2014-07-09 내비게이트 써지컬 테크놀로지, 인크. 수술 위치 모니터링 시스템 및 방법
US8938282B2 (en) 2011-10-28 2015-01-20 Navigate Surgical Technologies, Inc. Surgical location monitoring system and method with automatic registration
US20140228675A1 (en) 2011-10-28 2014-08-14 Navigate Surgical Technologies, Inc. Surgical location monitoring system and method
DE102012220115A1 (de) * 2012-11-05 2014-05-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildgebendes System, Operationsvorrichtung mit dem bildgebenden System und Verfahren zur Bildgebung
CN102999902B (zh) * 2012-11-13 2016-12-21 上海交通大学医学院附属瑞金医院 基于ct配准结果的光学导航定位导航方法
KR101371384B1 (ko) 2013-01-10 2014-03-07 경북대학교 산학협력단 트랙킹 시스템 및 이를 이용한 트랙킹 방법

Also Published As

Publication number Publication date
KR101638477B1 (ko) 2016-07-11
US20170273595A1 (en) 2017-09-28
CN112562094A (zh) 2021-03-26
CN107072720A (zh) 2017-08-18
EP3998035A3 (en) 2022-07-27
US20220079465A1 (en) 2022-03-17
US12161457B2 (en) 2024-12-10
KR20160034104A (ko) 2016-03-29
JP2017535308A (ja) 2017-11-30
EP3195823A1 (en) 2017-07-26
EP3998035A2 (en) 2022-05-18
US11206998B2 (en) 2021-12-28
WO2016043560A1 (ko) 2016-03-24
EP3195823B1 (en) 2022-01-12
EP3195823A4 (en) 2017-09-20
CN107072720B (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
JP6475324B2 (ja) オプティカルトラッキングシステム及びオプティカルトラッキングシステムの座標系整合方法
JP6450849B2 (ja) オプティカルトラッキングシステム及びオプティカルトラッキングシステムのトラッキング方法
JP6718920B2 (ja) 定位手術用の手術ロボットシステム及び定位手術用ロボットの制御方法
JP6828047B2 (ja) 画像誘導手術における透視撮像システムの姿勢推定及び較正のシステム及び方法
EP2953569B1 (en) Tracking apparatus for tracking an object with respect to a body
JP5476036B2 (ja) 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
US20190117317A1 (en) Organ motion compensation
KR102114089B1 (ko) 레이저 표적 투영장치 및 그 제어방법, 레이저 표적 투영장치를 포함하는 레이저 수술 유도 시스템
CN107613896A (zh) 用于使用物理对象来操控虚拟环境中的相应虚拟对象的方法以及相关联装置和计算机程序产品
KR102105974B1 (ko) 의료 영상 시스템
JP2008126075A (ja) Ｃｔレジストレーション及びフィードバックの視覚的検証のためのシステム及び方法
CN117425447A (zh) 用于超声引导置针的医疗机器人
JP6731704B2 (ja) 患者に対する外科的処置を精密に誘導するシステム
CN114732518A (zh) 用于单个图像配准更新的系统和方法
CN110114032B (zh) 激光目标投影装置与C-arm影像的匹配方法、用于执行其的记录介质以及包括匹配单元的激光手术导引系统
KR101592444B1 (ko) 투명디스플레이를 이용한 의료용 영상증강 장치 및 구현 방법
JP7495216B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180316

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180810

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190131

R150 Certificate of patent or registration of utility model

Ref document number: 6475324

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250