[go: up one dir, main page]

JP2009527267A - 医療用画像システムによって提供される画像での手術器具の自動検出 - Google Patents

医療用画像システムによって提供される画像での手術器具の自動検出 Download PDF

Info

Publication number
JP2009527267A
JP2009527267A JP2008554829A JP2008554829A JP2009527267A JP 2009527267 A JP2009527267 A JP 2009527267A JP 2008554829 A JP2008554829 A JP 2008554829A JP 2008554829 A JP2008554829 A JP 2008554829A JP 2009527267 A JP2009527267 A JP 2009527267A
Authority
JP
Japan
Prior art keywords
image
determining
pixel
pixels
surgical instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008554829A
Other languages
English (en)
Inventor
サンカン，フィリップ
バロス，サンドリーヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universite Joseph Fourier Grenoble 1
Original Assignee
Universite Joseph Fourier Grenoble 1
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universite Joseph Fourier Grenoble 1 filed Critical Universite Joseph Fourier Grenoble 1
Publication of JP2009527267A publication Critical patent/JP2009527267A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

【解決手段】本発明は、患者の皮膚(14)又は器官の切り口を通過する手術器具を画像で検出するための装置に関する。装置は、手術器具の形状パラメータを記憶する手段(28)と、画像面での切り口の投影位置を決定する手段(28)と、形状パラメータと切り口の投影位置とから画像での手術器具の投影に特有の点を決定する手段(28)とを備える。

Description

本発明は、外科医が医療用画像システムによって提供される画像を用いて介入を行なうコンピュータ支援外科的介入に関する。本発明は、特に医療用画像システムによって提供される画像での手術器具の自動検出に関する。
腹腔鏡の外科的介入では、患者の腹腔は二酸化炭素によって膨張する。小さな切り口が腹壁に切開されて、トロカール（trocart ）が各切り口に導入される。切り口の数は、意図された介入のタイプによって決まり、一般に２から５に及ぶ。各トロカールは、その中を手術器具がスライド移動することが多い堅い中空管に相当する。内視鏡及び手術器具は、トロカールを通って腹腔に導入される。内視鏡によって提供される画像は、カメラによって受け取られ、表示画面に表示される。外科的介入の間、補助手段は外科医から与えられる指示に応じて内視鏡を移動させる。内視鏡に連結されたカメラによって提供されるビデオ画像によって、外科医は、行なわれるべき介入に応じて腹腔内で手術器具を操作する。
腹腔鏡の外科的介入の利点は、行なわれる切開が小さいので、患者にとって非常にわずかな外傷のみですむということである。しかしながら外科医は、腹腔に配置された手術器具の端部を直接見ず、介入を行なうために内視鏡に連結されたカメラによって提供されるビデオ画像のみを有する。従って、腹腔鏡の外科的介入は外科医が非常に経験豊かであることを必要とする。
位置決めシステムが、内視鏡を移動させるための補助手段の代わりに用いられてもよい。このようなシステムの一例として、イソップ（Aesop ）の商標のもとコンピュータモーションカンパニー（Computer Motion Company ）によって販売されている位置決め器具、又はエンドアシスト（EndoAssist）の商標のもとアームストロングヘルスケアカンパニー（Armstrong Healthcare Company）によって販売されている位置決めシステムがある。このような位置決めシステムは、例えばペダルボード、音声制御システムのようなマン／マシンインターフェースによって、又は外科医の頭部の動作の検出に基づいた制御システムによって、外科医により制御され得る。一例として、「左」、「右」、「上」及び「下」のような音声コマンドに続いて、位置決めシステムは、腹壁内の内視鏡の端部を左、右、上方又は下方に夫々移動させてもよい。
このような位置決めシステムの欠点は、内視鏡の簡易な移動に対応する基本的制御のみが一般に利用可能であるということである。従って、外科医は、手術器具を同時に扱いながら、例えば特定の手術器具の移動に続けるために、内視鏡の位置決めシステムに頻繁な移動指示を与えなければならず、大きな制約となる。更に複雑な指示で内視鏡の位置決めシステムの移動を制御できることが望まれている。例えば、外科医が特定の手術器具を指定することができ、指定された器具に向けて内視鏡を自動的に移動させることは有利である。その後、外科医は、もはや定期的に内視鏡の位置決めシステムに新たな移動指示を与える必要がなく、完全に介入に専念することが自由にできる。このような移動指示を実行するために、ひとつの可能性として内視鏡に連結されたカメラによって提供されるビデオ画像で手術器具の位置を自動的に決定することがある。その後、内視鏡の位置決めシステムは、例えば外科医から与えられた初期指示で、手術器具の決定された位置に基づいて自動的に制御されることが可能である。
「腹腔鏡手術のためのリアルタイム視覚サーボ カラー画像分割でのロボット動作の制御（Real-Time Visual Servoing for Laparoscopic Surgery. Controlling Robot Motion with Color Image Segmentation）」，電気電子技術者協会 医療・生物工学（IEEE Engineering in Medicine and Biology），1997年，ｐ．40-45 と表題のつけられたウェイ（Wei ）らの出版物は、手術器具がトレーサ染料を運ぶビデオ画像での手術器具の位置の決定に基づいて内視鏡の位置決めシステムの移動を制御する方法を述べている。トレーサ染料の検出により、ビデオ画像で器具の位置を決定することが可能になる。このような方法の欠点は、トレーサ染料を手術器具に塗るために手術器具を修正する必要があり、相当なコストを追加することである。更に、関連するトレーサ染料がビデオ画像でもはや見えなくなるとすぐに、器具の検出が不可能となる。
国際公開第０３／０９４７５９号パンフレット
本発明は、既に述べられた欠点の全て又は一部を克服することを目的とする。
より具体的には、本発明は、外科的介入で従来用いられている手術器具の修正を必要としない、医療用画像システムによって提供される画像で手術器具を検出するための方法及び装置を得ることを目的とする。
本発明の別の目的によれば、手術器具の検出はリアルタイムで行なわれる。
これらの目的を達成するために、本発明は、患者の皮膚又は器官の内の１つに切開された切り口を通過する手術器具を画像で検出するための装置を提供し、該装置は、手術器具の形状パラメータを記憶する手段と、画像面での切り口の投影位置を決定する手段と、形状パラメータ及び切り口の投影位置に基づいて、画像での手術器具の投影に特有の点及び／又は直線を決定する手段とを備える。
本発明の実施形態によれば、装置は、切り口の第１画像と第２画像とを取得する手段と、第１画像での切り口の投影点の第１位置、及び第２画像での前記点の第２位置を決定する手段と、第１位置及び第２位置から患者に対する前記点の位置を決定する手段とを備える。
本発明の実施形態によれば、手術器具は細長い形状を有し、画像面での器具の投影の側端部は直線に相当し、特有の点及び／又は直線を決定する手段は、画像の一組の画素を、一組の画素での画素毎に、画素の色によって決まる関数の傾きが閾値より大きくなるように決定し、画素と交差し且つ傾きに垂直な直線が画像面での切り口の投影レベルで通る各画素を選択することが可能である。
本発明の実施形態によれば、特有の点及び／又は直線を決定する手段は、選択された画素から画像での手術器具の投影の対称軸を決定し、画像での器具の投影に属する対称軸の画素を決定し、器具の端部に相当する対称軸の画素を決定することが可能である。
本発明の実施形態によれば、特有の点及び／又は直線を決定する手段は、選択された画素の中から、一組の画素での各対の画素毎に、対の垂直二等分線が画像面での切り口の投影レベルで通るように、一組の画素を決定し、隣接した垂直二等分線のグループに垂直二等分線を分類し、最大数の垂直二等分線を含む垂直二等分線のグループから対称軸を決定することが可能である。
本発明の実施形態によれば、特有の点及び／又は直線を決定する手段は、対称軸の各画素に第１色類又は第２色類から色類を割り当て、第１色類の最大数の隣接画素を含む隣接画素の第１グループ、及び第２色類の最大数の隣接画素を含む隣接画素の第２グループを選択し、画素の第１グループ又は第２グループの中から、画像面での切り口の投影に最も近い画素グループを選択することが可能である。
本発明は、更に、少なくとも１つの切り口が器具を通過させるために切開された患者の画像を取得する手段の位置決めシステムを制御するための装置を提供し、該制御装置は、ユーザによって送られる指示を与える手段と、既に定義されたような検出装置と、検出装置によって提供される手術器具に特有の点及び／又は直線、及び指示を与える手段によって与えられる指示に基づいて位置決めシステムに制御信号を与える手段とを備える。
本発明の実施形態によれば、画像取得手段は内視鏡とカメラとを含む。
本発明は、更に、患者の皮膚又は器官の内の１つに切開された切り口を通過する手術器具を画像で検出する方法を提供し、該方法は、手術器具の形状パラメータを記憶するステップと、画像面での切り口の投影位置を決定するステップと、形状パラメータ、及び切り口の投影位置に基づいて手術器具の投影に特有の点及び／又は直線を画像で決定するステップとを備える。
本発明の実施形態によれば、手術器具は細長い形状を有し、画像面での器具の投影の側端部は直線に相当し、前記方法は、更に、一組の画素の画素毎に、画素の色によって決まる関数の傾きが閾値より大きくなるように、画像の一組の画素を決定するステップと、画素と交差し且つ傾きに垂直な直線が画像面での切り口の投影レベルで通る各画素を選択するステップとを備える。
本発明の前述及び他の目的、特徴及び利点が、添付図面を参照して本発明を限定するものではない特定の実施形態について以下に詳細に説明される。
明瞭さのために、同一の要素は異なる図面において同一の参照番号で示される。
本発明は、例えば、腹腔鏡検査、脊椎などのレベルでの外科材料の導入等のある外科的介入のために、手術器具が小さな切り口を通して患者の身体に導入されるという事実に基づいている。従って、本発明は、手術器具が、必ず予め決定され得る位置を有する切り口を通過すること、及び器具の形状が公知であることを考慮して、医療用画像システムによって提供される画像でこのような手術器具を検出することを提供する。これにより、画像での器具の検出が容易になるため、検出が自動的にリアルタイムで行われ得る。
図１は、本発明に係る手術器具の検出方法を実行して、内視鏡12の位置を決めるシステム10を制御するための装置5 の実施形態を示す。腹腔鏡検査のために、位置決めシステム10が、その腹腔が気体で満たされた患者の腹部14に配置されている。位置決めシステム10は、内視鏡12を含んでおり、切り口16を通して腹腔内に入り込むトロカール15を保持する。カメラ17は腹腔内の内視鏡12の端部に取り付けられている。位置決めシステム10は、例えば、並進のための１つの自由度及び回転のための２つの自由度等の多数の自由度に応じて、トロカール15及び内視鏡12の移動を可能にするタイプである。
カメラ17によって得られた画像は、表示画面22でビデオ画像を表示可能な画像取得システム20に送られる。取得システム20は、例えばS-ビデオ（S-VIDEO ） ケーブル等の接続線26を介して取得ボード24に接続されている。取得ボード24は、例えばファイヤワイヤ（Fire-Wire ）ケーブル（IEEE 1394 ケーブル）等の接続線29を介して、例えばコンピュータ等の処理部28に接続されている。取得ボード24は、処理部28に送られるビデオ画像を前処理する。処理部28は、以下に更に詳細に説明されるように、ビデオ画像で手術器具の存在を検出するためにビデオ画像を分析することが可能である。
処理部28は、更に、接続線32を介して制御ボックス30に移動指示を送ることが可能である。制御ボックス30は、接続線32を通じて送られた移動指示を位置決めシステム10のために制御信号に変換し、制御信号を接続線34を介して位置決めシステム10に送ることが可能である。外科医は、ペダルボード36によって制御ボックス30を作動させるか又は作動停止状態にすることが可能である。更に、外科医は、音声制御システム及び／又は外科医の頭部の動作を検出するためのシステムを含んでもよいマン／マシンインターフェース38を介して処理部28に指示を与えることができる。
図２は、位置決めシステム10の更に詳細な実施形態を示す。例えば、ピーアールエーエックスアイエム（PRAXIM）に発行された国際公開第０３／０９４７５９号パンフレットに述べられた位置決めシステムがある。内視鏡12は、直径が数センチメートルであり、長さ約40センチメートルの軸Ωの筒状管の様相を有する。軸Ωは、例えば、内視鏡12及びカメラ17の光軸に相当する。カメラ17は図２に示されていない。
位置決めシステム10は、切り口16を囲み、４つのアーム42が延びるリング状の平面である中央部分41を含む略平面である基部40を備える。位置決めシステム10は、アーム42に接続されたストラップによって取り付けられてもよい。基部40も、患者の腹部14に接着されてもよい。固定リング43は、リング状の基部41上に配置されている。固定リング43は、基部41と連続している。切り口16のレベルで腹部14に接している面に略垂直である軸（Oz）の可動リング44は、回転自在に軸（Oz）の周りに固定リング43に取り付けられている。固定リング43は、外部側面に、図示していない外周歯を含む。
スターラップ46が、軸（Oz）に略垂直であり切り口16のレベルで腹部14に接している面に含まれている軸に沿って可動リング44上に枢軸的に組み立てられている。トロカール15は、例えばスターラップ46にねじ留めされて、取付クリップ48によってスターラップ46上に保持されており、トロカール15及びスターラップ46の簡単で短時間の接続及び分離を可能にする。トロカール15は、中央部分41の反対側の取付クリップ48側に配置された突部50を含む。突部50は、ハンドル、密閉バルブ、コネクタ等に相当してもよい。可動リング44及びリング状の中央部分41の内径は、トロカール15を移動させない介入の間にシステム10の回収を可能にするために、又はシステム10を移動させずに患者の腹部からのトロカール15の回収を可能にするために選択されている。
固定リング43に対して可動リング44を回転させることを意図された第１電動モータ56が、プレート58を介して可動リング44に固定して組み立てられている。第１モータ56は、図２に示されていない制御ボックス30に接続されている。第１モータ56の軸によって駆動され、図２に示されていない歯車は、固定リング43の歯と噛合する。第１モータ56による歯車の回転は、固定リング43に対する可動リング44の軸（Oz）回りの回転を引き起こす。
第２電動モータ60が、プレート62を介して、取付クリップ48の反対側のスターラップ46側でスターラップ46に取り付けられている。図２に示されていない第２モータ60の軸は、スターラップ46のスイベル軸に沿って方向付けられる。プレート62は、図２に示されていない第２モータ60の軸を通過させる開口部を含む。第２モータ60は、制御ボックス30に接続されている。駆動要素64が、可動リング44に取り付けられた直線部分68にその両端が接続された円弧66を含む。駆動要素64は、可動リング44を含む面に垂直な面に実質上延びている。円弧66の軸は、スターラップ46のスイベル軸に相当する。直線部分68の反対側の円弧66の側壁は、図示しない歯を含む。第２モータ60の軸は、円弧66の歯と協働する（図示しない）歯車を支持し、それ故、歯車が第２モータ60によって回転されるとき、スターラップ46は、可動リング44に対して枢軸的に駆動される。
内視鏡12の自由端部は、ピン72が突出する筒状停止部70を含む。圧縮リング74が、一端で筒状停止部70を、他端でトロカール15の突部50を押している。第３電動モータ76が、第２モータ60の隣りでプレート78を介してスターラップ46に取り付けられている。プレート78は、第３モータ76の図２に示していない軸を通過させる開口部80を含む。第３モータ76の軸は、スターラップ46のスイベル軸に沿って方向付けられている。第３モータ76は制御ボックス30に接続されている。巻軸82が、第３モータ76の軸の自由端部に配置されている。螺旋状のネジ切り（図示せず）が巻シリンダ82の外面に形成されている。ケーブル84が、ピン72及びシリンダ82に各端部で接続されており、シリンダ82に巻き付けられている。第３モータ76がシリンダ82を回転させるとき、ケーブル84がシリンダ82に巻き付き、筒状停止部70をトロカール15に更に接近させる。そのとき、内視鏡12が軸Ωに沿ってトロカール15内にスライド移動し、ばね74を圧縮する。第３モータ76がもはや作動されないとき、ばね74は伸びて、内視鏡12を静止位置に戻す。手術の開始前に外科医によって方向付けられた支持アームが、位置決めシステム10を支持して、位置決めシステム10の重さが全て患者にかかることを回避するために設けられてもよい。
既に述べられた位置決めシステム10は、電動モータ56,60,76に制御ボックス30によって与えられる制御信号に基づき、回転のための２つの自由度及び並進のための１つの自由度に応じて内視鏡12を移動させることを可能にする。
追加のトロカール90,91 が、患者の腹壁14に切開された直径が小さな切り口92,93 のレベルに配置されている。追加のトロカール90,91 は、図２に部分的に示された手術器具94,95 を腹腔に導入することを可能にする。
以下の説明では、RO (O,x,y,z)を、例えば、正規直交であり、例えば位置決めシステム10の「固定点」、すなわち可動リング44の回転軸とスターラップ46の回転軸との間の交点に対応する原点O を有する基準系と呼ぶ。軸（Ox）及び軸（Oy）は、２本の垂直な軸に相当し、既に述べられているように、切り口16のレベルで腹壁14に垂直な軸（Oz）にも垂直である。基準系ROは、外科的介入の間、患者に対して固定されているとみなされている。カメラ17及び内視鏡12は、作動中、互いに固定されている。C を、軸Ω上に配置され、点O から距離r にあるカメラ17に対する固定点と呼ぶ。角度θは、軸Ωと軸（Oz）との間の角度に相当し、角度φは、面（Oxy ）上への軸Ωの投影と軸（Ox）との間の角度に相当する。基準系ROでの点C の座標は（rsinθcos φ, rsinθsin φ, rcosθ）である。
RC (C, ベクトルer, ベクトルeθ, ベクトルeφ) を、点C に関連した球状基準系と呼ぶ。基準系RCは、カメラ17に対する固定された基準系である。尚、(X, Y, Z) は基準系ROで表現された任意の点P の座標であり、(l, m, n) は基準系RCで表現された点P の座標である。外科的介入の前に、位置決めシステム10の較正ステップがあり、点P の座標(X, Y, Z) から座標(l, m, n) を与える移動配列と、制御ボックス30に処理部28によって与えられる移動指示とパラメータr, θ, φの変化との関係とを決定することを含む。外科的介入の間、処理部28は、制御ボックス30に与えられた移動指示に基づき、基準系ROに対する基準系RCの位置を常に決定することが可能である。基準系RO及び基準系RCは、既に述べられたものとは異なって定義され得ることは明らかである。唯一の条件は、介入の間、基準系ROを患者に対して固定されているようにみなし、介入の間、基準系RCをカメラに対して固定されているようにみなし、基準系ROに対する基準系RCでの位置を常に決定することが可能であるということである。
図３では、基準系RO及び基準系RCが、内視鏡12の光軸Ωに配置された原点O 及び原点C と共に概略的に示されている。カメラ17は、ピンホールカメラモデルに従って作動するとみなされている。このようなカメラモデルは、例えば、オリビア・ファーゲラス（Olivier Faugeras）著，「３次元コンピュータビジョン−幾何学的見解（Three Dimensional Computer Vision - A Geometric Viewpoint）」と表題のつけられた著作，人工知能（Artificial Intelligence）シリーズ，エムアイティー プレス（MIT Press ），ケンブリッジ・マサチューセッツ（Cambridge Massachusetts），国際標準図書番号（ISBN）0-262-06158-9 ，（第３章）に述べられている。その上、カメラ17は投影中心F 及び画像面PIによって表現され得る。画像面PIは、カメラ17によって得られ、取得システム20に送られる画像が形成される面に相当する。画像面PI及び投影中心F は基準系RCに対して固定されている。空間内の任意の点P が、点I を形成するために画像面PIに投影する。二次元の基準系RO'(o', ベクトルeu, ベクトルev) が画像面PIに関連しており、O'が例えば光軸Ωでの画像面PIの点に相当し、基準系RO' での点I の座標が(u, v)と呼ばれる。
外科的介入の前に、カメラ17の較正ステップが提供される。これは、基準系RCで表現された点P の座標(l, m, n) に基づき、基準系RO' で表現された点I の座標(u, v)を与える移動配列を定義することを含む。ピンホールモデルによれば、点I は、画像面PIと点P 及び投影中心F を通る直線との交点に相当する。移動配列は、用いられるカメラ17の仕様書によって決まる、点F の座標と、基準系RCで表現された画像面PIの方程式とから得られる。他のカメラモデルが用いられてもよい。
位置決めシステム10及びカメラ17の較正ステップ後、処理部28は、既に決定され、処理部28に記憶されている固定された基準系ROでの座標(X, Y, Z) を有する点P について、カメラ17の位置が基準系ROでどこにあろうとも、画像面PIでの点P の投影である点I の座標(u, v)を決定することが可能である。
図４は、処理部28によって実行される、カメラ17によって提供される画像での手術器具を検出するための本発明に係る方法の一例のステップを示す。
外科医が、患者の腹壁14に切り口16,92,93 を切開し、対応する切り口にトロカール15,90,91 を配置し、トロカール15に内視鏡12を導入し、患者の腹壁14に位置決めシステム10を配置したと仮定される。更に、位置決めシステム10及びカメラ17の較正ステップが完了している。更に、識別子、例えば番号が各切り口の対の器具毎に処理部28に記憶されている。最後に、筒状であると仮定される各器具94,95 の半径が、処理部28に記憶される。
ステップ100 では、基準系ROでの切り口92,93 の位置が決定される。切り口92,93 毎に、切り口の略「中心」に設けられた点、すなわち切開点の位置が、基準系ROで決定される。切開点の決定はどんな方法によって行われてもよい。一例として、切り口92,93 毎に、外科医が、カメラ17の様々な位置で切り口92,93 の２つの画像を得るためにカメラ17の移動を命じてもよい。得られた画像毎に、外科医が、インターフェース38を介して画面22に表示された画像での挿入点の投影位置を処理部28に指示してもよい、すなわち、基準系RO' での挿入点の投影位置を指示してもよい。一例として、外科医が、挿入点の投影位置に、画面22に表示された画像上でタグを移動させてもよい。２つの異なる画像での挿入点の投影位置に基づいて、処理部28は、基準系ROでの挿入点の位置を決定してもよい。これは、エリック・コスタ（Eric Coste）によるリール科学技術大学（the Lille University of Science and Technologies）での生産学（productics）、自動制御工学及び工業データ処理における彼の博士号のための博士論文である「投影を用いた最小数から始める樹枝状空間の再構成：血管構造のためのデジタル血管造影法への適用（Reconstruction d'une arborescence spatiale a partir d'un nombre minimal de projections :application a l'angiographie numerisee des structures vasculaires）」（1996年）と表題のつけられた出版物、特に第１章，第III 節及び付録4 に述べられた方法によって行われてもよい。ステップ100 は、切り口92,93 毎に繰り返される。既に述べられた、挿入点を決定するための方法は、外科的介入の間に従来用いられた方法に対してもはや追加の機器を必要としないので、特に有利である。別の挿入点の決定方法によれば、基準系ROでの各挿入点の位置が、追跡システムによって提供される基準系ROでの位置を有する感触器（feeler）によって得られてもよい。基準系ROでの各挿入点の位置は処理部28に記憶される。その後、実際の外科的介入が始まり、方法はステップ102 へと続く。
ステップ102 では、処理部28は、取得システム24を通してカメラ17によって提供される画像を受け取る。
図５は、画面22に表示されたような画像106 を概略的に示す。実線106 は、カメラ17によって提供される画像の物理的限界に相当する。画像106 は、このようにカメラ17の画像面PIの一部に相当する。各画像は画素配列から形成される。一例として、画素Pix が画像106 の正方形部分の形で示されている。方法はステップ104 へと続く。
ステップ104 では、処理部28は、一又は複数の調査された器具の挿入点の画像面PIでの投影位置を決定する。図５では、点O1,O2 が、切り口92,93 に関連した挿入点の面PIでの投影に相当し、以下投影された挿入点と呼ばれる。本例では、投影された挿入点O1,O2 が、カメラ17によって提供される画像の外側にあり、切り口92,93 は画像106 上に見えない。投影された挿入点O1,O2 毎に、処理部28は、点O1,O2 に相当する中心と、考慮対象の点O1,O2 によって決まる半径R1,R2 とを有する円C1,C2 を決定する。一例として、半径R1,R2 は、器具94,95 が画像面PIと平行である場合、考慮対象の投影された挿入点に関連した器具の見掛け上の半径に略相当する。方法はステップ108 へと続く。
ステップ108 では、処理部28は、画像106 の画素毎に、画素が手術器具94,95 の投影の外形に属する可能性があるか否かを決定する。この目的のために、本発明は、各手術器具94,95 が切り口92,93 を必ず含んでおり、各手術器具94,95 の形状が公知であるという事実に基づいている。本実施形態では、各筒状器具94,95 が細長い筒状形を有すると見なされる。
処理部28は、傾き法に応じて、分割により画像内に存在している外形を決定する。階調画像のための傾き法は、著者ピーエイチ．ボロン（Ph. Bolon ）、ジェイ．−エム．チャセリー（J.-M.Chassery ）、ジェイ．−ピー．コキューレ（J.-P.Cocquerez）、ディー．デミニー（D. Demigny）、シー．グラフィン（C. Graffigne）、エー．モンタンベルト（A. Montanvert ）、エス．フィリップ（S. Phillip）、アール．ゼボード（R. Zeboudj）、ジェイ．ゼルービア（J. Zerubia）と共に、ジェイ．−ピー．コキューレ（J.-P.Cocquerez）及びエス．フィリップ（S. Phillip）によって調整された共同著作であり、マッソン（Masson）により1995年に出版された「画像の分析：フィルタリング及び分割（Analyse d'images :filtrage et segmentation）」，国際標準図書番号（ISBN）：2-225-84923-4 と表題のつけられた著作に述べられている。階調画像のために、F を位置(u, v)の各画素に対応して画素の階調を置く関数と呼び、位置(u,v) （画素位置）での外形に垂直であり、外形が「鋭く（sharp ）」なるにつれて、ますます高くなるノルムを有する傾きベクトルとしてのベクトルGrad(F(u,v))が、画像の画素毎に得られる。カラー画像のために、カラー画像を３つの階調画像（赤のための画像R 、緑のための画像G 及び青のための画像B ）に分割することが可能である。それ故、座標(u,v) の画素毎に、画像R 、画像G 及び画像B に夫々関連した３つの傾きベクトルとしてのベクトルGrad(R(u,v))、ベクトルGrad(G(u,v))、ベクトルGrad(B(u,v))が定義され得る。画素の傾きベクトルGrad(F(u,v))（又はベクトルGrad(F) ）が、その後３つの傾きベクトルとしてのベクトルGrad(R(u,v))、ベクトルGrad(G(u,v))、ベクトルGrad(B(u,v))の最大値であるように定義される。処理部28は、傾きベクトルGrad(F) の大きさが決定された閾値より大きい画像106 の画素を検討するだけである。このような画素は、例えば器官、器具等の画像106 の２つの対象物間の推移に相当する可能性がある。一例として、画素Pix に関連した傾きベクトルとしてのベクトルGrad(F) が図５に示されている。
このような画素に関して、処理部28は、画素と交差し且つ傾きベクトルGrad(F) に垂直な直線が円C1,C2 の内の１つと交差するか否かを決定する。このような条件が満たされる場合、画素は、手術器具94,95 の内の１つの投影端部に属する可能性があり、以下可能性画素と呼ばれる。前の条件は、調査された手術器具94,95 が筒状形を有し、すなわち、画像106 での器具の投影端部が直線に相当する必要があるという事実、及び手術器具94,95 は切り口92,93 を通過し、すなわち、器具の投影端部が投影された挿入点O1,O2 を通るという事実として解釈される。図５の例では、画素Pix の傾きベクトルGrad(F) に垂直な直線D が円C2と交差する。 処理部28は、そこから、方法のこのステップで、画素Pix が恐らく投影された挿入点O2に関連した手術器具の投影端部に属することを推定する。１組の可能性画素が最終的に得られる。その後処理部28は、可能性画素の数を減少させるために様々な処理を実行する。一例として、他の可能性画素から分離され、明らかに手術器具の投影端部に属さない可能性画素が除去され得る。ステップ108 の終わりに、候補画素と呼ばれ、おおよそ直線の細長い形状を夫々有する、比較的高密度な組の可能性画素が得られる。方法はステップ110 へと続く。
ステップ110 では、処理部28は、画像106 での各器具94,95 の投影の対称軸M1,M2 を決定する。実際には、各器具が筒状であるので、器具の投影端部は、２本の直線D1,D1',D2,D2' に相当し、このようにして対称軸を有する。器具の投影の対称軸M1,M2 は、特定の場合以外では、中心投影が距離間の割合を維持しないので、器具の対称軸の投影に相当しないことは注目すべきである。従って、器具の投影の対称軸M1,M2 は、必ずしも器具に関連して投影された挿入点O1,O2 と交差しない。処理部28は、各対の候補画素毎に、対の候補画素に関連した垂直二等分線が円C1,C2 の内の１つと交差する否か決定する。もしそうならば、これは、候補垂直二等分線と呼ばれる垂直二等分線が対称軸に相当する可能性があるということを意味する。処理部28は、その後、例えばリチャード オー．ドゥダ（Richard O. Duda ）及びピーター イー．ハート（Peter E. Hart ）著，「写真中の線及び曲線を検出するためのハフ変換の利用法（Use of the Hough Transformation To Detect Lines and Curves in Pictures）」，エーシーエムのコミュニケイションズ（Communications of the ACM），1972年，第15(1) 巻，ｐ．11-15 と表題のつけられた著作で述べられたハフ（Hough ）法に基づいた分類法を実行する。投影された挿入点、例えば点O1に関連した各候補垂直二等分線は、２つのパラメータ（ρ, α）によって定義されており、ρが、投影された挿入点O1から候補垂直二等分線を分離する距離であり、αが、候補垂直二等分線とプリビリッジドディレクション（privileged direction）、例えば直線(O1,ベクトルeu) との間の角度である。所与の候補垂直二等分線では、ρが間隔[0, R1] 内で変わることが可能であり、αが間隔[0, 2 π] 内で変わることが可能である。間隔[0, R1] は、隣接したサブ間隔[ai, ai+1]に分割され、i が1 とN との間で変わる整数であり、a1=0、aN+1=R1 且つai<ai+1 である。同様に、間隔[0, 2 π] が隣接したサブ間隔[bj, bj+1]に分割され、j が1 とM との間で変わる整数であり、b1=0、bM+1=2π且つbj<bj+1 である。サブ間隔[ai, ai+1]に関連したインデックスi の行と、サブ間隔[bj, bj+1]に関連したインデックスj の列とを有するN 行及びM 列を有する配列T がその後、定義される。配列の各要素Ti,jは最初に0 と設定されるカウンタに相当する。候補二等分線毎に、該候補二等分線に関連したパラメータ（ρ, α）を含む、サブ間隔[ai, ai+1]及び[bj, bj+1]に関連したカウンタTi,jが増分される。全ての候補垂直二等分線が検討されたとき、処理部28は最も高いカウンタTiMAX,jMAXのインデックスiMAX,jMAXを決定する。その後、投影された挿入点O1に関連した手術器具の対称軸が、ρ=(aiMAX+aiMAX+1)/2及びα=(bjMAX+bjMAX+1)/2によって定義された直線に相当することが可能である。
処理部28は、更に各カウンタTi,jの増分に関与した対の画素を記憶する。投影された挿入点O1に関連した手術器具の投影端部に相当する直線D1,D1'が、カウンタTiMAX,jMAXに関連した対の画素に基づいて定義される。画素数を増加させるために、処理部28は、カウンタTiMAX,jMAXに関連した画素毎に、対称軸に対して画素の対称に相当する新たな画素を加えてもよい。その後、器具の投影の第１端部は、対称軸の一側に設けられた画素から線形回帰によって得られた直線D1に相当することが可能であり、器具の投影の第２端部は、対称軸の他側に設けられた画素から線形回帰によって得られた直線D1' に相当することが可能である。方法は、外科医によって調査された全ての器具について繰り返され、次に、ステップ112 へと続く。
ステップ112 では、対称軸M1,M2 毎に、処理部28は、対称軸のどの画素が器具に属するか決定する。この目的のために、２つの色類のうちの１つの色類を各画素に割り当てることを含む大津（Otsu）の方法に基づいた画素選択方法が用いられてもよい。大津（Otsu）の方法は、例えば、エヌ．大津（N. Otsu）著，「階調のヒストグラムからの閾値選択法（A threshold selection method from gray level histograms）」，アイ・トリプル・イートランスシステムズ（IEEE Trans.Systems），マンアンドサイバネティックス（Man and Cybernetics ），1979年，第９巻，ｐ．62-66 と表題のつけられた出版物に述べられている。一例として、処理部28は、対称軸の全ての画素について、画素の色を表す関数H のヒストグラムを、関数H のコーディングに用いられた精度により決まる多数のレベル又は色類に応じて決定する。その後、閾値は大津（Otsu）の方法によって定められる。その後、第１色類は、関数H が閾値より小さい、例えばヒストグラムで色類が最も低い画素に割当てられ、第２色類は、関数H が閾値より大きい、例えばヒストグラムで色類が最も高い画素に割り当てられる。その後、対称軸の画素は、第１又は第２色類の隣接画素のグループに分かれる。その後、色類毎に、最大数の画素を有する画素グループが決定される。手術器具に相当する色類、及び画像背景に相当する色類を決定するために、投影された挿入点O1に最も近い対称軸M1上の画像106 の画素グループが、必ず投影挿入点O1に関連した器具に属するとみなされる。器具に関連した色類はこのように得られる。ステップ112 では、カメラ17によって提供される第１画像のためにのみ実行されることが可能である。カメラ17によって続いて提供される画像については、器具が、最大数の画素を有しており、既に決定された器具の色類に関連した画素グループに相当するとみなされ得る。方法はステップ114 へと続く。
ステップ114 では、処理部28は、画像106 上の手術器具94,95 の投影端部の位置、つまり器具の先端S1,S2 を決定する。先端S1,S2 は、投影された挿入点O1,O2 の反対側の器具に関連した画素グループの端部に相当する。このように決定された先端S1,S2 が画像106 の端部上にあるとき、これは、実際に器具の先端が画像106 上で見えないことを意味する。工具の先端の位置を更に精密に決定し、工具の先端の周りの対称軸M1,M2 の画素を更に詳細に検討し、画素が器具に効果的に属するか否かを決定するために色制約を画素に適用することが必要である場合がある。このようにして手術器具の検出方法の終わりに、処理部28は、手術器具94,95 毎に、対称軸M1,M2 、端部D1,D1',D2,D2' 及び先端S1,S2 を決定する。方法は、カメラ17によって提供される別の画像の処理のためにステップ102 へと続く。
本発明は、カメラ17の位置決めシステム10の移動のために処理部28によって複雑な移動指示を実行することが可能である。一例として、処理部28は、特定の手術器具94,95 の先端S1,S2 がカメラ17によって提供される画像106 の中心になるまで内視鏡12を移動させるために位置決めシステム10を制御してもよい。この目的のために、外科医が、音声制御システム38を介して処理部28に「識別子に中心化」タイプの指示を与えてもよい。その後、処理部28は、カメラ17によって提供される画像上に存在する器具を検出することが可能である。外科医によって提供される識別子に相当する器具の先端が画像内に存在する場合、処理部28は、その後、工具の先端が画像の予め定義された中央領域のレベルにあるように、内視鏡12を移動させるために位置決めシステム10を制御する。外科医によって提供される識別子に相当する器具が画像上に存在するが、工具の先端が画像の外側にある場合、器具に関連した挿入点の位置が公知であるので、処理部28は、器具の先端に向けて内視鏡12を移動させるために位置決めシステム10を制御することが可能である。外科医によって提供される識別子に相当する器具が画像上に存在しない場合、制御部28は、調査された器具に関連した挿入点に向けて内視鏡12を方向付けるために位置決めシステム10を制御してもよい。その後、器具はカメラ17によって提供される画像上にあるはずであり、器具の先端のセンタリングは、既に述べられているように行なわれる。
別の制御例は、手術器具の先端がカメラ17によって提供される画像の中央領域のレベルに不変にあるように、内視鏡12を移動させることを備える。この目的のために、外科医が、音声制御システム38を介して処理部28に、「識別子を追う」タイプの指示を与えてもよい。その後、処理部28は、外科医によって提供される識別子に相当する器具の先端にカメラ17によって提供される画像の中心を置くために、既に述べられているように位置決めシステム10を制御する。その後、処理部28によって受取られる新たな画像毎に、処理部28が、必要ならば、器具の先端に画像の中心を戻すために位置決めシステム10を制御する。
別の制御例は、特定の器具の先端のレベルで画像の「倍率（magnification ）」を制御することを含む。この目的のために、外科医が、音声制御システム38を介して処理部28に「識別子のズーム」タイプの指示を与えてもよい。その後、処理部28は、外科医によって提供される識別子に相当する器具の先端にカメラ17によって提供される画像をそろえるために、既に述べられているように位置決めシステム10を制御する。その後、処理部28は、考慮対象の器具の先端で器具に関連した端部の直線D1,D1',D2,D2' 間の距離を決定して、そこから画像拡大を表す値を推定することが可能である。その後、処理部28は、所定の倍率又は外科医によって提供される倍率に達するためにこのような倍率を増加又は減少させるべく、内視鏡12を移動させるために位置決めシステム10を制御することが可能である。変形例によれば、カメラ17はズーム機能を含んでもよい。処理部28は、そのとき直線D1,D1',D2,D2' 間の距離の検出に基づいてカメラ17のズーム機能を制御することが可能である。
処理部28による画像の処理の継続時間は、数十ミリ秒から約100 ミリ秒までの間で変えてもよい。従って処理部28は、高頻度で処理されるべき新たな画像を受取ることができる。本発明に係る手術器具の検出方法は、このようにリアルタイムで実行されることが可能である。
従って、本発明は、外科的介入の間、内視鏡12の各移動を系統的に制御する必要がなく、外科医を楽にさせることを可能にする。実際、既に述べられた制御により、処理部28が外科医から与えられた最初の指示による内視鏡12の移動を同時に自動的に制御する間、外科医は外科的介入に注意を集中させることができる。
手術器具が筒状でないときも、本発明が実行されてよい。上記の実施形態は、細長い形状を有し、その投影が直線の端部を有する面にある器具に容易に適用され得る。円錐形、柱系、角錐形等の場合である。より一般には、更に複雑な形状を有する器具についても、器具に特有の幾何学的パラメータが処理部28に記憶されてもよい。その後、既に述べられた器具の検出方法のステップ108 乃至114 が、各手術器具に特有の幾何学的パラメータによって適合されてもよい。
当然本発明は、当業者に想起される様々な変更及び修正がなされ得る。特に、本発明は、ビデオ画像が内視鏡に連結されたカメラによって提供される外科的介入のために述べられたが、本発明は、医療用画像システムによって提供される任意のタイプの画像に適合されてもよい。例えば、超音波映像、透視画像、又はスキャナ画像の場合である。更に、本発明は特定の位置決めシステムの例について述べられたが、任意のタイプの位置決めシステムに適用されてもよい。
本発明に係る手術器具の検出方法を実行する内視鏡の位置決めシステムを制御するためのシステムの一例を概略的に示す図である。 図１の位置決めシステムの実施形態を概略的に示す図である。 空間の点の位置と、カメラの画像面でのこの点の投影との間の関係を示す図である。 本発明に係る手術器具を検出するための方法のステップの一例を示すフローチャートである。 本発明に係る手術器具の検出方法の概念を概略的に示す図である。

Claims (14)

  1. 患者の皮膚(14)又は器官の内の１つに切開された切り口(92,93) を通過する手術器具(94,95) を画像(106) で検出するための装置において、
    前記手術器具の形状パラメータを記憶する手段(28)と、
    画像面(PI)での切り口の投影位置(O1,O2) を決定する手段(28)と、
    形状パラメータ及び切り口の投影位置に基づいて、画像での手術器具の投影に特有の点及び／又は直線(D1,D1',D2,D2',M1,M2,S1,S2)を決定する手段(28)とを備えることを特徴とする装置。
  2. 画像を取得する手段(12,17,20,24) と、
    前記取得手段を較正する手段とを備えることを特徴とする請求項１に記載の装置。
  3. 患者に対する切り口(92,93) の位置を決定する手段(28)と、
    患者に対する切り口(92,93) の位置に基づいて、画像面(PI)での切り口の投影位置(O1,O2) を決定する手段(28)とを備えることを特徴とする請求項１に記載の装置。
  4. 切り口(94,95) の第１画像と第２画像とを取得する手段(12,17,20,24) と、
    第１画像での切り口の投影点の第１位置、及び第２画像での前記点の第２位置を決定する手段と、
    第１位置及び第２位置に基づいて、患者に対する前記点の位置を決定する手段とを備えることを特徴とする請求項１に記載の装置。
  5. 手術器具(94,95) は細長い形状を有し、画像面(P1)での器具の投影の側端部は直線(D1,D1',D2,D2') に相当し、特有の点及び／又は直線(D1,D1',D2,D2',M1,M2,S1,S2) を決定する前記手段(28)は、
    画像(106) の一組の画素(Pix) を、一組の画素での画素毎に、画素の色によって決まる関数の傾きベクトルGrad(F) が閾値より大きくなるように決定し、
    画素と交差し且つ傾きに垂直な直線(D) が画像面での切り口(92,93) の投影レベル(O1,O2) で通る各画素を選択することが可能であることを特徴とする請求項１に記載の装置。
  6. 特有の点及び／又は直線(D1,D1',D2,D2',M1,M2,S1,S2) を決定する前記手段(28)は、
    選択された画素から画像(106) での手術器具(94,95) の投影の対称軸(M1,M2) を決定し、
    画像での器具の投影に属する対称軸の画素を決定し、
    器具の端部(S1,S2) に相当する対称軸の画素を決定することが可能であることを特徴とする請求項５に記載の装置。
  7. 特有の点及び／又は直線(D1,D1',D2,D2',M1,M2,S1,S2) を決定する前記手段(28)は、
    選択された画素の中から、一組の画素での各対の画素毎に、対の垂直二等分線が画像面(PI)での切り口(92,93) の投影レベル(O1,O2) で通るように、一組の画素を決定し、
    隣接した垂直二等分線のグループに垂直二等分線を分類し、
    最大数の垂直二等分線を含む垂直二等分線のグループから対称軸(M1,M2) を決定することが可能であることを特徴とする請求項６に記載の装置。
  8. 特有の点及び／又は直線(D1,D1',D2,D2',M1,M2,S1,S2) を決定する前記手段(28)は、
    対称軸(M1,M2) の各画素に第１色類又は第２色類から色類を割り当て、
    第１色類の最大数の隣接画素を含む隣接画素の第１グループ、及び第２色類の最大数の隣接画素を含む隣接画素の第２グループを選択し、
    画素の第１グループ又は第２グループの中から、画像面(PI)での切り口(92,93) の投影(O1,O2) に最も近い画素グループを選択することが可能であることを特徴とする請求項６に記載の装置。
  9. 少なくとも１つの切り口(92,93) が器具(94,95) を通過させるために切開された患者の画像(106) を取得する手段(12,17) の位置決めシステム(10)を制御するための装置(5) において、
    ユーザによって送られる指示を与える手段(36,38) と、
    請求項１乃至８のいずれかに記載の検出装置(28)と、
    該検出装置によって提供される手術器具に特有の点及び／又は直線(D1,D1',D2,D2',M1,M2,S1,S2) 、及び指示を与える前記手段によって与えられる指示に基づいて、前記位置決めシステムに制御信号を与える手段(28,30) とを備えることを特徴とする制御装置。
  10. 前記画像取得手段は、内視鏡(12)とカメラ(17)とを含むことを特徴とする請求項９に記載の制御装置。
  11. 患者の皮膚(14)又は器官の内の１つに切開された切り口(92,93) を通過する手術器具(94,95) を画像(106) で検出する方法において、
    前記手術器具の形状パラメータを記憶するステップと、
    画像面(PI)での切り口の投影位置(O1,O2) を決定するステップと、
    形状パラメータ、及び切り口の投影位置に基づいて手術器具の投影に特有の点及び／又は直線(D1,D1',D2,D2',M1,M2,S1,S2) を画像で決定するステップとを備えることを特徴とする方法。
  12. 画像面(PI)での切り口の投影位置(O1,O2) を決定する前記ステップは、
    患者に対する切り口(92,93) の位置を決定するステップと、
    患者に対する切り口(92,93) の位置から、画像面(PI)での切り口の投影位置(O1,O2) を決定するステップとを備えることを特徴とする請求項１１に記載の方法。
  13. 画像面(PI)での切り口の投影位置(O1,O2) を決定する前記ステップは、画像取得手段(12,17,20,24) を介して行われ、
    事前の取得手段の較正ステップを備えることを特徴とする請求項１１に記載の方法。
  14. 前記手術器具(94,95) は細長い形状を有し、画像面(PI)での器具の投影の側端部は直線(D1,D1',D2,D2',M1,M2,S1,S2) に相当し、
    一組の画素の画素毎に、画素の色によって決まる関数の傾きベクトルGrad(F) が閾値より大きくなるように、画像(106) の一組の画素(Pix) を決定するステップと、
    画素と交差し且つ傾きに垂直な直線(D) が画像面での切り口(92,93) の投影レベル(O1,O2) で通る各画素を選択するステップとを備えることを特徴とする請求項１１に記載の方法。
JP2008554829A 2006-02-20 2007-02-16 医療用画像システムによって提供される画像での手術器具の自動検出 Pending JP2009527267A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0650591A FR2897703B1 (fr) 2006-02-20 2006-02-20 Detection automatique d'un outil chirurgical sur une image fournie par un systeme d'imagerie medicale
PCT/FR2007/050816 WO2007096557A2 (fr) 2006-02-20 2007-02-16 Detection automatique d'un outil chirurgical sur une image fournie par un systeme d'imagerie medicale

Publications (1)

Publication Number Publication Date
JP2009527267A true JP2009527267A (ja) 2009-07-30

Family

ID=36940323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008554829A Pending JP2009527267A (ja) 2006-02-20 2007-02-16 医療用画像システムによって提供される画像での手術器具の自動検出

Country Status (10)

Country Link
US (1) US8391571B2 (ja)
EP (1) EP1987473B1 (ja)
JP (1) JP2009527267A (ja)
KR (1) KR20080106282A (ja)
CN (1) CN101385036A (ja)
AT (1) ATE526646T1 (ja)
CA (1) CA2642913A1 (ja)
ES (1) ES2372705T3 (ja)
FR (1) FR2897703B1 (ja)
WO (1) WO2007096557A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018179681A1 (ja) * 2017-03-28 2018-10-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置及び観察視野補正方法
JP2024538326A (ja) * 2021-11-02 2024-10-18 ビー．ブラウン ニュー ベンチャーズ ゲーエムベーハー 改良された器具トラッキングを有する外科ナビゲーションシステムおよびナビゲーション方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7794396B2 (en) * 2006-11-03 2010-09-14 Stryker Corporation System and method for the automated zooming of a surgical camera
FR2920086A1 (fr) 2007-08-24 2009-02-27 Univ Grenoble 1 Systeme et procede d'analyse pour une operation chirurgicale par endoscopie
KR101159469B1 (ko) * 2009-05-14 2012-06-25 국립암센터 수술도구 검출 방법, 수술도구 검출 방법을 기록한 기록매체, 수술도구 검출 방법을 수행하는 수술 시스템 및 수술도구 검출 방법을 수행하는 수술 보조시스템
US8887556B2 (en) 2011-02-15 2014-11-18 Michael A. Silveri Amperometric sensor system
JP5701140B2 (ja) * 2011-04-21 2015-04-15 キヤノン株式会社 立体内視鏡装置
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
US10299773B2 (en) * 2011-08-21 2019-05-28 Transenterix Europe S.A.R.L. Device and method for assisting laparoscopic surgery—rule based approach
US8887551B2 (en) * 2011-09-06 2014-11-18 Trig Medical Ltd. Calibration of instrument relative to ultrasonic probe
US9480539B2 (en) 2011-11-03 2016-11-01 James Ortlieb Viewing system and viewing method for assisting user in carrying out surgery by identifying a target image
US20150199487A1 (en) * 2012-07-19 2015-07-16 Koninklijke Philips N.V. Device sensing in medical applications
JP6306024B2 (ja) 2012-10-01 2018-04-04 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． デバイス形状センシングを用いた臨床意思決定支援及びトレーニングシステム
US9622720B2 (en) 2013-11-27 2017-04-18 Clear Guide Medical, Inc. Ultrasound system with stereo image guidance or tracking
US8880151B1 (en) 2013-11-27 2014-11-04 Clear Guide Medical, Llc Surgical needle for a surgical system with optical recognition
US9905000B2 (en) 2015-02-19 2018-02-27 Sony Corporation Method and system for surgical tool localization during anatomical surgery
FR3039910B1 (fr) * 2015-08-04 2018-08-24 Université Grenoble Alpes Dispositif et procede de detection automatique d'un outil chirurgical sur une image fournie par un systeme d'imagerie medicale
US10201267B2 (en) 2016-05-24 2019-02-12 Phoenix Spine Holdings, Inc. Methods and apparatus for facilitating direct visualized rhizotomy
US10376382B2 (en) 2016-11-16 2019-08-13 Phoenix Spine Holdings, Inc. Methods and apparatus for facilitating a posterior lumbar interbody fusion procedure
US11076902B2 (en) 2018-02-22 2021-08-03 Phoenix Spine Holdings, Inc. Locking screw assembly for facilitating direct lateral interbody fusion procedures
US11857151B2 (en) * 2018-09-12 2024-01-02 Steris Instrument Management Services, Inc. Systems and methods for standalone endoscopic objective image analysis
CN110215339B (zh) * 2019-07-03 2022-01-07 中山大学 一种实现自动化机械操作臂路径规划的方法
FR3119306B1 (fr) * 2021-02-03 2024-06-14 Surgar Procédé et dispositif de traitement d’images pour l’estimation automatique de la position d’un trocart pour la chirurgie endoscopique

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05337118A (ja) * 1992-06-04 1993-12-21 Olympus Optical Co Ltd スコープ保持装置
JPH08215205A (ja) * 1995-02-13 1996-08-27 Olympus Optical Co Ltd 医療用マニピュレータ
JPH08336497A (ja) * 1995-06-09 1996-12-24 Olympus Optical Co Ltd 体腔内観察装置
JPH0928663A (ja) * 1995-05-15 1997-02-04 Olympus Optical Co Ltd 内視鏡装置
JPH09149876A (ja) * 1995-11-30 1997-06-10 Olympus Optical Co Ltd 内視鏡装置
JP2005261956A (ja) * 1994-05-05 2005-09-29 Sri Internatl 臨場感を伴った遠隔操作の方法及びシステム等

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649021A (en) * 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
US6806899B1 (en) * 1999-07-17 2004-10-19 David F. Schaack Focusing systems for perspective dimensional measurements and optical metrology
EP1667829A4 (en) * 2003-07-28 2008-12-10 Fluidigm Corp IMAGE PROCESSING SYSTEM AND SYSTEM FOR MICROFLUID DEVICES
US7440793B2 (en) * 2004-07-22 2008-10-21 Sunita Chauhan Apparatus and method for removing abnormal tissue

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05337118A (ja) * 1992-06-04 1993-12-21 Olympus Optical Co Ltd スコープ保持装置
JP2005261956A (ja) * 1994-05-05 2005-09-29 Sri Internatl 臨場感を伴った遠隔操作の方法及びシステム等
JPH08215205A (ja) * 1995-02-13 1996-08-27 Olympus Optical Co Ltd 医療用マニピュレータ
JPH0928663A (ja) * 1995-05-15 1997-02-04 Olympus Optical Co Ltd 内視鏡装置
JPH08336497A (ja) * 1995-06-09 1996-12-24 Olympus Optical Co Ltd 体腔内観察装置
JPH09149876A (ja) * 1995-11-30 1997-06-10 Olympus Optical Co Ltd 内視鏡装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018179681A1 (ja) * 2017-03-28 2018-10-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置及び観察視野補正方法
JPWO2018179681A1 (ja) * 2017-03-28 2020-02-06 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置及び観察視野補正方法
JP2024538326A (ja) * 2021-11-02 2024-10-18 ビー．ブラウン ニュー ベンチャーズ ゲーエムベーハー 改良された器具トラッキングを有する外科ナビゲーションシステムおよびナビゲーション方法

Also Published As

Publication number Publication date
CA2642913A1 (en) 2007-08-30
WO2007096557A3 (fr) 2007-10-18
ES2372705T3 (es) 2012-01-25
KR20080106282A (ko) 2008-12-04
FR2897703B1 (fr) 2008-04-25
US20090220131A1 (en) 2009-09-03
FR2897703A1 (fr) 2007-08-24
WO2007096557A2 (fr) 2007-08-30
ATE526646T1 (de) 2011-10-15
US8391571B2 (en) 2013-03-05
EP1987473A2 (fr) 2008-11-05
CN101385036A (zh) 2009-03-11
EP1987473B1 (fr) 2011-09-28

Similar Documents

Publication Publication Date Title
JP2009527267A (ja) 医療用画像システムによって提供される画像での手術器具の自動検出
JP6765021B2 (ja) ロボット手術システムのためのグラフィカルユーザインタフェース
EP0571827B1 (en) System and method for augmentation of endoscopic surgery
US7081088B2 (en) Method and apparatus for automatic local path planning for virtual colonoscopy
US20250054147A1 (en) Composite medical imaging systems and methods
US7123766B2 (en) Method and system for recognizing and selecting a region of interest in an image
CN113316430B (zh) 机器人装置的运动编程
US10769471B2 (en) System and method for holding an image display apparatus
CN111067468A (zh) 用于控制内窥镜系统的方法、设备及存储介质
EP2031559A1 (en) Augmented visualization in two-dimensional images
US10671872B2 (en) Device and method for automatically detecting a surgical tool on an image provided by a medical imaging system
EP4458280A1 (en) System to display clip positions
US20230210627A1 (en) Three-dimensional instrument pose estimation
EP4661733A1 (en) Camera apparatus for coordinated operation with surgical tools
WO2025214931A1 (en) Robotized laparoscopic surgical system with augmented reality
CA3233621A1 (en) Method and system for superimposing two-dimensional (2d) images over deformed surfaces
CN116152331A (zh) 图像获取组件的调节方法、装置及操作系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120703