JP2017064091A - 画像処理装置、画像処理方法、手術システム、及び、手術糸 - Google Patents

Abstract

【課題】手術糸の視認性を向上させる画像処理装置を提供する。
【解決手段】画像処理装置１２は、蛍光発色する手術糸を用いた術部の画像として、手術糸が蛍光発色する照明条件下で撮像された第１の画像と、少なくとも可視光を含む照明条件下で撮像された第２の画像とを取得する画像取得部５２と、第１の画像の手術糸の領域を、第２の画像に合成した合成画像を生成する合成部とを備える。手術システム等に適用できる。
【選択図】図２

Description

本技術は、画像処理装置、画像処理方法、手術システム、及び、手術糸に関し、特に、糸の視認性をより向上させることができるようにする画像処理装置、画像処理方法、手術システム、及び、手術糸に関する。

例えば、外科手術等において、縫合糸の色を、生体内とは異なる色（例えば、黒や紫など）にすることで、縫合糸の視認性を向上させることが行われている。しかしながら、使用する縫合糸の径の細さなども影響し、色を付与するだけでは視認性の向上に限界がある。

一方、糸自体を光らせることで、視認性を向上させる技術も開発されている。（例えば、特許文献１参照）。

特開２０１０−９５８３３号公報

しかしながら、やはり、糸自体を蛍光させるだけでは、視認性の向上に限界がある。

本技術は、このような状況に鑑みてなされたものであり、糸の視認性をより向上させることができるようにするものである。

本技術の第１の側面の画像処理装置は、蛍光発色する手術糸を用いた術部の画像として、前記手術糸が蛍光発色する照明条件下で撮像された第１の画像と、少なくとも可視光を含む照明条件下で撮像された第２の画像とを取得する画像取得部と、前記第１の画像の前記手術糸の領域を、前記第２の画像に合成した合成画像を生成する合成部とを備える。

本技術の第１の側面の画像処理方法は、蛍光発色する手術糸を用いた術部の画像として、前記手術糸が蛍光発色する照明条件下で撮像された第１の画像と、少なくとも可視光を含む照明条件下で撮像された第２の画像とを取得し、前記第１の画像の前記手術糸の領域を、前記第２の画像に合成した合成画像を生成するステップを含む。

本技術の第１の側面においては、蛍光発色する手術糸を用いた術部の画像として、前記手術糸が蛍光発色する照明条件下で撮像された第１の画像と、少なくとも可視光を含む照明条件下で撮像された第２の画像とが取得され、前記第１の画像の前記手術糸の領域を、前記第２の画像に合成した合成画像が生成される。

本技術の第２の側面の手術システムは、蛍光発色する手術糸を用いた術部の画像として、前記手術糸が蛍光発色する照明条件下で撮像された第１の画像と、少なくとも可視光を含む照明条件下で撮像された第２の画像とを撮像する撮像部と、前記第１の画像の前記手術糸の領域を、前記第２の画像に合成した合成画像を生成する合成部とを備える。

本技術の第２の側面においては、蛍光発色する手術糸を用いた術部の画像として、前記手術糸が蛍光発色する照明条件下で撮像された第１の画像と、少なくとも可視光を含む照明条件下で撮像された第２の画像とが撮像され、前記第１の画像の前記手術糸の領域を、前記第２の画像に合成した合成画像が生成される。

本技術の第３の側面の手術糸は、生体内に存在しないパターンで蛍光発色する。

本技術の第３の側面においては、生体内に存在しないパターンで蛍光発色される。

画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術の第１乃至第３の側面によれば、糸の視認性をより向上させることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した内視鏡手術システムの構成例を示す図である。 内視鏡手術システムの画像処理に関連するブロック図である。 画像合成処理を説明する図である。 通常光画像と特殊光画像の撮像タイミングを説明する図である。 画像処理部の詳細構成例を示すブロック図である。 動きベクトル検出部の詳細構成例を示すブロック図である。 画像処理部による画像合成処理を説明するフローチャートである。 動き補正量を推定する処理の流れを説明する図である。 動きベクトルのばらつきを補正するイメージを示す図である。 通常光画像と特殊光画像の撮像タイミングのその他の例を説明する図である。 第２の実施の形態の撮像部の撮像センサを説明する図である。 第２の実施の形態の画像合成処理を説明する図である。 蛍光糸のその他の構成例を示す図である。 蛍光糸のその他の構成例を示す図である。 画像処理部の合成部の変形例を示すブロック図である。 色変換処理後画像の例を示す図である。 色変換処理のその他の適用例について説明する図である。 色変換処理を説明するフローチャートである。 蛍光糸領域画素加算処理を説明するフローチャートである。 蛍光糸領域画素加算処理の例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（特殊光画像と通常光画像を分けて撮像する例）
２．第２の実施の形態（１枚の画像から特殊光画像と通常光画像を生成する例）
３．蛍光糸のその他の構成例
４．合成部の変形例
５．色変換処理のその他の適用例
６．蛍光糸領域画素加算処理

＜１．第１の実施の形態＞
＜内視鏡手術システムの構成例＞
図１は、本技術を適用した内視鏡手術システムの構成例を示す図である。

内視鏡手術システム１０は、表示装置１１、CCU（カメラコントロールユニット）１２、光源装置１３、処置具用装置１４、気腹装置１５、レコーダ１６、およびプリンタ１７が搭載されたカート１８を備える。また、内視鏡手術システム１０は、内視鏡（腹腔鏡）１９、エネルギ処置具２０、鉗子２１、トロッカ２２乃至２５、フットスイッチ２６、および患者ベッド２７を有する。内視鏡手術システム１０は、例えば手術室に配置され、患者ベッド２７に横たわった患者の腹部３１に含まれる患部に対して腹腔鏡下手術を行う術者を支援する。

具体的には、内視鏡手術システム１０の表示装置１１は、据え置き型の２Ｄディスプレイやヘッドマウントディスプレイなどにより構成される。表示装置１１は、CCU１２から供給される術部の画像等を表示する。

CCU１２（画像処理装置）は、カメラケーブルを介して内視鏡１９と接続する。なお、CCU１２は、内視鏡１９と無線で接続していてもよい。CCU１２は、内視鏡１９により撮像され、カメラケーブルを介して送信されてくる手術対象の部位の画像（以下、術部画像ともいう。）を受信し、表示装置１１に供給する。CCU１２は、必要に応じて、受信された術部画像をレコーダ１６やプリンタ１７に供給する。

光源装置１３は、ライトガイドケーブルを介して内視鏡１９と接続する。光源装置１３は、各種の波長の光を切り換えて内視鏡１９に出射する。

処置具用装置１４は、高周波出力装置であり、ケーブルを介してエネルギ処置具２０およびフットスイッチ２６と接続する。処置具用装置１４は、フットスイッチ２６から供給される操作信号に応じて、エネルギ処置具２０に高周波電流を出力する。

気腹装置１５は、送気手段および吸気手段を備え、腹部３１の腹壁に取り付けられた開孔器具であるトロッカ２４の孔から、腹部３１の内部に空気を送気する。

レコーダ１６は、CCU１２から供給される術部画像を記録する。プリンタ１７は、CCUから供給される術部画像を印刷する。

内視鏡１９は、腹部３１の腹壁に取り付けられたトロッカ２２の孔から、手術対象としての腹部３１の内部に挿入される。内視鏡１９は、光源装置１３から出射された光を腹部３１の内部に照射し、腹部３１の内部の画像を術部画像として撮像する。内視鏡１９は、撮像部４１により得られた術部画像を、カメラケーブルを介してCCU１２に供給する。

エネルギ処置具２０（処置装置）は、電気メスなどにより構成される。エネルギ処置具２０は、腹部３１の腹壁に取り付けられたトロッカ２３の孔から、腹部３１の内部に挿入される。エネルギ処置具２０は、腹部３１の内部を、電気熱を用いて変性させたり、切断したりする。

鉗子２１は、腹部３１の腹壁に取り付けられたトロッカ２５の孔から、腹部３１の内部に挿入される。鉗子２１は、腹部３１の内部を把持する。内視鏡１９、エネルギ処置具２０、および鉗子２１は、術者、助手、スコピスト、またはロボット等により把持される。

フットスイッチ２６は、術者や助手等の足による操作を受け付ける。フットスイッチ２６は、受け付けた操作を表す操作信号を、CCU１２や処置具用装置１４に供給する。

術者は、この内視鏡手術システム１０を用いることにより、腹壁を切って開腹する開腹手術を行わずに、腹部３１内の患部を切除することができる。

術者は、内視鏡１９の撮像部４１により撮像された画像に基づいて表示装置１１に表示された処理画像を見ながら、手術対象となる腹部３１内の患部（術部）を処置する。このとき、患部の縫合、結索には、蛍光糸３２が用いられる。蛍光糸３２は、患部に照射される照明の条件が所定の条件である場合に蛍光発色する糸であり、例えば、上述した特許文献１に記載の緑色蛍光タンパク質によって光る絹糸などを用いることができる。

蛍光糸３２は、視認しやすくなるように蛍光するという特徴を有している一方、蛍光糸３２が蛍光する照明条件は、例えば、可視光を用いない、暗い状態とするなど、術者にとっては患部が見づらくなる場合が多い。

そこで、内視鏡手術システム１０のCCU１２は、術者が蛍光糸３２を視認しやすい照明条件での撮像と、術者が患部を視認しやすい照明条件での撮像とを行うように光源装置１３及び内視鏡１９を制御する。また、CCU１２は、それら複数の照明条件で得られた複数の術部画像を画像合成処理することによって、蛍光糸３２の視認性を向上させた合成画像を生成し、表示装置１１に表示させる。術者は、表示装置１１に表示された合成画像を見ながら手術することで、縫合作業や結索作業を円滑に行うことができる。

＜画像処理に関連するブロック図＞
図２は、蛍光糸３２を視認しやすい照明条件での撮像と、患部を視認しやすい照明条件での撮像と、それら複数の照明条件で得られた複数の術部画像の画像処理に関連するブロックに注目したブロック図である。

CCU１２は、制御部５１、画像取得部５２、画像処理部５３、及び、画像出力部５４を少なくとも備える。

制御部５１は、光源装置１３に対して、内視鏡１９の撮像部４１が撮像するタイミングに合わせて、蛍光糸３２を視認しやすい照明条件による照明と、患部を視認しやすい照明条件による照明とを切り替える照明制御を行う。

また、制御部５１は、内視鏡１９の撮像部４１による撮像タイミングを制御する。内視鏡１９は、照明レンズなどの光学系と、撮像部４１とを備える。撮像部４１は、例えば、R,G,R,Bの各画素からなる４画素が繰り返し配列されたベイヤ配列のCMOSセンサで構成される。撮像部４１は、制御部５１によって制御された撮像タイミングに基づいて撮像し、その結果得られる患部の画像を、画像取得部５２に出力する。

なお以下では、蛍光糸３２が視認しやくなる照明条件による照明を特殊光、患部が視認しやすくなる照明条件による照明を通常光と称する。特殊光は、例えば、いわゆるブラックライトと呼ばれる紫外光や、赤外光（IR光）などである。通常光は、例えば、白色光（可視光）である。

また、特殊光が照射された状態で撮像された画像を、特殊光画像と称し、通常光が照射された状態で撮像された画像を、通常光画像と称する。

制御部５１は、光源装置１３が照射する特殊光と通常光の切替えを制御する。さらに、制御部５１は、画像処理部５３に対して、通常光または特殊光のどちらを照射した画像が画像取得部５２から供給されるかを示す照射識別信号を画像処理部５３に出力する。

制御部５１は、上述した制御以外に、内視鏡手術システム１０全体の動作の制御、例えば、フットスイッチ２６から供給される操作信号に基づく処置具用装置１４や気腹装置１５の制御、レコーダ１６およびプリンタ１７の制御なども行う。

画像取得部５２は、撮像部４１から供給される通常光画像と特殊光画像を取得し、画像処理部５３に供給する。

画像処理部５３は、画像取得部５２から供給される通常光画像と特殊光画像とに対して、所定の画像処理を行い、処理後の画像を画像出力部５４に供給する。

例えば、画像処理部５３は、撮像タイミングが異なる２枚の通常光画像を用いて動きベクトルを検出する。また、画像処理部５３は、特殊光画像に所定のフィルタ処理を行うことによって、特殊光画像内の蛍光糸３２の部分が抽出された画像（以下、蛍光糸抽出画像と称する）を生成する。さらに、画像処理部５３は、通常光画像から検出した動きベクトルに基づき、蛍光糸抽出画像の動き補正を行い、動き補正した蛍光糸抽出画像を、通常光画像に合成し、その結果得られた合成画像を画像出力部５４に出力する。

画像出力部５４は、画像処理部５３から供給された合成画像を、表示装置１１が受け入れ可能な所定フォーマットの信号に変換し、表示装置１１に出力する。表示装置１１は、画像出力部５４から供給された画像信号に基づいて、術者が患部を視認しやすく、かつ、蛍光糸３２も視認しやすくなるように生成された合成画像を表示する。

図３は、画像処理部５３が行う画像合成処理を概念的に示した図である。

通常光画像は、例えば、白色光を照射して撮像された画像であり、患部は視認しやすい画像となっているが、蛍光糸３２は見づらくなっている。

これに対して、特殊光画像は、例えば、IR光を照射して撮像された画像であり、蛍光糸３２は視認しやすい画像となっているが、患部は見づらくなっている。

通常光画像と特殊光画像を合成して得られた合成画像は、患部については通常光画像の画像を用い、蛍光糸３２については特殊光画像の画像を用いた画像となっている。これにより、患部と蛍光糸３２のどちらも視認しやすい画像となっている。

＜通常光画像と特殊光画像の撮像タイミング＞
次に、図４は、通常光画像と特殊光画像の撮像タイミングの一例を示している。

制御部５１は、数フレーム連続して通常光画像を撮像し、その次に特殊光画像を撮像するように制御する。通常光画像と特殊光画像の撮像の割合は、例えば、図４に示されるように、４：１とする。ただし、この割合は４：１に限定されるものではなく、変更することができる。

図４における時刻Taは、特殊光画像が撮像される１フレーム前に通常光画像が撮像されたタイミングを、時刻Tbは、特殊光画像が撮像されるタイミングを示している。時刻Tc，Td，Te、及びTfは、それぞれ特殊光画像が撮像された１，２，３，４フレーム後に通常光画像が撮像されたタイミングを示している。

＜画像処理部５３の詳細構成例＞
図５は、画像処理部５３の詳細構成例を示すブロック図である。

画像処理部５３は、切り替え部７１、動きベクトル検出部７２、補正量推定部７３、フレームメモリ７４、特徴抽出フィルタ処理部７５、動き補正部７６、および合成部７７から構成される。

画像処理部５３において、画像取得部５２から入力される通常光画像および特殊光画像は切り替え部７１に入力され、制御部５１からの照射識別信号は切り替え部７１、動きベクトル検出部７２、および補正量推定部７３に入力される。

切り替え部７１は、照射識別信号に基づき、画像取得部５２からの入力が特殊光画像であるか否かを判別し、特殊光画像ではない（通常光画像である）場合には動きベクトル検出部７２および合成部７７に出力し、特殊光画像である場合にはフレームメモリ７４に出力する。

動きベクトル検出部７２は、フレーム周期毎に、撮像タイミングが異なる２枚の通常光画像を用いて動きベクトルを検出し、検出した動きベクトルを補正量推定部７３に出力する。

補正量推定部７３は、動きベクトル検出部７２で検出された動きベクトルに基づき、特殊光画像および蛍光糸抽出画像の動き補正量を推定し、推定した動き補正量を動き補正部７６に出力する。なお、補正量推定部７３は、連続して検出された動きベクトルに基づき、誤検出されている可能性がある動きベクトルを補正することができ、補正した動きベクトルに基づいて動き補正量を推定できる。

フレームメモリ７４は、切り替え部７１から入力された特殊光画像を保持し、フレーム周期毎に、保持する特殊光画像を特徴抽出フィルタ処理部７５および動き補正部７６に供給する。また、フレームメモリ７４は、切り替え部７１から次の特殊光画像が入力された場合、保持する特殊光画像を更新する。

特徴抽出フィルタ処理部７５は、フレームメモリ７４から供給される特殊光画像内の蛍光糸３２の特徴に基づいて、蛍光糸３２の領域を抽出し、抽出結果を表す蛍光糸抽出画像を生成する。具体的には、例えば、特徴抽出フィルタ処理部７５は、画素の信号レベルが蛍光色に対応する特定範囲内の領域、すなわち特定のRGBレベルを持つ領域を抽出し、抽出結果を表す蛍光糸抽出画像を生成する。

なお、フレームメモリ７４は、上述したように、フレーム周期毎に、保持する特殊光画像を供給してくるので、同一の特殊光画像が連続して供給されることになる。その場合、特徴抽出フィルタ処理部７５は、特徴抽出フィルタ処理を省略し、前回の特徴抽出フィルタ処理の結果をそのまま動き補正部７６に出力するようにしてもよい。

特徴抽出フィルタ処理部７５は、特徴抽出フィルタ処理として、上述した特定のRGBレベルを持つ領域を抽出する処理以外の処理、例えば、微分フィルタ処理（例えば、Sobelフィルタ処理）、輪郭検出処理、画像内に設定する(3x3)の各微小ブロック内の、分散やダイナミックレンジ等に基づく処理などを実行してもよい。すなわち、特徴抽出フィルタ処理部７５が行う特徴抽出フィルタ処理は、蛍光糸３２の領域を抽出できるものであれば制限されない。

動き補正部７６は、動き補正量推定部７３から入力される動き補正量に基づき、フレームメモリ７４からの特殊光画像の動き補正を行うとともに、特徴抽出フィルタ処理部７５からの蛍光糸抽出画像の動き補正を行い、動き補正後の特殊光画像および蛍光糸抽出画像を合成部７７に出力する。

合成部７７は、通常光画像と動き補正後の蛍光糸抽出画像とを合成する合成処理を行って、合成画像を生成し、画像出力部５４に出力する。例えば、合成部７７は、患部については通常光画像の画像を用い、蛍光糸３２の部分については特殊光画像の画像を用いた合成画像を生成する。また例えば、合成部７７は、通常光画像に、特殊光画像内の蛍光糸３２の部分を重畳することにより、合成画像を生成する。これにより、図３に示したような、患部と蛍光糸３２のどちらも視認しやすい合成画像を生成することができる。

なお、合成部７７には、通常光画像と、動き補正後の蛍光糸抽出画像の他に、動き補正後の特殊光画像も入力されるので、必要に応じて、動き補正後の特殊光画像も、合成処理に用いることができる。

＜動きベクトル検出部７２の詳細構成例＞
図６は、動きベクトル検出部７２の詳細構成例を示すブロック図である。

動きベクトル検出部７２は、フレームメモリ９１および９２、フレーム選択部９３、ブロックマッチング部９４、並びに、ベクトル補正部９５から構成される。

動きベクトル検出部７２において、前段の切り替え部７１から入力される通常光画像は、フレームメモリ９１およびフレーム選択部９３に入力される。

フレームメモリ９１は、フレーム周期毎に、それまで保持していた通常光画像をフレームメモリ９２およびフレーム選択部９３に出力するとともに、保持するデータを前段の切り替え部７１から入力される通常光画像により更新する。同様に、フレームメモリ９２は、フレーム周期毎に、終えまで保持していた通常光画像をフレーム選択部９３に出力するとともに、保持するデータを前段のフレームメモリ９１から入力される通常光画像により更新する。

ただし、フレーム周期のうち、通常光画像が動きベクトル検出部７２に入力されないタイミングでは、フレームメモリ９１は、それまで保持していた通常光画像を後段に出力するとともに、それまで保持していたデータをクリアする。

その次のタイミングでは、フレームメモリ９１は、保持しているデータがないので、後段への出力は行わない。フレームメモリ９２は、それまで保持していた通常光画像を後段に出力するとともに、それまで保持していたデータをクリアする。

したがって、フレーム選択部９３には、撮像タイミングが異なる２枚または３枚の通常光画像が同時に入力されることになる。

フレーム選択部９３は、同時に２枚の通常光画像が入力された場合、該２枚の通常光画像をブロックマッチング部９４に出力する。また、フレーム選択部９３は、同時に３枚の通常光画像が入力された場合、フレームメモリ９１および９２から入力された２枚の通常光画像をブロックマッチング部９４に出力する。ブロックマッチング部９４は、ブロックマッチング処理によって２枚の通常光画像間の動きベクトルを検出する。

ベクトル補正部９５は、照射識別信号に基づいて、動きベクトルに用いられた２枚の通常光画像の関係を判断し、その関係に基づいて、検出された動きベクトルを補正して動きベクトルを補正量推定部７３に出力する。

ベクトル補正部９５による動きベクトルの補正について具体的に説明する。

フレームメモリ９１からの出力を基準とすれば、基準の撮像タイミングが図４に示される時刻Taである場合、フレーム選択部９３に対して、フレームメモリ９２から基準よりも１フレーム前の通常光画像と、フレームメモリ９１から基準の通常光画像とが入力され、この２枚の通常光画像から動きベクトルが検出される。この場合、ベクトル補正部９５は動きベクトルの補正を行わない。

基準の撮像タイミングが図４に示される時刻Tbである場合、時刻Tbは特殊光画像の撮像タイミングであるので、フレームメモリ９１は出力しない。そして、フレーム選択部９３に対して、フレームメモリ９２から基準よりも１フレーム前の時刻Taの通常光画像と、切り替え部７１から基準よりも１フレーム後の時刻Tcの通常光画像とが入力され、この２枚の通常光画像から動きベクトルが検出される。この場合、検出された動きベクトルは２フレーム分離れた通常光画像間のものであるので、ベクトル補正部９５は検出された動きベクトルの縦横それぞれの成分に１／２を乗算する。

基準の撮像タイミングが図４に示される時刻Tcである場合、フレーム選択部９３に対して、フレームメモリ９１から基準の通常光画像と、切り替え部７１から基準よりも１フレーム後の時刻Tdの通常光画像とが入力され、この２枚の通常光画像から動きベクトルが検出される。この場合、検出される動きベクトルの方向がその他の場合と反対となるので、ベクトル補正部９５は、検出された動きベクトルの縦横それぞれの成分に−１を乗算する。

基準の撮像タイミングが図４に示される時刻Tdである場合、フレーム選択部９３に対しては、フレームメモリ９２から基準よりも１フレーム前の時刻Tcの通常光画像と、フレームメモリ９１から基準の通常光画像と、切り替え部７１から基準よりも１フレーム後の時刻Teの通常光画像とが入力され、フレームメモリ９１および９２からの２枚の通常光画像から動きベクトルが検出される。この場合、ベクトル補正部９５は動きベクトルの補正を行わない。

基準の撮像タイミングが図４に示される時刻Teである場合、フレーム選択部９３に対しては、フレームメモリ９２から基準よりも１フレーム前の時刻Tdの通常光画像と、フレームメモリ９１から基準の通常光画像と、切り替え部７１から基準よりも１フレーム後の時刻Tfの通常光画像とが入力され、フレームメモリ９１および９２からの２枚の通常光画像から動きベクトルが検出される。この場合、ベクトル補正部９５は動きベクトルの補正を行わない。

以上のようにして補正された動きベクトルが、ベクトル補正部９５から後段の補正量推定部７３に出力される。

＜画像合成処理のフローチャート＞
次に、図７のフローチャートを参照して、画像処理部５３による画像合成処理について説明する。この画像合成処理はフレーム周期毎に実行される。

ステップＳ１において、切り替え部７１は、照射識別信号に基づいて、画像取得部５２からの入力が特殊光画像であるか、または、通常光画像であるかを判別し、入力された画像の出力先を切り替える。すなわち、切り替え部７１は、画像取得部５２からの入力が特殊光画像であると判別した場合、その特殊光画像をフレームメモリ７４に出力する。一方、画像取得部５２からの入力が特殊光画像ではない（通常光画像である）と判別した場合、切り替え部７１は、その通常光画像を動きベクトル検出部７２および合成部７７に出力する。

ステップＳ２において、フレームメモリ７４は、それまで保持していた特殊光画像を特徴抽出フィルタ処理部７５および動き補正部７６に供給する。また、切り替え部７１から特殊光画像が入力された場合には、フレームメモリ７４は、保持する特殊光画像を更新する。

ステップＳ３において、特徴抽出フィルタ処理部７５は、フレームメモリ７４から供給される特殊光画像に対して所定の特徴抽出フィルタ処理を行うことにより、画像内の蛍光糸３２の領域が抽出された蛍光糸抽出画像を生成して動き補正部７６に出力する。

ステップＳ４において、動きベクトル検出部７２は、撮像タイミングが異なる２枚の通常光画像を用いて動きベクトルを検出し、補正量推定部７３に出力する。

ステップＳ５において、補正量推定部７３は、検出された動きベクトルが所定の閾値以下であるか否かを判定し、所定の閾値以下である場合には、その動きベクトルを動き補正に利用するために処理をステップＳ６に進める。反対に、検出された動きベクトルが所定の閾値よりも大きい場合には、その動きベクトルを動き補正に利用しない。この場合、今回の撮像タイミングに対応する画像合成処理は終了される。

ステップＳ６においては、補正量推定部７３は、動きベクトル検出部７２で検出された動きベクトルに基づき、特殊光画像および蛍光糸抽出画像の動き補正量を推定し、推定した動き補正量を動き補正部７６に出力する。具体的には、例えば、次式（１）に示されるように動きの補正量Ｈ_ｘ，Ｈ_ｙを演算する。

式（１）においてＶ_ｘ，Ｖ_ｙは、検出、補正された動きベクトルであり、Ｎは、補正を行う特殊光画像の撮像タイミングｔ＝０に対する、動きベクトルを検出した通常光画像の撮像タイミングｔ＝Ｎを表す。

なお、補正量推定部７３では、他の動き補正量の推定方法として、以下に説明するように、一連の動きベクトルに基づいて動きベクトルのばらつきを補正した後に動き補正量を推定することもできる。

図８は、一連の動きベクトルに基づいて動きベクトルのばらつきを補正した後に動き補正量を推定する処理の流れを示している。図９は、一連の動きベクトルに基づいて動きベクトルのばらつきを補正するイメージを示している。

具体的には、補正量推定部７３は、次式（２）に示されるように、撮像タイミングｔに対する動きベクトル（V'_x,t，V'_y,t）を推定する。

そして、補正量推定部７３は、推定した動きベクトル（V'_x,t，V'_y,t）により、式（１）の動きベクトルを置換して次式（３）により、動きの補正量Ｈ_ｘ，Ｈ_ｙを演算する。

なお、式（２）における係数（a_x,b_x,c_x,d_x）と（a_y,b_y,c_y,d_y）は、検出された動きベクトル（V_x,1，V_y,1），・・・，（V_x,t，V_y,t）を使って最小二乗法により算出できる。

以上のようにして動き補正量が推定された後、処理はステップＳ７に進められる。

ステップＳ７において、動き補正部７６は、動き補正量推定部７３から入力される動き補正量に基づき、フレームメモリ７４からの特殊光画像の動き補正を行うとともに、特徴抽出フィルタ処理部７５からの蛍光糸抽出画像の動き補正を行い、動き補正後の特殊光画像および蛍光糸抽出画像を合成部７７に出力する。合成部７７に入力された通常光画像、特殊光画像、及び、蛍光糸抽出画像は、それぞれにおける被写体が正確に位置合わせされたものとなる。

ステップＳ８において、合成部７７は、通常光画像と、動き補正された蛍光糸抽出画像の合成処理を行い、その結果得られる合成画像を、画像出力部５４に出力する。例えば、簡単には、合成部７７は、蛍光糸抽出画像において、所定の閾値以上の輝度または色差を有する画素を、蛍光糸３２の領域として抽出する。そして、合成部７７は、抽出された蛍光糸３２の領域については、蛍光糸抽出画像の画素値を採用し、それ以外の領域については、通常光画像の画素値を採用した合成画像を生成し、合成画像とする。

その他、合成部７７は、例えば、以下のような合成処理を行うこともできる。

式（４）において、O(x,y)は合成画像の画素値、N(x,y)は通常光画像の画素値、Feature(x,y)は動き補正後の蛍光糸抽出画像の画素値、I(x,y)は動き補正後の特殊光画像の画素値である。C₀，C₁は、重畳の度合いを制御する係数であり、ユーザが任意に設定できる。式（４）の合成処理では、通常光画像に対して、動き補正後の蛍光糸抽出画像と特殊光画像の乗算結果が加算される。

また、合成部７７は、例えば、以下のような合成処理を行うこともできる。

式（５）において、O(x,y)は合成画像の画素値、N(x,y)は通常光画像の画素値、Feature (x,y)は動き補正後の蛍光糸抽出画像の画素値、Ｃは色変換係数である。式（５）の合成処理では、通常光画像に対して、蛍光糸抽出画像の画素値を掛け合わせた色変換係数Ｃによるカラーマトリックス処理によって擬似的な色変換が行われる。

以上説明した画像合成処理によれば、通常光画像のみを使って動きベクトルを検出し、検出した動きベクトルを補正してから動き補正量を推定するので、特殊光画像および蛍光糸抽出画像の動き補正を正確に実行できる。これにより、通常光画像に対して、特殊光画像内の蛍光糸３２の領域を正確に位置合わせでき、視認性を向上させた合成画像を生成することができる。生成された合成画像が表示装置１１に表示されることにより、患部と蛍光糸３２のどちらも視認しやすい画像を、術者に提示することができる。

なお、上述した例では、図４に示したように、４枚の通常光画像に対して、１枚の特殊光画像が取得されるように光源装置１３が制御される例について説明したが、通常光画像と特殊光画像の撮像の割合は、これに限定されない。例えば、図１０に示されるように、制御部５１は、通常光画像と特殊光画像が交互に取得されるように制御してもよい。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、以下の説明においては、それまでに説明した部分と同じ部分についての説明は省略し、異なる部分についてのみ説明する。

上述した第１の実施の形態では、撮像部４１が、一般的なベイヤ配列のCMOSセンサ等で構成され、光源装置１３の照明条件を変更することにより、特殊光による特殊光画像と、通常光による通常光画像が生成され、その特殊光画像と通常光画像とを用いて合成画像が生成された。

第２の実施の形態では、撮像部４１の撮像センサとして、図１１に示されるような、狭帯域波長の光に感度を有する画素を備えるセンサが採用される。

図１１に示される撮像センサは、NB,G,R,Bの各画素からなる４画素が繰り返し配列された画素配列を有するセンサである。第２の実施の形態において、蛍光糸３２は、白色光の下で、ある特定の狭帯域波長の光を発する糸で構成される。NBの画素は、その蛍光糸３２が発する狭帯域波長の光に感度を持つ画素である。

撮像部４１が、このような撮像センサを備えている場合、図１２に示されるように、R,G,Bの画素から得られる、術者が患部を視認しやすい画像を構成するための画素値と、NBの画素から得られる、術者が蛍光糸３２を視認しやすい画像を構成するための画素値の両方を、１回の撮像で得ることができる。

そして、画像処理部５３は、R,G,Bの画素の画素値を用いてデモザイク処理を行うことにより、患部を視認しやすいRGBデモザイク画像を生成するとともに、NBの画素値をRGBデモザイク画像と同一の解像度に補間する補間処理を行うことにより、蛍光糸３２を視認しやすいNB補間画像を生成する。その後、画像処理部５３は、RGBデモザイク画像とNB補間画像を合成する合成処理を行って、図１２に示されるような合成画像を生成し、画像出力部５４に出力する。

＜３．蛍光糸３２のその他の構成例＞
上述した各実施の形態では、蛍光糸３２が、糸全体のどの部分でも同色で均一に光る素材であるものとして説明した。

しかしながら、蛍光糸３２は、例えば、図１３に示されるような、生体にない繰り返しパターンで蛍光発色する構成とすることができる。図１３に示される蛍光糸３２は、第１の蛍光色の間に、第１の蛍光色と異なる第２の蛍光色による、長、中、短、の組合せパターンが所定の間隔で繰り返されるパターンとなっている。ここで、長、中、短、は、蛍光糸３２の長手方向において第２の蛍光色が連続する長さの違いを表している。

このように、蛍光糸３２を、生体にない繰り返しパターンで光る構成とすることで、術者は、蛍光パターンの粗密または大小に基づいて、画像として表示された患部の奥行き感や糸の先端方向が把握しやすくなる。

図１４は、蛍光糸３２における生体にない繰り返しパターンのその他の例を示している。

図１４のAは、第１の蛍光色と第２の蛍光色を同一の長さで交互に配置した構成の繰り返しパターンの例である。

図１４のBは、第１の蛍光色の間に、第２の蛍光色による、長、長、長の第１のパターン、中、中、中の第２のパターン、並びに、短、短、短の第３のパターンからなる３つのパターンが順番に繰り返されるパターンとなっている。

なお、図１４のAや図１４のBは、生体にない繰り返しパターンのあくまで一例であって、繰り返されるパターンの数や長さ、種類などは、この例に限られるものではない。生体にない繰り返しパターンは、複数の蛍光色で構成されるパターンが所定の規則で配列されたパターンであればよい。

図１４のCは、蛍光色が明確に分かれておらず、グラデーションで構成された蛍光糸３２の例を示している。図１４のCのグラデーションは、蛍光糸３２全体の長さに対して形成されたものでもよいし、図１４のCのグラデーションが蛍光糸３２全体のなかで複数回繰り返されたようなものでもよい。このような蛍光糸３２のパターンも、生体にない繰り返しパターンに含まれる。

＜４．合成部７７の変形例＞
図１５は、画像処理部５３の合成部７７の変形例を示している。

合成部７７は、色変換処理部７８を備える。

色変換処理部７８は、通常光画像と特殊光画像を合成して得られた合成画像のなかの、蛍光糸３２の色を、背景色に対して補色関係となるように色変換を行う信号処理を行う。術部画像においては、通常、蛍光糸３２の背景は患者の臓器（生体）であり、橙色系統や赤色系統の色となっているので、色変換処理部７８は、蛍光糸３２の色を、臓器の色の補足となる、例えば、青色系統や緑色系統の色に変換する。

図１６は、蛍光糸３２として、図１４のAに示した繰り返しパターンを有する糸を用いた手術において術中に生成された合成画像と、それを合成部７７の色変換処理部７８が色変換した色変換処理後画像の例を示している。

図１６右上の画像は、合成画像内の蛍光糸３２の第１の蛍光色（例えば黄色）と第２の蛍光色（例えば、緑色）を、第１の補色相当色（例えば黄緑色）と第２の補色相当色（例えば、青色）に変換した色変換処理後画像を示している。

図１６右下の画像は、合成画像内の蛍光糸３２の第１の蛍光色（例えば黄色）と第２の蛍光色（例えば、緑色）を、１色の補色相当色（例えば、青色）に変換した色変換処理後画像を示している。

このように、合成画像中の蛍光糸３２を、背景色を考慮した色に置き換えることにより、蛍光糸３２の視認性をさらに向上させることができる。

また、色変換処理部７８は、図１３及び図１４で説明した、生体にない繰り返しパターンの粗密または大小を検出することにより、蛍光糸３２の奥行き方向の位置や先端部を検出し、蛍光糸３２の手前側と奥側とで異なる色で変換したり、蛍光糸３２の先端部を異なる色で変換して表示させてもよい。これにより、術者が、蛍光糸３２の奥行きや先端部をより把握しやすくなる。

なお、図１５では、色変換処理部７８が、合成部７７の一部として構成されるものとしたが、色変換処理部７８は、合成部７７の後段に設けるようにしてもよい。

＜５．色変換処理のその他の適用例＞
色変換処理部７８による色変換処理のその他の適用例について説明する。

縫合を行う際、針先と糸の前後判定（手前か奥か）が重要になるが、長時間の手術において、視差だけで、針先と糸の前後関係を把握するのは術者にとって疲労の原因となる。

そこで、糸が蛍光糸３２である場合には蛍光糸３２が発光するので、蛍光糸３２から光の反射が針にあるか否かを判定することで、針先と糸の前後関係を判定することができる。

具体的には、図１７に示されるように、針３３が蛍光糸３２よりも下、換言すれば、撮像部４１からみて針３３が蛍光糸３２よりも奥方向にある場合には、針３３には、蛍光糸３２からの光の反射がある。一方、針３３が蛍光糸３２よりも上、換言すれば、撮像部４１からみて針３３が蛍光糸３２よりも手前方向にある場合には、針３３には、蛍光糸３２からの光の反射がない。

色変換処理部７８は、針３３において蛍光糸３２から光の反射があると判定された場合には、合成画像内の針３３の色が第１の色（例えば赤色）になるように色変換し、針３３において蛍光糸３２から光の反射がないと判定された場合には、合成画像内の針３３の色が第２の色（例えば青色）になるように色変換する。

図１８は、針先と糸の前後関係によって合成画像内の針の色を変換する色変換処理のフローチャートである。

初めに、ステップＳ２１において、色変換処理部７８は、合成画像内の針３３と蛍光糸３２を検出し、針３３の先端（針先）と蛍光糸３２の距離が所定の範囲内（の近さ）であるかを判定する。

なお、合成画像内における針３３の検出方法は特に限定されないが、何らかの方法により、合成画像内における針３３は検出可能であるとする。

ステップＳ２１で、針３３の先端と蛍光糸３２の距離が所定の範囲内ではないと判定された場合、処理はステップＳ２２に進み、色変換処理部７８は、合成画像内の針３３の色変換は行わずに、合成画像をそのまま画像出力部５４に出力する。

一方、ステップＳ２１で、針３３の先端と蛍光糸３２の距離が所定の範囲内であると判定された場合、処理はステップＳ２３に進み、色変換処理部７８は、合成画像内の針３３に蛍光糸３２からの光の反射があるかを判定する。

ステップＳ２３で、針３３に蛍光糸３２からの光の反射があると判定された場合、処理はステップＳ２４に進み、色変換処理部７８は、合成画像内の針３３の色を第１の色（例えば赤色）に色変換して出力する。

一方、ステップＳ２３で、針３３に蛍光糸３２から光の反射がないと判定された場合、処理はステップＳ２５に進み、色変換処理部７８は、合成画像内の針３３の色を第２の色（例えば青色）に色変換して出力する。

以上の色変換処理を行うことにより、術者は、表示装置１１に表示された合成画像中の針３３の色を判別するだけで、針先と糸の前後関係を容易に把握することができる。

＜６．蛍光糸領域画素加算処理＞
一般的に、自発光素材は発光強度が弱く、センサノイズ等の影響でＳＮ比の悪い画像となることが懸念される。そこで、合成部７７は、蛍光糸３２の領域において、動きの変化が少ない場合に、連続する複数枚の画素値を加算することで、ＳＮ比を高めて視認性を向上させた合成画像を生成することができる。

図１９は、動きの変化が少ない場合に蛍光糸３２の領域の画素値を加算する蛍光糸領域画素加算処理のフローチャートを示している。この処理は、例えば、通常光画像と、動き補正された蛍光糸抽出画像が合成部７７に入力されたとき、開始される。

初めに、ステップＳ４１において、合成部７７は、第Qフレームの蛍光糸抽出画像と、第Q+1フレームの蛍光糸抽出画像を取得する。ここで、第Qフレーム及び第Q+1フレームとは、図４や図１０に示したように、複数枚間隔で撮像される特殊光画像から作成された蛍光糸抽出画像のみをカウントした順番を表す。したがって、合成部７７は、第Q+1フレームの蛍光糸抽出画像が動き補正部７６から入力されるまで、その１つ前の第Qフレームの蛍光糸抽出画像を、内部メモリ等に保持しておく必要がある。

ステップＳ４２において、合成部７７は、第Q+1フレームの蛍光糸抽出画像の所定の画素を注目画素に設定する。

ステップＳ４３において、合成部７７は、第Qフレームの蛍光糸抽出画像と、第Q+1フレームの蛍光糸抽出画像とを用いて、注目画素の動きベクトルを検出する。

ステップＳ４４において、合成部７７は、検出された注目画素の動きベクトルが、予め設定された所定の閾値より小さいかを判定する。

ステップＳ４４で、検出された注目画素の動きベクトルが所定の閾値より小さいと判定された場合、処理はステップＳ４５に進み、合成部７７は、第Q+1フレームの注目画素の画素値と、注目画素に対応する第Qフレームの画素の画素値を加算した値を、第Q+1フレームの注目画素の画素値とする。

一方、ステップＳ４４で、検出された注目画素の動きベクトルが所定の閾値以上であると判定された場合、ステップＳ４５の処理はスキップされる。この場合、第Q+1フレームの注目画素の画素値は変更されない（加算されない）。

ステップＳ４６において、合成部７７は、第Q+1フレームの蛍光糸抽出画像の全ての画素を注目画素に設定したかを判定する。

ステップＳ４６で、第Q+1フレームの蛍光糸抽出画像の全ての画素を注目画素に設定していないと判定された場合、処理はステップＳ４２に戻り、上述したステップＳ４２乃至４６が繰り返される。即ち、第Q+1フレームの蛍光糸抽出画像において、まだ注目画素に設定されていない画素が次の注目画素に設定され、動きベクトルが検出され、検出結果に基づいて画素値の加算が行われる。

そして、ステップＳ４６で、第Q+1フレームの蛍光糸抽出画像の全ての画素を注目画素に設定したと判定された場合、蛍光糸領域画素加算処理は終了される。

この蛍光糸領域画素加算処理は、例えば、図７の画像合成処理のステップＳ７の処理とステップＳ８の処理との間で実行することができる。そして、その場合の画像合成処理のステップＳ８の処理では、動きの少ない蛍光糸３２の領域については画素値が加算された蛍光糸抽出画像と、通常光画像とを合成する合成処理が行われ、合成画像が生成される。

図２０は、蛍光糸領域画素加算処理が実行された処理後の蛍光糸抽出画像の例を示している。

図２０の蛍光糸抽出画像においては、蛍光糸３２の領域のうち、動きの少ない領域の輝度が高くなっている。蛍光糸領域画素加算処理によれば、動きの少ない蛍光糸３２の領域のＳＮ比を高め、視認性を向上させた合成画像を生成することができる。

なお、上述した蛍光糸領域画素加算処理の説明は、一般的なベイヤ配列の撮像センサを用いて通常光画像と特殊光画像を生成し、合成画像を作成する画像合成処理に適用できることは勿論、図１１に示した狭帯域波長の光に感度を持つ画素を有する撮像センサを用いた場合でも適用できる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。

以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ１００は、例えばインターネットを介して接続される、いわゆる、クラウドコンピュータであってもよい。

なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

本技術を適用した画像合成処理は、上述した内視鏡手術システムの他、ビデオ顕微鏡を用いた手術システムについても同様に適用可能である。この場合、ビデオ顕微鏡の撮像部４１が撮像した特殊光画像と通常光画像とを用いて、合成画像を生成すればよい。

上述した実施の形態では、撮像部４１が撮像する撮像間隔をフレーム周期という言葉を用いたが、撮像部４１が撮像画像を生成する間隔（１秒間に撮像画像を生成する枚数）は、適宜設定することができる。

上述した複数の実施の形態及びその変形例は、それらの全てまたは一部を必要に応じて組み合わせた形態とすることができる。

本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術は以下のような構成も取ることができる。
（１）
蛍光発色する手術糸を用いた術部の画像として、前記手術糸が蛍光発色する照明条件下で撮像された第１の画像と、少なくとも可視光を含む照明条件下で撮像された第２の画像とを取得する画像取得部と、
前記第１の画像の前記手術糸の領域を、前記第２の画像に合成した合成画像を生成する合成部と
を備える画像処理装置。
（２）
前記第１の画像は、可視光以外の狭帯域波長の光を照射した照明条件下で撮像された画像である
前記（１）に記載の画像処理装置。
（３）
前記第１の画像は、R、G、またはBの波長光を受光するRGB画素と、可視光以外の狭帯域波長の光を受光する狭帯域画素とを有する撮像センサで撮像した信号のうち、前記狭帯域画素の画素信号を用いて生成された画像であり、
前記第２の画像は、前記RGB画素の画素信号を用いて生成された画像である
前記（１）に記載の画像処理装置。
（４）
前記手術糸は、生体内に存在しないパターンで蛍光発色する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記パターンは、第１の蛍光色の間に、前記第１の蛍光色と異なる第２の蛍光色が繰り返されるパターンである
前記（４）に記載の画像処理装置。
（６）
前記パターンは、蛍光色のグラデーションパターンである
前記（４）に記載の画像処理装置。
（７）
前記合成画像のなかの前記手術糸の色を、所定の色に変換する色変換処理部をさらに備える
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記色変換処理部は、背景色に対して補色関係となるように色変換を行う
前記（７）に記載の画像処理装置。
（９）
前記手術糸は、生体内に存在しないパターンで蛍光発色し、
前記色変換処理部は、前記パターンの色ごとに、異なる色に変換する
前記（７）に記載の画像処理装置。
（１０）
前記手術糸と針との前後関係に応じて、前記合成画像の前記針の色を変換する色変換処理部をさらに備える
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記合成部は、動きの少ない前記手術糸の領域については複数枚の前記第１の画像の画素値が加算された前記第１の画像を生成し、その加算された前記第１の画像と、前記第２の画像とを合成した合成画像を生成する
請求項１に記載の画像処理装置。
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
蛍光発色する手術糸を用いた術部の画像として、前記手術糸が蛍光発色する照明条件下で撮像された第１の画像と、少なくとも可視光を含む照明条件下で撮像された第２の画像とを取得し、
前記第１の画像の前記手術糸の領域を、前記第２の画像に合成した合成画像を生成する
ステップを含む画像処理方法。
（１３）
蛍光発色する手術糸を用いた術部の画像として、前記手術糸が蛍光発色する照明条件下で撮像された第１の画像と、少なくとも可視光を含む照明条件下で撮像された第２の画像とを撮像する撮像部と、
前記第１の画像の前記手術糸の領域を、前記第２の画像に合成した合成画像を生成する合成部と
を備える手術システム。
（１４）
前記第１の画像を撮像する場合に、可視光以外の狭帯域波長の光を照射し、前記第２の画像を撮像する場合に、少なくとも可視光を含む光を照射する光源装置をさらに備える
前記（１３）に記載の手術システム。
（１５）
前記撮像部は、前記第１の画像は、R、G、またはBの波長光を受光するRGB画素と、可視光以外の狭帯域波長の光を受光する狭帯域画素とを有する撮像センサで構成される
前記（１３）に記載の手術システム。
（１６）
生体内に存在しないパターンで蛍光発色する手術糸。
（１７）
前記パターンは、第１の蛍光色の間に、前記第１の蛍光色と異なる第２の蛍光色が繰り返されるパターンである
前記（１６）に記載の手術糸。
（１８）
前記パターンは、蛍光色のグラデーションパターンである
前記（１６）に記載の手術糸。

１０ 内視鏡手術システム， １１ 表示装置， １３ 光源装置， １９ 内視鏡， ３２ 蛍光糸， ３３ 針， ４１ 撮像部， ５１ 制御部， ５２ 画像取得部， ５３ 画像処理部， ５４ 画像出力部， ７２ 動きベクトル検出部， ７５ 特徴抽出フィルタ処理部， ７７ 合成部， ７８ 色変換処理部， １００ コンピュータ， １０１ CPU， １０２ ROM， １０３ RAM， １０６ 入力部， １０７ 出力部， １０８ 記憶部， １０９ 通信部， １１０ ドライブ

Claims (18)

1. 蛍光発色する手術糸を用いた術部の画像として、前記手術糸が蛍光発色する照明条件下で撮像された第１の画像と、少なくとも可視光を含む照明条件下で撮像された第２の画像とを取得する画像取得部と、
   前記第１の画像の前記手術糸の領域を、前記第２の画像に合成した合成画像を生成する合成部と
   を備える画像処理装置。
2. 前記第１の画像は、可視光以外の狭帯域波長の光を照射した照明条件下で撮像された画像である
   請求項１に記載の画像処理装置。
3. 前記第１の画像は、R、G、またはBの波長光を受光するRGB画素と、可視光以外の狭帯域波長の光を受光する狭帯域画素とを有する撮像センサで撮像した信号のうち、前記狭帯域画素の画素信号を用いて生成された画像であり、
   前記第２の画像は、前記RGB画素の画素信号を用いて生成された画像である
   請求項１に記載の画像処理装置。
4. 前記手術糸は、生体内に存在しないパターンで蛍光発色する
   請求項１に記載の画像処理装置。
5. 前記パターンは、第１の蛍光色の間に、前記第１の蛍光色と異なる第２の蛍光色が繰り返されるパターンである
   請求項４に記載の画像処理装置。
6. 前記パターンは、蛍光色のグラデーションパターンである
   請求項４に記載の画像処理装置。
7. 前記合成画像のなかの前記手術糸の色を、所定の色に変換する色変換処理部をさらに備える
   請求項１に記載の画像処理装置。
8. 前記色変換処理部は、背景色に対して補色関係となるように色変換を行う
   請求項７に記載の画像処理装置。
9. 前記手術糸は、生体内に存在しないパターンで蛍光発色し、
   前記色変換処理部は、前記パターンの色ごとに、異なる色に変換する
   請求項７に記載の画像処理装置。
10. 前記手術糸と針との前後関係に応じて、前記合成画像の前記針の色を変換する色変換処理部をさらに備える
    請求項１に記載の画像処理装置。
11. 前記合成部は、動きの少ない前記手術糸の領域については複数枚の前記第１の画像の画素値が加算された前記第１の画像を生成し、その加算された前記第１の画像と、前記第２の画像とを合成した合成画像を生成する
    請求項１に記載の画像処理装置。
12. 蛍光発色する手術糸を用いた術部の画像として、前記手術糸が蛍光発色する照明条件下で撮像された第１の画像と、少なくとも可視光を含む照明条件下で撮像された第２の画像とを取得し、
    前記第１の画像の前記手術糸の領域を、前記第２の画像に合成した合成画像を生成する
    ステップを含む画像処理方法。
13. 蛍光発色する手術糸を用いた術部の画像として、前記手術糸が蛍光発色する照明条件下で撮像された第１の画像と、少なくとも可視光を含む照明条件下で撮像された第２の画像とを撮像する撮像部と、
    前記第１の画像の前記手術糸の領域を、前記第２の画像に合成した合成画像を生成する合成部と
    を備える手術システム。
14. 前記第１の画像を撮像する場合に、可視光以外の狭帯域波長の光を照射し、前記第２の画像を撮像する場合に、少なくとも可視光を含む光を照射する光源装置をさらに備える
    請求項１３に記載の手術システム。
15. 前記撮像部は、前記第１の画像は、R、G、またはBの波長光を受光するRGB画素と、可視光以外の狭帯域波長の光を受光する狭帯域画素とを有する撮像センサで構成される
    請求項１３に記載の手術システム。
16. 生体内に存在しないパターンで蛍光発色する手術糸。
17. 前記パターンは、第１の蛍光色の間に、前記第１の蛍光色と異なる第２の蛍光色が繰り返されるパターンである
    請求項１６に記載の手術糸。
18. 前記パターンは、蛍光色のグラデーションパターンである
    請求項１６に記載の手術糸。

Images