JP7541941B2 - 内視鏡及び内視鏡システム - Google Patents

Description

本発明は、内視鏡及び内視鏡システムに関する。

一般的に、多くの内視鏡は、先端部に撮像ユニットを備え、被検体に挿入されると、撮像ユニットにより、先端部の長軸方向前方を観察する。近年、内視鏡において、観察対象までの距離を取得することが行われており、特許文献１では撮像ユニット以外に距離センサを備える内視鏡が開示されている。

特開２０１４－１１７４４６号公報 特許５９９３３７０号公報

ところで、生体内の組織表面の一例である、大腸をはじめとする消化管は特有のひだを有している。そのため、撮像ユニットにより、先端部の長軸方向前方を観察する場合、さらに距離センサで距離を測定する場合において、ひだが病変を内視鏡から隠すことがある。すなわち、ひだの裏側等の死角に存在する病変部が見逃す恐れがある。

一方で、特許文献２には先端にバルーンや複数突起形状を持たせた内視鏡によって、ひだを物理的に引き延ばし観察可能な領域を拡大する手法も知られている。しかしながら、ひだを物理的に引き延ばすことによる検査時間の増加、消化管へのダメージリスクなどが懸念され、結果的に患者への負担が増加する恐れがある。

本発明はこのような事情に鑑みてなされたものであり、病変部の見逃しリスクの低減、病変部の見えていないところに対する事前の報知及び検査時間の増加を抑え、生体内の組織表面へのダメージリスクを低減できる内視鏡及び内視鏡システムを提供することを目的とする。

第１形態の内視鏡は、先端側に先端部を有し、被検体内に挿入される挿入部と、先端部に配置され被検体内の光学画像を取得可能な撮像ユニットと、挿入部に配置され被検体内の三次元情報を取得可能なＬｉＤＡＲユニットと、を備える内視鏡であって、ＬｉＤＡＲユニットは、被検体内の三次元情報として、撮像ユニットによって撮像可能な撮像領域における、視認可能領域及び視認不能領域に存在する特異形状に関する特異形状情報を取得する。

第２形態の内視鏡において、特異形状は、病変部に関する形状である。

第３形態の内視鏡において、ＬｉＤＡＲユニットは、被検体内の三次元情報として、挿入部が挿入された被検体の体腔に関する体腔情報を取得する。

第４形態の内視鏡システムは、上記の内視鏡と、撮像ユニット及びＬｉＤＡＲユニットの間で信号の送受信を行う、プロセッサ及びメモリを備えるプロセッサ装置と、を備え、プロセッサは、ＬｉＤＡＲユニットにより取得された特異形状情報に基づき特異形状を検出する。

第５形態の内視鏡システムにおいて、メモリは、病変部の形状に関する情報をメモリに記憶し、プロセッサは、ＬｉＤＡＲユニットにより取得された三次元情報の中から、メモリに記憶された病変部の形状に関する情報との類似度を求めて特異形状を検出する。

第６形態の内視鏡システムにおいて、プロセッサは、特異形状を検出したことを報知する報知処理を実行する。

第７形態の内視鏡システムにおいて、プロセッサは、特異形状を検出したことをメモリに記憶し、かつ、任意のタイミングで特異形状を検出したことを報知する報知処理を実行する。

第８形態の内視鏡システムにおいて、プロセッサは、特異形状を検出した際、音による報知処理を実行する。

第９形態の内視鏡システムにおいて、プロセッサ装置に接続される表示装置を備え、プロセッサは、表示装置に光学画像を表示し、特異形状を検出した際、表示装置への表示による報知処理を実行する。

第１０形態の内視鏡システムにおいて、プロセッサ装置に接続される表示装置を備え、ＬｉＤＡＲユニットは、被検体内の三次元情報として、挿入部が挿入された被検体の体腔に関する体腔情報を取得し、プロセッサは、ＬｉＤＡＲユニットが取得した体腔情報に基づいて被検体の体腔の三次元モデルを作成する。

第１１形態の内視鏡システムにおいて、プロセッサは、三次元モデルにおける特異形状の位置を位置情報としてメモリに記憶する。

第１２形態の内視鏡システムにおいて、プロセッサは、表示装置に、メモリに記憶された位置情報に基づき特異形状の位置を含む三次元モデルを表示する。

第１３形態の内視鏡システムにおいて、プロセッサは、表示装置に、三次元モデルの中に先端部の位置を表示する。

本発明によれば、病変部の見逃しリスクの低減、病変部の見えていないところに対する事前の報知及び検査時間の増加を抑え、生体内の組織表面へのダメージリスクを低減できる。

図１は内視鏡システムの構成の一例を示す概略構成図である。 図２は内視鏡の先端部の拡大図である。 図３は内視鏡システムのブロック図である。 図４はＣＰＵで実現される処理機能を示すブロック図である。 図５は内視鏡による被検体内の観察を説明する図である。 図６は図５の位置Ｐ１での観察画像を説明するための図である。 図７は図５の位置Ｐ２での観察画像を説明するための図である。 図８は図５の位置Ｐ３での観察画像を説明するための図である。 図９は内視鏡によるひだの裏側の観察状態を説明する図である。 図１０は観察画像と三次元モデルとを表示装置に表示させた場合の模式図である。 図１１は内視鏡の先端部の拡大図である。 図１２は超音波内視鏡システムの構成の一例を示す概略構成図である。 図１３は超音波内視鏡の先端部の拡大図である。 図１４は超音波内視鏡による被検体内の観察を説明する図である。 図１５は超音波画像と三次元モデルとを表示装置に表示させた場合の模式図である。

以下、添付図面にしたがって、実施形態の内視鏡及び内視鏡システムの好ましい実施形態について説明する。

＜内視鏡システムの構成図＞
図１は、内視鏡１０を備えた内視鏡システム１の構成図である。内視鏡システム１は、内視鏡１０、光源装置１４、プロセッサ装置１６及び表示装置１８を備える。

内視鏡１０は、操作部材が配置された操作部２２と、操作部２２の先端側に設けられ、被検体内に挿入される挿入部２４と、を備える。挿入部２４は、基端から先端に向かう長軸方向Ａｘを有し、基端から先端に向って順に軟性部２６と、湾曲部２８と、先端部３０とを備えている。

操作部２２は、全体として略円筒状に構成される。操作部２２は、操作部本体３４と、操作部本体３４に連接された把持部３６と、を有する。把持部３６の先端側に、挿入部２４の基端が、折れ止め管３８を介して設けられる。

操作部本体３４には、操作部材の一つして湾曲部２８を湾曲操作する一対のアングルノブ４０、４０及びロックレバー４２、４２が設けられる。操作部本体３４には、送気送水ボタン４４と、吸引ボタン４６と、複数の操作ボタン４８とが長軸方向Ａｘに沿って並列して配置される。操作ボタン４８は、観察した光学画像の静止や記録等の操作及びその機能を切り替えるためのボタンである。

操作部２２の把持部３６には、処置具を導入する処置具導入口５２が配置される。処置具導入口５２から導入された処置具（不図示）は、処置具チャンネルに挿通され、先端部３０の先端から外部に導出される。

操作部本体３４には、ユニバーサルケーブル５４が備えられる。ユニバーサルケーブル５４の先端側には、コネクタ装置５６が設けられる。コネクタ装置５６は光源装置１４に着脱自在に接続される。光源装置１４はプロセッサ装置１６と電気的に接続しており、内視鏡１０のコネクタ装置５６は光源装置１４を介してプロセッサ装置１６と接続する。光源装置１４とコネクタ装置５６とは制御信号、画像信号等を光通信の送受信できる。光源装置１４は、コネクタ装置５６を介して光通信で送受信した制御信号等をプロセッサ装置１６に伝送する。光源装置１４はコネクタ装置５６を介して内視鏡１０を駆動するための電力を無線で供給する。

＜内視鏡の先端部＞
図２は内視鏡の先端部の拡大図である。内視鏡１０の先端部３０は平面視で略円形の形状を有する。先端部３０の先端面には、観察窓７０と、観察窓７０の両側に配置される２個の照明窓７２と、鉗子口７４と、送気送水ノズル７５とが配置される。

操作部本体３４の送気送水ボタン４４（図１参照）を操作することにより、送気送水ノズル７５にエア又は水を供給できる。送気送水ボタン４４は、２段階操作可能なボタンであり、１段目の操作によってエアを供給し、２段目の操作によって水を供給する。処置具導入口５２から導入された処置具が鉗子口７４から突出される。吸引ボタン４６を操作すると、鉗子口７４から血液等の体液が吸引される。

内視鏡１０において、ＬｉＤＡＲ（light detection and ranging）ユニット７６が配置される。ＬｉＤＡＲユニット７６は、レーザ光源７８と、光センサ８０と、後述する制御回路とを備える。ＬｉＤＡＲユニット７６は、レーザ光源７８からレーザ光を対象物に照射し、対象物に当たって跳ね返ってくるレーザ光を光センサ８０で検出することにより、対象物に当たって跳ね返ってくるまでの時間を計測する。これにより対象物までの距離や方向が測定される。ＬｉＤＡＲユニット７６は、対象物までの距離の情報を点群として取得することで、三次元情報を取得できる。

＜内視鏡システムのブロック図＞
図３は、内視鏡システム１のブロック図である。図３に示すように、内視鏡１０の先端部３０に、撮像ユニット１００及びＬｉＤＡＲユニット７６が配置され、プロセッサ装置１６との間で信号の送受信可能に構成される。

撮像ユニット１００は、撮像レンズ１０１と、撮像レンズ１０１に対し基端の側に配置される撮像素子１０２と、ＡＦＥ（Analog Front End）１０３と、制御回路１０４とを備える。

撮像ユニット１００は、観察窓７０に対応する位置に撮像レンズ１０１が配置される。撮像素子１０２は、例えば、ＣＭＯＳ（Complementary MOS）型のカラー撮像素子である。

長軸方向Ａｘから前方を直視した観察像が撮像レンズ１０１を介して撮像素子１０２に取り込まれる。撮像素子１０２は観察像を電気信号に変換する。ＡＦＥ１０３により撮像素子１０２からのアナログ信号が調整される。制御回路１０４は撮像素子１０２の動作を制御する。内視鏡１０の挿入部２４（図１参照）を被検体内に挿入することにより、撮像ユニット１００は被検体内の光学画像を取得できる。撮像ユニット１００は光学画像を取得できれば、その構成は適宜変更でき、図３の構成に限定されない。

内視鏡１０の先端部３０の先端面の側に、ＬｉＤＡＲユニット７６が配置される。ＬｉＤＡＲユニット７６は、レーザ光源７８及び光センサ８０と、レーザ光源７８及び光センサ８０の基端の側に配置される制御回路８２と、を備える。

ＬｉＤＡＲユニット７６のレーザ光源７８は、例えば、垂直共振面発光レーザ（VCSEL：Vertical Cavity Surface Emitting Laser）を適用できる。光センサ８０は、例えば、単一光子アバランシェダイオード（SPAD：Single Photon Avalanche Diode）を適用できる。また、図示しない回折光学素子（DOE：Diffractive Optical Element）をレーザ光源７８の照射面の配置することにより、レーザ光源７８からのレーザ光が所定の方向、また所定のパターンで照射される。

制御回路８２はＬｉＤＡＲユニット７６の全体を制御する。ＬｉＤＡＲユニット７６の制御回路８２は、レーザ光源７８からレーザ光を対象物に照射し、対象物に当たって跳ね返ってくるレーザ光を光センサ８０で検出することにより、対象物に当たって跳ね返ってくるまでの時間を計測する。これにより対象物までの距離や方向が測定される。ＬｉＤＡＲユニット７６は、対象物までの三次元情報を点群として取得する。内視鏡１０を被検体内に挿入することにより、ＬｉＤＡＲユニット７６は被検体内の三次元情報を取得できる。ＬｉＤＡＲユニット７６は三次元情報を取得できれば、その構成は適宜変更でき、図３の構成に限定されない。ＬｉＤＡＲユニット７６により取得される被検体内の三次元情報は、被検体の体腔に関する体腔情報及び病変部に関する形状に代表される特異形状に関する特異形状情報を含むことができる。

先端部３０には、２個のライトガイド１１０が配置される。２個のライトガイド１１０の出射面が２個の照明窓７２のそれぞれに対応するように位置決めされる。

光源装置１４は、照明用の光源１４０と、光源制御回路１４１とを備える。光源装置１４は、光源１４０からの光をライトガイド１１０の入射端に入射させる。光源１４０の照明光の照度は、光源制御回路１４１により制御される。

プロセッサ装置１６は、画像入力コントローラ１６１とＣＰＵ（Central Processing Unit；中央処理装置）１６２とを備える。撮像ユニット１００から出力された光学画像が画像入力コントローラ１６１を介して、ＣＰＵ１６２に入力される。ＣＰＵ１６２は光学画像に必要な画像処理を実行する。表示制御部１６３はＣＰＵ１６２により画像処理された光学画像を表示装置１８に表示する。術者は、表示装置１８に表示された被検体内の光学画像を視認できる。

ＣＰＵ１６２は、光学画像に対して画像処理の他、表示装置１８に表示する光学画像の切替や重畳処理、電子ズーム処理、操作モードに応じた光学画像の表示切替、光学画像からの特定成分（例えば、輝度信号）の抽出等を行う。

ＬｉＤＡＲユニット７６により取得された被検体内の三次元情報はＣＰＵ１６２に入力される。ＣＰＵ１６２は、被検体内の三次元情報に対し各種の処理を実行する。ＣＰＵ１６２は、被検体内の三次元情報に含まれる特異形状情報に基づき特異形状を検出できる。また、ＣＰＵ１６２は、被検体内の三次元情報の体腔情報に基づき三次元モデルを作成できる。

ＣＰＵ１６２が特異形状を検出したことを示す存在情報、及び／又は作成された三次元モデルが、表示制御部１６３を介して表示装置１８に表示される。ＣＰＵ１６２は、特異形状の存在情報と光学画像との重畳処理、光学画像と特異形状及び三次元モデルとの分離処理等を実行する。ＣＰＵ１６２による処理結果が、表示制御部１６３を介して表示装置１８に表示される。

メモリ１６５は、ＣＰＵ１６２が行う処理に必要な情報、例えば、プログラム、光学画像、三次元情報、ＣＰＵ１６２等の処理に伴って生成される情報、入力された任意の情報等を記憶する。メモリ１６５の記憶されていない情報は、内視鏡システム１の外部から記録媒体、ネットワークを介して取得できる。ネットワーク上のデータベース等の外部メモリが、内視鏡システム１のメモリの一部として使用される。

音処理部１６６は、ＣＰＵ１６２のからの信号に基づいてスピーカ１６７から音を出力させる。音は、警告音、音声等、術者が認識できる限りにおいて、その種類は限定されない。音処理部１６６は、音を生成してもよいし、メモリ１６５に記憶された音を利用してもよい。

プロセッサ装置１６は、操作部１６８を備える。操作部１６８は図示しない操作モード設定切替スイッチを備える。光源装置１４の照射を操作できる。術者等は、操作部１６８及び入力インターフェイス（Ｉ／Ｆ）１６９を介して、ＣＰＵ１６２に各処理を指示できる。

ＣＰＵ１６２は、撮像ユニット１００の制御回路１０４と、ＬｉＤＡＲユニット７６の制御回路８２と、光源装置１４の光源制御回路１４１等、内視鏡システム１の全体を制御できる。

図４は、ＣＰＵ１６２で実現される処理機能を示すブロック図である。ＣＰＵ１６２は、例えば、画像処理部１７０と、検出処理部１７１と、報知処理部１７２と、三次元モデル作成部１７３と、位置検出処理部１７４とを備えることができる。画像処理部１７０、検出処理部１７１、報知処理部１７２、三次元モデル作成部１７３及び位置検出処理部１７４はＣＰＵ１６２の一部であり、プロセッサであるＣＰＵ１６２が各部の処理を実行する。

＜内視鏡による観察＞
図５は内視鏡の挿入部を被検体内に挿入した状態を示す図である。図５においては、内視鏡１０が、例えば、消化管の一つである大腸２００に挿入され、位置Ｐ１、位置Ｐ２及び位置Ｐ３で観察を行うことを示す。位置Ｐ１、位置Ｐ２及び位置Ｐ３は、内視鏡１０を大腸２００に沿って矢印に示す前進方向Ｆ、又は矢印に示す後退方向Ｂに移動することにより変更できる。図５では、位置Ｐ１、位置Ｐ２及び位置Ｐ３における内視鏡１０は重ねて表示されている。生体内の組織表面として消化管の内壁を例示したが、呼吸器（気管、気管支等）等の生体内の組織表面を含むことができる。

大腸２００は、内面に複数のひだ２０１を有している。ひだ２０１の表側（内視鏡１０の後退方向Ｂを向く側）にポリープ等の病変部２０２、又はひだ２０１の裏側（内視鏡１０の前進方向Ｆを向く側）に病変部２０２が存在し得る。ひだ２０１の表側の存在する病変部２０２は、内視鏡１０の撮像ユニット１００により比較的容易に観察できる。一方で、ひだ２０１の裏側に存在する病変部２０２は、死角となるため撮像ユニット１００により観察することが難しくなる。

実施形態の内視鏡１０は、先端部３０には、撮像ユニット１００と、ＬｉＤＡＲユニット７６とを備え、大腸２００の内面を観察する。視野範囲Ｖ１は撮像ユニット１００の視野範囲であり、視野範囲Ｖ２はＬｉＤＡＲユニット７６の視野範囲である。ＬｉＤＡＲユニット７６が取得する三次元情報には、撮像ユニット１００によって撮像可能な撮像領域以外に存在する特異形状に関する情報（以下、「特異形状情報」という。）が含まれる。すなわち、ＬｉＤＡＲユニット７６は、被検体内の三次元情報として、視野範囲Ｖ１で示される撮像ユニット１００によって撮像可能な撮像領域における、視認可能領域及び視認不能領域に存在する特異形状に関する特異形状情報を取得可能である。なお、本例における特異形状情報は、特異形状を特定する点群までの距離を示す距離情報であるが、特異形状を特定できるものであれば他の情報であってもよい。ＬｉＤＡＲユニット７６の視野範囲Ｖ２は、撮像領域における、視認可能領域及び視認不能領域を含む。ここで、図５において、被検体内の三次元情報は、例えば、大腸２００の内面の三次元情報である。

撮像ユニット１００における、視認不能領域は、図５において、撮像領域の観察対象の裏面、例えば、ひだ２０１に隠れた領域である。視認不能領域として、ひだ２０１に隠れた領域の他、経路の先で曲がってブラインドになっている領域、内視鏡１０を後退方向Ｂに移動する際の手前側等を例示できる。

したがって、内視鏡１０は、撮像ユニット１００以外に、ＬｉＤＡＲユニット７６を備えることにより、ひだ２０１の裏側等の視認不能領域に存在する病変部２０２の存在を検出することが可能になる。ＬｉＤＡＲユニット７６を備えることにより、視認能領域に存在する病変部２０２の存在を検出することも可能になる。

図６から図８は、図５の位置Ｐ１、位置Ｐ２及び位置Ｐ３に対応する観察画像を示す。図６の観察画像は位置Ｐ１に対応し、図７の観察画像は位置Ｐ２に対応し、図８の観察画像は位置Ｐ３に対応する。なお、図６、図７及び図８には光学画像ＤＰ１、ＤＰ２及びＤＰ３が示されるが、位置Ｐ１、Ｐ２及びＰ３と対応付けされない場合、単に光学画像ＤＰと称する場合がある。

図６に示すように、観察画像として、内視鏡１０が位置Ｐ１に位置する場合において、視野範囲Ｖ１の撮像ユニット１００により取得された光学画像ＤＰ１が表示される。撮像ユニット１００により取得される光学画像ＤＰ１は、画像処理部１７０（図４参照）により画像処理等が実行され、表示装置１８に表示される。光学画像ＤＰ１は、大腸２００の内面に存在するひだ２０１と、ひだ２０１の表側に存在する病変部２０２とを含んでいる。

ＬｉＤＡＲユニット７６は、撮像ユニット１００が光学画像ＤＰ１を取得する間、視野範囲Ｖ２における三次元情報を取得する。被検体内の三次元情報はＣＰＵ１６２（図５参照）に入力され、検出処理部１７１が検出処理を実行する。後述するように、検出処理部１７１はＬｉＤＡＲユニット７６により取得された三次元情報の中から、特異形状に関する特異形状情報を抽出することで、特異形状を検出する。ここで、ＬｉＤＡＲユニット７６が取得した三次元情報には、撮像ユニット１００の視認不能領域であるひだ２０１の裏側に存在する病変部２０２に代表される特異形状に関する特異形状情報が含まれない。一方で、視認能領域であるひだ２０１の表側に存在する病変部２０２に関する特異形状情報が含まれている。この場合、検出処理部１７１ではひだ２０１の裏側に存在する特異形状の検出は行われないが、ひだ２０１の表側に存在する特異形状の検出が行われる。図６において、検出処理部１７１が特異形状を検出した際、報知処理部１７２は、例えば、報知画像ＷＩを表示装置１８に表示するよう画像処理部１７０に指示する。画像処理部１７０は光学画像ＤＰ１に報知画像ＷＩを重畳し、表示制御部１６３を介して表示装置１８に表示させる。図６の光学画像ＤＰ１では、病変部２０２に楕円形状の報知画像ＷＩを重畳して表示し、さらに光学画像ＤＰ１の外周に円弧状の報知画像ＷＩを表示する。報知画像ＷＩは、術者が認識できれば、特に限定されず、色、文字、アイコンの有無などを適用することができる。

報知画像ＷＩは、術者に病変部２０２が存在する可能性があることを認識させるだけでもよく、また、図６に示すように、報知画像ＷＩは、病変部２０２が存在する可能性と、その位置の両方を認識させてもよい。

ＬｉＤＡＲユニット７６により取得された被検体内の三次元情報は、検出処理部１７１による検出処理と並列して、メモリ１６５に記憶してもよい。記憶された被検体内の三次元情報に基づいて、ＣＰＵ１６２の三次元モデル作成部１７３は、三次元モデルを作成できる。また、作成された三次元モデルは画像処理部１７０に加工され、表示制御部１６３を介して、表示装置１８に表示できる。

検出処理部１７１の処理方法は特に限定されない。例えば、メモリ１６５に、実際の病変部の形状に関する情報（以下、「病変部形状情報」）記憶させる。病変部形状情報は観察する被検体の部位ごとに複数種類を記憶してもよい。検出処理部１７１は、メモリ１６５に記憶された病変部の形状に関する情報を参照し、ＬｉＤＡＲユニット７６から取得された三次元情報の中から、所定の領域（判定領域）毎に、メモリ１６５に記憶された病変部形状情報との類似度を求め、予め設定した類似度の閾値より高い領域の情報を特異形状情報として抽出し、抽出した特異形状情報に基づいて特異形状を検出してもよい。

また、検出処理部１７１は、ＬｉＤＡＲユニット７６により取得された三次元情報から三次元形状を特定し、他の部分と異なる形状を特異形状として検出してもよい。

検出処理部１７１は特異形状を検出すると、リアルタイムで特異形状を検出したことを報知できる。また、検出したことを検出情報としてメモリ１６５に記憶してもよい。報知処理部１７２は、メモリ１６５に記憶された検出情報に基づいて、任意のタイミングで特異形状を検出したことを報知できる。

図７に示すように、観察画像として、内視鏡１０が位置Ｐ２に位置する場合において、撮像ユニット１００により取得された光学画像ＤＰ２が表示装置１８に表示される。図６と同様に、光学画像ＤＰ２は、大腸２００の内面に存在するひだ２０１を含んでいる。

内視鏡１０が、前進方向Ｆに移動したことにより、ひだ２０１の表側の病変部２０２はＤＰ２には表示されていない。また、光学画像ＤＰ２の位置において、ひだ２０１の裏側に存在する病変部２０２は視認能領域に存在しないので、ひだ２０１の裏側の病変部２０２は表示されていない。

内視鏡１０が位置Ｐ２に位置する場合、位置Ｐ１と異なり、ＬｉＤＡＲユニット７６が取得した三次元情報には、撮像ユニット１００の視認不能領域であるひだ２０１の裏側に存在する病変部２０２に代表される特異形状に関する特異形状情報が含まれているので、検出処理部１７１はひだ２０１の裏側に存在する特異形状を検出する。この場合、図７において、検出処理部１７１が特異形状を検出した際、報知処理部１７２は、例えば、報知画像ＷＩを表示装置１８に表示するよう画像処理部１７０に指示する。画像処理部１７０は光学画像ＤＰ１に報知画像ＷＩを重畳し、表示制御部１６３を介して表示装置１８に表示させる。表示装置１８の光学画像ＤＰ２には、裏側に存在する病変部２０２は表示されないが、病変部２０２に対応する位置に、病変部２０２の存在が検出されたことを報知する報知画像ＷＩが重畳して表示される。図７の光学画像ＤＰ２では、破線の楕円曲線の報知画像ＷＩと、矢印形状の報知画像ＷＩが表示されている。

図８に示すように、観察画像として、内視鏡１０が位置Ｐ３に位置する場合において、撮像ユニット１００により取得された光学画像ＤＰ３が表示装置１８に表示される。光学画像は、大腸２００の内面に存在するひだ２０１を含んでいる。一方で、光学画像は、ひだ２０１の表側及び裏側に存在する病変部２０２を含んでいない。

内視鏡１０が位置Ｐ３に位置する場合、ＬｉＤＡＲユニット７６が取得した三次元情報には、撮像ユニット１００の視認不能領域である経路の先で曲がってブラインドになっている領域における病変部２０２に関する特異形状情報が含まれる。被検体内の三次元情報はＣＰＵ１６２（図５参照）に入力され、検出処理部１７１が検出処理を実行する。三次元情報が特異形状情報を含んでいるので、検出処理部１７１は特異形状が存在することを検出している。

図８において、検出処理部１７１が特異形状を検出した際、報知処理部１７２は、例えば、報知画像ＷＩを表示装置１８に表示するよう画像処理部１７０に指示する。画像処理部１７０は光学画像ＤＰ３に報知画像ＷＩを重畳し、表示制御部１６３を介して表示装置１８に表示させる。経路の先で曲がってブラインドになっている領域のひだ２０１の表側に存在する病変部２０２の位置に対応する。報知画像ＷＩを光学画像ＤＰ３と合わせて表示することにより、術者は、経路の先で曲がってブラインドになっている領域に病変部２０２が存在する可能性を認識できる。報知画像ＷＩは病変部２０２の見えていないところに対する事前の報知を行う。図８の表示装置１８では、光学画像ＤＰ３の外周に円弧状の報知画像ＷＩを表示し、さらに光学画像ＤＰ３の外側に破線の楕円曲線の報知画像ＷＩを重畳して表示する。光学画像ＤＰ３の外周に円弧状の報知画像ＷＩは、図６の光学画像ＤＰ１の外周に円弧状の報知画像ＷＩと異なる色であることが好ましい。

図９に示すように、報知画像ＷＩが表示されたタイミングで、術者は、表示装置１８に表示された光学画像を確認しながら、アングルノブ４０、４０（図１参照）を操作し、撮像ユニット１００によりひだ２０１の裏側を直接観察する。撮像ユニット１００が病変部２０２の光学画像を取得する。術者が病変部２０２の光学画像を視認でき、診断等が可能になる。

なお、図６から図８において、報知画像ＷＩにより報知処理が実施された場合を説明した。しかしながら、検出処理部１７１が特異形状を検出した際、報知処理部１７２は、スピーカ１６７から音を出力させるように音処理部１６６に指示してもよい。また、報知画像ＷＩと音とにより報知処理を同時に実行してもよい。スピーカ１６７の設置位置は、特に限定されず、表示装置１８に接続されていても、内蔵されていてもよい。

図６から図８では、内視鏡１０が前進方向Ｆに移動するのに合わせて、任意のタイミングとして、光学画像ＤＰ３に報知画像ＷＩをリアルタイムで表示する場合を示す。しかしながら、光学画像ＤＰ３に報知画像ＷＩをリアルタイムとは異なるタイミングで表示してもよい。

例えば、内視鏡１０を前進方向Ｆに移動させた際に、特定位置において、ＬｉＤＡＲユニット７６が取得した三次元情報に含まれる特異形状情報に基づいて、検出処理部１７１が特異形状を検出し、検出情報（特異形状に示す情報）をメモリ１６５に記憶する。さらに内視鏡１０を前進方向Ｆに移動させて観察を続ける。観察を終えて内視鏡１０を後退方向Ｂに移動させて内視鏡１０が特定位置に到達した際、メモリ１６５に記憶された検出情報に基づいて、報知処理部１７２が処理を実行する。光学画像ＤＰ３に報知画像ＷＩが表示される。このように任意のタイミングで報知処理が可能である。任意のタイミングで、術者が病変部２０２の光学画像を視認でき、診断等が可能になる。

上述したように実施形態によれば、病変部２０２が見逃がされるリスクを低減できる。特異形状である病変部２０２が検出されない場合、内視鏡１０による観察は通常の手順で行われる。その結果、検査時間を短縮でき、また消化管へのダメージリスクを低減できる。

上述において、ひだ２０１の裏側に存在する病変部２０２を特異形状として検出し、光学画像ＤＰ３に報知画像ＷＩを表示させる場合を説明した。ただし、これに限定されず、ひだ２０１の表側に存在する病変部２０２を特異形状として検出した場合においても、報知画像ＷＩを光学画像ＤＰに重畳表示してもよい。病変部２０２を見逃すリスクを低減できる。

次に、ＬｉＤＡＲユニット７６から取得される被検体内の三次元情報から三次元モデルを作成する場合を説明する。

図５に示すように、内視鏡１０の撮像ユニット１００により光学画像が取得され、ＬｉＤＡＲユニット７６により被検体内の三次元情報が取得される。三次元モデル作成部１７３は、三次元情報に基づいて三次元モデルを作成する。三次元情報は被検体内の体腔に関する体腔情報を含んでおり、三次元モデル作成部１７３は、被検体の体腔の三次元モデルを作成できる。

内視鏡１０は消化管に挿入され、前進方向Ｆに移動しながら観察する。内視鏡１０は被検体内の三次元情報を順次取得する。したがって、内視鏡１０が前進方向Ｆに進むにしたがって、三次元モデル作成部１７３は被検体の体腔の三次元モデルを順次作成する。作成された三次元モデルを表示装置１８に順次表示してもよい。

検出処理部１７１が、ＬｉＤＡＲユニット７６により取得された三次元情報に含まれる特異形状情報に基づいて特異形状を検出すると、三次元モデル作成部１７３は、三次元モデルにおける特異形状の位置を位置情報としてメモリ１６５に記憶する。体腔の三次元モデル及び特異形状の位置情報は、画像処理部１７０により画像処理等が実行され、表示装置１８に表示できる。

内視鏡１０が前進方向Ｆに移動し、最前方位置に到達すると、三次元モデル作成部１７３は、被検体内の全体における特異形状の位置情報と体腔の三次元モデルとを作成できる。被検体の体腔の三次元モデルと特異形状の位置情報とをメモリ１６５に記憶してもよい。

図４に示されるＣＰＵ１６２の位置検出処理部１７４が、内視鏡１０の先端部３０の位置情報を取得する。

位置検出処理部１７４は、内視鏡１０の先端部３０の位置及び方向を位置情報として取得する。位置検出処理部１７４により取得された先端部３０の位置情報は、画像処理部１７０により画像処理等が実行され、表示装置１８において、先端部３０の位置情報は、特異形状の位置情報と体腔の三次元モデルとに重畳して表示できる。

位置検出処理部１７４は、例えば、内視鏡１０の先端部３０に搭載された検出センサ（不図示）から位置情報を取得してもよい。検出センサとして磁気センサを利用した内視鏡位置検出システムを適用できる。

位置検出処理部１７４は、三次元モデル作成部１７３により順次作成された三次元モデルから内視鏡１０の先端部３０の位置情報を取得してもよい。例えば、作成された三次元モデルの一つを基準とし、次に作成された三次元モデルと比較する。基準となる三次元モデルの特徴部分が、次に作成された三次元モデルにおいて、どの程度拡大又は縮小されたかを算出し、移動量を求め。先端部３０の位置情報を推定できる。

三次元モデル作成部１７３は、取得された三次元情報と光学画像と先端部３０の位置情報とを対応付けて三次元モデルを作成し、メモリ１６５に記憶してもよい。内視鏡１０による処置後において、三次元モデルを利用できる。例えば、高品質の光学画像と三次元情報に含まれる特異形状情報を利用することにより、質の高い機械学習用の教師データとして利用可能である。

図１０は、観察画像と三次元モデルとを表示装置に表示させた場合の模式図である。図１０に示すように、表示装置１８には光学画像ＤＰと三次元モデルＭＤとが並列して一画面に表示される。なお、図１０において、一回挿入した内視鏡１０を盲腸付近まで前進させた後、後退させた場合であり、大腸の末端までの大腸モデル３００の画像が作成されている。

光学画像ＤＰは内視鏡１０の撮像ユニット１００から得られた光学画像である。三次元モデルＭＤは三次元モデル作成部１７３により作成される。三次元モデルＭＤは大腸モデル３００と、ひだモデル３０１と、特異形状モデルである病変部モデル３０２と、を含んでいる。さらに、内視鏡モデル３１０と先端モデル３３０とが含まれる。先端モデル３３０は、位置検出処理部１７４の位置情報に基づいて、大腸モデル３００における相対位置を示す。術者は、内視鏡１０の先端部３０の実際の位置を三次元モデルＭＤにより確認できる。

光学画像ＤＰは、大腸２００の内面を表示する。光学画像ＤＰは、ひだ２０１と、特異形状の病変部２０２（不図示）に対応する位置に報知画像ＷＩとを表示する。

術者は、光学画像ＤＰの報知画像ＷＩと三次元モデルＭＤの病変部モデル３０３とを確認できるので、ひだ２０１の裏側の病変部２０２を見逃すリスクを低減できる。

図２の内視鏡１０の先端部３０の先端面にＬｉＤＡＲユニット７６を配置する場合を例示した。ただし、この位置に限定されない。図１１は、内視鏡１０の先端部３０の拡大図である。図１１に示すように、ＬｉＤＡＲユニット７６を先端部３０の外周面（側面）に配置してもよい。

図２及び図１１の内視鏡１０において、１個のＬｉＤＡＲユニット７６を先端部３０に配置する場合を示したが、少なくとも１個のＬｉＤＡＲユニット７６が先端部３０に配置されればよい。例えば、複数のＬｉＤＡＲユニット７６を配置する場合、先端部３０の外周面（側面）に、長軸方向Ａｘを中心とする周方向に沿って等間隔にＬｉＤＡＲユニット７６を配置できる。同様に、少なくとも１個の撮像ユニット１００が先端部３０に配置されればよく、複数の撮像ユニット１００を配置できる。

次に、トランスデューサを備える超音波内視鏡にＬｉＤＡＲユニットを適用した場合について説明する。図１２は超音波内視鏡システムの構成の一例を示す概略構成図である。なお、図１に示す内視鏡システムと同様の構成には同様の符号を付して説明を省略する場合がある。

＜超音波内視鏡システムの構成図＞
内視鏡システム１は、コンベックス型の超音波内視鏡１１、光源装置１４、プロセッサ装置１６、超音波用プロセッサ装置１７及び表示装置１８を備える。

超音波内視鏡１１は、操作部材が配置された操作部２２と、操作部２２の先端側に設けられ、被検体内に挿入される挿入部２４と、を備える。挿入部２４は、基端から先端に向って順に軟性部２６と、湾曲部２８と、先端部３０とを備えている。トランスデューサ９０が先端部３０に配置される。

操作部本体３４は、図１の内視鏡１０とは異なり、起立台３５（図１３参照）を起立させる起立レバー５０を備える。また、ユニバーサルケーブル５４の先端には光源用コネクタ５７及び超音波用コネクタ５９を備える。光源用コネクタ５７には、プロセッサ用コネクタ５８が分岐して設けられる。光源用コネクタ５７は光源装置１４に着脱自在に接続される。プロセッサ用コネクタ５８はプロセッサ装置１６に着脱自在に接続される。超音波用コネクタ５９が超音波用プロセッサ装置１７に着脱自在に接続される。

超音波用プロセッサ装置１７はトランスデューサ９０に超音波を発生させる。また、超音波用プロセッサ装置１７は、トランスデューサ９０が受信した観察対象からのエコー信号に基づいて超音波画像を生成する。超音波画像は表示装置１８に表示される。

＜超音波内視鏡の先端部＞
図１３は超音波内視鏡の先端部の拡大図である。図１３に示すように、先端部３０は、先端部本体３１と、先端部本体３１の先端の側にトランスデューサ９０と、を備える。トランスデューサ９０は、コンベックス型の超音波振動子９１を備える。

先端部本体３１の傾斜面３２には、観察窓７０と、２個の照明窓７２と、送気送水ノズル７５とが配置される。傾斜面３２は、長軸方向Ａｘに対して観察窓７０が照明窓７２より基端の側に近づく方向に傾斜する。

処置具導出口３３が、先端部本体３１の基端の側に設けられる。処置具導出口３３に連通する凹状の起立台収容部３７が先端部本体３１に設けられる。起立台３５が、処置具導出口３３からの導出方向を変更する回動可能に、起立台収容部３７に配置される。

起立台３５は、操作ワイヤ（不図示）を介して操作部本体３４の起立レバー５０（図１２参照）に連結される。起立レバー５０の操作によって操作ワイヤが押し引き操作されると、起立台３５が軸を介して回動し、起立台３５の起立角度が変更される。

内視鏡１０と同様の撮像ユニット１００（図３参照）が先端部本体３１の観察窓７０に対応する位置に配置される。さらに、超音波内視鏡１１は、先端部本体３１の傾斜面３２に内視鏡１０と同様のＬｉＤＡＲユニット７６が配置される。ＬｉＤＡＲユニット７６はレーザ光源７８と、光センサ８０と、を備える。

超音波内視鏡１１は、トランスデューサ９０により被検体内の超音波画像を取得でき、撮像ユニット１００により被検体内の光学画像を取得でき、ＬｉＤＡＲユニット７６により被検体内の三次元情報を取得できる。図１２に示すプロセッサ装置１６は、図１に示すプロセッサ装置１６と同様に光学画像及び三次元情報を処理するためのＣＰＵ１６２等を備える。

図１４は、超音波内視鏡１１により消化管を観察する状態を示すである。図１４には、被検体内の胃２２０と十二指腸２２２と膵臓２２４とが示される。一般的に、超音波内視鏡１１のトランスデューサ９０を胃２２０の内壁に押し当てて擦るようにして引きながら、つまりトランスデューサ９０を走査しながら、膵臓２２４の超音波画像を観察する。トランスデューサ９０を押し当てている間、光学画像は胃２２０の内壁しか見えず、超音波画像のみでトランスデューサ９０の位置を把握する必要がある。超音波画像での位置把握は難易度が高く、手技の長時間化や医師の早期育成の妨げとなる。

実施形態の超音波内視鏡１１はＬｉＤＡＲユニット７６により被検体内の三次元情報を取得できるので、プロセッサ装置１６のＣＰＵ１６２等により、被検体の体腔の三次元モデルを作成できる。さらに、被検体の体腔の三次元モデルに、位置検出処理部１７４により取得された超音波内視鏡１１の先端部３０の位置を重畳して表示できる。

図１５は超音波画像と三次元モデルとを表示装置に表示させた場合の模式図である。図１５に示すように、表示装置１８には超音波画像ＵＩと三次元モデルＭＤとが並列して一画面に表示される。

超音波画像ＵＩは超音波内視鏡１１のトランスデューサ９０から得られた超音波画像である。三次元モデルＭＤは、三次元モデル作成部１７３（図４参照）により作成される。三次元モデルＭＤは、胃モデル３２０と、十二指腸モデル３２２とを含んでいる。さらに、内視鏡モデル３１１と先端モデル３３０とが含まれる。先端モデル３３０は、位置検出処理部１７４（図４参照）の位置情報に基づいて、胃モデル３２０及び十二指腸モデル３２２における相対位置を示す。術者は、超音波内視鏡１１の先端部３０の実際の位置を三次元モデルＭＤにより確認できる。

超音波内視鏡１１の先端部３０の位置をリアルタイムで術者が確認できるので、トランスデューサ９０を容易に走査できる。

実施形態の超音波内視鏡１１は、ＣＴ（Computed Tomography）から三次元情報を取得する必要がないので、ＣＴを備えない小規模な病院で特に有用である。ＣＴを利用しない場合、被検者の被爆リスクが低減される。さらに、手技時間の短縮、医師の育成の促進及びＥＵＳの普及の促進が期待される。

以上、本発明について説明したが、本発明は、上述の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。

＜その他＞
上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部は１つのプロセッサで構成できる。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

１ 内視鏡システム
１０ 内視鏡
１１ 超音波内視鏡
１４ 光源装置
１６ プロセッサ装置
１７ 超音波用プロセッサ装置
１８ 表示装置
２２ 操作部
２４ 挿入部
２６ 軟性部
２８ 湾曲部
３０ 先端部
３１ 先端部本体
３２ 傾斜面
３３ 処置具導出口
３４ 操作部本体
３５ 起立台
３６ 把持部
３７ 起立台収容部
３８ 折れ止め管
４０ アングルノブ
４２ ロックレバー
４４ 送気送水ボタン
４６ 吸引ボタン
４８ 操作ボタン
５０ 起立レバー
５２ 処置具導入口
５４ ユニバーサルケーブル
５６ コネクタ装置
５７ 光源用コネクタ
５８ プロセッサ用コネクタ
５９ 超音波用コネクタ
７０ 観察窓
７２ 照明窓
７４ 鉗子口
７５ 送気送水ノズル
７６ ＬｉＤＡＲユニット
７８ レーザ光源
８０ 光センサ
８２ 制御回路
９０ トランスデューサ
９１ 超音波振動子
１００ 撮像ユニット
１０１ 撮像レンズ
１０２ 撮像素子
１０３ ＡＦＥ
１０４ 制御回路
１１０ ライトガイド
１４０ 光源
１４１ 光源制御回路
１６１ 画像入力コントローラ
１６２ ＣＰＵ
１６３ 表示制御部
１６５ メモリ
１６６ 音処理部
１６７ スピーカ
１６８ 操作部
１６９ 入力インターフェイス
１７０ 画像処理部
１７１ 検出処理部
１７２ 報知処理部
１７３ 三次元モデル作成部
１７４ 位置検出処理部
２００ 大腸
２０１ ひだ
２０２ 病変部
２２０ 胃
２２２ 十二指腸
２２４ 膵臓
３００ 大腸モデル
３０１ ひだモデル
３０２ 病変部モデル
３１０ 内視鏡モデル
３１１ 内視鏡モデル
３２０ 胃モデル
３２２ 十二指腸モデル
３３０ 先端モデル
Ａｘ 長軸方向
ＤＰ 光学画像
ＤＰ１ 光学画像
ＤＰ２ 光学画像
ＤＰ３ 光学画像
ＭＤ 三次元モデル
Ｐ１ 位置
Ｐ２ 位置
Ｐ３ 位置
ＵＩ 超音波画像
Ｖ１ 視野範囲
Ｖ２ 視野範囲
ＷＩ 報知画像

Claims (13)

1. 先端側に先端部を有し、被検体内に挿入される挿入部と、
   前記先端部に配置され前記被検体内の光学画像を取得可能な撮像ユニットと、
   前記挿入部に配置され前記被検体内の三次元情報を取得可能なＬｉＤＡＲユニットと、を備える内視鏡であって、
   前記ＬｉＤＡＲユニットは、前記被検体内の三次元情報として、前記撮像ユニットによって撮像可能な撮像領域における、視認可能領域及び視認不能領域に存在する特異形状に関する特異形状情報を取得する、内視鏡。
2. 前記特異形状は、病変部に関する形状である、請求項１に記載の内視鏡。
3. 前記ＬｉＤＡＲユニットは、前記被検体内の三次元情報として、前記挿入部が挿入された前記被検体の体腔に関する体腔情報を取得する、請求項１又は２に記載の内視鏡。
4. 請求項１から３のいずれか一項に記載の内視鏡と、
   前記撮像ユニット及び前記ＬｉＤＡＲユニットの間で信号の送受信を行う、プロセッサ及びメモリを備えるプロセッサ装置と、
   を備える内視鏡システムであって、
   前記プロセッサは、前記ＬｉＤＡＲユニットにより取得された前記特異形状情報に基づき前記特異形状を検出する、内視鏡システム。
5. 前記メモリは、病変部の形状に関する情報を記憶し、
   前記プロセッサは、前記ＬｉＤＡＲユニットにより取得された前記三次元情報の中から、前記メモリに記憶された前記病変部の形状に関する情報との類似度を求めて前記特異形状を検出する、請求項４に記載の内視鏡システム。
6. 前記プロセッサは、前記特異形状を検出したことを報知する報知処理を実行する、請求項４又は５に記載の内視鏡システム。
7. 前記プロセッサは、前記特異形状を検出したことを前記メモリに記憶し、かつ、任意のタイミングで前記特異形状を検出したことを報知する報知処理を実行する、請求項６に記載の内視鏡システム。
8. 前記プロセッサは、前記特異形状を検出した際、音による報知処理を実行する、請求項６又は７に記載の内視鏡システム。
9. 前記プロセッサ装置に接続される表示装置を備え、
   前記プロセッサは、前記表示装置に前記光学画像を表示し、前記特異形状を検出した際、前記表示装置への表示による報知処理を実行する、請求項６から８のいずれか一項に記載の内視鏡システム。
10. 前記プロセッサ装置に接続される表示装置を備え、
    前記ＬｉＤＡＲユニットは、前記被検体内の三次元情報として、前記挿入部が挿入された前記被検体の体腔に関する体腔情報を取得し、
    前記プロセッサは、前記ＬｉＤＡＲユニットが取得した前記体腔情報に基づいて前記被検体の体腔の三次元モデルを作成する、請求項４から９のいずれか一項に記載の内視鏡システム。
11. 前記プロセッサは、前記三次元モデルにおける前記特異形状の位置を位置情報として前記メモリに記憶する、請求項１０に記載の内視鏡システム。
12. 前記プロセッサは、前記表示装置に、前記メモリに記憶された位置情報に基づき前記特異形状の位置を含む前記三次元モデルを表示する、請求項１１に記載の内視鏡システム。
13. 前記プロセッサは、前記表示装置に、前記三次元モデルの中に前記先端部の位置を表示する、請求項１２に記載の内視鏡システム。

Images