WO2019092940A1

WO2019092940A1 - 内視鏡画像観察支援システム

Info

Publication number: WO2019092940A1
Application number: PCT/JP2018/029397
Authority: WO
Inventors: 遼太小林
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2017-11-13
Filing date: 2018-08-06
Publication date: 2019-05-16
Anticipated expiration: 2020-05-13
Also published as: JP2021036922A; US20200268237A1

Abstract

位置情報取得部６２は、内視鏡画像を撮影したときのカプセル内視鏡の位置を表す位置情報を取得する。軌跡画像生成部６４は、位置情報にもとづいて、被検体内におけるカプセル内視鏡の移動軌跡を表す軌跡画像データを生成する。表示処理部７０は、軌跡画像を表示する。形状特定部６６は、内視鏡の挿入部を被検体内に挿入するときに、挿入の障害となりうる形状を有する領域を特定する。

Description

内視鏡画像観察支援システム

　本発明は、カプセル内視鏡により撮影された内視鏡画像の観察を支援するシステムに関する。

　特許文献１は、カプセル型内視鏡の動きをカプセル型内視鏡の位置と関連付けてユーザが認識できる画像表示装置を提供する。具体的に特許文献１は、体内画像を撮像した際のカプセル型内視鏡の位置を表す位置情報を取得し、位置情報に基づいてカプセル型内視鏡の動き情報を取得し、カプセル型内視鏡の通過領域を模式的に表す画像に体内画像を撮像した際のカプセル型内視鏡の位置を関連付けた位置モデルを作成し、位置モデル上の各領域における表示態様を動き情報に基づいて決定し、決定された表示態様で位置モデルを表示する画像表示装置を開示する。

特開２０１６－６３８６８号公報

　一般に小腸カプセル内視鏡検査は、上部消化管または大腸内視鏡検査で原因不明性の消化管出血が発見された後に、出血源を特定するために実施される。カプセル内視鏡検査により出血源が見つかると、経口ルートもしくは経肛門ルートで、処置具を有する内視鏡検査が実施される。医師は経口ルートもしくは経肛門ルートのいずれで内視鏡を挿入するかを、出血源と小腸開始点または終了点からの距離情報をもとに判断するが、判断に際して、さらなる詳細な情報が提供されることが好ましい。

　本発明はこうした状況に鑑みなされたものであり、その目的は、医師が内視鏡をいずれのルートで挿入するべきか判断するための材料を提供する状態を整えることにある。

　上記課題を解決するために、本発明のある態様の内視鏡画像観察支援システムは、カプセル内視鏡が被検体内を撮影した複数の内視鏡画像の観察を支援する観察支援システムであって、内視鏡画像を撮影したときのカプセル内視鏡の位置を表す位置情報を取得する位置情報取得部と、位置情報にもとづいて、被検体内におけるカプセル内視鏡の移動軌跡を表す軌跡画像データを生成する軌跡画像生成部と、カプセル内視鏡の移動軌跡において、所定の形状を有する領域を特定する形状特定部と、を備える。

　なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

実施例にかかるカプセル内視鏡の画像観察支援システムの概要を説明するための図である。管理サーバおよび記録装置の構成を示す図である。内視鏡画像の読影画面の例を示す図である。内視鏡画像のオーバービュー画面の例を示す図である。消化管構造の模式図である。軌跡表示領域の表示例を示す図である。選択ウィンドウの一例を示す図である。軌跡画像の一例を示す図である。軌跡画像の一例を示す図である。（ａ）はループ部の例を示し、（ｂ）は湾曲部の例を示す図である。十二指腸の湾曲形状に関する説明図である。軌跡画像の例を示す図である。

　図１は、実施例にかかるカプセル内視鏡の画像観察支援システムの概要を説明するための図である。内視鏡画像観察支援システム１は、読影者によるカプセル内視鏡画像の観察を支援する。通常の内視鏡を使用した検査では、医師が患者体内に挿入した内視鏡により撮影される画像をディスプレイでリアルタイムに観察して診断を行うが、カプセル内視鏡検査は、読影者がカプセル内視鏡により過去に撮影された大量の画像をまとめて観察する点で、通常の内視鏡検査と異なる。

　カプセル内視鏡検査において、患者（被検体）は腹部に複数の受信アンテナ（図示せず）を貼り付けられ、受信装置４をベルトで腰に付けた状態で、超小型カメラを内蔵したカプセル内視鏡３を口から飲み込む。カプセル内視鏡３は、超小型カメラである撮像部、被検体内を照明する照明部、撮像部から出力される撮像信号をＡ／Ｄ変換して、画像ＩＤおよび撮影時刻情報を付加した画像データを生成する信号処理部、画像データを一時記憶するメモリ、メモリに記憶された画像データを送信する通信モジュール、各部に電力を供給するバッテリとを備える。カプセル内視鏡３は消化管を移動しながら静止画像を周期的に撮影して、画像データをアンテナ経由で受信装置４に送信する。

　受信装置４には、記録媒体５が内蔵されており、受信装置４は各受信アンテナで受信した画像データに、各受信アンテナにおける受信時の電波強度情報を含む関連情報を付加して、記録媒体５に記録する。カプセル内視鏡３が０．５秒ごとに体内を撮影する場合、約８時間で体内の撮影を終了すると、約６万枚の内視鏡画像データが記録媒体５に記録される。

　画像ＩＤは画像を識別するための情報であり、撮影順を示すシリアルな番号を付加された情報であってよい。たとえば最初に撮影された内視鏡画像の画像ＩＤには「１」が付加され、２番目に撮影された内視鏡画像の画像ＩＤには「２」が付加されてよい。このように画像ＩＤを生成することで、画像ＩＤに含まれるシリアル番号が撮影順を表現するとともに、画像ＩＤの重複を回避できる。なお画像ＩＤおよび撮影時刻情報は、受信装置４が撮影画像を受信したときに、受信装置４により関連情報として撮影画像に付加されてもよい。いずれにしてもカプセル内視鏡３で撮影された画像は、画像ＩＤ、撮影時刻情報および受信電波強度などの関連情報を対応付けられて記録媒体５に記録される。

　患者からアンテナと受信装置４が回収されると、受信装置４のデータ端子が、管理サーバ１０に接続したデータ読出装置に接続され、データ読出装置が、記録媒体５に記録された約６万枚の内視鏡画像データおよび関連情報を読み出し、管理サーバ１０に送信する。データ読出装置は、管理サーバ１０にＵＳＢケーブルなどで接続される外部装置であってよい。なお記録媒体５は、受信装置４に着脱可能なメモリカードであってもよく、記録媒体５が受信装置４から取り外されてデータ読出装置に装着され、内視鏡画像データおよび関連情報を読み出されてもよい。記録媒体５は、管理サーバ１０に設けられたデータ読出用スロットに装着されて内視鏡画像データおよび関連情報を読み出されてもよい。

　管理サーバ１０は、記録媒体５から読み出された内視鏡画像に所定の画像処理を施して、記録装置１２に記録する。記録装置１２は、ＨＤＤ（ハードディスクドライブ）で構成されてよく、またフラッシュメモリで構成されてもよい。記録媒体５に記録された内視鏡画像は、無圧縮のＲＡＷ（生の）画像であるか、または可逆圧縮のみを施したＲＡＷ画像であるため、データサイズは非常に大きい。そこで管理サーバ１０は、ＲＡＷ画像である内視鏡画像に所定の非可逆圧縮処理を施し、データサイズを低減して記録装置１２に記録する。なお実施例では管理サーバ１０が内視鏡ＲＡＷ画像の画像処理を担当するが、他の機器、たとえば端末装置２０が内視鏡ＲＡＷ画像に画像処理を施して、記録装置１２に記録してもよく、記録装置１２は、端末装置２０に設けられてもよい。

　複数の端末装置２０はＬＡＮ（ローカルエリアネットワーク）などのネットワーク２によって管理サーバ１０に接続される。端末装置２０は医師や技師などの読影者（以下、単に「ユーザ」と呼ぶこともある）に割り当てられたパーソナルコンピュータなどであって、画面出力可能に表示装置２２に接続されるが、端末装置２０は表示装置と一体となったラップトップコンピュータであってもよく、また携帯型タブレットであってもよい。端末装置２０は管理サーバ１０にアクセスして、記録装置１２に記録された内視鏡画像を表示装置２２に表示する。

　管理サーバ１０は、内視鏡ＲＡＷ画像を圧縮する際に、解析アプリケーションを実行して内視鏡画像を解析する機能をもつ。解析アプリケーションによる画像解析は、一つのカプセル内視鏡検査において撮影された全ての内視鏡ＲＡＷ画像に対して実施され、画像解析の結果は、圧縮した内視鏡画像に付加情報として付加される。

　カプセル内視鏡検査の目的の一つは、消化管における出血源を探すことにある。管理サーバ１０は、記録媒体５から内視鏡ＲＡＷ画像を取得すると、解析アプリケーションを実行して画像処理することで、出血状態を撮影した可能性のある内視鏡ＲＡＷ画像を特定する。たとえば管理サーバ１０は、内視鏡画像の赤みが所定の閾値を超える場合に、出血状態を撮影した可能性のある画像であることを判定し、その内視鏡ＲＡＷ画像を圧縮する際に、赤み画像であることを示すフラグ情報を付加する。

　また消化管内におけるカプセル内視鏡３の移動速度には差があり、移動速度の遅い箇所では、撮影される内視鏡画像の変化も小さい。そのため読影者が、ほぼ変化のない複数の画像を含む全ての画像を等しく観察することは、効率的でなく、負担が大きい。そこで解析アプリケーションは、時間的に連続して撮影された内視鏡ＲＡＷ画像を比較して、変化が小さい画像（類似画像）を特定する処理を行う。以下、この処理を「画像要約処理」と呼ぶ。

　画像要約処理では、基準画像を設定し、基準画像に類似しているか否かを判定する対象となる判定対象画像に占める基準画像の被覆領域の割合を被覆率として算出する。判定対象画像は、基準画像よりも後に撮影された画像である。解析アプリケーションは、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。管理サーバ１０は、基準画像である内視鏡ＲＡＷ画像を圧縮する際に、基準画像であることを示すフラグ情報を付加し、類似画像である内視鏡ＲＡＷ画像を圧縮する際に、類似画像であることを示すフラグ情報を付加する。

　管理サーバ１０ないしは端末装置２０において実行される再生アプリケーションは、画像要約処理により付加されたフラグ情報を参照して、内視鏡画像の再生時間を短縮する再生モードを有しており、読影者が、この再生モードを選択することで、観察時間の短縮化を実現できる。

　実施例の再生アプリケーションは、４つの再生モードを有して構成される。
（第１再生モード）
　第１再生モードは、端末装置２０に接続されたユーザインタフェースの操作を利用した手動再生モードである。第１再生モードでは、ユーザがマウスのホイールを回転させることで、内視鏡画像を１枚ずつコマ送り表示させることができる。そのため第１再生モードは、病変を撮影した複数枚の画像のなかで最も鮮明に病変を撮影した画像を特定する際に利用される。ユーザがホイールを奥向きに回転させると、内視鏡画像は順方向（撮影時刻の古い画像から新しい画像に向かう方向）に連続再生表示され、ユーザがホイールを手前向きに回転させると、内視鏡画像は逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に連続再生表示される。

（第２再生モード）
　第２再生モードは、設定された再生速度で内視鏡画像を順方向または逆方向に連続再生表示する自動再生モードである。第２再生モードは、通常の内視鏡画像観察に利用される。

（第３再生モード）
　第３再生モードは、画像要約処理により特定された基準画像を設定された再生速度で順方向または逆方向に連続再生表示しつつ、類似画像を、設定された再生速度よりも高速で順方向または逆方向に連続再生表示する自動再生モードである。第３再生モードは、基準画像に対して変化の小さい類似画像を高速再生することで、第２再生モードと比べて観察時間の短縮を実現する。

（第４再生モード）
　第４再生モードは、画像要約処理により特定された類似画像の表示を省略して、設定された再生速度で基準画像のみを順方向または逆方向に再生表示する自動再生モードである。第４再生モードは、類似画像の表示を省略することで、第３再生モードと比べて観察時間の短縮を実現する。なお第４再生モードに対して、裏モードである第４裏再生モードが設定されてよい。第４裏再生モードは、基準画像の表示を省略して、設定された再生速度で類似画像のみを順方向または逆方向に再生表示する自動再生モードである。第４裏再生モードは、第４再生モードでの観察後に、観察漏れのないことを確認するために利用される。

　第１～第３再生モードは、時間的に連続する内視鏡画像を順番に再生表示する連続再生モードであり、第４再生モード（第４裏再生モード）は、時間的に連続する内視鏡画像を間引いて再生表示する間引き再生モードである。再生アプリケーションは、ユーザにより選択された再生モードに応じて、内視鏡画像の再生処理を実施する。再生アプリケーションは、管理サーバ１０で実行されてもよく、また端末装置２０で実行されてもよい。

　端末装置２０には、キーボードやマウスなどのユーザインタフェースが接続されている。端末装置２０は、管理サーバ１０と協働して、読影者による読影作業を支援する機能をもつ。端末装置２０は、表示装置２２に内視鏡画像の読影画面を表示させ、ユーザは読影画面において再生表示される内視鏡画像を観察して、病変等を撮影した内視鏡画像をキャプチャする。

　図２は、管理サーバ１０および記録装置１２の構成を示す。管理サーバ１０は、取得部３０、画像処理部４０、画面生成部５０、操作受付部５２、軌跡処理部６０、表示処理部７０および経路判断部７２を備える。取得部３０は、ＲＡＷ画像取得部３２および関連情報取得部３４を有する。画像処理部４０は、赤み判定部４２、画像要約処理部４４および圧縮処理部４６を有する。軌跡処理部６０は、位置情報取得部６２、軌跡画像生成部６４および形状特定部６６を有する。管理サーバ１０の各機能は、解析アプリケーション、再生アプリケーションなど、各種アプリケーションを実行することによって実現されてよい。なお実施例では、管理サーバ１０が各種アプリケーションを実行するが、端末装置２０が各種アプリケーションを実行してもよい。

　記録装置１２は、内視鏡画像記録部８０、関連情報記録部８２、位置情報記録部８４、軌跡画像記録部８６、特定領域記録部８８、検査情報記録部９０および観察内容記録部９２を備える。内視鏡画像記録部８０は、画像処理部４０により画像処理を施された内視鏡画像を記録する。検査情報記録部９０は、内視鏡検査に関する情報を記録する。観察内容記録部９２は、内視鏡画像の観察内容、たとえばユーザがキャプチャした画像や入力した所見情報などを記録する。

　管理サーバ１０の構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

　ＲＡＷ画像取得部３２は、データ読出装置から送信される約６万枚の内視鏡ＲＡＷ画像を取得し、記録装置１２に一時記憶させる。関連情報取得部３４は、データ読出装置から送信される関連情報を取得し、関連情報記録部８２に記録する。画像処理部４０は、すべての内視鏡ＲＡＷ画像に対して、以下に示す画像処理を実施する。なお内視鏡ＲＡＷ画像データには、画像ＩＤが対応付けられている。

＜赤み画像の特定＞
　赤み判定部４２は、赤みを帯びた内視鏡ＲＡＷ画像を画像解析により探索し、赤みが所定の閾値より強い画像を特定する。赤み判定部４２は、特定した赤み画像の画像ＩＤを、圧縮処理部４６に提供する。

＜画像要約処理＞
　画像要約処理部４４は、全ての内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する画像要約処理を実施する。まず画像要約処理部４４は、最初に撮影された画像を基準画像として設定する。画像要約処理部４４は、基準画像の次に撮影された判定対象画像が基準画像に類似しているか否かの類似判定を実施する。画像要約処理部４４は、判定対象画像において、基準画像を変形した変形画像が含まれる被覆領域を求め、判定対象画像に占める被覆領域の割合を被覆率として算出する。

　画像要約処理部４４は、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。画像要約処理部４４は、類似画像と判定した画像の次に撮影された画像を判定対象画像として、基準画像に類似しているか否かの類似判定を実施する。カプセル内視鏡３の移動速度が遅ければ、基準画像の後に撮影された数十枚の画像が類似画像として判定されることもある。

　一方で、画像要約処理部４４は、被覆率が閾値未満である場合に、判定対象画像を非類似画像として判定する。画像要約処理部４４は、非類似画像と判定した画像を、新たな基準画像として設定し、次に撮影された画像を判定対象画像として、類似判定を実施する。画像要約処理部４４は、この画像要約処理を、約６万枚の全ての画像に対して実施し、基準画像と類似画像とに分類する。

　基準画像と類似画像の枚数比は、閾値の設定によって調整される。閾値を大きくすれば、基準画像が多くなり、また閾値を小さくすれば、基準画像が少なくなる。第４再生モードでは、基準画像のみを再生表示するため、閾値の設定は、病変の見落とし等を抑制するために重要であるが、これまでの実績により、約６万枚の内視鏡画像のうち、約２万枚を基準画像として抽出するような閾値を設定することで、基準画像のみの読影により病変画像の見落としを防げることが分かってきている。画像要約処理部４４は、分類した基準画像の画像ＩＤおよび類似画像の画像ＩＤを、それぞれ圧縮処理部４６に提供する。

＜内視鏡ＲＡＷ画像の圧縮処理＞
　赤み判定部４２および画像要約処理部４４による画像解析処理は、圧縮処理部４６による内視鏡ＲＡＷ画像の圧縮処理の際に実施される。圧縮処理部４６は、内視鏡ＲＡＷ画像に非可逆の圧縮処理を施して、画像ＩＤおよび撮影時刻情報を付加した画像ファイルを生成し、内視鏡画像記録部８０に記録する。たとえば圧縮処理部４６は、ＪＰＥＧなどの画像フォーマットで内視鏡ＲＡＷ画像を圧縮してよい。

　圧縮処理部４６は、圧縮した画像ファイルに、赤み判定部４２および画像要約処理部４４から提供された解析結果を示す情報を付加する。具体的に圧縮処理部４６は、赤み判定部４２から提供される画像ＩＤをもつ圧縮画像に、赤み画像であることを示す情報を付加する。この情報は、フラグ情報として付加されてよい。また圧縮処理部４６は、画像要約処理部４４による画像要約処理の結果をもとに、基準画像に、基準画像であることを示すフラグ情報を付加し、類似画像に、類似画像であることを示すフラグ情報を付加する。基準画像であるか類似画像であるかは表裏の関係にあるため、フラグ値１が基準画像を、フラグ値０が類似画像を表現してもよい。

　実施例では、赤み判定部４２および画像要約処理部４４が、圧縮処理部４６による内視鏡ＲＡＷ画像の圧縮処理の前に、内視鏡ＲＡＷ画像に対してそれぞれ画像処理を実施している。変形例では、赤み判定部４２および画像要約処理部４４が、圧縮画像に対して、それぞれ画像解析を実施して、解析結果を示す情報が圧縮画像に付加されてよい。内視鏡画像記録部８０には、画像処理部４０により画像処理された画像ファイルが記録され、ユーザは、内視鏡画像記録部８０に記録された画像ファイルを用いて、内視鏡画像の観察を実施する。

＜カプセル内視鏡の軌跡処理＞
　関連情報取得部３４は、データ読出装置から送信される関連情報を取得し、関連情報記録部８２に記録する。軌跡処理部６０は、関連情報記録部８２に記録された受信強度情報から、カプセル内視鏡３の移動軌跡を特定する処理を実施する。

　位置情報取得部６２は、画像データの関連情報のうち、複数の受信アンテナが画像データを受信した際の受信強度情報に基づいて、内視鏡画像を撮影したときのカプセル内視鏡３の位置を表す位置情報を取得する。この位置は、被検体内の位置であって、カプセル内視鏡３が画像を撮影したときの位置を表す。なおカプセル内視鏡３の撮影位置の検出方法は、無線信号の受信強度にもとづく方法に限定されず、磁界を用いる方法や、その他の公知の方法を用いてよい。たとえば位置情報取得部６２は、内視鏡画像の前後に撮影された内視鏡画像との差分から、被検体内における移動量および移動方向を導出し、複数の受信アンテナにおける受信強度情報とあわせて、撮影時のカプセル内視鏡３の位置を表す位置情報を導出してよい。この位置情報は、３次元空間における位置情報となる。位置情報取得部６２は、取得した位置情報を、画像ＩＤに対応付けて、位置情報記録部８４に記録する。

　軌跡画像生成部６４は、位置情報記録部８４に記録された位置情報にもとづいて、被検体内におけるカプセル内視鏡３の移動軌跡を表す軌跡画像データを生成する。軌跡画像生成部６４は、位置情報記録部８４に記録された位置情報を画像ＩＤ順に連結することで、３次元の軌跡画像データを生成してよい。なお連結する際には、連結線分同士が滑らかに接続するように軌跡画像データを生成してよい。軌跡画像生成部６４は、生成した軌跡画像データを、軌跡画像記録部８６に記録する。

　形状特定部６６は、カプセル内視鏡３の移動軌跡において、所定の形状を有する領域を特定する。上記したようにカプセル内視鏡検査は、原因不明性の消化管出血の出血源を探し出すことを目的として実施され、出血源が見つかった後は、処置具を有する内視鏡による検査が実施される。つまり出血源の特定後は、挿入部および操作部を有する通常の上部内視鏡または下部内視鏡を使用した検査の実施が予定されている。そこで形状特定部６６は、経口ルートもしくは経肛門ルートのいずれで内視鏡を挿入するのがよいか判断するための材料として、内視鏡の挿入部を被検体内に挿入するときに、挿入の障害となりうる形状を有する領域を特定する。移動軌跡における所定の形状は、所定条件を満たすループ部および／または曲率が所定値より大きい湾曲部であってよい。形状特定部６６は、移動軌跡における所定の形状を示す領域の位置を、特定領域記録部８８に記録する。

　以下、読影時に表示装置２２に表示される画面について説明する。
　ユーザである医師Ｂは、端末装置２０にユーザＩＤおよびパスワードを入力してログインする。ユーザがログインすると、管理サーバ１０が検査情報記録部９０に記録された検査情報を端末装置２０に提供し、表示装置２２には、カプセル内視鏡検査の一覧が表示される。検査一覧画面には、患者ＩＤ、患者氏名、検査ＩＤ、検査日時などの検査情報が表示され、ユーザは、読影レポート作成の対象となる検査を選択する。検査一覧から患者ＩＤが「１１１１」、患者氏名「Ａ」、検査ＩＤが「０００１」の検査が選択されると、画面生成部５０は、ユーザが内視鏡画像を読影するための読影画面を生成して、表示装置２２に表示させる。

　図３は、内視鏡画像の読影画面の例を示す。読影画面中央上部には、内視鏡画像を切り替えて再生表示するための再生領域１００が設けられる。読影画面は、画面左上隅にある再生モード選択ボタン１０２ａが選択された状態で、表示装置２２に表示される。なおオーバービューモード選択ボタン１０２ｂが選択されると、画面生成部５０は、図４に示すオーバービュー画面を生成して、表示装置２２に表示させる。

　再生枚数切替ボタン１０８は、再生領域１００に表示する画像枚数を切り替えるための操作ボタンである。図３には、１枚表示が選択されている例を示しているが、ユーザは再生枚数切替ボタン１０８を操作することで、２枚表示または４枚表示を選択できる。

　再生モード選択領域１３０には、再生モードを選択するための操作ボタンが配置される。第２再生モード選択ボタン１１０は、第２再生モードを選択するための操作ボタンである。第３再生モード選択ボタン１１２は、第３再生モードを選択するための操作ボタンである。第４再生モード選択ボタン１１４は、基準画像のみを再生表示する第４再生モードを選択するための操作ボタンである。第４裏再生モード選択ボタン１１６は、類似画像のみを再生表示する第４裏再生モードを選択するための操作ボタンである。第４再生モードでは、類似画像の再生表示が省略されるため、ユーザは、第４再生モードを選択して読影した場合には、第４裏再生モードでも読影して、全ての内視鏡画像を観察することが推奨される。

　ユーザは、第２再生モード選択ボタン１１０、第３再生モード選択ボタン１１２、第４再生モード選択ボタン１１４および第４裏再生モード選択ボタン１１６のいずれかを選択して、再生モードを設定する。なおデフォルトの状態では、第２再生モード選択ボタン１１０が選択されている。再生領域１００の下方に設けられた再生ボタン表示領域１０４には再生ボタン１０４ａと逆再生ボタン１０４ｂとが表示され、再生ボタン１０４ａが選択されると、再生領域１００において内視鏡画像が順方向（撮影時刻の古い画像から新しい画像に向かう方向）に再生表示され、逆再生ボタン１０４ｂが選択されると、再生領域１００において内視鏡画像が逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に再生表示される。再生速度調節部１０６は、再生速度（１枚の内視鏡画像の表示時間）を調節するためのスライダを備える。再生速度調節部１０６は、スライダの位置により、再生速度、すなわち内視鏡画像の表示フレームレートを設定する。

　表示処理部７０は、再生モード選択領域１３０において選択された再生モード、および再生速度調節部１０６により設定された再生速度（表示フレームレート）にしたがって、再生領域１００に内視鏡画像を再生表示する。再生ボタン１０４ａまたは逆再生ボタン１０４ｂが選択されると、表示処理部７０は再生表示を開始するが、選択された再生ボタン１０４ａまたは逆再生ボタン１０４ｂの場所には、代わりに一時停止ボタンが表示される。内視鏡画像の再生表示中に、ユーザが一時停止ボタンを操作すると、表示処理部７０は、内視鏡画像の再生表示を一時停止する。この状態でユーザがマウスホイールを操作すると、表示処理部７０が、マウスホイールの回転に応じて、第１再生モードで内視鏡画像をコマ送り表示する。

　ユーザは再生領域１００に表示された画像にマウスポインタを合わせてマウスの左ボタンをダブルクリックすると、その画像がキャプチャされてキャプチャ画像表示領域１２８に表示される。キャプチャ画像表示領域１２８に表示されるキャプチャ画像は、後に読影レポートに添付する画像の選択肢となる。この例では、５枚のキャプチャ画像１２８ａ～１２８ｅが選択されている様子が示される。

　画面生成部５０は、一端を撮影開始時刻、他端を撮影終了時刻とするマーク表示領域１２０を再生領域１００の下方に表示する。実施例においてマーク表示領域１２０は、左端を撮影開始時刻、右端を撮影終了時刻とするタイムバーとして表示され、スライダ１２２は、再生領域１００に表示されている内視鏡画像の時間的な位置を示す。スライダ１２２により表現される時間位置は、時間表示領域１２４に撮影開始時刻からの相対的な時間情報としても表示される。ユーザがマーク表示領域１２０の任意の箇所にマウスポインタをあててマウスの左ボタンをクリックすると、その時間位置における内視鏡画像が再生領域１００に表示される。またユーザがスライダ１２２をドラッグしてマーク表示領域１２０内の任意の位置でドロップしても、その時間位置における内視鏡画像が再生領域１００に表示される。

　赤色画像表示ボタン１２６は、マーク表示領域１２０において、赤み画像の撮影時刻に赤色マークを表示させるためのボタンである。赤色画像表示ボタン１２６が操作されると、表示処理部７０は、赤み画像の撮影時刻に、赤色マークを表示する。マーク表示領域１２０に赤色マークが表示されることで、ユーザは、出血を撮影した可能性の高い画像の存在を認識できる。

　拡大表示ボタン１１８は、再生領域１００を拡大するためのボタンである。拡大表示ボタン１１８が操作されると、キャプチャ画像表示領域１２８は非表示とされて、その分だけ再生領域１００が拡大される。

　なおユーザはマーク表示領域１２０に、部位の開始位置を示すためのマークを付加できる。ユーザは、再生領域１００で再生表示される内視鏡画像を観察しながら、新たな部位画像が再生されるとマーキングボタン（図示せず）を操作して、各部位の開始位置をマーク表示領域１２０上にマーキングする。このマーキング処理を行うことで、内視鏡画像を見直す際に、部位の開始位置を容易に知ることができる。特に、医師Ｂとは異なるユーザが内視鏡画像を観察する際、マーキング処理を行われていることで部位の開始位置を容易に認識でき、円滑に画像観察を行えるようになる。マーキングは、胃、小腸、大腸の入口を撮影した画像に対して行われることが一般的である。マーキングボタンの操作時に再生領域１００に表示されていた内視鏡画像には、マーキング情報が付加される。

　表示処理部７０は、軌跡表示領域１５０に軌跡画像を表示する。軌跡表示領域１５０はウィンドウとして表示され、表示処理部７０は、軌跡表示領域１５０をユーザ操作により拡大し、また任意の位置に移動できる。表示処理部７０は、軌跡画像記録部８６に記録された軌跡画像データを用いて、３次元で構成された軌跡画像を軌跡表示領域１５０に表示する。ユーザは軌跡表示領域１５０におけるマウス操作により、軌跡画像を回転させたりすることができる。軌跡画像に関しては、後述する。

　画面左上隅にあるオーバービューモード選択ボタン１０２ｂが選択されると、画面生成部５０は、オーバービュー画面を生成して、表示装置２２に表示させる。オーバービュー画面では、画像要約処理により特定された複数の基準画像から抽出された画像が表示される。

　図４は、内視鏡画像のオーバービュー画面の例を示す。画像表示領域１３２には、複数の基準画像から抽出された画像が格子状に並べて表示される。たとえば約６万枚の内視鏡画像から約２万枚の基準画像が特定されているとき、表示処理部７０は、約２万枚の基準画像の中から所定の間隔で抽出した画像を、オーバービュー画面に表示する。抽出する枚数は、２千枚を上限として、ユーザにより自由に設定されてよい。基準画像の枚数をＮ枚、オーバービュー画面に含める画像枚数をＭ枚とすると、表示処理部７０は、時系列に並べた基準画像を（Ｎ／Ｍ）枚ごとに１枚の画像を抽出する。たとえばＮ＝２万枚、Ｍ＝２千枚であるとき、表示処理部７０は、撮影時刻順に基準画像を１０枚ごとに１枚を抽出し、オーバービュー画面に配列する。抽出画像は、画像表示領域１３２において格子状に配列され、ユーザはページ送りボタン１４０ａ、１４０ｂを操作して、画像を切り替えることができる。

　オーバービュー画面に表示される内視鏡画像は基準画像であり、互いに非類似のものに限定されるため、ユーザは、検査全体の概要を効率よく把握できる。またオーバービュー画面は検査全体を俯瞰的に示すため、各部位の開始位置の特定、つまりマーキング処理を行う際に使い勝手がよい。オーバービュー画面では、ユーザが一つの画像を選択して所定の操作を行うと、その画像に時間的に前後する複数枚の静止画像が表示される機能が設定されている。そのためユーザは、各部位の入口近傍の画像を選択して、その前後画像を表示させることで、各部位の開始位置を示す画像を特定して、効率よくマーキング処理を行うことができる。ユーザは、まず図４に示すオーバービュー画面でマーキング処理を行ってから、図３に示す読影画面で画像観察を行ってもよい。

　図３に示す読影画面に戻り、軌跡表示領域１５０に表示する軌跡画像について説明する。上記したように表示処理部７０は、ユーザ操作により軌跡表示領域１５０を拡大表示できる。たとえば表示処理部７０は、再生領域１００の左隣または右隣に、拡大した軌跡表示領域１５０を配置してよい。

　図５は、胃、小腸、大腸の消化管構造の模式図を示す。カプセル内視鏡３は、理想的には軌跡曲線１４２に示すような軌跡で胃から小腸（十二指腸、空腸、回腸）、大腸を通り、肛門から排出される。一方で、小腸は体内で固定されていない臓器であるために理想形状と異なっていることも多く、被検体によっては癒着を起こしていることで腸管がループするなど、理想形状とは大きく異なっていることもある。またカプセル内視鏡３は消化管の蠕動運動によって受動的に移動するため、同じ箇所を行ったり来たりすることもあり、また滞留することもある。そのため実際のカプセル内視鏡３の移動軌跡は、軌跡曲線１４２に示すような理想曲線を示さないことが多い。

　図６は、再生領域１００の隣に拡大された軌跡表示領域１５０の例を示す。表示処理部７０は、軌跡画像記録部８６に記録された軌跡画像データを読み出して、軌跡表示領域１５０に軌跡画像１９６を３次元的に表示する。ここで軌跡画像１９６を３次元的に表示するとは、ユーザが、軌跡画像１９６をマウスでドラッグして回転させられることを意味する。

　軌跡画像１９６において、現在位置マーク２０２は、再生領域１００に再生表示されている内視鏡画像の軌跡上の位置を示す。ユーザは現在位置マーク２０２をマウスを操作して動かすことができ、現在位置マーク２０２をマウスでドラッグして軌跡上の別の位置でドロップすると、現在位置マーク２０２がドロップされた位置に対応した内視鏡画像が再生領域１００に表示される。

　小腸内位置ゲージ２０４は、小腸全長における相対的な距離（位置）を示す目盛であり、上端部（目盛０）は小腸開始位置を、下端部（目盛１００）は小腸終了位置を示す。ここで現在位置インジケータ２０６は、小腸全長における相対距離を示し、図示の例で「６６」の現在位置インジケータ２０６は、再生領域１００に表示されている内視鏡画像が、小腸開始位置から小腸区間の２／３進んだ位置で撮影されたものであることを意味する。上記したようにユーザが現在位置マーク２０２を軌跡上の別の位置に動かすと、小腸内位置ゲージ２０４における現在位置インジケータ２０６も、対応する位置に動く。なお現在位置マーク２０２が胃区間にあれば、現在位置インジケータ２０６は「０」、現在位置マーク２０２が大腸区間にあれば、現在位置インジケータ２０６は「１００」を示す。

　表示処理部７０は、軌跡画像１９６に、部位マーキングされた位置を示す部位マーク２００を付加する。図６に示す例では、胃開始マーク２００ａが胃開始位置を、小腸開始マーク２００ｂが小腸開始位置を、大腸開始マーク２００ｃが大腸開始位置を示している。表示処理部７０は、胃開始マーク２００ａと小腸開始マーク２００ｂの間の胃区間、小腸開始マーク２００ｂと大腸開始マーク２００ｃの間の小腸区間、大腸開始マーク２００ｃ以降の大腸区間のそれぞれを、異なる色をつけて表示してよい。これによりユーザは、一目で各部位区間の形状を確認できる。

　ここで医師が、既に内視鏡画像に関連づけて所見情報をレポート入力していれば、表示処理部７０は、観察内容記録部９２に記録された所見情報を参照して、各所見に紐付けられた内視鏡画像を示す所見マーク２１０を、軌跡画像１９６に付加してよい。この例では第１所見マーク２１０ａ、第２所見マーク２１０ｂ、第３所見マーク２１０ｃが、医師により入力された３つの所見のそれぞれに紐付けられた内視鏡画像の軌跡上の位置を示している。ユーザがマウス操作により現在位置マーク２０２を所見マーク２１０に合わせると、表示処理部７０は、当該位置で撮影された内視鏡画像（所見に紐付けられた画像）を再生領域１００に表示する。

　実施例では、軌跡画像の様々な表示設定を行えるようにすることで、ユーザの内視鏡画像の観察を効果的に支援する。メニューボタン１９８は、ユーザが選択する設定項目を表示するためのボタンであり、軌跡表示領域１５０内に設けられる。なおメニューボタン１９８は、軌跡表示領域１５０以外の領域に設けられてもよい。

　図７は、メニューボタン１９８が操作されたときに表示される選択ウィンドウ２１２の一例を示す。選択ウィンドウには、「拡大表示」、「小腸のみ表示」、「ループ部、湾曲部をマーキング」、「腸管形状の近似表示」の項目が用意されている。ユーザがカーソルを一つの項目に合わせて左クリックすると、表示処理部７０が、該当する項目の表示処理を実施する。

　図８は、メニューウィンドウで「拡大表示」が選択されたときに表示される軌跡画像を示す。操作受付部５２が「拡大表示」の選択操作を受け付けると、表示処理部７０が軌跡画像１９６を拡大表示する。これによりユーザは、腸管の形状を細かく観察できる。なお操作受付部５２は、ユーザから拡大位置の指定操作を受け付けると、表示処理部７０は、ユーザの操作に応じて拡大表示する範囲を定める。

　操作受付部５２が「小腸のみ表示」の選択操作を受け付けると、表示処理部７０が軌跡画像１９６のうち小腸開始マーク２００ｂと大腸開始マーク２００ｃの間の小腸区間だけを抜き出して、軌跡表示領域１５０に表示する。

　図９は、メニューウィンドウで「ループ部、湾曲部をマーキング」が選択されたときに表示される軌跡画像を示す。上記したように形状特定部６６は、カプセル内視鏡３の移動軌跡において所定の形状を有する領域を特定して、特定した領域の位置を特定領域記録部８８に記録する。ここで特定の形状を有する領域は、カプセル内視鏡ではない通常の内視鏡、つまり体内に挿入部を挿入して医師が操作部を操作することで体内画像の撮影を行う内視鏡に対して、挿入の障害となりうる形状を有する領域である。たとえば癒着により腸管が連結していたり、また先天性異常により腸管の形状が通常と異なるような領域が該当する。実施例では、形状特定部６６が軌跡画像データを解析して、所定条件を満たすループ部および／または曲率が所定値より大きい湾曲部を検出する。

＜ループ部＞
　図１０（ａ）は、移動軌跡において小径で一周するループ部分の例を示し、所定の方向から軌跡画像を見た場合に、腸管が交差した状態となっている。形状特定部６６は、軌跡画像データを解析して、所定条件を満たすループ部の存在を検出し、その位置を特定する。交差地点において、所定の方向において重なっている２つの位置間の距離をＤ、２つの位置におけるカプセル内視鏡３の到達時間の差をＴとすると、
　Ｄ　＜　ｄ　・・・（１）
　ｔ１　＜　Ｔ　＜　ｔ２　・・・（２）
　の双方の条件が成立した場合に、形状特定部６６は、その交差地点を含む領域をループ部として検出する。

　ここで条件（１）は、腸管が交差する点において２つの位置間の距離が短いことを要求している。腸管が交差している場合であっても、交差地点における２つの位置間の距離が長ければ、かかる領域は内視鏡挿入の障害にはならず、ループ部として検出する必要はない。たとえばｄは５ｃｍ程度であってよい。

　また条件（２）で、ｔ１＜Ｔは、交差地点に戻ってくるまでの時間Ｔが、所定時間ｔ１よりも長いことを要求しており、蠕動運動によりカプセル内視鏡３が同じような場所を行ったり来たりするケースを除外するための条件となる。一方、Ｔ＜ｔ２は、交差地点に戻ってくるまでの時間Ｔが、所定時間ｔ２よりも短いことを要求しており、滞留によってカプセル内視鏡３が動かないケースを除外するための条件となる。たとえばｔ１は１０秒、ｔ２は６０秒程度であってよい。

　形状特定部６６は、条件（１）（２）を満足する領域をループ部として検出して、領域の代表的な位置を示す位置情報を特定領域記録部８８に記録する。

＜湾曲部＞
　図１０（ｂ）は、カプセル内視鏡３の移動軌跡における湾曲部の例を示す。形状特定部６６は、軌跡画像データを解析して、所定値以下の鋭角を構成する腸管形状を湾曲部として検出し、その位置を特定する。形状特定部６６は、特定した湾曲部の位置情報を特定領域記録部８８に記録する。

　なお挿入のしにくさとは関係がないが、小腸には特徴的な湾曲形状、十二指腸のＣ形状が存在している。ファーター乳頭付近では病変が多いため、注意して観察したい医師もいる。そこで形状特定部６６は、十二指腸のＣ形状を事前に特定しておき、表示処理部７０がユーザに、Ｃ形状の位置を知らせるようにしてもよい。

　図１１（ａ）は、十二指腸の湾曲形状の模式図を示す。ここでは胃、十二指腸、空腸に至る腸管を示している。図１１（ｂ）は、十二指腸の湾曲形状を特定するための手法を説明するための図である。図１１（ｂ）では、演算処理のために、胃、十二指腸、空腸に至る腸管をカプセル内視鏡３が移動した軌跡をｘｙ座標に展開している。

　十二指腸のＣ形状の特定は、小腸を唯一吊しているトライツ靱帯の特徴を利用する。小腸はトライツ靱帯の前後で十二指腸と空腸に区分されるが、トライツ靱帯の後、空腸は下方に落ち込むような配置となる。そのため図１１（ｂ）に示すように、移動軌跡に対して曲率円を設定すると、トライツ靱帯のポイントＰの手前では、軌跡位置のＹ座標に対して曲率円中心のｙ座標は大きくなる（曲率円が軌跡の上側に設定される）が、ポイントＰの後では、軌跡位置のＹ座標に対して曲率円中心のｙ座標は小さくなる（曲率円が軌跡の下側に設定される）。この性質を利用して形状特定部６６は、十二指腸のＣ形状におけるトライツ靱帯の位置を特定して、特定領域記録部８８に記録してもよい。

　図９に戻り、表示処理部７０は、特定領域記録部８８に記録された位置情報を参照して、挿入障害マーク２１４を軌跡画像１９６に付加する。この例では第１挿入障害マーク２１４ａ、第２挿入障害マーク２１４ｂ、第３挿入障害マーク２１４ｃが、内視鏡の挿入の妨げとなる可能性のある位置を示す情報として、軌跡画像１９６に付加されている。ユーザは挿入障害マーク２１４を見ることで、病変位置まで内視鏡を被検体内に挿入しやすいのが、口側であるか、または肛門側であるかを判断できる。図９に示す例では、３つの所見マーク２１０が軌跡画像１９６に付加されているが、たとえば３つの挿入障害マーク２１４の全てが、各所見マーク２１０が付加された画像位置よりも上流側（口側）に存在していれば、肛門側から内視鏡を挿入するのがよいと判断しやすくなる。このように表示処理部７０が、軌跡画像１９６において、所見マーク２１０と挿入障害マーク２１４とをあわせて表示することで、ユーザは病変位置に対して、挿入しにくさの要因となる箇所が相対的にどこにあるかを見極めることが可能となる。

　なお経路判断部７２が、形状特定部６６により特定された領域の位置にもとづいて、病変位置まで内視鏡を被検体内に挿入しやすいのが、口側または肛門側のいずれであるか自動判断してもよい。たとえば経路判断部７２は、病変位置と挿入障害位置との相対位置関係、および各挿入障害の挿入難度をもとに、口側から挿入した場合の難度値と、肛門側から挿入した場合の難度値を導出し、それらを比較することで、挿入経路を判断する。このとき小腸開始位置または小腸終了位置からの距離情報も加味されてよい。たとえば複数の病変位置がある場合には、それぞれに対して挿入難度を導出し、口側から挿入した場合の最高の難度値と、肛門側から挿入した場合の最高の難度値を比較して、より低い難度値を示す方を挿入経路として選択してよい。

　なお上記した十二指腸の湾曲形状の位置を、表示処理部７０は、軌跡画像１９６に示してもよい。この場合、十二指腸の湾曲形状は、内視鏡の挿入しやすさを表現するものはないために、挿入障害マーク２１４とは別のマークが軌跡画像１９６に付加されることが好ましい。

　図１２は、メニューウィンドウで「腸管形状の近似表示」が選択されたときに表示される軌跡画像の例を示す。図１２（ａ）は、軌跡画像記録部８６に記録された軌跡画像データを表示した軌跡画像、図１２（ｂ）は、軌跡画像データを１段階滑らかにするように近似した軌跡画像、図１２（ｃ）は、軌跡画像データを２段階滑らかにするように近似した軌跡画像、図１２（ｄ）は、軌跡画像データを３段階滑らかにするように近似した軌跡画像を示す。近似画像の段階は、近似率に対応し、ユーザは近似率を設定して、所望の近似画像を表示させることができる。表示処理部７０は設定された近似率に応じて、最小二乗法などを用いて軌跡画像データの近似画像を作成して、軌跡表示領域１５０に表示する。

　ユーザは近似画像により大まかな腸管形状を把握できる。特に近似率を下げるほど、より大まかな腸管形状を把握できる。たとえば先天性の腸管異常などがあるケースでは、腸管形状が標準のものとは全く異なることがあり（たとえば左右逆のケースなど）、これから内視鏡を挿入しようとする場合に、そのような情報を事前に得られることには意義がある。

　以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１・・・内視鏡画像観察支援システム、３・・・カプセル内視鏡、１０・・・管理サーバ、１２・・・記録装置、２０・・・端末装置、３０・・・取得部、３２・・・ＲＡＷ画像取得部、３４・・・関連情報取得部、４０・・・画像処理部、４２・・・赤み判定部、４４・・・画像要約処理部、４６・・・圧縮処理部、５０・・・画面生成部、５２・・・操作受付部、６０・・・軌跡処理部、６２・・・位置情報取得部、６４・・・軌跡画像生成部、６６・・・形状特定部、７０・・・表示処理部、７２・・・経路判断部、８０・・・内視鏡画像記録部、８２・・・関連情報記録部、８４・・・位置情報記録部、８６・・・軌跡画像記録部、８８・・・特定領域記録部、９０・・・検査情報記録部、９２・・・観察内容記録部。

　本発明は、カプセル内視鏡により撮影された内視鏡画像の観察を支援する分野に利用できる。

Claims

　カプセル内視鏡が被検体内を撮影した複数の内視鏡画像の観察を支援する観察支援システムであって、
　内視鏡画像を撮影したときのカプセル内視鏡の位置を表す位置情報を取得する位置情報取得部と、
　位置情報にもとづいて、被検体内におけるカプセル内視鏡の移動軌跡を表す軌跡画像データを生成する軌跡画像生成部と、
　カプセル内視鏡の移動軌跡において、所定の形状を有する領域を特定する形状特定部と、
　を備えることを特徴とする内視鏡画像観察支援システム。
　前記形状特定部は、内視鏡の挿入部を被検体内に挿入するときに、挿入の障害となりうる形状を有する領域を特定する、
　ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
　前記形状特定部は、所定条件を満たすループ部および／または曲率が所定値より大きい湾曲部の位置を特定する、
　ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
　軌跡画像を表示する表示処理部を、さらに備え、
　前記表示処理部は、前記形状特定部により特定された領域の軌跡画像上の位置に、所定のマークを表示する、
　ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
　前記表示処理部は、軌跡画像の近似画像を表示する機能を有する、
　ことを特徴とする請求項４に記載の内視鏡画像観察支援システム。
　前記形状特定部により特定された領域の位置にもとづいて、病変位置まで内視鏡を被検体内に挿入しやすいのが、口側または肛門側のいずれであるか判断する経路判断部と、
　をさらに備えることを特徴とする請求項１に記載の内視鏡画像観察支援システム。