JP7346285B2 - 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム - Google Patents

Description

本発明は医療画像処理装置、内視鏡システム、診断支援方法及びプログラムに関する。

近年、内視鏡画像等の医療画像の分野において、人工知能（ＡＩ：Artificial Intelligence）技術等が導入され、画像解析によって病変の位置及び／又は病変の種類を認識し、その認識結果を報知することにより、診断を支援する技術が開発されている。病変等を認識するための処理においては、深層学習（Deep Learning）をはじめとする機械学習によって学習された推論モデルを含むＡＩモジュールが使用される。

特許文献１には、内視鏡により得られた内視鏡画像から病変部を検出して病変部の鑑別分類を行う内視鏡装置が記載されている。特許文献１に記載の内視鏡装置におけるプロセッサは、鑑別支援のための各種処理を行う回路である鑑別支援部を含む。鑑別支援部は、内視鏡画像から病変部の領域を特定する病変領域特定部と、内視鏡画像を基に観察対象である臓器の部位を推定する臓器部位推定部とを含んでいる。病変領域特定部及び臓器部位推定部には機械学習を用いた分類器が適用されている。特許文献１における鑑別支援は本明細書における診断支援に対応する用語と理解される。

また、特許文献２には、深層学習の手法を用いて学習がなされたニューラルネットワークを用いて特定の領域の抽出及び病変の種類の判別を行うコンピュータを含む医療情報システムが記載されている。

国際公開第２０１８／１０５０６３号 特開２０１９－１６９０４９号公報

内視鏡検査など医療画像を用いる検査において深層学習等による病変検出は医師の診断支援に有効である。例えば、上部消化器官内視鏡検査の場合、食道、胃及び十二指腸の各部位を一連の検査によって観察するため、観察対象の部位情報と画像内から検出される病変の種別を示す病変種別情報とを組み合わせて報知を行うことが望まれる。

その一方で、深層学習等による画像の認識性能は完全とは言えず、ＡＩが出力する認識結果にミス（誤り）が発生する可能性が考えられる。特に、部位の認識と病変の認識とをそれぞれ独立した別々の方法によって実施する場合に、どちらかの認識結果にミスが発生すると、モニタの画面に報知させる部位情報と病変種別情報とが矛盾する事態となる可能性がある。

また、深層学習等による病変検出では対象とする部位ごとに異なるＡＩモジュールが用意されることがあり、このようなシステムにおいては、観察の対象とする部位に応じて検出方法を切り替えることが考えられる。例えば、食道、胃、及び十二指腸といった部位ごとに別々の推論モデルを用いたＡＩモジュールが用意され、部位の認識に連動してそれぞれの部位における病変検出に適した検出器（ＡＩモジュール）に切り替えるシステムを構築することが考えられる。このように複数の部位を検査対象とする一連の内視鏡検査では異なる部位を観察するため、観察対象の部位に応じて自動的に検出方法を切り替えることが求められる。

しかし、例えば、部位の認識にミス（誤り）があった場合に、システムが意図しない挙動を起こす可能性が考えられる。

上述したこれらの課題は、内視鏡検査に限らず、各種の医療画像に対して観察対象の部位情報の取得と医療画像に基づく病変種別情報の取得とを行う場合に想定される共通の課題である。

本発明はこのような事情に鑑みてなされたもので、上述した複数の課題のうちの少なくとも１つの課題を解決し、観察対象の部位情報と医療画像から検出される病変の種別を示す病変種別情報とのいずれかが誤っている場合に不適切な報知を回避して、診断を支援することが可能な医療画像処理装置、内視鏡システム、診断支援方法及びプログラムを提供することを目的とする。

本開示の一態様に係る医療画像処理装置は、少なくとも１つのプロセッサを有する医療画像処理装置であって、少なくとも１つのプロセッサは、医療画像を取得し、医療画像に写っている被写体の人体における部位を示す部位情報を取得し、医療画像から病変を検出して病変の種別を示す病変種別情報を取得し、部位情報と病変種別情報との矛盾の有無を判定し、判定の結果に基づき部位情報及び病変種別情報の報知態様を決定する。

部位情報と病変種別情報との矛盾の有無を判定することは、部位情報と病変種別情報との整合性を判定すること理解してよい。部位とその部位において検出される可能性がある病変種別の候補との対応関係は医学的知識から特定され得る。少なくとも１つのプロセッサは、部位情報と病変種別情報とが矛盾しているか否かを判定して、矛盾する情報の報知を回避する報知を行うよう報知態様を制御できる。報知態様とは、報知方法と言い換えてもよい。本態様によれば、矛盾する情報が報知される事態を回避するなどの対応が可能となり、診断等に有益な情報を提供することが可能になる。

医療画像処理装置は、単一の装置として構成されてもよいし、複数の装置を組み合わせて構成されてもよい。例えば、医療画像処理装置は、１台又は複数台のコンピュータを用いて実現し得る。「装置」は、「システム」及び「モジュール」の概念を含む。

本開示の他の態様に係る医療画像処理装置において、メモリをさらに備え、メモリには、複数種類の部位と部位ごとの病変の種別との対応関係を表すテーブルが記憶されており、少なくとも１つのプロセッサは、テーブルを用いて部位情報と病変種別情報との矛盾の有無を判定する構成であってよい。

「テーブル」は、医学的知識に基づいて作成しておくことができる。少なくとも１つのプロセッサは、取得される部位情報と病変種別情報との組み合わせがテーブルに記載されている組み合わせに該当するか否かを判定し、テーブルに記載されている組み合わせに該当する場合には「矛盾がない」と判定し、テーブルに記載されている組み合わせに非該当である場合には「矛盾している」と判定することができる。

本開示のさらに他の態様に係る医療画像処理装置において、メモリには、少なくとも１つのプロセッサによって実行される命令が記憶され、少なくとも１つのプロセッサが命令を実行することにより、少なくとも１つのプロセッサが医療画像の取得、部位情報の取得、病変種別情報の取得、矛盾の有無の判定、及び報知態様の決定、を含む処理を行う、構成とすることができる。

本開示のさらに他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、部位情報と病変種別情報とに矛盾がないと判定した場合、部位情報及び病変種別情報の両方を報知することを決定する構成であってよい。

本開示のさらに他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、部位情報と病変種別情報とに矛盾があると判定した場合、部位情報及び病変種別情報のうち少なくとも一方の情報を非報知とすることを決定する構成であってよい。

本開示のさらに他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、部位情報と病変種別情報とに矛盾があると判定した場合、部位情報の信頼度と病変種別情報の信頼度とを比較し、部位情報及び病変種別情報のうち、信頼度が高い方の情報を報知し、低い方の情報を非報知とすることを決定する構成であってよい。

本開示のさらに他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、部位情報と病変種別情報とに矛盾があると判定した場合、部位情報を非報知とし、病変種別情報を報知することを決定する構成であってよい。

本開示のさらに他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、部位情報と病変種別情報とに矛盾があると判定した場合、部位情報の信頼度及び病変種別情報の信頼度のそれぞれを基準値と比較し、部位情報の信頼度及び病変種別情報の信頼度の両方が基準値以下であれば、部位情報及び病変種別情報の両方を非報知とすることを決定する構成であってよい。

本開示のさらに他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、部位情報と病変種別情報とに矛盾があると判定した場合、矛盾が起こったことを報知することを決定する構成であってよい。

本開示のさらに他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、医療画像から被写体の部位を認識することにより部位情報を取得する構成であってよい。

「認識」という用語は、識別、判別、推論、推定、検出、及び分類などの概念を含む。少なくとも１つのプロセッサは、例えば、機械学習によって認識性能を獲得した学習済みモデルを用いて認識の処理を行う構成であってよい。

本開示のさらに他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、医療画像を第１のニューラルネットワークに入力することにより第１のニューラルネットワークから出力される推論結果が示す部位情報を取得し、医療画像を第２のニューラルネットワークに入力することにより第２のニューラルネットワークから出力される推論結果を用いた推論によって医療画像の画像内に存在する病変の病変種別情報を取得する構成であってよい。

本開示のさらに他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、第１のニューラルネットワークを用いて部位情報の信頼度を示すスコアを取得し、第２のニューラルネットワークを用いて病変種別情報の信頼度を示すスコアを取得する構成であってよい。

本開示のさらに他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、さらに、決定した報知態様の報知を実現させる報知制御用の信号を生成する構成であってよい。

本開示のさらに他の態様に係る医療画像処理装置において、報知制御用の信号は、ディスプレイを用いた表示による報知を実現させる表示信号を含む構成であってよい。

本開示のさらに他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサが決定した報知態様に従って情報の表示を行うディスプレイをさらに備える構成であってよい。

本開示のさらに他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、時系列の医療画像を取得する構成であってよい。

時系列の医療画像は、動画像であってもよいし、連写、若しくはインターバル撮影などのように、特定の時間間隔で撮影される画像群であってもよい。また、時系列による撮影の時間間隔は必ずしも一定でなくてもよい。

医療画像は、内視鏡を用いて撮影された内視鏡画像であってよい。内視鏡は、内視鏡スコープであってよいし、カプセル内視鏡であってもよい。

本開示のさらに他の態様に係る医療画像処理装置において、部位は臓器であり、部位情報は臓器の名称を示す情報であってよい。

本開示の他の態様に係る内視鏡システムは、内視鏡スコープと、少なくとも１つのプロセッサと、を備える内視鏡システムであって、少なくとも１つのプロセッサは、内視鏡スコープを用いて体内を撮影することによって得られる内視鏡画像を取得し、内視鏡画像に写っている被写体の人体における部位を示す部位情報を取得し、内視鏡画像から病変を検出して病変の種別を示す病変種別情報を取得し、部位情報と病変種別情報との矛盾の有無を判定し、判定の結果から部位情報及び病変種別情報の報知態様を決定し、決定した報知態様に従って報知を実行させる報知制御用の信号を生成する。

本開示の他の態様に係る診断支援方法は、少なくとも１つのプロセッサが実施する診断支援方法であって、少なくとも１つのプロセッサが、医療画像を取得することと、医療画像に含まれる観察対象の人体における部位を示す部位情報を取得することと、医療画像から病変を検出して病変の種別を示す病変種別情報を取得することと、部位情報と病変種別情報との矛盾の有無を判定することと、判定の結果に基づき部位情報及び病変種別情報の報知態様を決定することと、決定した報知態様に従ってディスプレイに情報を表示させることと、を含む。

本開示の他の態様に係るプログラムは、コンピュータに、医療画像を取得する機能と、医療画像に写っている被写体の人体における部位を示す部位情報を取得する機能と、医療画像から病変を検出して病変の種別を示す病変種別情報を取得する機能と、部位情報と病変種別情報との矛盾の有無を判定する機能と、判定の結果に基づき部位情報及び病変種別情報の報知態様を決定する機能と、を実現させるためのプログラム。

本発明によれば、観察対象の部位情報と医療画像から検出される病変種別情報とが矛盾している場合に、これら矛盾する情報が報知されてしまう事態を回避するなどの対応が可能となり、妥当な報知の実現により、診断等に有益な情報を提供することが可能になる。

図１は、本発明の実施形態に係る内視鏡システムの外観を例示的に示す斜視図である。 図２は、内視鏡システムの構成例を示すブロック図である。 図３は、第１実施形態に係る医療画像処理装置の機能を示す機能ブロック図である。 図４は、部位と病変種別との関係が記述された対応関係テーブルの例を示す図表である。 図５は、モニタの画面に表示される表示画像の例である。 図６は、比較例の内視鏡システムにおいて想定される不適切な報知が行われた場合の表示画像の例である。 図７は、本実施形態に係る医療画像処理装置によって部位情報を非報知とし、病変種別情報を報知する場合の表示画像の例である。 図８は、本実施形態に係る医療画像処理装置によって病変種別情報を非報知とし、部位情報を報知する場合の表示画像の例である。 図９は、本実施形態に係る医療画像処理装置によって部位情報と病変種別情報との両方の情報を非報知とする場合の表示画像の例である。 図１０は、本実施形態に係る医療画像処理装置によって部位認識の結果と病変検出の結果とに矛盾が発生したことを報知する場合の表示画像の例である。 図１１は、第１実施形態に係る医療画像処理装置のハードウェア構成を例示的に示すブロック図である。 図１２は、第１実施形態に係る医療画像処理装置の動作を示すフローチャートである。 図１３は、第２実施形態に係る医療画像処理装置の要部構成を示す機能ブロック図である。 図１４は、第２実施形態に係る医療画像処理装置のハードウェア構成を例示的に示すブロック図である。 図１５は、第３実施形態に係る医療画像処理装置の機能を示す機能ブロック図である。

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。

《内視鏡システムの概要》
図１は、本発明の実施形態に係る内視鏡システム１０の外観を例示的に示す斜視図である。内視鏡システム１０は、内視鏡スコープ１００と、プロセッサ装置２００と、光源装置３００と、モニタ４００と、を備える。

内視鏡スコープ１００は電子内視鏡であり、例えば軟性内視鏡である。内視鏡スコープ１００は、手元操作部１０２、挿入部１０４、及びユニバーサルケーブル１０６を備える。手元操作部１０２は、アングルノブ１４０、送気送水ボタン１４１、吸引ボタン１４２、機能ボタン１４３、及び撮影ボタン１４４を備える。

アングルノブ１４０は、挿入部１０４における湾曲部１１４の湾曲方向及び湾曲量を指示する湾曲操作に用いられる。アングルノブ１４０は、湾曲部１１４を上下方向に湾曲させる上下アングルノブと、湾曲部１１４を左右方向に湾曲させる左右アングルノブとの２種類のノブを含む。

送気送水ボタン１４１は、送気指示及び送水指示の操作を受け付ける。吸引ボタン１４２は吸引指示の操作を受け付ける。機能ボタン１４３には各種の機能が割り付けられる。機能ボタン１４３は各種機能の指示操作を受け付ける。撮影ボタン１４４は撮影指示操作を受け付ける。「撮影」という用語には、静止画像の撮影及び動画像の撮影の両方の概念が含まれる。撮影指示操作には、静止画像の撮影タイミングを指示する操作、及び動画像の撮影開始タイミングと撮影終了タイミングとを指示する操作が含まれる。

ユーザは、手元操作部１０２を把持して内視鏡スコープ１００を操作し、挿入部１０４を被検体の体内に挿入することにより体内を観察する。ここでの「ユーザ」とは、術者である医師を指す。「被検体」という記載は、患者、被検者あるは被検査者と同義である。

挿入部１０４は、被検体の体内に挿入される部分である。挿入部１０４は、手元操作部１０２に連設されており、手元操作部１０２の側から順に、軟性部１１２、湾曲部１１４及び先端硬質部１１６を備える。

軟性部１１２は、手元操作部１０２と湾曲部１１４との間に設けられる可撓性を有する部分である。湾曲部１１４は、手元操作部１０２の操作によって湾曲可能な機構を含む部分である。ユーザはアングルノブ１４０を操作することにより湾曲部１１４を湾曲させて、先端硬質部１１６の向きを上下左右に変えることができる。

図１には先端硬質部１１６の一部を拡大して図示する。先端硬質部１１６には、撮影レンズ１３２を含む撮像部と、照明用レンズ１２３Ａ，１２３Ｂを含む照明部と、鉗子口１２６とが設けられる。なお、撮像部は図２において符号１３０を付して図示する。また、照明部は図２において符号１２３を付して図示する。

観察及び処置の際には、ユーザによる操作に応じて照明用レンズ１２３Ａ，１２３Ｂを介して白色光及び／又は狭帯域光を照射することができる。狭帯域光には、赤色狭帯域光、緑色狭帯域光、青色狭帯域光、及び紫色狭帯域光のうち少なくとも１つが含まれる。

また、送気送水ボタン１４１が操作された場合、不図示の送水ノズルから洗浄水が放出され、又は不図示の送気ノズルから気体が放出される。洗浄水及び気体は、撮影レンズ１３２及び照明用レンズ１２３Ａ，１２３Ｂ等の洗浄に用いることができる。なお、送水ノズル及び送気ノズルを共通化してもよい。

鉗子口１２６は、挿入部１０４の内部に配置される不図示の処置具挿通路と連通している。処置具挿通路には不図示の処置具が挿通される。手元操作部１０２には処置具を処置具挿通路内に導入するための不図示の処置具導入口が設けられている。処置具としては、例えば、生検鉗子、カテーテル、高周波スネアなどがあり得る。また、処置具には、カイドチューブ、トラカールチューブ、スライディングチューブなども含まれる。処置具は処置具挿通路において適宜進退可能に支持される。腫瘍摘出等の際に、ユーザは処置具を用いて被検体に対して必要な処置を施すことが可能である。

ユニバーサルケーブル１０６は、内視鏡スコープ１００をプロセッサ装置２００及び光源装置３００に接続するためのケーブルである。ユニバーサルケーブル１０６には、挿入部１０４から延設される電気ケーブル及びライトガイドが挿通されている。電気ケーブルには、信号の伝達に用いる通信ケーブルと電力供給に用いる給電ケーブルとが含まれる。内視鏡スコープ１００は、ユニバーサルケーブル１０６を介してプロセッサ装置２００及び光源装置３００と接続される。

なお、内視鏡システム１０は、ユーザからの指示等を入力する入力装置として、手元操作部１０２の他に、不図示のフットスイッチ及び／又は音声入力装置などを備えてもよい。フットスイッチはペダルとケーブルとを備える。フットスイッチのケーブルはプロセッサ装置２００と接続される。

《内視鏡システムの構成例》
図２は、内視鏡システム１０の構成例を示すブロック図である。以下、内視鏡スコープ１００、光源装置３００、及びプロセッサ装置２００の順に、それぞれの構成例について説明する。

〔内視鏡スコープの説明〕
内視鏡スコープ１００は、撮像部１３０と、照明部１２３と、を備える。撮像部１３０は先端硬質部１１６の内部に配置される。撮像部１３０は、撮影レンズ１３２を含む撮影光学系と、撮像素子１３４と、駆動回路１３６と、アナログフロントエンド（ＡＦＥ：Analog Front End）１３８と、を備える。

撮影レンズ１３２は先端硬質部１１６の先端側端面１１６Ａに配置される。撮影レンズ１３２の奥（先端側端面１１６Ａよりも湾曲部１１４に近い側の位置）には撮像素子１３４が配置される。撮像素子１３４は、例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型のイメージセンサである。撮像素子１３４としてＣＣＤ（Charge Coupled Device）型のイメージセンサを適用してもよい。

撮像素子１３４は、例えばカラー撮像素子であり、撮像素子１３４の受光面（撮像面）には不図示のカラーフィルタを備えた複数の受光素子により構成される複数の画素が特定のパターン配列によって２次元配置されている。撮像素子１３４の各画素は、マイクロレンズ、カラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。カラーフィルタとして、例えば、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）を含む原色カラーフィルタが用いられる。カラーフィルタの色パターンの配置形態は、特に限定されず、例えばベイヤー配列などであってよい。

また、撮像素子１３４は、不図示の紫色光源に対応した紫色カラーフィルタ、及び／又は不図示の赤外光源に対応した赤外用フィルタを備えた画素を含んでいてもよい。

駆動回路１３６は、プロセッサ装置２００から送信される制御信号に基づき、撮像素子１３４の動作に必要な各種のタイミング信号を撮像素子１３４へ供給する。

観察対象である被写体の光学像は、撮影レンズ１３２を介して撮像素子１３４の受光面に結像される。撮像素子１３４は、被写体の光学像を電気信号へ変換する。撮像素子１３４から出力される電気信号はアナログフロントエンド１３８による処理を経てデジタル画像信号に変換される。

アナログフロントエンド１３８はアンプ、フィルタ及びアナログデジタル変換器を備える。アナログフロントエンド１３８は、撮像素子１３４の出力信号に対して、増幅、ノイズ除去及びアナログデジタル変換等の処理を施す。アナログフロントエンド１３８の出力信号はプロセッサ装置２００へ送られる。なお、撮像素子１３４、駆動回路１３６、及びアナログフロントエンド１３８は、モノリシック集積回路として構成することができ、これらの各回路素子は、１つの撮像チップに搭載され得る。

照明部１２３は、照明用レンズ１２３Ａ，１２３Ｂを備える。照明用レンズ１２３Ａ，１２３Ｂは、先端硬質部１１６の先端側端面１１６Ａにおいて撮影レンズ１３２の隣接位置に配置される。照明用レンズ１２３Ａ，１２３Ｂの奥に、ライトガイド１７０の射出端が配置される。

ライトガイド１７０は、図１に示す挿入部１０４、手元操作部１０２及びユニバーサルケーブル１０６に挿通される。ライトガイド１７０の入射端は、ユニバーサルケーブル１０６の端部に設けられたライトガイドコネクタ１０８の内部に配置される。

〔光源装置の説明〕
光源装置３００は、ライトガイドコネクタ１０８を介してライトガイド１７０へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。なお、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。観察範囲に照射する照明光は観察光と呼ばれる場合がある。

光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０及び光源制御部３５０を備える。光源装置３００は、ライトガイド１７０へ観察光を入射させる。光源３１０は、赤色光源３１０Ｒ、緑色光源３１０Ｇ及び青色光源３１０Ｂを備える。赤色光源３１０Ｒ、緑色光源３１０Ｇ及び青色光源３１０Ｂはそれぞれ、赤色、緑色及び青色の狭帯域光を放出する。

光源３１０は、赤色、緑色及び青色の狭帯域光を任意に組み合わせた観察光を生成し得る。例えば、光源３１０は赤色、緑色及び青色の狭帯域光を組み合わせて白色光を生成し得る。また、光源３１０は赤色、緑色及び青色の狭帯域光の任意の二色を組み合わせて狭帯域光を生成し得る。

光源３１０は赤色、緑色及び青色の狭帯域光の任意の一色を用いて狭帯域光を生成し得る。光源３１０は、白色光又は狭帯域光を選択的に切り替えて放出し得る。なお、狭帯域光は特殊光と同義である。光源３１０は、赤外光を放出する赤外光源及び紫外光を放出する紫外光源等を備え得る。

光源３１０は、白色光を放出する白色光源、白色光を通過させるフィルタ及び狭帯域光を通過させるフィルタを備える態様を採用し得る。かかる態様の光源３１０は、白色光を通過させるフィルタ及び狭帯域光を通過させるフィルタを切り替えて、白色光又は狭帯域光のいずれかを選択的に放出し得る。

狭帯域光を通過させるフィルタは、異なる帯域に対応する複数のフィルタが含まれ得る。光源３１０は、異なる帯域に対応する複数のフィルタを選択的に切り替えて、帯域が異なる複数の狭帯域光を選択的に放出し得る。

光源３１０は、観察対象の種類及び観察の目的等に応じた、種類及び波長帯域等を適用し得る。光源３１０の種類の例として、レーザ光源、キセノン光源及びＬＥＤ（Light-Emitting Diode）光源等が挙げられる。

光源装置３００にライトガイドコネクタ１０８が接続されることにより、ライトガイド１７０の入射端が集光レンズ３４０の出射光の光路上に配置される。光源３１０から放出された観察光は、絞り３３０及び集光レンズ３４０を介して、ライトガイド１７０の入射端へ到達する。観察光はライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。

光源制御部３５０は、プロセッサ装置２００から送信される指示信号に基づき、光源３１０及び絞り３３０へ制御信号を送信する。光源制御部３５０は、光源３１０から放出される観察光の照度、観察光の切り替え及び観察光のオンオフ等を制御する。

〔プロセッサ装置２００の構成〕
プロセッサ装置２００は、画像入力コントローラ２０２、画像処理部２０４、通信制御部２０５、ビデオ出力部２０６、及び記憶部２０７を備える。また、プロセッサ装置２００は、ＣＰＵ２１０、ＲＯＭ２１１、ＲＡＭ２１２、操作部２０８、音声処理部２０９及びスピーカ２０９Ａを備える。

画像入力コントローラ２０２は、内視鏡スコープ１００から撮像信号を取得する。画像処理部２０４は、画像入力コントローラ２０２を介して取得された撮像信号を処理することにより、観察対象の内視鏡画像を生成する。なお、「画像」という用語は、画像自体及び画像を表す画像データの意味を含む。画像は動画像及び静止画像の両方の概念を含む。内視鏡スコープ１００から出力される撮像信号は「内視鏡画像」の一態様と理解してよい。

画像処理部２０４は、入力された撮像信号に対してホワイトバランス処理及びシェーディング補正処理等のデジタル信号処理を適用した画質補正を実施し得る。画像処理部２０４は、画像処理専用のデジタル信号処理回路を用いて構成されてよい。また、画像処理部２０４の処理機能の一部又は全部は、ＣＰＵ２１０がプログラムを実行することによって実現されてもよい。画像処理部２０４は、内視鏡スコープ１００から得られる撮像信号を基に、１つ又は複数の分光画像を生成することが可能である。また、画像処理部２０４は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を内視鏡画像へ付加してもよい。

記憶部２０７は、内視鏡スコープ１００を用いて生成された内視鏡画像を記憶する。記憶部２０７は、内視鏡画像に付帯する各種情報（付帯情報）を記憶し得る。

ビデオ出力部２０６は、画像処理部２０４を用いて生成された画像を含む各種の表示信号をモニタ４００へ送信する。モニタ４００は、ビデオ出力部２０６から出力される表示信号に従い観察対象の画像等を表示する。

通信制御部２０５は、病院内ローカルエリアネットワーク（ＬＡＮ：Local Area Network）及び病院内システム（ＨＩＳ：Hospital Information System）等を介して通信可能に接続される装置との通信を制御する。通信制御部２０５はＤＩＣＯＭ規格に準拠した通信プロトコルを適用し得る。

ＣＰＵ２１０は、プロセッサ装置２００内の各部を制御し、かつ内視鏡システム１０の全体を統括的に制御する全体制御部として機能する。ＣＰＵ２１０は、ＲＯＭ（Read Only Memory）２１１及びＲＡＭ（Random Access Memory）２１２を制御するメモリコントローラとして機能する。ＲＯＭ２１１には、プロセッサ装置２００の動作を制御するための各種プログラム及び制御パラメータ等のデータが記憶される。

ＲＡＭ２１２は、各種処理におけるデータの一時記憶領域及びＣＰＵ２１０を用いた演算処理の処理領域に用いられる。ＲＡＭ２１２には、ＣＰＵ２１０により実行されるプログラムが記憶される。ＲＡＭ２１２は、撮像信号や内視鏡画像を取得した際のバッファメモリとして用いることができる。

操作部２０８はユーザの操作を受け付け、ユーザの操作に応じた指示信号を出力する。操作部２０８は、例えばキーボード、マウス、ジョイスティック、タッチパネル、フットスイッチ及び音声入力装置のうちの１つ又は複数の組み合わせを用いて構成される。

ＣＰＵ２１０は、操作部２０８から送信される指示信号（ユーザ入力信号）を取得し、取得したユーザ入力信号に対応する処理や制御を実施する。

音声処理部２０９は、音声として報知される情報を表す音声信号を生成する。スピーカ２０９Ａは、音声処理部２０９を用いて生成された音声信号を音声に変換する。スピーカ２０９Ａから出力される音声の例として、メッセージ、音声ガイダンス及び警告音等が挙げられる。

プロセッサ装置２００は、内視鏡スコープ１００を用いて生成された内視鏡画像、又は通信制御部２０５を介して取得された内視鏡画像に対して各種の処理を実施し、内視鏡画像及び内視鏡画像に付帯する各種情報をモニタ４００へ表示させる。また、プロセッサ装置２００は、内視鏡画像及び内視鏡画像に付帯する各種情報を記憶部２０７に記憶することができる。

また、プロセッサ装置２００には、ＡＩを用いた内視鏡画像の診断支援システムが実装されている。詳細は後述するが、プロセッサ装置２００は、観察対象の内視鏡画像が人体のどの部位を写した画像であるかを示す部位情報を取得する部位情報取得機能と、内視鏡画像から病変を検出して病変種別情報を取得する病変検出機能と、を備え、さらに、部位情報と病変種別情報との整合性を判定してこれら情報の報知態様を制御する機能を備える。プロセッサ装置２００は、本開示における「医療画像処理装置」の一例である。モニタ４００は、本開示における「ディスプレイ」の一例である。

《第１実施形態に係る医療画像処理装置の概要》
図３は、本発明の第１実施形態に係る医療画像処理装置２０の機能を示す機能ブロック図である。医療画像処理装置２０は、画像取得部２２と、部位情報取得部２４と、病変検出部２６と、整合性判定部２８と、報知態様決定部３０と、表示制御部３２と、テーブル記憶部３４と、を備える。

画像取得部２２は、内視鏡スコープ１００を用いて撮影された内視鏡画像１８を取得する。内視鏡画像１８は、内視鏡スコープ１００から出力された撮像信号によって表される画像であってもよいし、図２に示す画像処理部２０４による処理が施されて生成された画像であってもよい。

図２に示す画像入力コントローラ２０２は画像取得部２２として機能し得る。なお、画像取得部２２は、通信回線を介して外部装置から内視鏡画像１８を取り込むための通信インターフェースを含んで構成されてもよいし、メモリカード等の可搬型情報記憶媒体に記憶された内視鏡画像を取り込むメディアインターフェースを含んで構成されてもよい。図２に示す通信制御部２０５は画像取得部２２として機能し得る。

また、画像取得部２２は、図２に示すプロセッサ装置２００の内部の処理回路から内視鏡画像１８の入力を受け付けるデータ入力インターフェース及び／又はデータ入力端子であってもよい。例えば、画像取得部２２は、図２の画像処理部２０４が生成した内視鏡画像１８の入力を受ける端子であってよい。内視鏡画像１８は本開示における「医療画像」の一例である。

画像取得部２２は、内視鏡スコープ１００によって撮影された時系列のフレーム画像１８Ｂから構成される動画像１８Ａを取得し得る。また、画像取得部２２は、動画像１８Ａの撮影中にユーザから静止画像撮影指示が入力されて静止画像１９の撮影が実施された場合に、静止画像撮影指示に応じて撮影された静止画像１９を取得し得る。

部位情報取得部２４は、画像取得部２２を介して取得された内視鏡画像１８に写っている被写体の人体における部位を示す部位情報を取得する処理部である。ここでいう「部位」とは、例えば、食道、胃、あるいは十二指腸などといった人体の臓器であり、部位情報は臓器の名称に対応したラベルであってよい。

部位情報取得部２４には、画像認識によって部位情報を取得する部位認識器を用いることができる。部位認識器は、内視鏡画像１８の観察シーンを認識して内視鏡画像１８に写っている部位のラベルを付与する画像分類の処理を行う。部位認識器は、例えば、深層学習などの機械学習によって学習されたニューラルネットワーク等の学習済みモデルを用いて構成される。

部位情報取得部２４は、内視鏡画像１８を入力とし、部位ラベルを出力するように機械学習された学習済みの畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いて構成することができる。部位情報取得部２４は、内視鏡画像１８から部位の認識を行うＡＩ処理部と理解してよい。部位情報取得部２４に適用されるニューラルネットワークは本開示における「第１のニューラルネットワーク」の一例である。

部位情報取得部２４は、内視鏡画像１８の入力を受けて、認識結果（推論結果）としての部位情報とその信頼度を示す情報とを出力する。信頼度を示す情報は、認識した部位（クラス）の確からしさ（確信度）を示すスコアの値、若しくはそのスコアの値を反映して算出されたクラス所属確率などであってもよい。部位情報取得部２４において得られた情報は、整合性判定部２８に送られる。部位情報取得部２４は、時系列に取得される複数のフレーム画像１８Ｂの一部又は全部について、フレーム画像ごとに部位の認識処理を実施し得る。

病変検出部２６は、画像取得部２２を介して取得された内視鏡画像に写っている病変を検出し、病変の位置を示す情報と、病変の種別を示す病変種別情報とを生成する処理部である。ここでいう病変の位置を示す情報は、内視鏡画像の画像内から抽出された病変の画像領域を示す病変領域情報であってもよいし、病変領域の位置を示す病変位置情報であってもよく、これらの組み合わせであってもよい。病変種別情報は、例えば、扁平上皮癌、あるいは、胃潰瘍などといった病変の種別に対応した病変種別ラベルであってよい。

病変検出部２６には、内視鏡画像から病変の位置を認識し、かつ、その病変をクラス分類して病変種別のラベルを付与する物体検出タスクを行う病変検出器を用いることができる。病変検出器は、例えば、深層学習などの機械学習によって学習されたニューラルネットワーク等の学習済みモデルを用いて構成される。

病変検出部２６は、内視鏡画像を入力として病変種別のラベルを出力するように機械学習された学習済みの畳み込みニューラルネットワークを用いて構成することができる。病変検出部２６における物体検出アルゴリズムには、例えば、Ｒ－ＣＮＮ(Regions with CNN features)、あるいはＦａｓｔｅｒ Ｒ－ＣＮＮ（Region-Based Convolutional Neural Networks）などのアルゴリズムを用いることができる。病変検出部２６に適用されるニューラルネットワークは本開示における「第２のニューラルネットワーク」の一例である。

病変検出部２６は、内視鏡画像１８から病変領域の抽出と病変種別の多クラス分類とを行うＡＩ処理部と理解してよい。病変検出部２６は、内視鏡画像１８の入力を受けて、認識結果（推論結果）としての病変位置情報と病変種別情報と、これらの信頼度を示す情報と、を出力する。病変検出部２６において得られた病変の情報は、整合性判定部２８に送られる。病変検出部２６は、時系列に取得される複数のフレーム画像１８Ｂの一部又は全部について、フレーム画像１８Ｂごとに部位の病変検出処理を実施し得る。

整合性判定部２８は、部位情報取得部２４から取得される部位情報と、病変検出部２６から取得される病変種別情報との矛盾の有無を判定する処理部である。整合性判定部２８は、テーブル記憶部３４に記憶されている対応関係テーブルＴＢを用いて、部位情報と病変種別情報との関係に矛盾がないかどうかを判定する。対応関係テーブルＴＢは、複数種類の部位と部位ごとの病変種別との対応関係が記述されたテーブルである。このような対応関係テーブルＴＢは医学的知識に基づいて作成されている。

テーブル記憶部３４は、対応関係テーブルＴＢを記憶しておく記憶領域を含む記憶装置であり、例えば、半導体メモリ及び／又はハードディスク装置などのコンピュータ可読媒体を用いて構成される。テーブル記憶部３４には、整合性判定部２８での判定処理の際に用いられる対応関係テーブルＴＢが記憶されている。

図４に対応関係テーブルＴＢの例を示す。図４には、部位の分類ラベルとしての「食道」と「胃」の２種類の部位について、それぞれの部位にて検出される可能性がある病変種別の情報がテーブル化されているテーブルデータの例が示されている。「食道」に対応付けされた「バレット腺癌」、「扁平上皮癌」、「食道裂孔ヘルニア」、及び「逆流性食道炎」などの病変種別は、対象の部位が食道である場合に限って検出され得る病変である。

また、「胃」に対応付けされた「胃がん」、「胃潰瘍」、「過形成ポリープ」、及び「胃底腺ポリープ」などの病変種別は、対象の部位が胃である場合に限って検出され得る病変である。

図３に示す整合性判定部２８は、部位情報取得部２４から得られる部位情報と病変検出部２６から得られる病変種別情報との情報のセットを作成し、この情報のセットを対応関係テーブルＴＢと照合することにより、部位情報と病変種別情報との組み合わせに矛盾がないかどうかを判定する。

部位情報取得部２４から得られる部位情報と病変検出部２６から得られる病変種別情報との情報の組み合わせが対応関係テーブルＴＢに含まれている場合、整合性判定部２８は「部位情報と病変種別情報とが矛盾しない（整合している）」と判定する。その一方、部位情報取得部２４から得られる部位情報と病変検出部２６から得られる病変種別情報との情報の組み合わせが対応関係テーブルＴＢに含まれていない場合、整合性判定部２８は「部位情報と病変種別情報とが矛盾している（不整合である）」と判定する。

報知態様決定部３０は、整合性判定部２８の判定結果に基づき部位情報及び病変種別情報の報知態様を決定する処理部である。報知態様決定部３０は、矛盾する情報の組み合わせがそのまま報知されることがないように、報知態様を制御する。報知態様決定部３０は、矛盾する情報の組み合わせが発生した場合に、例えば、予め定められたルールに従い、部位情報及び病変種別情報のうち少なくとも一方の情報を非報知とすることを決定する。

表示制御部３２は、報知態様決定部３０が決定した報知態様に従ってモニタ４００の表示内容を制御する。すなわち、表示制御部３２は、モニタ４００への表示出力に必要な表示信号を生成する。表示信号には、内視鏡画像１８を表す表示信号の他、部位情報及び病変種別情報に関する報知を行うための表示信号が含まれる。表示信号は本開示における「報知制御用の信号」の一例である。表示制御部３２は、表示信号をモニタ４００へ出力する。モニタ４００は表示信号に従い、内視鏡画像１８等を表示する。表示制御部３２は、図２に示すビデオ出力部２０６に対応する。

また、図２に示すＣＰＵ２１０は、部位情報取得部２４、病変検出部２６、及び整合性判定部２８として機能し得る。図２に示す画像処理部２０４及びＣＰＵ２１０の組み合わせが部位情報取得部２４、病変検出部２６、及び整合性判定部２８の機能を適宜分担して実施してもよい。

《報知態様の具体例》
図５は、モニタ４００の画面４０に表示される表示画像の例である。ここではビデオ軟性胃十二指腸鏡を用いて撮影された内視鏡画像の例を示す。図５は、食道を観察しているときの観察画像の例である。モニタ４００の画面４０は、観察画像表示領域４２と、部位情報報知領域４４と、病変情報報知領域４６と、を有する。

観察画像表示領域４２は、観察画像である内視鏡画像が表示される領域である。観察画像表示領域４２には、内視鏡検査中に内視鏡スコープ１００によって撮影されている内視鏡画像の動画像がリアルタイムに表示される。図５では、内視鏡画像の画像内から病変ＬＳが検出された場合の例が示されている。病変ＬＳが検出されると、観察画像表示領域４２には、内視鏡画像内における病変ＬＳの領域を囲むバウンディングボックスＢＢが内視鏡画像に重畳表示される。バウンディングボックスＢＢは、病変ＬＳの位置を強調表示して報知する態様の一例である。バウンディングボックスＢＢの表示は、図５に示すに四角形の四隅を示すＬ字形の折れ線の組み合わせであってもよいし、四角形の枠線であってもよい。

画面４０内において観察画像表示領域４２の脇に、部位情報報知領域４４と病変情報報知領域４６とが設けられる。部位情報報知領域４４は、部位情報を報知する表示領域である。部位情報報知領域４４には、部位情報取得部２４による認識結果である部位情報が文字情報として表示される。病変情報報知領域４６は、病変種別情報を報知する表示領域である。病変情報報知領域４６には、病変検出部２６によって検出された病変ＬＳの病変種別情報が文字情報として表示される。

病変ＬＳが存在している部位と、病変種別との対応関係が整合している場合（矛盾していない場合）は、図５に示すように、観察画像の脇に、部位情報と病変種別情報との両方の情報が表示される。ここでは、医療画像処理装置２０によって認識された部位が「食道」であり、検出された病変が「扁平上皮癌」である例が示されている。「食道」と「扁平上皮癌」の組み合わせは、対応関係テーブルＴＢ（図４）に記載されており、両者は矛盾していないものである。

なお、図５では、観察画像表示領域４２の右上に部位情報を表示させ、観察画像表示領域４２の右下に病変種別情報を表示させているが、これらの情報を表示させる位置は図５の例に限らない。部位情報及び病変種別情報の報知は観察画像と重ならない位置に行うことが好ましい。

〈認識ミスが発生した場合に想定される課題の説明〉
図６は、比較例の内視鏡システムにおいて想定される不適切な報知が行われた場合の表示画像の例である。比較例の内視鏡システムは、図３で説明した整合性判定部２８、報知態様決定部３０、テーブル記憶部３４を備えていない構成であり、部位情報取得部２４の認識結果と病変検出部２６の検出結果とがそれぞれ独立にそのままモニタ４００に示される構成であるとする。

このような比較例に係る内視鏡システムにおいて、例えば、部位情報取得部２４が部位認識を誤り、誤った認識結果を出力した場合、図６に示すように、報知される部位情報と病変種別情報とが矛盾することがある。図６は、胃を観察しているときの観察画像の例である。すなわち、部位認識の結果は「食道」であるが、病変検出部２６は「胃がん」と認識することがあり得る。

〈本実施形態に係る医療画像処理装置２０よる報知態様の例〉
図６で説明したような矛盾する情報を含む不適切な報知を回避するため、本実施形態に係る医療画像処理装置２０においては、上述のような情報の矛盾が生じた場合に、例えば次のように動作する。

［例１］報知態様決定部３０は、部位情報と病変種別情報とに矛盾が生じた場合に、部位情報の信頼度と病変種別情報の信頼度とを比較し、信頼度の低い方の情報を非報知とし、信頼度の高い方の情報のみを報知することを決定する。

［例２］報知態様決定部３０は、部位情報と病変種別情報とに矛盾が生じた場合に、部位情報を非報知とし、病変種別情報を報知することを決定する。

［例３］報知態様決定部３０は、部位情報と病変種別情報とに矛盾が生じた場合に、部位情報の信頼度と病変種別情報の信頼度とのそれぞれを基準値と比較し、両方の信頼度が基準値以下の低い信頼度である場合に、部位情報及び病変種別情報の両方の情報を非報知とすることを決定する。

［例４］報知態様決定部３０は、部位情報と病変種別情報とに矛盾が生じた場合に、矛盾が起こったことを報知することを決定する。なお、例４のアルゴリズムに基づく報知は例１から例３のいずれか１つの態様と組み合わせて実施することができる。

図７は、本実施形態に係る医療画像処理装置によって部位情報を非報知とし、病変種別情報を報知する場合の表示画像の例である。図７においては、部位情報が非報知となっていることを明示するために、部位情報報知領域４４を四角形の囲み枠で示して部位情報報知領域４４がブランクであることを図示しているが、実際の画面４０においては囲み枠の表示は不要である。図８及び図９においても同様である。

図８は、本実施形態に係る医療画像処理装置２０によって病変種別情報を非報知とし、部位情報を報知する場合の表示画像の例である。

図９は、本実施形態に係る医療画像処理装置２０によって部位情報と病変種別情報との両方の情報を非報知とする場合の表示画像の例である。

図１０は、本実施形態に係る医療画像処理装置２０によって部位認識の結果と病変検出の結果とに矛盾が発生したことを報知する場合の表示画像の例である。図１０に示す例では、部位情報及び病変種別情報のうち信頼度が低い部位情報が非報知となり、部位情報の報知に代わって、部位情報報知領域４４に「認識不能」という文字情報が表示されている。

本実施形態に係る医療画像処理装置２０によれば、矛盾する情報の報知が回避され、ユーザに対して有益な診断支援が可能となる。

なお、医療画像処理装置２０は、プロセッサ装置２００に搭載される形態に限らず、プロセッサ装置２００とは別の情報処理装置に適用することが可能である。例えば、医療画像処理装置２０の処理機能は、病院内ネットワークに接続されている画像処理サーバなどに実装されてもよい。

《医療画像処理装置２０のハードウェア構成の例》
図１１は、医療画像処理装置２０のハードウェア構成を例示的に示すブロック図である。医療画像処理装置２０は、１台又は複数台のコンピュータを用いて構成されるコンピュータシステムによって実現することができる。すなわち、医療画像処理装置２０は、コンピュータにプログラムをインストールすることにより実現される。

医療画像処理装置２０は、プロセッサ２２２、非一時的な有体物であるコンピュータ可読媒体２２４、画像入力インターフェース２２５、画像処理プロセッサ２２６、通信インターフェース２２７、入出力インターフェース２２８、及びバス２３０を備える。

プロセッサ２２２はＣＰＵを含む。プロセッサ２２２はＧＰＵ（Graphics Processing Unit）を含んでもよい。プロセッサ２２２は、バス２３０を介してコンピュータ可読媒体２２４、画像入力インターフェース２２５、画像処理プロセッサ２２６、通信インターフェース２２７、及び入出力インターフェース２２８と接続される。医療画像処理装置２０は、入力装置２３４と表示装置２３６とをさらに備えてもよい。入力装置２３４及び表示装置２３６は入出力インターフェース２２８を介してバス２３０に接続される。

コンピュータ可読媒体２２４は、主記憶装置であるメモリ及び補助記憶装置であるストレージを含む。コンピュータ可読媒体２２４は、例えば、半導体メモリ、ハードディスク（ＨＤＤ：Hard Disk Drive）装置、若しくはソリッドステートドライブ（ＳＳＤ：Solid State Drive）装置又はこれらの複数の組み合わせであってよい。

画像入力インターフェース２２５は、図３に示す画像取得部２２として機能し得る。医療画像処理装置２０は、画像入力インターフェース２２５を介して内視鏡スコープ１００と接続される。

画像処理プロセッサ２２６は、図２に示す画像処理部２０４に相当する画像処理専用のプロセッサである。

通信インターフェース２２７は、図２に示す通信制御部２０５に相当する。医療画像処理装置２０は、通信インターフェース２２７を介して不図示の通信回線に接続される。通信回線は、例えば、病院内に構築されるローカルエリアネットワーク（ＬＡＮ：Local Area Network）であってよい。病院内の通信ネットワークを病院内ネットワークという。病院内ネットワークは、ルーターを介してさらにインターネットなどのワイドエリアネットワークと接続されてもよい。病院内ネットワークには、ＰＡＣＳ（Picture Archiving and Communication Systems）サーバなどの画像保存サーバ５００が接続される。

ＰＡＣＳサーバは、各種モダリティを用いて撮影された医療画像を含む各種データを保存して管理するコンピュータであり、大容量外部記憶装置及びデータベース管理用ソフトウェアを備えている。ＰＡＣＳサーバは、病院内ネットワークを介して他の装置と通信を行い、画像データを含む各種データを送受信する。ＰＡＣＳサーバは、ＤＩＣＯＭのプロトコルに基づいて動作するＤＩＣＯＭサーバであってよい。

医療画像処理装置２０は、通信インターフェース２２７を介して接続された画像保存サーバ５００から内視鏡画像を取得してもよい。

コンピュータ可読媒体２２４には、診断支援プログラム２４０と、対応関係テーブルＴＢと、表示制御プログラム２５２と、が記憶される。診断支援プログラム２４０は、部位認識モジュール２４４と、病変検出モジュール２４６と、整合性判定アルゴリズム２４８と、報知態様決定アルゴリズム２５０と、を含む。部位認識モジュール２４４は、図３で説明した部位情報取得部２４としての処理をプロセッサ２２２に実行させるための命令を含むプログラムモジュールである。

病変検出モジュール２４６は、図３で説明した病変検出部２６としての処理をプロセッサ２２２に実行させるための命令を含むプログラムモジュールである。病変検出モジュール２４６は、内視鏡画像１８から病変の領域を検出する領域検出アルゴリズム２４６Ａと、内視鏡画像１８から検出された病変を分類して病変種別のラベルを付与するクラス分類のタスクを行う種別分類アルゴリズム２４６Ｂと、を含む。ここでの「アルゴリズム」とは、プロセッサ２２２に実行させるための命令を含むプログラムの構成要素である。

領域検出アルゴリズム２４６Ａと種別分類アルゴリズム２４６Ｂのそれぞれがプログラムモジュールとして構成されてもいし、領域検出アルゴリズム２４６Ａと種別分類アルゴリズム２４６Ｂとが一体的に構成されたプログラムモジュールとして実装されてもよい。

整合性判定アルゴリズム２４８は、図３で説明した整合性判定部２８としての処理をプロセッサ２２２に実行させるための命令を含む。報知態様決定アルゴリズム２５０は、図３で説明した報知態様決定部３０としての処理をプロセッサ２２２に実行させるための命令を含む。

表示制御プログラム２５２は、図３で説明した表示制御部３２としての処理をプロセッサ２２２に実行させるための命令を含むプログラムである。表示制御プログラム２５２の一部又は全部は診断支援プログラム２４０の中に組み込まれていてもよい。

また、コンピュータ可読媒体２２４には、図３で説明した画像処理部２０４としての処理の一部又は全部をプロセッサ２２２に実行させるための命令を含む不図示の画像処理プログラムが記憶されていてよい。

入力装置２３４は、図２に示す操作部２０８に相当する。入力装置２３４は、例えば、キーボード、マウス、タッチパネル、フットスイッチ、若しくは、音声入力装置、又はこれらの適宜の組み合わせであってよい。ユーザは、入力装置２３４を操作することにより、各種の指示を入力することができる。

表示装置２３６は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組み合わせであってよい。表示装置２３６は、認識結果の他、処理の対象となった画像、及び、処理に必要な各種設定情報などの各種情報を表示し得る。表示装置２３６は、図２に示すモニタ４００に相当する。表示装置２３６は、本開示における「ディスプレイ」の一例である。

図１２は、第１実施形態に係る医療画像処理装置２０の動作を示すフローチャートである。図１２のフローチャートの各ステップはプロセッサ２２２がプログラムを実行することによって実施される。

ステップＳ１２の画像取得工程において、プロセッサ２２２は内視鏡画像を取得する。

ステップＳ１４の部位情報取得工程において、プロセッサ２２２は観察対象の部位を認識して部位情報を取得する。

ステップＳ１６の病変検出工程において、プロセッサ２２２は内視鏡画像から病変を検出する処理を行い、病変が検出された場合にその病変種別情報を取得する。プロセッサ２２２は、ステップＳ１４の処理とステップＳ１６の処理とを並列に、それぞれ独立して実施し得る。

ステップＳ１８の整合性判定工程において、プロセッサ２２２はステップＳ１４から得られる部位情報とステップＳ１６から得られる病変種別情報との矛盾の有無を判定する。

ステップＳ２０の報知態様決定工程において、プロセッサ２２２はステップＳ１８の判定結果に応じて、部位情報及び病変種別情報の報知態様を決定する。報知態様を決定するアルゴリズムは、既述した［例１］から［例４］のうちのいずれか１つ又は複数の組み合わせであってよい。

ステップＳ２２の表示信号生成工程において、プロセッサ２２２はステップＳ２０にて決定した報知態様の報知を実現するための表示信号を生成する。

ステップＳ２４のモニタ出力工程において、プロセッサ２２２はステップＳ２２にて生成された表示信号をモニタ４００に送信する。これにより、モニタ４００の画面４０において、部位情報及び病変種別情報についての適切な報知態様による報知が行われる。

図１２のフローチャートに示される医療画像処理装置２０の作動方法は、医療画像処理装置２０が実施する診断支援方法と理解してよいし、医療画像処理装置２０が実施する画像処理方法と理解してもよい。

《第２実施形態》
図１３は、第２実施形態に係る医療画像処理装置２０Ｂの要部構成を示す機能ブロック図である。図１３において、図１から図３及び図１１に示す構成と同一又は類似の要素には同一の符号を付し、その説明を省略する。第１実施形態との相違点を説明する。

図１３に示す医療画像処理装置２０Ｂは、病変検出部２６として、観察対象とする部位ごとに複数の病変検出部を備えている例である。ここでは上部消化器官内視鏡検査への適用を想定し、病変検出部２６は、食道の病変検出部２６１と、胃の病変検出部２６２と、十二指腸の病変検出部２６３と、を備えている。それぞれの病変検出部は、各部位における病変の検出を行うよう学習された学習済みのニューラルネットワークを用いた病変検出器であってよい。

食道の病変検出部２６１、胃の病変検出部２６２、及び十二指腸の病変検出部２６３のそれぞれが並列に（独立して）病変の検出処理を実行し、検出結果を出力する。

整合性判定部２８は、部位情報取得部２４から得られる部位ラベルが示す部位情報と、食道の病変検出部２６１、胃の病変検出部２６２、及び十二指腸の病変検出部２６３のそれぞれから得られる検出結果としての病変種別ラベルが示す病変種別情報との整合性をそれぞれ判定する。

報知態様決定部３０は、整合性判定部２８の判定結果に基づき部位情報及び病変種別情報に関する報知態様を決定する。

図１４は、第２実施形態に係る医療画像処理装置２０Ｂのハードウェア構成の例を示すブロック図である。図１４において、図１１に示す構成と同一又は類似の要素には同一の符号を付し、その説明は省略する。

図１４に示す医療画像処理装置２０Ｂは、病変検出モジュール２４６が部位ごとに用意された複数の病変検出モジュールを含んで構成される。図１４における病変検出モジュール２４６は、食道の病変検出モジュール２７１と、胃の病変検出モジュール２７２と、十二指腸の病変検出モジュール２７３と、を含む。部位ごとに用意されたこれら複数の病変検出モジュールのそれぞれは、対象とする部位の内視鏡画像から病変の領域を検出する領域検出アルゴリズムと、病変を分類して病変種別のラベルを付与する種別分類アルゴリズムと、を含んで構成される。

なお、図１３及び図１４では、食道、胃、及び十二指腸の各部位について部位ごとの病変検出部（病変検出モジュール）を備える例を説明したが、部位の種類とその組み合わせはこの例に限らない。内視鏡の検査が行われる他の部位として、例えば、大腸、小腸、直腸、膵管、胆道、胸腔、気管支、耳、鼻、喉、脳など、様々な部位があり得る。

《第３実施形態》
図１５は、第３実施形態に係る医療画像処理装置２０Ｃの機能を示す機能ブロック図である。図１５において、図３に示す構成と同一又は類似する要素には同一の符号を付し、その説明は省略する。

第１実施形態及び第２実施形態においては、内視鏡画像１８の画像認識に基づいて部位情報を取得する例を説明したが、部位情報を取得する方法は画像認識によるものに限らない。

図１５に示す医療画像処理装置２０Ｃは、挿入位置検出装置２３を用いて体内における内視鏡スコープ１００の挿入位置を示す情報を取得し、この挿入位置情報から部位情報を取得する。医療画像処理装置２０Ｃは、挿入位置検出装置２３から得られる挿入位置情報を基に部位情報を取得する部位情報取得部２５を備える。

挿入位置検出装置２３は、内視鏡スコープ１００に内蔵された位置検出センサであってもよいし、内視鏡挿入形状観測装置（ＵＰＤ：Endoscope Position Detecting Unit）などであってもよい。内視鏡挿入形状観測装置は、内視鏡プローブに内蔵されたコイルが発する磁場を内視鏡挿入形状観測装置を用いて受信することにより、被検者の体内における内視鏡プローブの挿入形状を把握できるシステムである。内視鏡挿入形状観測装置を用いることにより、体内における内視鏡プローブの挿入位置、つまり、観察中の場所を把握することができる。このような内視鏡プローブの挿入位置の情報を利用して観察対象の部位を推定することが可能である。

部位情報取得部２５は、例えば、挿入位置情報と部位情報との対応関係を定めたテーブル等を用いて部位情報を取得する構成であってよい。その他の構成については第１実施形態及び第２実施形態と同様であってよい。

《各処理部及び制御部のハードウェア構成について》
図２で説明した画像処理部２０４、通信制御部２０５、及び光源制御部３５０、図３で説明した画像取得部２２、部位情報取得部２４、病変検出部２６、整合性判定部２８、報知態様決定部３０、及び表示制御部３２、図１３で説明した食道の病変検出部２６１、胃の病変検出部２６２、及び十二指腸の病変検出部２６３、並びに図１５で説明した部位情報取得部２５などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。

各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

《内視鏡システムの観察光について》
観察光は、白色光、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。白色光は、白色の波長帯域の光又は複数の波長帯域の光である。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。

〈第１例〉
特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域内又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。

〈第２例〉
特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下の波長帯域又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍの波長帯域内以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。

〈第３例〉
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍの波長帯域、４７０±１０ｎｍの波長帯域、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域内にピーク波長を有する。

〈第４例〉
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ、且つこの蛍光物質を励起させる励起光の波長帯域、例えば、３９０ｎｍから４７０ｎｍである。

〈第５例〉
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域内又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域内にピーク波長を有する。

《観察光の切り替えについて》
光源の種類は、レーザ光源、キセノン光源、若しくは、ＬＥＤ（Light-Emitting Diode）光源又はこれらの適宜の組み合わせを採用し得る。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ及び／又は切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。

電子内視鏡に用いる撮像素子は、各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、照明光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する照明光の波長を、紫色、青色、緑色、及び赤色の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する照明光の波長を切り替えてもよい。また、１又は複数の狭帯域光を照射してロータリカラーフィルタにより出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光でもよい。

《特殊光画像の生成例》
プロセッサ装置２００は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成には「取得」の概念が含まれる。この場合、プロセッサ装置２００は、特殊光画像取得部として機能する。プロセッサ装置２００は、特定の波長帯域の信号を、通常光画像に含まれる赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）、或いはシアン（Ｃ）、マゼンタ（Ｍ）、及びイエロー（Ｙ）の色情報に基づく演算を行うことで得ることができる。

《特徴量画像の生成例》
プロセッサ装置２００は、医療画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。特徴量画像は医療画像の一形態である。

《蛍光体を利用する照明》
ライトガイド１７０の出射端と、内視鏡スコープ１００の照明用レンズ１２３Ａ，１２３Ｂとの間に、蛍光体が配置されてもよい。例えば、ライトガイド１７０を通った青色レーザ光は蛍光体に照射され、蛍光体を励起状態にすると共に、その一部は蛍光体を透過して青色光として照明用レンズ１２３Ａ，１２３Ｂから出射される。

蛍光体は、青色レーザ光で励起され、光の波長帯域における青色と緑色の境界あたりの波長域から赤色の波長域までの広範囲の光（色としては黄色）を発光する。この黄色光と蛍光体を透過する青色光とが混合されて白色光となり、照明用レンズ１２３Ａ、１２３Ｂを通して被写体を照明する構成であってもよい。なお、蛍光体を透過する青色光には、蛍光体で発光する青色光も一部含む。

蛍光体は、例えば、波長４４５ｎｍの青色レーザ光の照射を受けた場合に黄色光を発光すると共に波長４４５ｎｍの青色光を透過するが、波長４０５ｎｍの青色レーザ光の照射を受けた場合にはその殆どを透過する性質を持つものであってよい。このような蛍光体を用い、光源装置において波長４４５ｎｍの青色レーザ光と波長４０５ｎｍの青色レーザ光との混合割合を制御することで、蛍光体を透過する青色光と、蛍光体で発光する黄色光との割合を制御することが可能である。

《変形例１》
上述の実施形態では、軟性内視鏡である内視鏡スコープ１００を用いる例を説明したが、体内を撮影する内視鏡は、軟性内視鏡に限らず、硬性内視鏡であってもよいし、カプセル内視鏡であってもよい。本開示に係る医療画像処理装置が扱う医療画像は、内視鏡画像に限らず、超音波診断装置など、他の医療画像撮影装置によって生成される画像であってよい。医療画像撮影装置は、例えば、Ｘ線撮影装置、ＣＴ（Computed Tomography）撮影装置、ＭＲＩ（Magnetic Resonance Imaging）撮影装置、及び核医学診断装置のうちの少なくとも１つであってよい。これら各種医療画像撮影装置（モダリティー）を用いて取得される医療画像を処理する装置について、本開示の技術を適用できる。

《変形例２》
本開示の医療画像処理装置は、医師等による診察、治療、又は診断などを支援する診断支援装置として用いることができる。「診断支援」という用語は、診察支援、治療支援、及び病変鑑別支援の概念を含む。

《医療情報管理システムへの応用例》
本開示に係る医療画像処理装置は、図１に例示した内視鏡システム１０のプロセッサ装置２００に適用する形態に限らず、様々な応用が可能である。例えば、医療画像処理装置は、内視鏡画像を含む様々な医療情報を管理する医療情報管理システムに応用することができる。

本開示に係る医療画像処理装置の処理機能が実装された情報管理装置は、例えば、病院内の手術室、検査室、若しくは、カンファレンス室などに設置してもよいし、院外施設の医療機関、若しくは研究機関などに設置してもよい。情報管理装置は、診察、治療、診断などの支援を行うワークステーションであってもよいし、医療業務を支援する業務支援装置であってもよい。業務支援装置は、臨床情報の蓄積、診断書類の作成支援、レポート作成支援などを行う機能を備えていてよい。

《コンピュータに医療画像処理装置の機能を実現させるプログラムについて》
上述の実施形態で説明した医療画像処理装置２０，２０Ｂ，２０Ｃの機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。

また、上述の実施形態で説明した医療画像処理装置の機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。

《実施形態及び変形例等の組み合わせについて》
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

《付記》
本明細書は、上述した各実施形態及び変形例等に加えて、以下に記載の発明の開示を含む。

（付記１）
医療画像処理装置は、医療画像解析処理部と、医療画像解析結果取得部と、を有し、医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

医療画像解析処理部は、画像認識部を含んでよい。

（付記２）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

（付記３）
医療画像解析結果取得部は、医療画像の解析結果を記録する記録装置から取得し、解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、若しくは両方である医療画像処理装置。

（付記４）
医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。

（付記５）
医療画像は、特定の波長帯域の光を照射して得た画像であり、特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。

（付記６）
特定の波長帯域は、可視域の青色若しくは、緑色帯域である医療画像処理装置。

（付記７）
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

（付記８）
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。

（付記９）
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

（付記１０）
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。

（付記１１）
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

（付記１２）
医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。

（付記１３）
蛍光は、ピーク波長が３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。

（付記１４）
医療画像は生体内を写した生体内画像であり、特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。

（付記１５）
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

（付記１６）
医療画像取得部は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、医療画像は特殊光画像である医療画像処理装置。

（付記１７）
特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ或いはＣＭＹの色情報に基づく演算により得る医療画像処理装置。

（付記１８）
白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医療画像は特徴量画像である医療画像処理装置。

（付記１９）
付記１から付記１８のいずれか１つに記載の医療画像処理装置と、白色の波長帯域の光、又は、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、を備える内視鏡装置。

（付記２０）
付記１から付記１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。

（付記２１）
付記１から付記１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。

《その他》
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、又は削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で同等関連分野の通常の知識を有する者により、多くの変形が可能である。

１０ 内視鏡システム
１８ 内視鏡画像
１８Ａ 動画像
１８Ｂ フレーム画像
１９ 静止画像
２０ 医療画像処理装置
２０Ｂ 医療画像処理装置
２０Ｃ 医療画像処理装置
２２ 画像取得部
２３ 挿入位置検出装置
２４，２５ 部位情報取得部
２６ 病変検出部
２８ 整合性判定部
３０ 報知態様決定部
３２ 表示制御部
３４ テーブル記憶部
４０ 画面
４２ 観察画像表示領域
４４ 部位情報報知領域
４６ 病変情報報知領域
１００ 内視鏡スコープ
１０２ 手元操作部
１０４ 挿入部
１０６ ユニバーサルケーブル
１０８ ライトガイドコネクタ
１１２ 軟性部
１１４ 湾曲部
１１６ 先端硬質部
１１６Ａ 先端側端面
１２３ 照明部
１２３Ａ，１２３Ｂ 照明用レンズ
１２６ 鉗子口
１３０ 撮像部
１３２ 撮影レンズ
１３４ 撮像素子
１３６ 駆動回路
１３８ アナログフロントエンド
１４０ アングルノブ
１４１ 送気送水ボタン
１４２ 吸引ボタン
１４３ 機能ボタン
１４４ 撮影ボタン
１７０ ライトガイド
２００ プロセッサ装置
２０２ 画像入力コントローラ
２０４ 画像処理部
２０５ 通信制御部
２０６ ビデオ出力部
２０７ 記憶部
２０８ 操作部
２０９ 音声処理部
２０９Ａ スピーカ
２１０ ＣＰＵ
２１１ ＲＯＭ
２１２ ＲＡＭ
２２２ プロセッサ
２２４ コンピュータ可読媒体
２２５ 画像入力インターフェース
２２６ 画像処理プロセッサ
２２７ 通信インターフェース
２２８ 入出力インターフェース
２３０ バス
２３４ 入力装置
２３６ 表示装置
２４０ 診断支援プログラム
２４４ 部位認識モジュール
２４６ 病変検出モジュール
２４６Ａ 領域検出アルゴリズム
２４６Ｂ 種別分類アルゴリズム
２４８ 整合性判定アルゴリズム
２５０ 報知態様決定アルゴリズム
２５２ 表示制御プログラム
２６１ 食道の病変検出部
２６２ 胃の病変検出部
２６３ 十二指腸の病変検出部
２７１ 食道の病変検出モジュール
２７２ 胃の病変検出モジュール
２７３ 十二指腸の病変検出モジュール
３００ 光源装置
３１０ 光源
３１０Ｂ 青色光源
３１０Ｇ 緑色光源
３１０Ｒ 赤色光源
３３０ 絞り
３４０ 集光レンズ
３５０ 光源制御部
４００ モニタ
５００ 画像保存サーバ
ＴＢ 対応関係テーブル
ＢＢ バウンディングボックス
ＬＳ 病変
Ｓ１２～Ｓ２４ 医療画像処理装置が実施する処理のステップ

Claims (21)

1. 少なくとも１つのプロセッサを有する医療画像処理装置であって、
   前記少なくとも１つのプロセッサは、
   医療画像を取得し、
   前記医療画像に写っている被写体の人体における部位を示す部位情報を取得し、
   前記医療画像から病変を検出して前記病変の種別を示す病変種別情報を取得し、
   前記部位情報と前記病変種別情報との矛盾の有無を判定し、
   前記部位情報と前記病変種別情報とに矛盾があると判定した場合に、前記部位情報と前記病変種別情報とに矛盾がないと判定した場合に対して前記部位情報及び前記病変種別情報の報知態様を異ならせる、
   医療画像処理装置。
2. メモリをさらに備え、
   前記メモリには、複数種類の部位と部位ごとの病変の種別との対応関係を表すテーブルが記憶されており、
   前記少なくとも１つのプロセッサは、前記テーブルを用いて前記部位情報と前記病変種別情報との矛盾の有無を判定する、
   請求項１に記載の医療画像処理装置。
3. 前記メモリには、前記少なくとも１つのプロセッサによって実行される命令が記憶され、
   前記少なくとも１つのプロセッサが前記命令を実行することにより、前記少なくとも１つのプロセッサが前記医療画像の取得、前記部位情報の取得、前記病変種別情報の取得、前記矛盾の有無の判定、及び前記報知態様を異ならせること、を含む処理を行う、
   請求項２に記載の医療画像処理装置。
4. 前記少なくとも１つのプロセッサは、
   前記部位情報と前記病変種別情報とに矛盾がないと判定した場合、前記部位情報及び前記病変種別情報の両方を報知することを決定する、
   請求項１から３のいずれか一項に記載の医療画像処理装置。
5. 前記少なくとも１つのプロセッサは、
   前記部位情報と前記病変種別情報とに矛盾があると判定した場合、前記部位情報及び前記病変種別情報のうち少なくとも一方の情報を非報知とすることを決定する、請求項１から４のいずれか一項に記載の医療画像処理装置。
6. 前記少なくとも１つのプロセッサは、
   前記部位情報と前記病変種別情報とに矛盾があると判定した場合、前記部位情報の信頼度と前記病変種別情報の信頼度とを比較し、前記部位情報及び前記病変種別情報のうち、信頼度が高い方の情報を報知し、低い方の情報を非報知とすることを決定する、
   請求項１から４のいずれか一項に記載の医療画像処理装置。
7. 前記少なくとも１つのプロセッサは、
   前記部位情報と前記病変種別情報とに矛盾があると判定した場合、前記部位情報を非報知とし、前記病変種別情報を報知することを決定する、
   請求項１から４のいずれか一項に記載の医療画像処理装置。
8. 前記少なくとも１つのプロセッサは、
   前記部位情報と前記病変種別情報とに矛盾があると判定した場合、前記部位情報の信頼度及び前記病変種別情報の信頼度のそれぞれを基準値と比較し、前記部位情報の信頼度及び前記病変種別情報の信頼度の両方が前記基準値以下であれば、前記部位情報及び前記病変種別情報の両方を非報知とすることを決定する、
   請求項１から４のいずれか一項に記載の医療画像処理装置。
9. 前記少なくとも１つのプロセッサは、
   前記部位情報と前記病変種別情報とに矛盾があると判定した場合、矛盾が起こったことを報知することを決定する、
   請求項１から８のいずれか一項に記載の医療画像処理装置。
10. 前記少なくとも１つのプロセッサは、
    前記医療画像から前記被写体の前記部位を認識することにより前記部位情報を取得する、
    請求項１から９のいずれか一項に記載の医療画像処理装置。
11. 前記少なくとも１つのプロセッサは、
    前記医療画像を第１のニューラルネットワークに入力することにより前記第１のニューラルネットワークから出力される推論結果が示す前記部位情報を取得し、
    前記医療画像を第２のニューラルネットワークに入力することにより前記第２のニューラルネットワークから出力される推論結果を用いた推論によって前記医療画像の画像内に存在する病変の病変種別情報を取得する、
    請求項１から９のいずれか一項に記載の医療画像処理装置。
12. 前記少なくとも１つのプロセッサは、
    前記第１のニューラルネットワークを用いて前記部位情報の信頼度を示すスコアを取得し、
    前記第２のニューラルネットワークを用いて前記病変種別情報の信頼度を示すスコアを取得する、
    請求項１１に記載の医療画像処理装置。
13. 前記少なくとも１つのプロセッサは、さらに、
    前記異ならせた前記報知態様の報知を実現させる報知制御用の信号を生成する、
    請求項１から１２のいずれか一項に記載の医療画像処理装置。
14. 前記報知制御用の信号は、ディスプレイを用いた表示による報知を実現させる表示信号を含む、
    請求項１３に記載の医療画像処理装置。
15. 前記少なくとも１つのプロセッサが前記異ならせた前記報知態様に従って情報の表示を行う前記ディスプレイをさらに備える、
    請求項１４に記載の医療画像処理装置。
16. 前記少なくとも１つのプロセッサは、
    時系列の前記医療画像を取得する、
    請求項１から１５のいずれか一項に記載の医療画像処理装置。
17. 前記医療画像は、内視鏡を用いて撮影された内視鏡画像である、
    請求項１から１６のいずれか一項に記載の医療画像処理装置。
18. 前記部位は臓器であり、前記部位情報は臓器の名称を示す情報である、請求項１から１７のいずれか一項に記載の医療画像処理装置。
19. 内視鏡スコープと、少なくとも１つのプロセッサと、を備える内視鏡システムであって、
    前記少なくとも１つのプロセッサは、
    前記内視鏡スコープを用いて体内を撮影することによって得られる内視鏡画像を取得し、
    前記内視鏡画像に写っている被写体の人体における部位を示す部位情報を取得し、
    前記内視鏡画像から病変を検出して前記病変の種別を示す病変種別情報を取得し、
    前記部位情報と前記病変種別情報との矛盾の有無を判定し、
    前記部位情報と前記病変種別情報とに矛盾があると判定した場合に、前記部位情報と前記病変種別情報とに矛盾がないと判定した場合に対して前記部位情報及び前記病変種別情報の報知態様を異ならせ、
    前記異ならせた前記報知態様に従って報知を実行させる報知制御用の信号を生成する、
    内視鏡システム。
20. 医療画像処理装置の作動方法であって、
    前記医療画像処理装置は、
    画像取得部と、部位情報取得部と、病変検出部と、整合性判定部と、報知態様決定部と、を備え、
    前記画像取得部が、医療画像を取得するステップと、
    前記部位情報取得部が、前記医療画像に含まれる観察対象の人体における部位を示す部位情報を取得するステップと、
    前記病変検出部が、前記医療画像から病変を検出して前記病変の種別を示す病変種別情報を取得するステップと、
    前記整合性判定部が、前記部位情報と前記病変種別情報との矛盾の有無を判定するステップと、
    前記部位情報と前記病変種別情報とに矛盾があると判定した場合に、前記報知態様決定部が、前記部位情報と前記病変種別情報とに矛盾がないと判定した場合に対して前記部位情報及び前記病変種別情報の報知態様を異ならせるステップと、
    を含む医療画像処理装置の作動方法。
21. コンピュータに、
    医療画像を取得する機能と、
    前記医療画像に写っている被写体の人体における部位を示す部位情報を取得する機能と、
    前記医療画像から病変を検出して前記病変の種別を示す病変種別情報を取得する機能と、
    前記部位情報と前記病変種別情報との矛盾の有無を判定する機能と、
    前記部位情報と前記病変種別情報とに矛盾があると判定した場合に、前記部位情報と前記病変種別情報とに矛盾がないと判定した場合に対して前記部位情報及び前記病変種別情報の報知態様を異ならせる機能と、
    を実現させるためのプログラム。

Images