WO2024202789A1

WO2024202789A1 - 医療支援装置、内視鏡システム、医療支援方法、及びプログラム

Info

Publication number: WO2024202789A1
Application number: PCT/JP2024/006789
Authority: WO
Inventors: 星矢竹之内
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2023-03-28
Filing date: 2024-02-26
Publication date: 2024-10-03
Anticipated expiration: 2025-09-28
Also published as: CN120957648A; JPWO2024202789A1

Abstract

医療支援装置は、プロセッサを備える。プロセッサは、複数の観察対象領域が写っている医用画像に対して認識処理が行われることによって認識された複数の観察対象領域のそれぞれの特性を取得する。プロセッサは、医用画像を第１表示領域に表示する。プロセッサは、医用画像から複数の観察対象領域が個別に抽出された複数の抽出画像を特性に応じて、第１表示領域外の第２表示領域に表示する。

Description

医療支援装置、内視鏡システム、医療支援方法、及びプログラム

　本開示の技術は、医療支援装置、内視鏡システム、医療支援方法、及びプログラムに関する。

　国際公開第２０２０／１１０２１４号には、画像入力部、病変検出部、見落としリスク解析部、報知制御部、及び報知部を備える内視鏡システムが開示されている。

　国際公開第２０２０／１１０２１４号に記載の内視鏡システムにおいて、画像入力部には、被写体を内視鏡にて撮像して得られた複数の観察画像が順次入力される。病変検出部は、内視鏡の観察対象である病変部を観察画像から検出する。見落としリスク解析部は、観察画像に基づき、操作者が病変部を見落とすリスクである見落としリスクの度合いを判断する。報知制御部は、見落としリスクの度合いに基づき、病変部の検出の報知手段及び報知方法を制御する。報知部は、報知制御部の制御に基づき病変部の検出を操作者に対して報知する。

　国際公開第２０２０／１１０２１４号に記載の内視鏡システムにおいて、見落としリスク解析部は、病変部の状態に基づき見落としリスクを解析する病変解析部を備える。病変解析部は、病変部自体の大きさを推定する病変サイズ解析部を備える。

　本開示の技術に係る一つの実施形態は、医用画像に対する視認性を損ねることなく、医用画像に写っている複数の観察対象領域を、複数の観察対象領域のそれぞれの特性が把握可能な状態でユーザ等に対して視覚的に認識させることができる医療支援装置、内視鏡システム、医療支援方法、及びプログラムを提供する。

　本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサが、複数の観察対象領域が写っている医用画像に対して認識処理が行われることによって認識された複数の観察対象領域のそれぞれの特性を取得し、医用画像を第１表示領域に表示し、医用画像から複数の観察対象領域が個別に抽出された複数の抽出画像を特性に応じて、第１表示領域外の第２表示領域に表示する、医療支援装置である。

　本開示の技術に係る第２の態様は、特性が、サイズを含む、第１の態様に係る医療支援装置である。

　本開示の技術に係る第３の態様は、第２表示領域には、複数の観察対象領域間でのサイズの大小関係が視覚的に特定可能な表示態様で複数の抽出画像が表示される、第２の態様に係る医療支援装置である。

　本開示の技術に係る第４の態様は、サイズが複数の第１範囲で区切られており、第２表示領域には、第１範囲別に複数の抽出画像がグループ化された状態で表示される、第２の態様又は第３の態様に係る医療支援装置である。

　本開示の技術に係る第５の態様は、第２表示領域には、第１範囲別に複数の抽出画像がグループ化された場合に、第１範囲を代表する抽出画像が表示され、かつ、第１範囲にグループ化されている抽出画像の枚数に関する情報が表示される、第４の態様に係る医療支援装置である。

　本開示の技術に係る第６の態様は、第２表示領域には、複数の抽出画像の枚数が既定枚数を超えた場合に、第１範囲別に複数の抽出画像がグループ化された状態で表示される、第４の態様又は第５の態様に係る医療支援装置である。

　本開示の技術に係る第７の態様は、特性が、深度を含む、第１の態様から第６の態様の何れか１つの態様に係る医療支援装置である。

　本開示の技術に係る第８の態様は、第２表示領域には、複数の観察対象領域間での深度の深浅関係が視覚的に特定可能な表示態様で複数の抽出画像が表示される、第７の態様に係る医療支援装置である。

　本開示の技術に係る第９の態様は、深度が複数の第２範囲で区切られており、第２表示領域には、第２範囲別に複数の抽出画像がグループ化された状態で表示される、第７の態様又は第８の態様に係る医療支援装置である。

　本開示の技術に係る第１０の態様は、第２表示領域には、第２範囲別に複数の抽出画像がグループ化された場合に、第２範囲を代表する抽出画像が表示され、かつ、第２範囲にグループ化されている抽出画像の枚数に関する情報が表示される、第９の態様に係る医療支援装置である。

　本開示の技術に係る第１１の態様は、第２表示領域には、複数の抽出画像の枚数が既定枚数を超えた場合に、第２範囲別に複数の抽出画像がグループ化された状態で表示される、第９の態様又は第１０の態様に係る医療支援装置である。

　本開示の技術に係る第１２の態様は、プロセッサが、画面に位置関係特定情報を表示し、位置関係特定情報が、複数の抽出画像のうちの少なくとも１つが表示されている第１表示位置と、第１表示位置に表示されている抽出画像に写っている観察対象領域が第１表示領域に表示されている第２表示位置とが対応関係にあることを特定可能な情報である、第１の態様から第１１の態様の何れか１つの態様に係る医療支援装置である。

　本開示の技術に係る第１３の態様は、第２表示領域には、共通する特性別に複数の抽出画像がグループ化された状態で表示される、第１の態様から第１２の態様の何れか１つの態様に係る医療支援装置である。

　本開示の技術に係る第１４の態様は、第２表示領域には、共通する特性別に複数の抽出画像がグループ化された場合に、共通する特性毎に、特性を代表する抽出画像が表示され、かつ、共通する特性にグループ化されている抽出画像の枚数に関する情報が表示される、第１３の態様に係る医療支援装置である。

　本開示の技術に係る第１５の態様は、第２表示領域には、複数の抽出画像の枚数が既定枚数を超えた場合に、共通する特性別に複数の抽出画像がグループ化された状態で表示される、第１３の態様又は第１４の態様に係る医療支援装置である。

　本開示の技術に係る第１６の態様は、プロセッサが、抽出画像に含まれる観察対象領域の医用画像内での表示位置が特定可能な位置特定情報を第３表示領域に表示する、第１の態様から第１５の態様の何れか１つの態様に係る医療支援装置である。

　本開示の技術に係る第１７の態様は、位置特定情報が、医用画像内での表示位置が特定可能なマップである、第１６の態様に係る医療支援装置である。

　本開示の技術に係る第１８の態様は、認識処理が、機械学習を用いた物体認識処理であり、マップが、物体認識処理が行われることによって得られる確率マップに基づいて生成される、第１７の態様に係る医療支援装置である。

　本開示の技術に係る第１９の態様は、第３表示領域が、第１表示領域及び第２表示領域とは異なる位置にある、第１６の態様から第１８の態様の何れか１つの態様に係る医療支援装置である。

　本開示の技術に係る第２０の態様は、複数の観察対象領域のそれぞれの実サイズが測定され、第２表示領域には、複数の抽出画像と対応する実サイズが、複数の抽出画像との対応関係が特定可能な状態で表示される、第１の態様から第１９の態様の何れか１つの態様に係る医療支援装置である。

　本開示の技術に係る第２１の態様は、抽出画像が、複数の抽出画像を対比した場合に複数の抽出画像間で観察対象領域のサイズの違いが視覚的に弁別可能な枠を用いて医用画像から抽出された画像である、第１の態様から第２０の態様の何れか１つの態様に係る医療支援装置である。

　本開示の技術に係る第２２の態様は、枠が、複数の観察対象領域間で共通の形状及びサイズを有する、第２１の態様に係る医療支援装置である。

　本開示の技術に係る第２３の態様は、医用画像が、内視鏡スコープによって撮像されることによって得られた内視鏡画像である、第１の態様から第２２の態様の何れか１つの態様に係る医療支援装置である。

　本開示の技術に係る第２４の態様は、観察対象領域が、病変である、第１の態様から第２３の態様の何れか１つの態様に係る医療支援装置である。

　本開示の技術に係る第２５の態様は、第１の態様から第２４の態様の何れか１つの態様に係る医療支援装置と、体内に挿入されて体内を撮像することで医用画像を取得する内視鏡スコープと、を備える内視鏡システムである。

　本開示の技術に係る第２６の態様は、複数の観察対象領域が写っている医用画像に対して認識処理が行われることによって認識された複数の観察対象領域のそれぞれの特性を取得すること、医用画像を第１表示領域に表示すること、及び、医用画像から複数の観察対象領域が個別に抽出された複数の抽出画像を特性に応じて、第１表示領域外の第２表示領域に表示することを含む、医療支援方法である。

　本開示の技術に係る第２７の態様は、体内に挿入されて体内を撮像することで医用画像を取得する内視鏡スコープを用いることを含む、第２６の態様に係る医療支援方法である。

　本開示の技術に係る第２８の態様は、複数の観察対象領域が写っている医用画像に対して認識処理が行われることによって認識された複数の観察対象領域のそれぞれの特性を取得すること、医用画像を第１表示領域に表示すること、及び、医用画像から複数の観察対象領域が個別に抽出された複数の抽出画像を特性に応じて、第１表示領域外の第２表示領域に表示することを含む医療支援処理をコンピュータに実行させるためのプログラムである。

内視鏡システムが用いられている態様の一例を示す概念図である。内視鏡システムの全体構成の一例を示す概念図である。内視鏡システムの電気系のハードウェア構成の一例を示すブロック図である。医療支援装置に含まれるプロセッサの実施形態に係る要部機能の一例、及びＮＶＭに格納されている情報の一例を示すブロック図である。認識部及び制御部の処理内容の一例を示す概念図である。認識部が複数のセグメンテーション画像のそれぞれに固有の識別子を対応付ける処理内容の一例を示す概念図である。制御部がフレームに写っている複数の病変のそれぞれに対して第２矩形枠を設定し、かつ、識別子を付与する処理内容の一例を示す概念図である。制御部が第１情報を生成してＲＡＭに格納する処理内容の一例を示す概念図である。取得部が病変のサイズを測定する処理内容の一例を示す概念図である。取得部が第２情報を生成してＲＡＭに格納する処理内容の一例を示す概念図である。制御部が第１表示領域にフレーム４０を表示し、かつ、第２表示領域に病変のサイズに応じて複数の局所画像を表示する処理内容の一例を示す概念図である。医療支援処理の流れの一例を示すフローチャートである。図１２Ａに示すフローチャートの続きである。取得部が第３情報を生成してＲＡＭに格納する処理内容の一例を示す概念図である。制御部が第１表示領域にフレーム４０を表示し、かつ、第２表示領域に距離情報に応じて複数の局所画像を表示する処理内容の一例を示す概念図である。図１１に示す画面の表示内容と図１４に示す画面の表示内容とが、与えられた指示に従って切り替えられる態様の一例を示す概念図である。制御部が複数の局所画像をサイズ範囲別にグループ化して第２表示領域に表示する処理内容の一例を示す概念図である。制御部が複数の局所画像を距離範囲別にグループ化して第２表示領域に表示する処理内容の一例を示す概念図である。制御部が第３表示領域にマップを表示する処理内容の一例を示す概念図である。各種情報の出力先の一例を示す概念図である。内視鏡システムのプロセッサがネットワークを介して外部装置に対して処理実行要求を与え、外部装置が処理実行要求に応じた処理を実行し、内視鏡システムのプロセッサが外部装置から処理結果を受け取るという一連の処理の一例を示す概念図である。

　以下、添付図面に従って本開示の技術に係る医療支援装置、内視鏡システム、医療支援方法、及びプログラムの実施形態の一例について説明する。

　先ず、以下の説明で使用される文言について説明する。

　ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。ＢＬＩとは、“Blue Light Imaging”の略称を指す。ＬＣＩとは、“Linked Color Imaging”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＳＳＬとは、“Sessile Serrated Lesion”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。ＷＡＮとは、“Wide Area Network”の略称を指す。

　一例として図１に示すように、内視鏡システム１０は、内視鏡検査等において医師１２によって用いられる。内視鏡検査は、看護師１４等のスタッフによって補助される。本実施形態において、内視鏡システム１０は、本開示の技術に係る「内視鏡システム」の一例である。

　内視鏡システム１０は、通信装置（図示省略）と通信可能に接続されており、内視鏡システム１０によって得られた情報は、通信装置に送信される。通信装置の一例としては、電子カルテ等の各種情報を管理するサーバ及び／又はクライアント端末（例えば、パーソナル・コンピュータ及び／又はタブレット端末等）が挙げられる。通信装置は、内視鏡システム１０から送信された情報を受信し、受信した情報を用いた処理（例えば、電子カルテ等に保存する処理）を実行する。

　内視鏡システム１０は、内視鏡スコープ１６、表示装置１８、光源装置２０、制御装置２２、及び医療支援装置２４を備えている。本実施形態において、内視鏡スコープ１６は、本開示の技術に係る「内視鏡スコープ」の一例である。

　内視鏡システム１０は、内視鏡スコープ１６を用いて被検体２６（例えば、患者）の体内に含まれる大腸２８に対する診療を行うためのモダリティである。本実施形態において、大腸２８は、医師１２によって観察される対象である。

　内視鏡スコープ１６は、医師１２によって用いられ、被検体２６の体腔に挿入される。本実施形態では、内視鏡スコープ１６が被検体２６の大腸２８に挿入される。内視鏡システム１０は、被検体２６の大腸２８に挿入された内視鏡スコープ１６に対して、被検体２６の大腸２８内を撮像させ、かつ、必要に応じて大腸２８に対して医療的な各種処置を行う。

　内視鏡システム１０は、被検体２６の大腸２８内を撮像することで大腸２８内の態様を示す画像を取得して出力する。本実施形態において、内視鏡システム１０は、大腸２８内で光３０を照射することにより大腸２８の腸壁３２で反射されて得られた反射光を撮像する光学式撮像機能を有する内視鏡である。

　なお、ここでは、大腸２８に対する内視鏡検査を例示しているが、これは、あくまでも一例に過ぎず、食道、胃、十二指腸、又は気管等の管腔臓器に対する内視鏡検査であっても本開示の技術は成立する。

　光源装置２０、制御装置２２、及び医療支援装置２４は、ワゴン３４に設置されている。ワゴン３４には、上下方向に沿って複数の台が設けられており、下段側の台から上段側の台にかけて、医療支援装置２４、制御装置２２、及び光源装置２０が設置されている。また、ワゴン３４の最上段の台には、表示装置１８が設置されている。

　制御装置２２は、内視鏡システム１０の全体を制御する。医療支援装置２４は、制御装置２２の制御下で、内視鏡スコープ１６によって腸壁３２が撮像されることで得られた画像に対して各種の画像処理を行う。

　表示装置１８は、画像を含めた各種情報を表示する。表示装置１８の一例としては、液晶ディスプレイ又はＥＬディスプレイ等が挙げられる。また、表示装置１８に代えて、又は、表示装置１８と共に、ディスプレイ付きのタブレット端末を用いてもよい。

　表示装置１８には、画面３５が表示される。画面３５は、複数の表示領域を含む。複数の表示領域は、画面３５内で並べて配置されている。図１に示す例では、複数の表示領域の一例として、第１表示領域３６及び第２表示領域３８が示されている。第１表示領域３６のサイズは、第２表示領域３８のサイズよりも大きい。第１表示領域３６は、メインの表示領域として用いられ、第２表示領域３８は、サブの表示領域として用いられる。なお、第１表示領域３６及び第２表示領域３８のサイズ関係は、これに限定されるものではなく、画面３５に収まるサイズ関係であればよい。

　本実施形態において、画面３５は、本開示の技術に係る「画面」の一例であり、第１表示領域３６は、本開示の技術に係る「第１表示領域」の一例であり、第２表示領域３８は、本開示の技術に係る「第２表示領域」の一例である。

　第１表示領域３６には、内視鏡動画像３９が表示される。内視鏡動画像３９は、被検体２６の大腸２８内で内視鏡スコープ１６によって腸壁３２が撮像されることによって取得された動画像である。図１に示す例では、内視鏡動画像３９の一例として、腸壁３２が写っている動画像が示されている。

　内視鏡動画像３９に写っている腸壁３２には、医師１２によって注視される複数の関心領域（すなわち、複数の観察対象領域）として、複数の病変４２（例えば、図１に示す例では、１つの病変４２）が含まれており、医師１２は、内視鏡動画像３９を通して、複数の病変４２を含む腸壁３２の態様を視覚的に認識することができる。本実施形態において、病変４２は、本開示の技術に係る「観察対象領域」及び「病変」の一例である。

　病変４２には様々な種類があり、病変４２の種類としては、例えば、腫瘍性ポリープ及び非腫瘍性ポリープ等が挙げられる。腫瘍性ポリープの種類としては、例えば、腺腫性ポリープ（例えば、ＳＳＬ）等が挙げられる。非腫瘍性ポリープの種類としては、例えば、過誤腫性ポリープ、過形成性ポリープ、及び炎症性ポリープ等が挙げられる。なお、ここで例示されている種類は、大腸２８に対する内視鏡検査が行われる場合の病変４２の種類として事前に想定される種類であり、内視鏡検査が行われる臓器が異なれば、病変の種類も異なる。

　本実施形態では、病変４２を例示しているが、これは、あくまでも一例に過ぎず、医師１２によって注視される関心領域（すなわち、観察対象領域）は、臓器（例えば、十二指腸乳頭）、マーキングした領域、人工処置具（例えば、人工クリップ）、又は処置済みの領域（例えば、ポリープ等を除去した痕跡が残っている領域）等であってもよい。

　第１表示領域３６に表示される画像は、時系列に沿った複数のフレーム４０を含んで構成される動画像に含まれる１つのフレーム４０である。つまり、第１表示領域３６には、時系列に沿った複数のフレーム４０が既定のフレームレート（例えば、数十フレーム／秒）で表示される。本実施形態において、フレーム４０は、本開示の技術に係る「医用画像」及び「内視鏡画像」の一例である。

　第１表示領域３６に表示される動画像の一例としては、ライブビュー方式の動画像が挙げられる。ライブビュー方式は、あくまでも一例に過ぎず、ポストビュー方式の動画像のように、メモリ等に一時的に保存されてから表示される動画像であってもよい。また、メモリ等の保存されている記録用動画像に含まれる各フレームが内視鏡動画像３９として画面３５（例えば、第１表示領域３６）に再生表示されてもよい。

　画面３５内で、第２表示領域３８は、第１表示領域３６外に存在している。図１に示す例において、第２表示領域３８は、第１表示領域３６に隣接しており、画面３５内の正面視右側に表示されている。第２表示領域３８の表示位置は、第１表示領域３６と異なる位置であれば、どこでもよいが、第１表示領域３６内に表示される内視鏡動画像３９と対比可能な位置に表示されることが好ましい。

　第２表示領域３８には、医療に関する情報である医療情報４４が表示される。医療情報４４としては、例えば、医師１２による医療的な判断等を補助する情報等が挙げられる。医師１２による医療的な判断等を補助する情報等の一例としては、内視鏡スコープ１６が挿入されている被検体２６に関する各種情報、及び／又は、内視鏡動画像３９に対してＡＩを用いた処理が行われることによって得られた各種情報等が挙げられる。なお、医療情報４４の更なる詳細については後述する。

　一例として図２に示すように、内視鏡スコープ１６は、操作部４６及び挿入部４８を備えている。挿入部４８は、操作部４６が操作されることにより部分的に湾曲する。挿入部４８は、医師１２（図１参照）による操作部４６の操作に従って、大腸２８（図１参照）の形状に応じて湾曲しながら大腸２８に挿入される。

　挿入部４８の先端部５０には、カメラ５２、照明装置５４、及び処置具用開口５６が設けられている。カメラ５２及び照明装置５４は、先端部５０の先端面５０Ａに設けられている。なお、ここでは、カメラ５２及び照明装置５４が先端部５０の先端面５０Ａに設けられる形態例を挙げているが、これは、あくまでも一例に過ぎず、カメラ５２及び照明装置５４は、先端部５０の側面に設けられることにより、内視鏡スコープ１６が側視鏡として構成されていてもよい。

　カメラ５２は、被検体２６の体腔に挿入されて観察対象領域を撮像する。本実施形態では、カメラ５２が、被検体２６の体内（例えば、大腸２８内）を撮像することにより内視鏡動画像３９を取得する。カメラ５２の一例としては、ＣＭＯＳカメラが挙げられる。但し、これは、あくまでも一例に過ぎず、ＣＣＤカメラ等の他種のカメラであってもよい。

　照明装置５４は、照明窓５４Ａ及び５４Ｂを有する。照明装置５４は、照明窓５４Ａ及び５４Ｂを介して光３０（図１参照）を照射する。照明装置５４から照射される光３０の種類としては、例えば、可視光（例えば、白色光等）及び非可視光（例えば、近赤外光等）が挙げられる。また、照明装置５４は、照明窓５４Ａ及び５４Ｂを介して特殊光を照射する。特殊光としては、例えば、ＢＬＩ用の光及び／又はＬＣＩ用の光が挙げられる。カメラ５２は、大腸２８内で照明装置５４によって光３０が照射された状態で、大腸２８内を光学的手法で撮像する。

　処置具用開口５６は、処置具５８を先端部５０から突出させるための開口である。また、処置具用開口５６は、血液及び体内汚物等を吸引する吸引口、並びに流体を送出する送出口としても用いられる。

　操作部４６には、処置具挿入口６０が形成されており、処置具５８は、処置具挿入口６０から挿入部４８内に挿入される。処置具５８は、挿入部４８内を通過して処置具用開口５６から外部に突出する。図２に示す例では、処置具５８として、穿刺針が処置具用開口５６から突出している態様が示されている。ここでは、処置具５８として、穿刺針を例示しているが、これは、あくまでも一例に過ぎず、処置具５８は、把持鉗子、パピロトミーナイフ、スネア、カテーテル、ガイドワイヤ、カニューレ、及び／又はガイドシース付き穿刺針等であってもよい。

　内視鏡スコープ１６は、ユニバーサルコード６２を介して光源装置２０及び制御装置２２に接続されている。制御装置２２には、医療支援装置２４及び受付装置６４が接続されている。また、医療支援装置２４には、表示装置１８が接続されている。すなわち、制御装置２２は、医療支援装置２４を介して表示装置１８に接続されている。

　なお、ここでは、制御装置２２によって行われる機能を拡張させるための外付け装置という位置付けで医療支援装置２４を例示しているため、制御装置２２と表示装置１８とが医療支援装置２４を介して間接的に接続されている形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、表示装置１８は、制御装置２２に直接接続されていてもよい。この場合、例えば、医療支援装置２４の機能が制御装置２２に搭載されているか、或いは、医療支援装置２４によって実行される処理（例えば、後述する医療支援処理）と同じ処理をサーバ（図示省略）に対して実行させ、サーバによる処理結果を受信して使用する機能が制御装置２２に搭載されていればよい。

　受付装置６４は、医師１２からの指示を受け付け、受け付けた指示を電気信号として制御装置２２に出力する。受付装置６４の一例として、キーボード、マウス、タッチパネル、フットスイッチ、マイクロフォン、及び／又は遠隔操作機器等が挙げられる。

　制御装置２２は、光源装置２０を制御したり、カメラ５２との間で各種信号の授受を行ったり、医療支援装置２４との間で各種信号の授受を行ったりする。

　光源装置２０は、制御装置２２の制御下で発光し、光を照明装置５４に供給する。照明装置５４には、ライトガイドが内蔵されており、光源装置２０から供給された光はライトガイドを経由して照明窓５４Ａ及び５４Ｂから照射される。制御装置２２は、カメラ５２に対して撮像を行わせ、カメラ５２から内視鏡動画像３９（図１参照）を取得して既定の出力先（例えば、医療支援装置２４）に出力する。

　医療支援装置２４は、制御装置２２から入力された内視鏡動画像３９に対して各種の画像処理を行うことにより医療（ここでは、一例として、内視鏡検査）の支援を行う。医療支援装置２４は、各種の画像処理を施した内視鏡動画像３９を既定の出力先（例えば、表示装置１８）へ出力する。

　なお、ここでは、制御装置２２から出力された内視鏡動画像３９が、医療支援装置２４を介して、表示装置１８へ出力される形態例を挙げて説明したが、これはあくまでも一例に過ぎない。例えば、制御装置２２と表示装置１８とが接続されており、医療支援装置２４によって画像処理が施された内視鏡動画像３９が、制御装置２２を介して表示装置１８に表示される態様であってもよい。

　一例として図３に示すように、制御装置２２は、コンピュータ６６、バス６８、及び外部Ｉ／Ｆ７０を備えている。コンピュータ６６は、プロセッサ７２、ＲＡＭ７４、及びＮＶＭ７６を備えている。プロセッサ７２、ＲＡＭ７４、ＮＶＭ７６、及び外部Ｉ／Ｆ７０は、バス６８に接続されている。

　例えば、プロセッサ７２は、少なくとも１つのＣＰＵ及び少なくとも１つのＧＰＵを有しており、制御装置２２の全体を制御する。ＧＰＵは、ＣＰＵの制御下で動作し、グラフィック系の各種処理の実行及びニューラルネットワークを用いた演算等を担う。なお、プロセッサ７２は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。また、図３に示す例では、コンピュータ６６に１つのプロセッサ７２が搭載されている態様が示されているが、これは、あくまでも一例に過ぎず、コンピュータ６６に複数のプロセッサ７２が搭載されていてもよい。

　ＲＡＭ７４は、一時的に情報が格納されるメモリであり、プロセッサ７２によってワークメモリとして用いられる。ＮＶＭ７６は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ７６の一例としては、フラッシュメモリ（例えば、ＥＥＰＲＯＭ及び／又はＳＳＤ）が挙げられる。なお、フラッシュメモリは、あくまでも一例に過ぎず、ＨＤＤ等の他の不揮発性の記憶装置であってもよいし、２種類以上の不揮発性の記憶装置の組み合わせであってもよい。

　外部Ｉ／Ｆ７０は、制御装置２２の外部に存在する１つ以上の装置（以下、「第１外部装置」とも称する）とプロセッサ７２との間の各種情報の授受を司る。外部Ｉ／Ｆ７０の一例としては、ＵＳＢインタフェースが挙げられる。

　外部Ｉ／Ｆ７０には、第１外部装置の１つとしてカメラ５２が接続されており、外部Ｉ／Ｆ７０は、カメラ５２とプロセッサ７２との間の各種情報の授受を司る。プロセッサ７２は、外部Ｉ／Ｆ７０を介してカメラ５２を制御する。また、プロセッサ７２は、カメラ５２によって大腸２８（図１参照）内が撮像されることで得られた内視鏡動画像３９（図１参照）を外部Ｉ／Ｆ７０を介して取得する。

　外部Ｉ／Ｆ７０には、第１外部装置の１つとして光源装置２０が接続されており、外部Ｉ／Ｆ７０は、光源装置２０とプロセッサ７２との間の各種情報の授受を司る。光源装置２０は、プロセッサ７２の制御下で、照明装置５４に光を供給する。照明装置５４は、光源装置２０から供給された光を照射する。

　外部Ｉ／Ｆ７０には、第１外部装置の１つとして受付装置６４が接続されており、プロセッサ７２は、受付装置６４によって受け付けられた指示を、外部Ｉ／Ｆ７０を介して取得し、取得した指示に応じた処理を実行する。

　医療支援装置２４は、コンピュータ７８及び外部Ｉ／Ｆ８０を備えている。コンピュータ７８は、プロセッサ８２、ＲＡＭ８４、及びＮＶＭ８６を備えている。プロセッサ８２、ＲＡＭ８４、ＮＶＭ８６、及び外部Ｉ／Ｆ８０は、バス８８に接続されている。本実施形態において、医療支援装置２４は、本開示の技術に係る「医療支援装置」の一例であり、コンピュータ７８は、本開示の技術に係る「コンピュータ」の一例であり、プロセッサ８２は、本開示の技術に係る「プロセッサ」の一例である。

　なお、コンピュータ７８のハードウェア構成（すなわち、プロセッサ８２、ＲＡＭ８４、及びＮＶＭ８６）は、コンピュータ６６のハードウェア構成と基本的に同じなので、ここでは、コンピュータ７８のハードウェア構成に関する説明は省略する。

　外部Ｉ／Ｆ８０は、医療支援装置２４の外部に存在する１つ以上の装置（以下、「第２外部装置」とも称する）とプロセッサ８２との間の各種情報の授受を司る。外部Ｉ／Ｆ８０の一例としては、ＵＳＢインタフェースが挙げられる。

　外部Ｉ／Ｆ８０には、第２外部装置の１つとして制御装置２２が接続されている。図３に示す例では、外部Ｉ／Ｆ８０に、制御装置２２の外部Ｉ／Ｆ７０が接続されている。外部Ｉ／Ｆ８０は、医療支援装置２４のプロセッサ８２と制御装置２２のプロセッサ７２との間の各種情報の授受を司る。例えば、プロセッサ８２は、制御装置２２のプロセッサ７２から外部Ｉ／Ｆ７０及び８０を介して内視鏡動画像３９（図１参照）を取得し、取得した内視鏡動画像３９に対して各種の画像処理を行う。

　外部Ｉ／Ｆ８０には、第２外部装置の１つとして表示装置１８が接続されている。プロセッサ８２は、外部Ｉ／Ｆ８０を介して表示装置１８を制御することにより、表示装置１８に対して各種情報（例えば、各種の画像処理が行われた内視鏡動画像３９等）を表示させる。

　ところで、内視鏡検査では、医師１２が、表示装置１８を介して内視鏡動画像３９を確認しながら、内視鏡動画像３９に写っている病変４２に対して医療的な処置が必要か否かを判断し、必要ならば病変４２に対して医療的な処置を行う。医療的な処置が必要か否かの判断を行う上で、病変４２のサイズは重要な判断要素となる。

　近年、機械学習の発達により、ＡＩ方式で内視鏡動画像３９に基づいて病変４２の検出及び鑑別ができるようになった。この技術を応用することで内視鏡動画像３９から病変４２のサイズを測定することが可能となる。病変４２のサイズを高精度に測定し、測定結果を医師１２に提示することは、医師１２が病変に対して医療的な処置を行う上で非常に有用なことである。

　一方、病変４２のサイズが測定された場合、測定されたサイズを医師１２に対して、的確に且つ内視鏡検査の妨げにならないように邪魔しない範囲で伝える必要がある。特に、フレーム４０に複数の病変４２が写っている場合には、画面３５に表示されるフレーム４０に対する視認性を損ねることなく、フレーム４０に写っている複数の病変４２を、複数の病変４２のそれぞれのサイズ等の特性が把握可能な状態で医師１２に対して視覚的に認識させることが求められる。

　そこで、このような事情に鑑み、本実施形態では、一例として図４に示すように、医療支援装置２４のプロセッサ８２によって医療支援処理が行われる。

　ＮＶＭ８６には、医療支援プログラム９０が格納されている。医療支援プログラム９０は、本開示の技術に係る「プログラム」の一例である。プロセッサ８２は、ＮＶＭ８６から医療支援プログラム９０を読み出し、読み出した医療支援プログラム９０をＲＡＭ８４上で実行することにより医療支援処理を行う。医療支援処理は、プロセッサ８２がＲＡＭ８４上で実行する医療支援プログラム９０に従って、認識部８２Ａ、取得部８２Ｂ、及び制御部８２Ｃとして動作することによって実現される。

　ＮＶＭ８６には、認識モデル９２及び距離導出モデル９４が格納されている。詳しくは後述するが、認識モデル９２は、認識部８２Ａによって用いられ、距離導出モデル９４は、取得部８２Ｂによって用いられる。

　一例として図５に示すように、認識部８２Ａ及び制御部８２Ｃは、カメラ５２によって撮像フレームレート（例えば、数十フレーム／秒）に従って撮像されることで生成された内視鏡動画像３９に含まれる時系列に沿った複数のフレーム４０のそれぞれをカメラ５２から時系列に沿って１フレーム単位で取得する。

　制御部８２Ｃは、内視鏡動画像３９を表示装置１８に出力する。例えば、制御部８２Ｃは、内視鏡動画像３９をライブビュー画像として第１表示領域３６に表示する。すなわち、制御部８２Ｃは、カメラ５２からフレーム４０を取得する毎に、取得したフレーム４０を順に表示フレームレート（例えば、数十フレーム／秒）に従って第１表示領域３６に表示する。また、制御部８２Ｃは、医療情報４４を第２表示領域３８に表示する。また、例えば、制御部８２Ｃは、第１表示領域３６の表示内容に伴って第２表示領域３８の表示内容（例えば、医療情報４４）を更新する。

　認識部８２Ａは、カメラ５２から取得した内視鏡動画像３９を用いて、内視鏡動画像３９に写っている複数の病変４２を認識する。すなわち、認識部８２Ａは、カメラ５２から取得した内視鏡動画像３９に含まれる時系列に沿った複数のフレーム４０のそれぞれに対して認識処理９６を順次に行うことで、フレーム４０に写っている複数の病変４２を認識する。例えば、認識部８２Ａは、複数の病変４２のそれぞれの幾何学特性（例えば、位置及び形状等）、複数の病変４２のそれぞれの種類、及び複数の病変４２のそれぞれの型（例えば、有茎性、亜有茎性、無茎性、表面隆起型、表面平坦型、及び表面陥凹型等）等を認識する。

　認識処理９６は、認識部８２Ａによって、フレーム４０が取得される毎に、取得されたフレーム４０に対して行われる。認識処理９６は、ＡＩを用いた方式で複数の病変４２を認識する処理（すなわち、機械学習を用いた物体認識処理）である。本実施形態では、例えば、認識処理９６として、セグメンテーション方式でのＡＩを用いた物体認識処理（例えば、セマンティックセグメンテーション、インスタンスセグメンテーション、及び／又はパノプティックセグメンテーション）が用いられる。

　ここでは、認識処理９６として、認識モデル９２を用いた処理が行われる。認識モデル９２は、ＡＩによるセグメンテーション方式での物体認識用の学習済みモデルである。ＡＩによるセグメンテーション方式での物体認識用の学習済みモデルの一例としては、セマンティックセグメンテーション用のモデルが挙げられる。セマンティックセグメンテーション用のモデルの一例としては、エンコーダ・デコーダ構造のモデルが挙げられる。エンコーダ・デコーダ構造のモデルの一例としては、Ｕ－Ｎｅｔ又はＨＲＮｅｔ等が挙げられる。本実施形態において、認識処理９６は、本開示の技術に係る「認識処理」及び「物体認識処理」の一例である。

　認識モデル９２は、ニューラルネットワークに対して第１教師データを用いた機械学習が行われることによって最適化されている。第１教師データは、第１例題データと第１正解データとが対応付けられた複数のデータ（すなわち、複数フレーム分のデータ）を含むデータセットである。

　第１例題データは、フレーム４０に相当する画像である。第１正解データは、第１例題データに対する正解データ（すなわち、アノテーション）である。ここでは、第１正解データの一例として、第１例題データとして用いられている画像に写っている病変の幾何学特性、種類、及び型を特定するアノテーションが用いられる。

　認識部８２Ａは、カメラ５２からフレーム４０を取得し、取得したフレーム４０を認識モデル９２に入力する。これにより、認識モデル９２は、フレーム４０が入力される毎に、入力されたフレーム４０に写っている複数の病変４２のそれぞれの幾何学特性を特定し、複数の病変４２のそれぞれの幾何学特性を特定可能な情報を出力する。図５に示す例では、幾何学特性を特定可能な情報の一例として、フレーム４０内での病変４２の位置を特定可能な情報である確率マップ１００が示されている。また、認識部８２Ａは、認識モデル９２に入力されたフレーム４０に写っている複数の病変４２のそれぞれの種類を示す情報、及び認識モデル９２に入力されたフレーム４０に写っている複数の病変４２のそれぞれの型を示す情報を認識モデル９２から取得する。

　認識部８２Ａは、フレーム４０が認識モデル９２に入力される毎に、認識モデル９２に入力されたフレーム４０に関する確率マップ１００を認識モデル９２から取得する。確率マップ１００は、フレーム４０内での病変４２の位置の分布を、尤もらしさを示す指標の一例である確率で表現したマップである。なお、一般的に、確率マップ１００は、信頼度マップ又は確信度マップ等とも呼ばれている。

　確率マップ１００には、認識部８２Ａによって認識された複数の病変４２を規定する複数のセグメンテーション画像１０２が含まれている。セグメンテーション画像１０２は、フレーム４０に対して認識処理９６が行われることによって認識された病変４２のフレーム４０内での位置を特定する画像領域（すなわち、フレーム４０内において病変４２が存在する確率が最も高い位置を特定可能な表示態様で表示された画像）である。各セグメンテーション画像１０２には、認識部８２Ａによって第１位置情報９８が対応付けられる。この場合の第１位置情報９８の一例としては、確率マップ１００内でのセグメンテーション画像１０２の位置を特定可能な座標（換言すると、フレーム４０内での病変４２の表示位置を特定可能な座標）が挙げられる。確率マップ１００内でのセグメンテーション画像１０２の位置とは、例えば、確率マップ１００内でのセグメンテーション画像１０２の外輪郭の位置を指す。

　確率マップ１００は、医療情報４４として、制御部８２Ｃによって、画面３５（例えば、第２表示領域３８）に表示されてもよい。この場合、画面３５に表示される確率マップ１００は、第１表示領域３６に対して適用される表示フレームレートに従って更新される。すなわち、第２表示領域３８内の確率マップ１００の表示（すなわち、セグメンテーション画像１０２の表示）は、第１表示領域３６に表示される内視鏡動画像３９の表示タイミングに同期して更新される。このように構成することで、医師１２は、第１表示領域３６に表示される内視鏡動画像３９を観察しながら、第２表示領域３８に表示される確率マップ１００を参照することで、第１表示領域３６に表示されている内視鏡動画像３９内での病変４２の概略的な位置を把握することが可能となる。

　一例として図６に示すように、認識部８２Ａは、確率マップ１００内の複数のセグメンテーション画像１０２のそれぞれに対して、各セグメンテーション画像１０２を個別に識別可能な識別子１０４を対応付ける。識別子１０４は、各セグメンテーション画像１０２に対して固有の識別子である。セグメンテーション画像１０２に対する識別子１０４の対応付けは、セグメンテーション画像１０２に対応する第１位置情報９８に対して識別子１０４が付与されることによって実現される。本実施形態において、識別子１０４は、本開示の技術に係る「位置関係特定情報」の一例である。

　一例として図７に示すように、制御部８２Ｃは、確率マップ１００内の複数のセグメンテーション画像１０２のそれぞれについて、第１位置情報９８に基づいて、セグメンテーション画像１０２に対して外接する第１矩形枠１０６を作成する。そして、制御部８２Ｃは、確率マップ１００内に作成した複数の第１矩形枠１０６に基づいて、フレーム４０内に複数の第２矩形枠１０８を作成する。第２矩形枠１０８は、フレーム４０内での病変４２を取り囲む矩形状の枠であり、フレーム４０に写っている複数の病変４２のそれぞれに対して割り当てられる。第２矩形枠１０８は、確率マップ１００内に作成された複数の第１矩形枠１０６のうちの最も大きな第１矩形枠１０６が既定倍率（例えば、１よりも大きな倍率）で拡大されることによって得られる。

　制御部８２Ｃは、確率マップ１００内のセグメンテーション画像１０２に対応する病変４２に対して、セグメンテーション画像１０２に対応付けられている識別子１０４と同じ識別子１０４を対応付ける。すなわち、確率マップ１００内での位置とフレーム４０内での位置とが対応関係にあるセグメンテーション画像１０２と病変４２とに対して共通の識別子１０４が対応付けられる。病変４２に対する識別子１０４の対応付けは、病変４２に対応するセグメンテーション画像１０２に対応付けられている識別子１０４が、セグメンテーション画像１０２に対応する病変４２に割り当てられた第２矩形枠１０８に対して付与されることによって実現される。

　一例として図８に示すように、制御部８２Ｃは、病変４２に対して第２矩形枠１０８及び識別子１０４が対応付けられたフレーム４０から、異なる病変４２が写っている複数の局所画像１１０を抽出する。局所画像１１０は、フレーム４０内の局所的な画像である。図８に示す例では、局所画像１１０の一例として、フレーム４０内で第２矩形枠１０８によって囲まれている画像が示されている。すなわち、複数の局所画像１１０のそれぞれは、フレーム４０に写っている複数の病変４２の各々がフレーム４０から同形状及び同サイズを有する枠である第２矩形枠１０８を用いて個別に抽出された画像（換言すると、個別に切り出された画像）である。

　このように、複数の局所画像１１０のそれぞれは、同形状及び同サイズを有する枠である第２矩形枠１０８を用いて複数の病変４２の各々がフレーム４０から個別に抽出された画像であるため、複数の局所画像１１０を対比した場合に複数の局所画像１１０間で病変４２のサイズの違いが視覚的に弁別可能となる。

　本実施形態において、局所画像１１０は、本開示の技術に係る「抽出画像」の一例である。本実施形態において、第２矩形枠１０８は、本開示の技術に係る「枠」の一例である。

　制御部８２Ｃは、フレーム４０に写っている病変４２毎に第１情報１１１を生成してＲＡＭ８４に格納する。第１情報１１１は、識別子１０４、局所画像１１０、及び第２位置情報１０９が関連付けられた情報である。この場合、例えば、制御部８２Ｃは、フレーム４０から抽出した局所画像１１０に対して識別子１０４及び第２位置情報１０９を付与することにより第１情報１１１を生成する。局所画像１１０に対して付与される識別子１０４は、フレーム４０からの局所画像１１０の抽出に用いた第２矩形枠１０８に付与されている識別子１０４である。第２位置情報１０９は、フレーム４０内での局所画像１１０の位置を特定可能な情報（例えば、座標）である。

　なお、ここでは、第２矩形枠１０８を用いてフレーム４０から複数の局所画像１１０が抽出される形態例を挙げたが、これは、あくまでも一例に過ぎない。例えば、第２矩形枠１０８とは異なる形状及びサイズの枠を用いて、フレーム４０から複数の画像が抽出されるようにしてもよい。但し、この場合も、第２矩形枠１０８と同様に、複数の病変４２間で共通の形状及びサイズの枠を用いるようにする。すなわち、フレーム４０から抽出された複数の抽出画像（図８に示す例では、複数の局所画像１１０）を対比した場合に複数の抽出画像間で病変４２のサイズの違いが視覚的に弁別可能な枠を用いるようにする。

　一例として図９に示すように、取得部８２Ｂは、カメラ５２からフレーム４０を取得し、カメラ５２から取得したフレーム４０（ここでは、一例として、認識処理９６に用いられたフレーム４０）に写っている病変４２のサイズ１１２を取得する。フレーム４０に写っている病変４２のサイズ１１２の取得は、取得部８２Ｂによるサイズ１１２の測定によって実現される。取得部８２Ｂによるサイズ１１２の測定は、フレーム４０に基づいて行われる。本実施形態では、取得部８２Ｂが、カメラ５２から取得した内視鏡動画像３９に含まれる複数のフレーム４０のそれぞれに基づいて病変４２のサイズ１１２を時系列で測定する。病変４２のサイズ１１２とは、病変４２の実空間上でのサイズを指す。以下では、説明の便宜上、病変４２の実空間上でのサイズを「実サイズ」とも称する。本実施形態において、サイズ１１２は、本開示の技術に係る「特性」、「サイズ」、及び「実サイズ」の一例である。

　病変４２のサイズ１１２の測定を実現するために、取得部８２Ｂは、カメラ５２から取得したフレーム４０に基づいて病変４２の距離情報１１４を取得する。距離情報１１４は、カメラ５２（すなわち、観察位置）から、病変４２を含めた腸壁３２（図１参照）までの距離を示す情報である。ここでは、カメラ５２から、病変４２を含めた腸壁３２までの距離を例示しているが、これは、あくまでも一例に過ぎず、距離に代えて、カメラ５２から、病変４２を含めた腸壁３２までの深度が表示された数値（例えば、深度が段階的に規定された複数の数値（例えば、数段階～数十段階の数値））であってもよい。

　なお、ここで、取得部８２Ｂが距離情報１１４を取得する理由は、同一サイズの病変４２であったとしても、病変４２の位置がカメラ５２から離れるほど、画像上での病変４２のサイズが小さくなるので、実サイズを求める上で、病変４２の位置がカメラ５２からどの程度離れているかを考慮する必要があるからである。

　距離情報１１４は、フレーム４０を構成している全画素の各々について取得される。なお、距離情報１１４は、フレーム４０を画素よりも大きいブロック（例えば、数ピクセル～数百ピクセル単位で構成された画素群）毎に取得されてもよい。

　取得部８２Ｂによる距離情報１１４の取得は、例えば、距離情報１１４がＡＩ方式で導出されることによって実現される。本実施形態では、距離情報１１４を導出するために距離導出モデル９４が用いられる。

　距離導出モデル９４は、ニューラルネットワークに対して第２教師データを用いた機械学習が行われることによって最適化されている。第２教師データは、第２例題データと第２正解データとが対応付けられた複数のデータ（すなわち、複数フレーム分のデータ）を含むデータセットである。

　第２例題データは、フレーム４０に相当する画像である。第２正解データは、第２例題データに対する正解データ（すなわち、アノテーション）である。ここでは、第２正解データの一例として、第２例題データとして用いられている画像に写っている各画素に対応する距離を特定するアノテーションが用いられる。

　取得部８２Ｂは、カメラ５２からフレーム４０を取得し、取得したフレーム４０を距離導出モデル９４に入力する。これにより、距離導出モデル９４は、入力されたフレーム４０の画素単位で距離情報１１４を出力する。すなわち、取得部８２Ｂでは、カメラ５２の位置（例えば、カメラ５２に搭載されているイメージセンサ又は対物レンズ等の位置）から、フレーム４０に写っている腸壁３２までの距離を示す情報が、フレーム４０の画素単位で、距離情報１１４として距離導出モデル９４から出力される。

　取得部８２Ｂは、距離導出モデル９４から出力された距離情報１１４に基づいて距離画像１１６を生成する。距離画像１１６は、内視鏡動画像３９（すなわち、フレーム４０）に含まれる画素単位で距離情報１１４が分布している画像である。

　取得部８２Ｂは、認識部８２Ａによって得られた確率マップ１００内のセグメンテーション画像１０２に付与されている第１位置情報９８を取得する。取得部８２Ｂは、第１位置情報９８を参照して、距離画像１１６内のセグメンテーション対応領域１１６Ａから距離情報１１４を抽出する。セグメンテーション対応領域１１６Ａは、距離画像１１６内の第１位置情報９８から特定される位置に対応する領域である。セグメンテーション対応領域１１６Ａから抽出される距離情報１１４としては、例えば、病変４２の位置（例えば、重心）に対応する距離情報１１４、又は、病変４２に含まれる複数の画素（例えば、全画素）についての距離情報１１４の統計値（例えば、中央値、平均値、又は最頻値）が挙げられる。

　取得部８２Ｂは、フレーム４０から画素数１１８を抽出する。画素数１１８は、距離導出モデル９４に入力されたフレーム４０の全画像領域のうちの第１位置情報９８から特定される位置の画像領域（すなわち、病変４２を示す画像領域）を横断する線分１２０上の画素数である。線分１２０の一例としては、病変４２を示す画像領域に対して外接する矩形枠１２２の長辺に平行な最長の線分が挙げられる。なお、線分１２０は、あくまでも一例に過ぎず、線分１２０に代えて、病変４２を示す画像領域に対して外接する矩形枠１２２の短辺に平行な最長の線分を適用してもよい。

　取得部８２Ｂは、距離画像１１６内のセグメンテーション対応領域１１６Ａから抽出した距離情報１１４とフレーム４０から抽出した画素数１１８とに基づいて病変４２のサイズ１１２を算出する。サイズ１１２の算出には、演算式１２４が用いられる。演算式１２４は、距離情報１１４及び画素数１１８を独立変数とし、サイズ１１２を従属変数とした演算式である。取得部８２Ｂは、距離画像１１６から抽出した距離情報１１４と、フレーム４０から抽出した画素数１１８とを演算式１２４に入力する。演算式１２４は、入力された距離情報１１４及び画素数１１８に対応するサイズ１１２を出力する。取得部８２Ｂは、第２情報１２６を生成する。第２情報１２６は、演算式１２４から出力されたサイズ１１２に対して識別子１０４が対応付けられることによって生成される。サイズ１１２に対して対応付けられる識別子１０４は、サイズ１１２の算出に用いられたセグメンテーション対応領域１１６Ａに対応するセグメンテーション画像１０２に対応付けられている識別子１０４である。

　また、ここでは、サイズ１１２として、実空間上での病変４２の長さが例示されているが、本開示の技術はこれに限定されず、サイズ１１２は、実空間上での病変４２の表面積又は体積であってもよい。この場合、例えば、演算式１２４として、病変４２を示す全画像領域の画素数と距離情報１１４とを独立変数とし、実空間上での病変４２の表面積又は体積を従属変数とする演算式が用いられる。

　一例として図１０に示すように、取得部８２Ｂは、フレーム４０に写っている他の病変４２に対しても、図９に示す例と同様の要領で、サイズ１１２を取得し、取得したサイズ１１２に対して、サイズ１１２の算出に用いられたセグメンテーション対応領域１１６Ａに対応するセグメンテーション画像１０２に対応付けられている識別子１０４を付与することにより第２情報１２６を生成する。そして、取得部８２Ｂは、フレーム４０に写っている複数の病変４２のそれぞれについて生成した各第２情報１２６をＲＡＭ８４に格納する。

　一例として図１１に示すように、制御部８２Ｃは、取得部８２Ｂからサイズ１１２を取得する。また、制御部８２Ｃは、取得部８２Ｂによるサイズ１１２の測定に用いられたフレーム４０をカメラ５２から取得する。制御部８２Ｃは、カメラ５２から取得したフレーム４０を第１表示領域３６に表示する。

　また、制御部８２Ｃは、フレーム４０に写っている複数の病変４２に対応する複数の第１情報１１１及び複数の第２情報１２６をＲＡＭ８４から取得する。制御部８２Ｃは、ＲＡＭ８４から取得した複数の第１情報１１１及び複数の第２情報１２６に基づいて、第１表示領域３６に表示されているフレーム４０内に複数の識別子１０４を表示する。また、制御部８２Ｃは、ＲＡＭ８４から取得した複数の第１情報１１１及び複数の第２情報１２６に基づいて、医療情報４４の一部として、複数の識別子１０４、複数の局所画像１１０、及び複数のサイズ１１２を第２表示領域３８に表示する。

　制御部８２Ｃは、取得部８２Ｂによってサイズ１１２が取得される毎に、最新の識別子１０４、最新の局所画像１１０、及び最新のサイズ１１２を画面３５に表示する。すなわち、画面３５に表示される識別子１０４、局所画像１１０、及びサイズ１１２は、取得部８２Ｂによってサイズ１１２が取得される毎に、最新の識別子１０４、最新の局所画像１１０、及び最新のサイズ１１２に更新される。

　第１表示領域３６内のフレーム４０には、複数の識別子１０４が重畳表示される。この場合、例えば、アルファブレンド方式で複数の識別子１０４がフレーム４０に重畳表示されるようにしてもよい。

　フレーム４０内で各識別子１０４が表示される位置は、対応する病変４２に隣接する位置（以下、「病変隣接位置」とも称する）である。制御部８２Ｃは、複数の第１情報１１１のうちの１つを選択し、選択した第１情報１１１である選択第１情報に含まれる第２位置情報１０９を参照して病変隣接位置を決定する。そして、制御部８２Ｃは、選択第１情報に含まれる識別子１０４を病変隣接位置に表示する。本実施形態において、「病変隣接位置」は、本開示の技術に係る「第２表示位置」の一例である。

　第２表示領域３８には、制御部８２Ｃによって、ＲＡＭ８４から取得された複数の第１情報１１１に含まれる複数の局所画像１１０が、ＲＡＭ８４から取得された複数の第２情報１２６に含まれる複数のサイズ１１２に応じて表示される。本実施形態において、第２表示領域３８内で局所画像１１０が表示される位置は、本開示の技術に係る「第１表示位置」の一例である。

　第２表示領域３８には、ＲＡＭ８４から取得された複数の第１情報１１１に含まれる複数の局所画像１１０が対比可能に並べられた状態で表示される。例えば、第２表示領域３８内において、複数の局所画像１１０は、縦方向（換言すると、正面視上下方向）に沿って表示される。

　また、第２表示領域３８には、複数の局所画像１１０は、サイズ１１２の大小関係が視覚的に特定可能な表示態様で表示される。例えば、第２表示領域３８内において、複数の局所画像１１０は、サイズ１１２の降順で上から下にかけて配置されている。

　また、第２表示領域３８には、ＲＡＭ８４から取得された複数の第１情報１１１に含まれる複数のサイズ１１２が、複数の局所画像１１０との対応関係が特定可能な状態で表示される。例えば、第２表示領域３８内において、複数のサイズ１１２のそれぞれは、対応する局所画像１１０と隣接する位置に表示される。

　第１情報１１１に含まれる局所画像１１０と第２情報１２６に含まれるサイズ１１２との対応関係は、第１情報１１１に含まれる識別子１０４と第２情報１２６に含まれる識別子１０４とが照合されることによって特定される。

　また、第２表示領域３８には、各局所画像１１０に対応する識別子１０４が、各局所画像１１０と隣接する位置に表示される。これにより、医師１２は、第１表示領域３６内の病変隣接位置に表示されている識別子１０４と第２表示領域３８に表示されている識別子１０４とを照合することで、局所画像１１０に写っている病変４２がフレーム４０内のどこに写っている病変４２なのかを視覚的に特定することが可能となる。

　図１１に示す例では、識別子１０４が、対応する局所画像１１０の正面視左横に表示されており、サイズ１１２が、対応する局所画像１１０の正面視右横に表示されているが、これは、あくまでも一例に過ぎず、識別子１０４、局所画像１１０、及びサイズ１１２は、互いの対応関係が特定可能なレイアウトで第２表示領域３８に表示されていればよい。また、複数の局所画像１１０は、複数の病変４２間でのサイズ１１２の大小関係が視覚的に特定可能なレイアウトで第２表示領域３８に表示されていればよい。

　図１１に示す例では、フレーム４０に写っている病変４２と局所画像１１０との対応関係が識別子１０４によって視覚的に特定される形態例を挙げたが、これは、あくまでも一例に過ぎない。例えば、フレーム４０内に第１矩形枠１０６（図７参照）が表示され、第２表示領域３８に表示される局所画像１１０の第２矩形枠１０８が、対応関係にある第１矩形枠１０６と同一の表示態様（例えば、色及び／又は輝度等）で表示されるようにしてもよい。また、フレーム４０内の病変４２と対応する局所画像１１０とが線等を介して紐付けられた状態で表示されるようにしてもよい。

　図１１に示す例では、サイズ１１２が、第２表示領域３８に表示される形態例を挙げたが、これは、あくまでも一例に過ぎず、サイズ１１２は、第１表示領域３６に表示されているフレーム４０内に表示されてもよい。この場合、例えば、アルファブレンド方式でサイズ１１２がフレーム４０に重畳表示されるようにしてもよい。

　次に、内視鏡システム１０の本開示の技術に係る部分の作用について図１２Ａ及び図１２Ｂを参照しながら説明する。図１１に示す医療支援処理の流れは、本開示の技術に係る「医療支援方法」の一例である。

　図１２Ａに示す医療支援処理では、先ず、ステップＳＴ１０で、認識部８２Ａ及び制御部８２Ｃは、カメラ５２によって大腸２８が撮像されることによって得られたフレーム４０を取得する。そして、制御部８２Ｃは、フレーム４０を第１表示領域３６に表示する（図５及び図１１参照）。なお、ここでは、説明の便宜上、フレーム４０に複数の病変４２が写っていることを前提として説明する。ステップＳＴ１０の処理が実行された後、医療支援処理はステップＳＴ１２へ移行する。

　ステップＳＴ１２で、認識部８２Ａは、ステップＳＴ１０で取得したフレーム４０に対して認識処理９６を行うことにより、フレーム４０に写っている病変４２を認識する（図５参照）。ステップＳＴ１２の処理が実行された後、医療支援処理はステップＳＴ１４へ移行する。

　ステップＳＴ１４で、認識部８２Ａは、認識モデル９２から確率マップ１００を取得する（図６参照）。ステップＳＴ１４の処理が実行された後、医療支援処理はステップＳＴ１６へ移行する。

　ステップＳＴ１６で、認識部８２Ａは、ステップＳＴ１４で取得した確率マップ１００内の複数のセグメンテーション画像１０２のそれぞれに第１位置情報９８を付与する（図６参照）。ステップＳＴ１６の処理が実行された後、医療支援処理はステップＳＴ１８へ移行する。

　ステップＳＴ１８で、認識部８２Ａは、確率マップ１００内の複数のセグメンテーション画像１０２のそれぞれに付与された第１位置情報９８のそれぞれに対して識別子１０４を付与することにより複数のセグメンテーション画像１０２のそれぞれに対して識別子１０４を対応付ける（図６参照）。ステップＳＴ１８の処理が実行された後、医療支援処理はステップＳＴ２０へ移行する。

　ステップＳＴ２０で、制御部８２Ｃは、ステップＳＴ１６で確率マップ１００内の複数のセグメンテーション画像１０２のそれぞれに付与された第１位置情報９８に基づいて、フレーム４０内の複数の病変４２を示す複数の画像領域のそれぞれに対して第２矩形枠１０８を設定する（図７参照）。ステップＳＴ２０の処理が実行された後、医療支援処理はステップＳＴ２２へ移行する。

　ステップＳＴ２２で、制御部８２Ｃは、ステップＳＴ２０でフレーム４０に対して設定した複数の第２矩形枠１０８を用いて、フレーム４０から複数の局所画像１１０を抽出する（図８参照）。ステップＳＴ２２の処理が実行された後、医療支援処理はステップＳＴ２４へ移行する。

　ステップＳＴ２４で、制御部８２Ｃは、フレーム４０から抽出した複数の局所画像１１０のそれぞれに対して識別子１０４及び第２位置情報１０９を付与することにより複数の第１情報１１１を生成してＲＡＭ８４に格納する（図８参照）。ステップＳＴ２４の処理が実行された後、医療支援処理は、図１２Ｂに示すステップＳＴ２６へ移行する。

　ステップＳＴ２６で、取得部８２Ｂは、ステップＳＴ１０で取得されたフレーム４０と、第１位置情報９８がセグメンテーション画像１０２に対応付けられた確率マップ１００とに基づいて、フレーム４０に写っている複数の病変４２のそれぞれのサイズ１１２を取得する（図９参照）。ステップＳＴ２６の処理が実行された後、医療支援処理はステップＳＴ２８へ移行する。

　ステップＳＴ２８で、取得部８２Ｂは、フレーム４０に写っている複数の病変４２のそれぞれについて、ステップＳＴ２６で取得したサイズ１１２に対して、サイズ１１２を取得する上で用いられたセグメンテーション画像１０２に対応付けられている識別子１０４を対応付けることで第２情報１２６を生成してＲＡＭ８４に格納する（図１０参照）。ステップＳＴ２８の処理が実行された後、医療支援処理はステップＳＴ３０へ移行する。

　ステップＳＴ３０で、制御部８２Ｃは、ＲＡＭ８４に格納されている第１情報１１１に基づいて識別子１０４をフレーム４０内の病変隣接位置に表示する（図１１参照）。ステップＳＴ３０の処理が実行された後、医療支援処理はステップＳＴ３２へ移行する。

　ステップＳＴ３２で、制御部８２Ｃは、ＲＡＭ８４に格納されている第１情報１１１及び第２情報１２６に基づいて、識別子１０４毎に局所画像１１０及びサイズ１１２を第２表示領域３８に表示する（図１１参照）。ステップＳＴ３２の処理が実行された後、医療支援処理はステップＳＴ３４へ移行する。

　ステップＳＴ３４で、制御部８２Ｃは、医療支援処理を終了する条件を満足したか否かを判定する。医療支援処理を終了する条件の一例としては、内視鏡システム１０に対して、医療支援処理を終了させる指示が与えられたという条件（例えば、医療支援処理を終了させる指示が受付装置６４によって受け付けられたという条件）が挙げられる。

　ステップＳＴ３４において、医療支援処理を終了する条件を満足していない場合は、判定が否定されて、医療支援処理は、図１２Ａに示すステップＳＴ１０へ移行する。ステップＳＴ３４において、医療支援処理を終了する条件を満足した場合は、判定が肯定されて、医療支援処理が終了する。

　以上説明したように、内視鏡システム１０では、複数の病変４２が写っているフレーム４０に対して認識処理９６が行われることによって認識された複数の病変４２のそれぞれの特性としてサイズ１１２が取得される。そして、第１表示領域３６には、フレーム４０が表示され、第２表示領域３８には、フレーム４０から複数の病変４２が個別に抽出された複数の局所画像１１０が、複数の病変４２のそれぞれのサイズ１１２に応じて表示される。従って、第１表示領域３６に表示されるフレーム４０に対する視認性を損ねることなく、フレーム４０に写っている複数の病変４２を、複数の病変４２のそれぞれのサイズ１１２が把握可能な状態で医師１２に対して視覚的に認識させることができる。

　なお、ここでは、複数の局所画像１１０が、複数の病変４２のそれぞれのサイズ１１２（すなわち、実サイズ）に応じて第２表示領域３８に表示される形態例を挙げたが、これは、あくまでも一例に過ぎない。例えば、複数の病変４２間のサイズ１１２の違いは、複数の病変４２のそれぞれに対して設定された第１矩形枠１０６のサイズ（すなわち、画像上でのサイズ）の違いからも特定可能であるので、複数の局所画像１１０は、複数の病変４２のそれぞれに対して設定された第１矩形枠１０６のサイズに応じて第２表示領域３８に表示されるようにしてもよい。また、複数の局所画像１１０は、複数の病変４２に対応している複数のセグメンテーション画像１０２のサイズに応じて第２表示領域３８に表示されるようにしてもよい。

　また、内視鏡システム１０では、複数の病変４２間でのサイズ１１２の大小関係が視覚的に特定可能な表示態様で複数の局所画像１１０が第２表示領域３８に表示される。これにより、複数の病変４２間でのサイズ１１２の大小関係を医師１２に対して視覚的に認識させることができる。

　また、内視鏡システム１０では、複数の局所画像１１０と対応するサイズ１１２が、複数の局所画像１１０との対応関係が特定可能な状態で第２表示領域３８に表示される。これにより、複数の病変４２のそれぞれのサイズ１１２の違いを医師１２に対して視覚的に認識させることができる。

　また、内視鏡システム１０では、局所画像１１０として、複数の局所画像１１０を対比した場合に複数の局所画像１１０間で病変４２のサイズ１１２の違いが視覚的に弁別可能な第２矩形枠１０８を用いてフレーム４０から抽出された画像が用いられている。従って、複数の病変４２のそれぞれのサイズ１１２の違いを医師１２に対して視覚的に認識させることができる。

　また、内視鏡システム１０では、第２矩形枠１０８として、複数の病変４２間で共通の形状及びサイズを有する枠が用いられている。従って、第２矩形枠１０８を用いてフレーム４０から抽出された複数の局所画像１１０が対比可能な状態で第２表示領域３８に表示されることで、複数の病変４２のそれぞれのサイズ１１２の違いを医師１２に対して視覚的に認識させることができる。

　また、内視鏡システム１０では、第２表示領域３８内に局所画像１１０と隣接する位置に識別子１０４が表示され、第１表示領域３６の病変隣接位置にも識別子１０４が表示される。従って、第２表示領域３８内の局所画像１１０の表示位置と第１表示領域３６内のフレーム４０に写っている病変４２の表示位置との対応関係を医師１２に対して視覚的に認識させることができる。

　なお、上記実施形態では、取得部８２Ｂによって複数の病変４２のそれぞれのサイズ１１２が取得され、サイズ１１２に対して識別子１０４が対応付けられることによって第２情報１２６が生成される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、図１３に示すように、取得部８２Ｂは、複数の病変４２について得られた複数の距離情報１１４に基づいて複数の第３情報１２８を生成してＲＡＭ８４に格納してもよい。第３情報１２８は、第２情報１２６に比べ、サイズ１１２に代えて距離情報１１４を適用した点が異なる。第３情報１２８に用いられる距離情報１１４は、サイズ１１２を求める上でセグメンテーション対応領域１１６Ａから抽出された距離情報１１４である。ここで、距離情報１１４は、本開示の技術に係る「深度」の一例である。

　ＲＡＭ８４に複数の第１情報１１１及び複数の第３情報１２８が格納されている場合、一例として図１４に示すように、制御部８２Ｃは、ＲＡＭ８４から複数の第１情報１１１及び複数の第３情報１２８を取得し、ＲＡＭ８４から取得した複数の第１情報１１１及び複数の第３情報１２８に基づいて、複数の識別子１０４、複数の局所画像１１０、及び複数の距離情報１１４を第２表示領域３８に表示する。図１４に示す第２表示領域３８の表示内容は、図１１に示す第２表示領域３８の表示内容に比べ、サイズ１１２に代えて距離情報１１４が表示される点が異なる。すなわち、第２表示領域３８には、複数の病変４２間での深度の深浅関係が視覚的に特定可能な表示態様で複数の局所画像１１０が表示される。図１４に示す例では、各局所画像１１０と隣接する位置に、対応する距離情報１１４（すなわち、カメラ５２から、局所画像１１０に写っている病変４２までの深度）が表示される。

　このように、複数の局所画像１１０が距離情報１１４に応じて第２表示領域３８に表示されることで、第１表示領域３６に表示されるフレーム４０に対する視認性を損ねることなく、フレーム４０に写っている複数の病変４２を、複数の病変４２のそれぞれの距離情報１１４が把握可能な状態で医師１２に対して視覚的に認識させることができる。また、複数の局所画像１１０のそれぞれに対応する距離情報１１４が、対応する局所画像１１０と隣接する位置に表示されるので、複数の病変４２間での観察位置からの深度の深浅関係を医師１２に対して視覚的に認識させることができる。

　なお、図１４に示す例では、第２表示領域３８に複数の距離情報１１４が表示される形態例が示されているが、これは、あくまでも一例に過ぎず、第２表示領域３８には、複数のサイズ１１２と複数の距離情報１１４とが並べられて表示されるようにしてもよい。

　図１１に示す例では、複数の局所画像１１０がサイズ１１２に応じて第２表示領域３８に表示される形態例が示されており、図１４に示す例では、複数の局所画像１１０が距離情報１１４に応じて第２表示領域３８に表示される形態例が示されているが、図１１に示す第２表示領域３８の表示内容と図１４に示す第２表示領域３８の表示内容とが選択的に表示されるようにしてもよい。この場合、例えば、図１５に示すように、受付装置６４によって受け付けられた指示１２９（例えば、医師１２によって与えられた指示）に従って、図１１に示す第２表示領域３８の表示内容と図１４に示す第２表示領域３８の表示内容とが切り替えられるようにしてもよい。これにより、医師１２の意思に従って、フレーム４０に写っている複数の病変４２を、複数の病変４２のそれぞれのサイズ１１２が把握可能な状態で第２表示領域３８に表示させたり、フレーム４０に写っている複数の病変４２を、複数の病変４２のそれぞれの距離情報１１４が把握可能な状態で第２表示領域３８に表示させたりすることができる。

　ところで、フレーム４０に写っている病変４２の個数が多くなると、第２表示領域３８に表示させる局所画像１１０の枚数も多くなり、病変４２の個数が多過ぎると、第２表示領域３８に局所画像１１０の全てを表示することが困難になる。局所画像１１０を縮小化することで、第２表示領域３８に局所画像１１０の全てを表示するようにしてもよいが、そうすると、局所画像１１０の視認性が悪くなる。

　そこで、一例として図１６に示すように、制御部８２Ｃは、複数の局所画像１１０をグループ化した状態で第２表示領域３８に表示する。図１６に示す例では、制御部８２Ｃが、ＲＡＭ８４に格納されている局所画像１１０の枚数（すなわち、認識部８２Ａによって認識された病変４２の個数に相当する枚数）が既定枚数（例えば、４枚）を超えているか否かを判定する。既定枚数の一例としては、ＲＡＭ８４に格納されている全ての局所画像１１０が第２表示領域３８に表示された場合に視認性が悪くなる枚数として実機による試験及び／又はコンピュータ・シミュレーション等によって事前に導出された枚数が挙げられる。

　ＲＡＭ８４に格納されている局所画像１１０の枚数が既定枚数を超えていない場合、制御部８２Ｃは、上記実施形態と同様の処理を実行する。ＲＡＭ８４に格納されている局所画像１１０の枚数が既定枚数を超えている場合、制御部８２Ｃは、ＲＡＭ８４に格納されている複数の局所画像１１０を複数のサイズ範囲に振り分けることにより複数の局所画像１１０をサイズ範囲別にグループ化する。

　ここで、複数のサイズ範囲としては、第１サイズ範囲１３０と第２サイズ範囲１３２とが挙げられる。例えば、第１サイズ範囲１３０は、サイズ１１２が４．０ｍｍ以上の範囲であり、第２サイズ範囲１３２は、サイズ１１２が４．０ｍｍ未満の範囲である。ここで、４．０ｍｍ以上の範囲内のサイズ１１２及び４．０ｍｍ未満の範囲内のサイズ１１２のそれぞれは、本開示の技術に係る「共通する特性」の一例である。

　ここでは、説明の便宜上、２つのサイズ範囲を例示しているが、これは、あくまでも一例に過ぎず、例えば、３つ以上のサイズ範囲であってもよく、複数のサイズ１１２が区切られる複数のサイズ範囲であればよい。

　また、複数のサイズ範囲は、医学的知見に基づく臨床的な意思決定のために医師１２によって参考にされる基準値（例えば、医師１２が病変４２の切除を行うか否かの判断を下す基準値（例えば、５ｍｍ及び／又は１０ｍｍ等））に基づいて定められていてもよいし、医師１２によって与えられた指示及び／又は各種条件に応じて変更される可変値に基づいて定められてもよい。

　制御部８２Ｃは、ＲＡＭ８４に格納されている第１情報１１１及び第２情報１２６に基づいて、複数の局所画像１１０を第１サイズ範囲１３０及び第２サイズ範囲１３２に振り分けることで複数の局所画像１１０をサイズ範囲別にグループ化する。そして、制御部８２Ｃは、複数の局所画像１１０をサイズ範囲別にグループ化された状態で第２表示領域３８に表示する。図１６に示す例では、第１サイズ範囲１３０を代表する局所画像１１０と、第２サイズ範囲１３２を代表する局所画像１１０とが第２表示領域３８に表示されている。また、図１６に示す例では、第１サイズ範囲１３０を代表する局所画像１１０に写っている病変４２のサイズ１１２と、第２サイズ範囲１３２を代表する局所画像１１０に写っている病変４２のサイズ１１２とが第２表示領域３８に表示されている。

本実施形態において、第１サイズ範囲１３０及び第２サイズ範囲１３２は、本開示の技術に係る「複数の第１範囲」の一例である。

　また、第２表示領域３８には、第１サイズ範囲１３０に振り分けられた局所画像１１０の枚数を示す第１枚数情報１３４と、第２サイズ範囲１３２に振り分けられた局所画像１１０の枚数を示す第２枚数情報１３６とが表示される。図１６に示す例では、第１枚数情報１３４として、第１サイズ範囲１３０に振り分けられた局所画像１１０の枚数が２枚であることを示す情報が表示されており、第２枚数情報１３６として、第２サイズ範囲１３２に振り分けられた局所画像１１０の枚数が３枚であることを示す情報が表示されている。ここでは、具体的な枚数を例示しているが、これは、あくまでも一例に過ぎず、枚数が多いか少ないかを特定可能な概略的な指標であってもよい。本実施形態において、第１枚数情報１３４及び第２枚数情報１３６は、本開示の技術に係る「第１範囲にグループ化されている抽出画像の枚数に関する情報」の一例である。

　また、第１サイズ範囲１３０を代表する局所画像１１０の一例としては、第１サイズ範囲１３０に振り分けられた全ての局所画像１１０のうち、サイズ１１２が最大の病変４２が写っている局所画像１１０が挙げられる。また、第２サイズ範囲１３２を代表する局所画像１１０の一例として、第２サイズ範囲１３２に振り分けられた全ての局所画像１１０のうち、サイズ１１２が最大の病変４２が写っている局所画像１１０が挙げられる。

　なお、ここでは、サイズ範囲を代表する局所画像１１０として、サイズ１１２が最大の病変４２が写っている局所画像１１０を例示したが、これは、あくまでも一例に過ぎない。例えば、サイズ範囲を代表する局所画像１１０は、サイズ１１２が最小の病変４２が写っている局所画像１１０であってもよいし、中央値のサイズ１１２の病変４２が写っている局所画像１１０であってもよいし、最頻値のサイズ１１２の病変４２が写っている局所画像１１０であってもよいし、ランダムに選ばれた局所画像１１０であってもよい。

　また、図１６に示す例では、上記実施形態と同様の要領で、第１サイズ範囲１３０を代表する局所画像１１０に対応する識別子１０４が第２表示領域３８に表示され、第２サイズ範囲１３２を代表する局所画像１１０に対応する識別子１０４が第２表示領域３８に表示される。

　このように、図１６に示す例では、複数の局所画像１１０に写っている複数の病変４２についての複数のサイズ１１２が第１サイズ範囲１３０と第２サイズ範囲１３２とで区切られており、第１サイズ範囲１３０と第２サイズ範囲１３２とに振り分けられた複数の局所画像１１０がグループ化された状態で第２表示領域３８に表示される。よって、第２表示領域３８に全ての局所画像１１０のそれぞれが別々に表示される場合に比べ、第２表示領域３８に対する良好な視認性を実現することができる。

　また、図１６に示す例では、第１サイズ範囲１３０に振り分けられた全ての局所画像１１０を代表する局所画像１１０が第２表示領域３８に表示され、かつ、第１サイズ範囲１３０にグループ化されている局所画像１１０の枚数に関する情報として第１枚数情報１３４が第２表示領域３８に表示される。また、第２サイズ範囲１３２に振り分けられた全ての局所画像１１０を代表する局所画像１１０が第２表示領域３８に表示され、かつ、第２サイズ範囲１３２にグループ化されている局所画像１１０の枚数に関する情報として第２枚数情報１３６が第２表示領域３８に表示される。よって、第１サイズ範囲１３０と第２サイズ範囲１３２との違いを医師１２に対して概略的に把握させることができる。

　また、図１６に示す例では、ＲＡＭ８４に格納されている複数の局所画像１１０の枚数が既定枚数を超えた場合に、サイズ範囲別に複数の局所画像１１０がグループ化された状態で第２表示領域３８に表示される。よって、本構成によれば、視認性が悪くならない枚数の局所画像１１０を第２表示領域３８に表示させ、視認性が悪くなる枚数の局所画像１１０をグループ化して第２表示領域３８に表示させることができる。この結果、第２表示領域３８を観察する医師１２が受ける視覚的な不快感を抑制することができる。

　図１６に示す例では、複数の局所画像１１０がサイズ範囲別にグループ化される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、図１７に示すように、複数の局所画像１１０が距離範囲別にグループ化されるようにしてもよい。

　図１７に示す例は、図１６に示す例に比べ、第１サイズ範囲１３０に代えて第１距離範囲１３８を用いる点、及び、第２サイズ範囲１４０に代えて第２距離範囲１４０を用いる点が異なる。また、図１４に示す例では、距離情報１１４が第２表示領域３８に表示されているが、図１７に示す例では、距離情報１１４に代えて、病変４２に対する深度を示す指標１４１が第２表示領域３８に表示されている。指標１４１は、「深い」又は「浅い」で表現される。なお、図１７に示す例では、第２表示領域３８に指標１４１が表示される形態例が示されているが、これは、あくまでも一例に過ぎず、図１６に示す例においてサイズ範囲を代表する局所画像１１０に写っている病変４２のサイズ１１２が第２表示領域３８に表示されるのと同様の要領で、距離範囲を代表する局所画像１１０に写っている病変４２の距離情報１１４が第２表示領域３８に表示されるようにしてもよい。

　ＲＡＭ８４に格納されている局所画像１１０の枚数が既定枚数を超えている場合、制御部８２Ｃは、ＲＡＭ８４に格納されている複数の局所画像１１０を複数の距離範囲に振り分けることにより複数の局所画像１１０を距離範囲別にグループ化する。ここで、複数の距離範囲としては、第１距離範囲１３８と第２距離範囲１４０とが挙げられる。例えば、第１距離範囲１３８は、距離情報１１４により示される距離が４．０ｍｍ以上の範囲であり、第２距離範囲１４０は、距離情報１１４により示される距離が４．０ｍｍ未満の範囲である。ここで、４．０ｍｍ以上の範囲内の距離及び４．０ｍｍ未満の範囲内の距離のそれぞれは、本開示の技術に係る「共通する特性」の一例である。

　ここでは、説明の便宜上、２つの距離範囲を例示しているが、これは、あくまでも一例に過ぎず、例えば、３つ以上の距離範囲であってもよく、複数の距離情報１１４が区切られる複数の距離範囲であればよい。また、複数の距離範囲は、固定値であってもよいし、医師１２によって与えられた指示及び／又は各種条件に応じて変更される可変値であってもよい。

　制御部８２Ｃは、ＲＡＭ８４に格納されている第１情報１１１及び第３情報１２８（図１４参照）に基づいて、複数の局所画像１１０を第１距離範囲１３８及び第２距離範囲１４０に振り分けることで複数の局所画像１１０を距離範囲別にグループ化する。そして、制御部８２Ｃは、複数の局所画像１１０を距離範囲別にグループ化された状態で第２表示領域３８に表示する。図１７に示す例では、第１距離範囲１３８を代表する局所画像１１０と、第２距離範囲１４０を代表する局所画像１１０とが第２表示領域３８に表示されている。本実施形態において、第１距離範囲１３８及び第２距離範囲１４０は、本開示の技術に係る「複数の第２範囲」の一例である。

　また、第２表示領域３８には、第１距離範囲１３８に振り分けられた局所画像１１０に写っている病変４２の深度を示す指標１４１と、第２距離範囲１４０に振り分けられた局所画像１１０に写っている病変４２の深度を示す指標１４１とが表示される。また、第２表示領域３８には、第１距離範囲１３８に振り分けられた局所画像１１０の枚数を示す第３枚数情報１４２と、第２距離範囲１４０に振り分けられた局所画像１１０の枚数を示す第４枚数情報１４４とが表示される。図１７に示す例では、第３枚数情報１４２として、第１距離範囲１３８に振り分けられた局所画像１１０の枚数が２枚であることを示す情報が表示されており、第４枚数情報１４４として、第２距離範囲１４０に振り分けられた局所画像１１０の枚数が３枚であることを示す情報が表示されている。本実施形態において、第３枚数情報１４２及び第４枚数情報１４４は、本開示の技術に係る「第２範囲にグループ化されている抽出画像の枚数に関する情報」の一例である。

　また、第１距離範囲１３８を代表する局所画像１１０の一例としては、第１距離範囲１３８に振り分けられた全ての局所画像１１０のうち、距離情報１１４により示される距離が最大の病変４２が写っている局所画像１１０が挙げられる。また、第２距離範囲１４０を代表する局所画像１１０の一例として、第２距離範囲１４０に振り分けられた全ての局所画像１１０のうち、距離情報１１４により示される距離が最大の病変４２が写っている局所画像１１０が挙げられる。

　なお、ここでは、距離範囲を代表する局所画像１１０として、距離が最大の病変４２が写っている局所画像１１０を例示したが、これは、あくまでも一例に過ぎない。例えば、距離範囲を代表する局所画像１１０は、距離が最小の病変４２が写っている局所画像１１０であってもよいし、中央値の距離の病変４２が写っている局所画像１１０であってもよいし、最頻値の距離の病変４２が写っている局所画像１１０であってもよいし、ランダムに選ばれた局所画像１１０であってもよい。

　また、図１７に示す例では、上記実施形態と同様の要領で、第１距離範囲１３８を代表する局所画像１１０に対応する識別子１０４が第２表示領域３８に表示され、第２距離範囲１４０を代表する局所画像１１０に対応する識別子１０４が第２表示領域３８に表示される。

　このように、図１７に示す例では、複数の局所画像１１０に写っている複数の病変４２についての複数の距離情報１１４が第１距離範囲１３８と第２距離範囲１４０とで区切られており、第１距離範囲１３８と第２距離範囲１４０とに振り分けられた複数の局所画像１１０がグループ化された状態で第２表示領域３８に表示される。よって、第２表示領域３８に全ての局所画像１１０のそれぞれが別々に表示される場合に比べ、第２表示領域３８に対する良好な視認性を実現することができる。

　また、図１７に示す例では、第１距離範囲１３８に振り分けられた全ての局所画像１１０を代表する局所画像１１０が第２表示領域３８に表示され、かつ、第１距離範囲１３８にグループ化されている局所画像１１０の枚数に関する情報として第３枚数情報１４２が第２表示領域３８に表示される。また、第２距離範囲１４０に振り分けられた全ての局所画像１１０を代表する局所画像１１０が第２表示領域３８に表示され、かつ、第２距離範囲１４０にグループ化されている局所画像１１０の枚数に関する情報として第４枚数情報１４４が第２表示領域３８に表示される。よって、第１距離範囲１３８と第２距離範囲１４０との違いを医師１２に対して概略的に把握させることができる。

　また、図１７に示す例では、ＲＡＭ８４に格納されている複数の局所画像１１０の枚数が既定枚数を超えた場合に、距離範囲別に複数の局所画像１１０がグループ化された状態で第２表示領域３８に表示される。よって、本構成によれば、視認性が悪くならない枚数の局所画像１１０を第２表示領域３８に表示させ、視認性が悪くなる枚数の局所画像１１０をグループ化して第２表示領域３８に表示させることができる。この結果、第２表示領域３８を観察する医師１２が受ける視覚的な不快感を抑制することができる。

　一例として図１８に示すように、制御部８２Ｃは、局所画像１１０に含まれる病変４２のフレーム４０内での表示位置が特定可能なマップ１４６を生成し、生成したマップ１４６を第３表示領域１４８に表示するようにしてもよい。マップ１４６は、確率マップ１００に含まれる複数のセグメンテーション画像１０２のそれぞれに識別子１０４が対応付けられることによって生成される。複数のセグメンテーション画像１０２のそれぞれに対応付けられる識別子１０４は、図７に示す識別子１０４と同一の識別子である。

　画面３５内の第３表示領域１４８は、第１表示領域３６及び第２表示領域３８とは異なる表示領域であり、画面３５内において第１表示領域３６及び第２表示領域３８と対比可能な位置に配置されている。第３表示領域１４８には、確率マップ１００が表示され、かつ、確率マップ１００内に複数の識別子１０４が表示される。例えば、複数の識別子１０４は、確率マップ１００に重畳表示される。確率マップ１００内で識別子１０４が表示される位置は、セグメンテーション画像１０２と隣接する位置であり、第１位置情報９８（図７参照）に基づいて決定される。なお、本実施形態において、マップ１４６は、本開示の技術に係る「位置特定情報」及び「マップ」の一例である。また、本実施形態において、第３表示領域１４８は、本開示の技術に係る「第３表示領域」の一例である。

　このように、図１８に示す例では、第３表示領域１４８にマップ１４６が表示される。マップ１４６には、複数の病変４２が存在する位置に複数のセグメンテーション画像１０２が分布しているため、医師１２は、マップ１４６を参照することにより、局所画像１１０に含まれる病変４２のフレーム４０内での表示位置を視覚的に特定することができる。

　また、マップ１４６は、認識処理９６が行われることによって得られた確率マップ１００に基づいて生成されるので、局所画像１１０に含まれる病変４２のフレーム４０内での表示位置を特定可能なマップを容易に入手することができる。

　また、マップ１４６は、第１表示領域３６及び第２表示領域３８とは異なる第３表示領域１４８に表示されるので、第１表示領域３６にマップ１４６が表示されたり、第２表示領域３８にマップ１４６が表示されたりする場合に比べ、第１表示領域３６及び第２表示領域３８に対する視認性を良好に保つことができる。

　なお、図１８に示す例では、マップ１４６が第３表示領域１４８に表示される形態例を挙げたが、第３表示領域１４８には、確率マップ１００そのもの、又は、確率マップ１００が加工されたマップ等が表示されるようにしてもよい。

　また、マップ１４６には、複数のセグメンテーション画像１０２が含まれているが、マップ１４６に対して複数のセグメンテーション画像１０２を用いずに、マップ１４６内での複数のセグメンテーション画像１０２のそれぞれの位置に、セグメンテーション画像１０２に対応する識別子１０４が表示されるようにしてもよい。この場合、確率マップ１００ではなく、フレーム４０がサムネイル化された画像、又は、フレーム４０の外枠と相似関係にある外枠が用いられた画像が用いられるようにしてもよい。

　また、画面３５内での第１表示領域３６、第２表示領域３８、及び第３表示領域１４８の形状、大きさ、及び／又は位置は、与えられた指示及び／又は各種条件に応じて変更されるようにしてもよい。

　また、第１表示領域３６に表示される情報、第２表示領域３８に表示される情報、及び第３表示領域１４８に表示される情報のうちの１つ又は２つは、表示装置１８とは別の１つ以上の表示装置に表示されるようにしてもよい。

　上記実施形態では、サイズ１１２毎に局所画像１１０が第２表示領域３８に表示される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、サイズ１１２毎に且つ距離情報１１４毎に局所画像１１０が振り分けられて第２表示領域３８に表示されるようにしてもよい。また、病変４２の種類毎に局所画像１１０が振り分けられて第２表示領域３８に表示されてもよいし、病変４２の型毎に局所画像１１０が振り分けられて第２表示領域３８に表示されてもよい。また、病変４２の種類毎及び／又は病変４２の型毎に且つサイズ１１２毎に局所画像１１０が振り分けられて第２表示領域３８に表示されるようにしてもよい。また、病変４２の種類毎及び／又は病変４２の型毎に且つ距離情報１１４毎に局所画像１１０が振り分けられて第２表示領域３８に表示されるようにしてもよい。

　また、受付装置６４によって受け付けられた指示（例えば、医師１２によって与えられた指示）に従って選択された特性（例えば、上述したサイズ１１２、距離情報１１４、病変４２の種類、及び／又は病変４２の型）毎に局所画像１１０が振り分けられて第２表示領域３８に表示されてもよい。

　なお、ここでは、病変４２の特性として、サイズ１１２、距離情報１１４、病変４２の種類、及び病変４２の型を例示したが、これは、あくまでも一例に過ぎない。病変４２の特性は、病変４２の重症度及び／又は病変４２の粘膜の状態等であってもよいし、上述した複数の特性を複合化した特性（例えば、サイズ１１２、距離情報１１４、病変４２の種類、病変４２の型、病変４２の重症度、及び病変４２の粘膜の状態等のうちの２つ以上の特性を組み合わせた特性）であってもよい。

　上記実施形態では、識別子１０４及びサイズ１１２が画面３５に表示される形態例を挙げたが、本開示の技術はこれに限定されず、識別子１０４及び／又はサイズ１１２が画面３５に表示されなくても本開示の技術は成立する。また、図１４に示す例では、識別子１０４及び距離情報１１４が画面３５に表示される形態例を挙げたが、識別子１０４及び／又は距離情報１１４が画面３５に表示されなくても本開示の技術は成立する。

　上記実施形態では、フレーム４０から第２矩形枠１０８を用いて切り出された画像が局所画像１１０として用いられる形態例を挙げたが、本開示の技術はこれに限定されない。例えば、フレーム４０から第２矩形枠１０８を用いて切り出された画像に対して画像処理（例えば、一般的に知られている画像処理）が行われて得られた画像が局所画像１１０として用いられるようにしてもよい。また、確率マップ１００に対して設定された全ての第１矩形枠１０６（図７参照）のうちの最も大きな第１矩形枠１０６を用いてフレーム４０から切り出された画像が局所画像１１０として用いられるようにしてもよい。

　上記実施形態では、認識処理９６として、セグメンテーション方式のＡＩを用いた物体認識処理を例示したが、本開示の技術は、これに限定されず、認識処理９６は、バウンディングボックス方式のＡＩを用いた物体認識処理であってもよい。この場合、例えば、セグメンテーション画像１０２（図５参照）に代えてバウンディングボックスが用いられ、第１矩形枠１０６（図７参照）に相当する枠としてバウンディングボックスが用いられる。

　上記実施形態では、第１表示領域３６に内視鏡動画像３９が表示される形態例を挙げたが、内視鏡動画像３９に対して認識処理９６が行われた結果が第１表示領域３６内の内視鏡動画像３９に重畳表示されてもよい。また、内視鏡動画像３９に対して認識処理９６が行われた結果として得られたセグメンテーション画像１０２の少なくとも一部が内視鏡動画像３９に重畳表示されてもよい。セグメンテーション画像１０２の少なくとも一部を内視鏡動画像３９に重畳表示させる一例としては、セグメンテーション画像１０２の外輪郭がアルファブレンド方式で内視鏡動画像３９に重畳表示される形態例が挙げられる。

　また、例えば、認識処理９６がＡＩによるバウンディングボックス方式で行われる場合は、第１表示領域３６内の内視鏡動画像３９に対してバウンディングボックスが重畳表示されてもよい。また、例えば、内視鏡動画像３９に複数の病変４２が写っている場合、測定されたサイズ１１２に対応する病変４２がどれかを視覚的に特定可能にする情報として、セグメンテーション画像１０２の少なくとも一部及び／又はバウンディングボックスが第１表示領域３６に重畳表示されるようにしてもよい。

　上記実施形態では、制御部８２Ｃが、距離導出モデル９４（図９参照）を用いてフレーム４０から距離画像１１６（図９参照）を生成する形態例を挙げたが、本開示の技術はこれに限定されない。例えば、先端部５０（図２参照）に設けられた深度センサ（例えば、レーザ測距方式及び／又は位相差方式等で測距を行うセンサ）によって大腸２８の奥行方向の深度が測定され、測定された深度に基づいて距離画像１１６がプロセッサ８２によって生成されるようにしてもよい。

　上記実施形態では、線分１２０に沿って病変４２を横断する最長範囲の実空間上の長さをサイズ１１２として測定される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、病変４２を示す画像領域に対する矩形枠１２２の短辺に平行な最長の線分に対応する範囲の実空間上の長さがサイズ１１２として測定されて画面３５に表示されてもよい。この場合、病変４２を示す画像領域に対する矩形枠１２２の短辺に平行な最長の線分に沿って病変４２を横断する最長範囲の実空間上の長さを医師１２に把握させることができる。

　また、病変４２を示す画像領域に対する外接円の半径及び／又は直径についての病変４２の実サイズが測定されて画面３５に表示されてもよい。この場合、病変４２を示す画像領域に対する外接円の半径及び／又は直径についての病変４２の実サイズを医師１２に把握させることができる。

　上記実施形態では、第２表示領域３８内にサイズ１１２が表示される形態例を挙げたが、これは、あくまでも一例に過ぎず、第２表示領域３８内から第２表示領域３８外にポップアップ方式でサイズ１１２が表示されてもよいし、画面３５内の第２表示領域３８以外にサイズ１１２が表示されるようにしてもよい。また、病変の種類及び／又は病変の型等も第１表示領域３６内及び／又は第２表示領域３８内に表示されてもよいし、画面３５以外の画面に表示されてもよい。

　上記実施形態では、１フレーム単位でサイズ１１２の測定が行われる形態例を挙げたが、これは、あくまでも一例に過ぎず、複数フレーム単位でサイズ１１２の測定が行われるようにしてもよい。また、複数フレーム単位でサイズ１１２の測定が行われて得られた代表サイズ（例えば、平均値、中央値、最大値、最小値、偏差、標準偏差、及び／又は最頻値等）が第２情報１２６（図１０及び図１１参照）に用いられてもよい。

　上記実施形態では、認識処理９６として、ＡＩ方式の物体認識処理を例示したが、本開示の技術はこれに限定されず、非ＡＩ方式の物体認識処理（例えば、テンプレートマッチング等）が実行されることによってフレーム４０に写っている病変４２が認識部８２Ａによって認識されるようにしてもよい。

　上記実施形態では、サイズ１１２の算出のために演算式１２４を用いる形態例を挙げて説明したが、本開示の技術はこれに限定されず、フレーム４０に対してＡＩを用いた処理が行われることによりサイズ１１２が測定されるようにしてもよい。この場合、例えば、病変４２を含むフレーム４０が入力されると、病変４２のサイズ１１２を出力する学習済みモデルを用いればよい。学習済みモデルを作成する場合、例題データとして用いられる画像に写っている病変に対して、正解データとして病変のサイズを示すアノテーションを付与した教師データを用いた深層学習がニューラルネットワークに対して行われるようにすればよい。

　上記実施形態では、距離導出モデル９４を用いて距離情報１１４を導出する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、距離情報１１４をＡＩ方式で導出する他の方法としては、例えば、セグメンテーションと深度推定とを組み合わせる方法（例えば、画像全体（例えば、画像を構成する全画素）に距離情報１１４を与える回帰学習、又は、無教師で画像全体の距離を学習する無教師学習）等が挙げられる。

　上記実施形態では、内視鏡動画像３９を例示したが、本開示の技術はこれに限定されず、内視鏡動画像３９以外の医用動画像（例えば、放射線動画像又は超音波動画像等のように、内視鏡システム１０以外のモダリティ（例えば、放射線診断装置又は超音波診断装置等）によって得られた動画像）であっても本開示の技術は成立する。

　上記実施形態では、動画像に写っている病変４２のサイズ１１２を測定する形態例を挙げたが、これは、あくまでも一例に過ぎず、コマ送り画像又は静止画像に写っている病変４２のサイズ１１２を測定する場合であっても本開示の技術は成立する。

　上記実施形態では、距離画像１１６内のセグメンテーション対応領域１１６Ａから抽出した距離情報１１４を演算式１２４に入力する形態例を挙げたが、本開示の技術はこれに限定されない。例えば、距離画像１１６を生成せずに、距離導出モデル９４から出力された全ての距離情報１１４から、第１位置情報９８から特定される位置に対応する距離情報１１４を抽出し、抽出した距離情報１１４を演算式１２４に入力するようにすればよい。

　上述した例では、サイズ１１２等の出力先として表示装置１８を例示したが、本開示の技術はこれに限定されず、フレーム４０、医療情報４４、及び／又はマップ１４６等の各種情報（以下、「各種情報」と称する）の出力先は、表示装置１８以外であってもよい。一例として図１９に示すように、各種情報のうちの音声出力が可能な情報の出力先としては、音声再生装置１５０が挙げられる。各種情報のうちの音声出力が可能な情報は、音声再生装置１５０によって音声として出力されてもよい。また、各種情報の出力先としては、プリンタ１５２及び／又は電子カルテ管理装置１５４等が挙げられる。各種情報は、プリンタ１５２によって媒体（例えば、用紙）等にテキスト等として印刷されてもよいし、電子カルテ管理装置１５４によって管理されている電子カルテ１５６に保存されてもよい。

　上述した例では、各種情報が画面３５に表示されたり、各種情報が画面３５に表示されなかったりする形態例を挙げて説明したが、各種情報の画面３５への表示は、ユーザ等（例えば、医師１２）に対して各種情報の知覚可能な表示を意味する。また、各種情報が画面３５に表示されないという概念には、各種情報の表示レベル（例えば、表示によって知覚されるレベル）を落とすという概念も含まれる。例えば、各種情報が画面３５に表示されないという概念には、各種情報がユーザ等によって視覚的に知覚されない表示態様で各種情報が表示されるという概念も含まれる。この場合の表示態様としては、例えば、各種情報のフォントサイズを小さくしたり、各種情報を細線化したり、各種情報を点線化したり、各種情報を点滅させたり、知覚不可な表示時間で各種情報を表示させたり、各種情報を知覚不可レベルに透明化したりする表示態様が挙げられる。なお、上述した音声出力、印刷、及び保存等の各種出力についても同様のことが言える。

　上記実施形態では、内視鏡システム１０に含まれるプロセッサ８２によって医療支援処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、医療支援処理に含まれる少なくとも一部の処理を行うデバイスは、内視鏡システム１０の外部に設けられていてもよい。

　この場合、例えば、図２０に示すように、内視鏡システム１０とネットワーク１５８（例えば、ＷＡＮ及び／又はＬＡＮ等）を介して通信可能に接続された外部装置１６０を用いればよい。

　外部装置１６０の一例としては、ネットワーク１５８を介して内視鏡システム１０と直接的に又は間接的にデータの送受信を行う少なくとも１台のサーバが挙げられる。外部装置１６０は、内視鏡システム１０のプロセッサ８２からネットワーク１５８を介して与えられた処理実行指示を受信する。そして、外部装置１６０は、受信した処理実行指示に応じた処理を実行し、処理結果を、ネットワーク１５８を介して内視鏡システム１０に送信する。内視鏡システム１０では、プロセッサ８２が、外部装置１６０からネットワーク１５８を介して送信された処理結果を受信し、受信した処理結果を用いた処理を実行する。

　処理実行指示としては、例えば、医療支援処理の少なくとも一部を外部装置１６０に対して実行させる指示が挙げられる。医療支援処理の少なくとも一部（すなわち、外部装置１６０に対して実行させる処理）の第１例としては、認識処理９６が挙げられる。この場合、外部装置１６０は、内視鏡システム１０のプロセッサ８２からネットワーク１５８を介して与えられた処理実行指示に従って認識処理９６を実行し、認識処理結果（例えば、第１位置情報９８及び／又は確率マップ１００等）を、ネットワーク１５８を介して内視鏡システム１０に送信する。内視鏡システム１０では、プロセッサ８２が、認識処理結果を受信し、受信した認識処理結果を用いて上記実施形態と同様の処理を実行する。

　医療支援処理の少なくとも一部（すなわち、外部装置１６０に対して実行させる処理）の第２例としては、取得部８２Ｂによる処理が挙げられる。取得部８２Ｂによる処理とは、例えば、病変４２のサイズ１１２を測定する処理を指す。この場合、外部装置１６０は、内視鏡システム１０のプロセッサ８２からネットワーク１５８を介して与えられた処理実行指示に従って、取得部８２Ｂによる処理を実行し、測定処理結果（例えば、サイズ１１２等）を、ネットワーク１５８を介して内視鏡システム１０に送信する。内視鏡システム１０では、プロセッサ８２が、測定処理結果を受信し、受信した測定処理結果を用いて上記実施形態と同様の処理を実行する。

　医療支援処理の少なくとも一部（すなわち、外部装置１６０に対して実行させる処理）の第３例としては、図１２Ａ及び図１２Ｂに示す医療支援処理に含まれるステップＳＴ１２～ステップＳＴ２８の処理のうちの少なくとも１つの処理が挙げられる。

　医療支援処理の少なくとも一部（すなわち、外部装置１６０に対して実行させる処理）の第４例としては、第３情報１２８を生成して格納領域に格納する処理が挙げられる。

　医療支援処理の少なくとも一部（すなわち、外部装置１６０に対して実行させる処理）の第５例としては、複数の局所画像１１０をサイズ範囲別にグループ化する処理が挙げられる。

　医療支援処理の少なくとも一部（すなわち、外部装置１６０に対して実行させる処理）の第６例としては、複数の局所画像１１０を距離範囲別にグループ化する処理が挙げられる。

　医療支援処理の少なくとも一部（すなわち、外部装置１６０に対して実行させる処理）の第７例としては、第１表示領域３６の表示内容、第２表示領域３８の表示内容、及び／又は第３表示領域１４８の表示内容を生成する処理が挙げられる。

　例えば、外部装置１６０は、クラウドコンピューティングによって実現される。なお、クラウドコンピューティングは、あくまでも一例に過ぎず、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現されてもよい。サーバに代えて、少なくとも１台のパーソナル・コンピュータ等を外部装置１６０として用いてもよい。また、複数種類のＡＩ機能が搭載された通信機能付き演算装置であってもよい。

　上記実施形態では、ＮＶＭ８６に医療支援プログラム９０が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、医療支援プログラム９０がＳＳＤ又はＵＳＢメモリなどの可搬型のコンピュータ読み取り可能な非一時的格納媒体に格納されていてもよい。非一時的格納媒体に格納されている医療支援プログラム９０は、内視鏡システム１０のコンピュータ７８にインストールされる。プロセッサ８２は、医療支援プログラム９０に従って医療支援処理を実行する。

　また、ネットワークを介して内視鏡システム１０に接続される他のコンピュータ又はサーバ等の格納装置に医療支援プログラム９０を格納させておき、内視鏡システム１０の要求に応じて医療支援プログラム９０がダウンロードされ、コンピュータ７８にインストールされるようにしてもよい。

　なお、内視鏡システム１０に接続される他のコンピュータ又はサーバ装置等の格納装置に医療支援プログラム９０の全てを格納させておいたり、ＮＶＭ８６に医療支援プログラム９０の全てを記憶させたりしておく必要はなく、医療支援プログラム９０の一部を格納させておいてもよい。

　医療支援処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、医療支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで医療支援処理を実行する。

　医療支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、医療支援処理を実行するハードウェア資源は１つのプロセッサであってもよい。

　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、医療支援処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、医療支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、医療支援処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の医療支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims

　プロセッサを備え、
　前記プロセッサは、
　複数の観察対象領域が写っている医用画像に対して認識処理が行われることによって認識された前記複数の観察対象領域のそれぞれの特性を取得し、
　前記医用画像を第１表示領域に表示し、
　前記医用画像から前記複数の観察対象領域が個別に抽出された複数の抽出画像を前記特性に応じて、前記第１表示領域外の第２表示領域に表示する
　医療支援装置。
　前記特性は、サイズを含む
　請求項１に記載の医療支援装置。
　前記第２表示領域には、前記複数の観察対象領域間での前記サイズの大小関係が視覚的に特定可能な表示態様で前記複数の抽出画像が表示される
　請求項２に記載の医療支援装置。
　前記サイズが複数の第１範囲で区切られており、
　前記第２表示領域には、前記第１範囲別に前記複数の抽出画像がグループ化された状態で表示される
　請求項２に記載の医療支援装置。
　前記第２表示領域には、前記第１範囲別に前記複数の抽出画像がグループ化された場合に、前記第１範囲を代表する前記抽出画像が表示され、かつ、前記第１範囲にグループ化されている前記抽出画像の枚数に関する情報が表示される
　請求項４に記載の医療支援装置。
　前記第２表示領域には、前記複数の抽出画像の枚数が既定枚数を超えた場合に、前記第１範囲別に前記複数の抽出画像がグループ化された状態で表示される
　請求項４に記載の医療支援装置。
　前記特性は、深度を含む
　請求項１に記載の医療支援装置。
　前記第２表示領域には、前記複数の観察対象領域間での前記深度の深浅関係が視覚的に特定可能な表示態様で前記複数の抽出画像が表示される
　請求項７に記載の医療支援装置。
　前記深度が複数の第２範囲で区切られており、
　前記第２表示領域には、前記第２範囲別に前記複数の抽出画像がグループ化された状態で表示される
　請求項７に記載の医療支援装置。
　前記第２表示領域には、前記第２範囲別に前記複数の抽出画像がグループ化された場合に、前記第２範囲を代表する前記抽出画像が表示され、かつ、前記第２範囲にグループ化されている前記抽出画像の枚数に関する情報が表示される
　請求項９に記載の医療支援装置。
　前記第２表示領域には、前記複数の抽出画像の枚数が既定枚数を超えた場合に、前記第
２範囲別に前記複数の抽出画像がグループ化された状態で表示される
　請求項９に記載の医療支援装置。
　前記プロセッサは、画面に位置関係特定情報を表示し、
　前記位置関係特定情報は、前記複数の抽出画像のうちの少なくとも１つが表示されている第１表示位置と、前記第１表示位置に表示されている前記抽出画像に写っている前記観察対象領域が前記第１表示領域に表示されている第２表示位置とが対応関係にあることを特定可能な情報である
　請求項１に記載の医療支援装置。
　前記第２表示領域には、共通する前記特性別に前記複数の抽出画像がグループ化された状態で表示される
　請求項１に記載の医療支援装置。
　前記第２表示領域には、共通する前記特性別に前記複数の抽出画像がグループ化された場合に、共通する前記特性毎に、前記特性を代表する前記抽出画像が表示され、かつ、共通する前記特性にグループ化されている前記抽出画像の枚数に関する情報が表示される
　請求項１３に記載の医療支援装置。
　前記第２表示領域には、前記複数の抽出画像の枚数が既定枚数を超えた場合に、共通する前記特性別に前記複数の抽出画像がグループ化された状態で表示される
　請求項１３に記載の医療支援装置。
　前記プロセッサは、前記抽出画像に含まれる前記観察対象領域の前記医用画像内での表示位置が特定可能な位置特定情報を第３表示領域に表示する
　請求項１に記載の医療支援装置。
　前記位置特定情報は、前記医用画像内での前記表示位置が特定可能なマップである
　請求項１６に記載の医療支援装置。
　前記認識処理は、機械学習を用いた物体認識処理であり、
　前記マップは、前記物体認識処理が行われることによって得られる確率マップに基づいて生成される
　請求項１７に記載の医療支援装置。
　前記第３表示領域は、前記第１表示領域及び前記第２表示領域とは異なる位置にある
　請求項１６に記載の医療支援装置。
　前記複数の観察対象領域のそれぞれの実サイズが測定され、
　前記第２表示領域には、前記複数の抽出画像と対応する前記実サイズが、前記複数の抽出画像との対応関係が特定可能な状態で表示される
　請求項１に記載の医療支援装置。
　前記抽出画像は、前記複数の抽出画像を対比した場合に前記複数の抽出画像間で前記観察対象領域のサイズの違いが視覚的に弁別可能な枠を用いて前記医用画像から抽出された画像である
　請求項１に記載の医療支援装置。
　前記枠は、前記複数の観察対象領域間で共通の形状及びサイズを有する
　請求項２１に記載の医療支援装置。
　前記医用画像は、内視鏡スコープによって撮像されることによって得られた内視鏡画像である
　請求項１に記載の医療支援装置。
　前記観察対象領域は、病変である
　請求項１に記載の医療支援装置。
　請求項１から請求項２４の何れか一項に記載の医療支援装置と、
　体内に挿入されて前記体内を撮像することで前記医用画像を取得する内視鏡スコープと、を備える
　内視鏡システム。
　複数の観察対象領域が写っている医用画像に対して認識処理が行われることによって認識された前記複数の観察対象領域のそれぞれの特性を取得すること、
　前記医用画像を第１表示領域に表示すること、及び、
　前記医用画像から前記複数の観察対象領域が個別に抽出された複数の抽出画像を前記特性に応じて、前記第１表示領域外の第２表示領域に表示することを含む
　医療支援方法。
　体内に挿入されて前記体内を撮像することで前記医用画像を取得する内視鏡スコープを用いることを含む
　請求項２６に記載の医療支援方法。
　複数の観察対象領域が写っている医用画像に対して認識処理が行われることによって認識された前記複数の観察対象領域のそれぞれの特性を取得すること、
　前記医用画像を第１表示領域に表示すること、及び、
　前記医用画像から前記複数の観察対象領域が個別に抽出された複数の抽出画像を前記特性に応じて、前記第１表示領域外の第２表示領域に表示することを含む医療支援処理をコンピュータに実行させるためのプログラム。