WO2025009144A1

WO2025009144A1 - 補助情報生成方法、補助情報生成装置、およびプログラム

Info

Publication number: WO2025009144A1
Application number: PCT/JP2023/025083
Authority: WO
Inventors: 駿介奥村
Original assignee: Olympus Medical Systems Corp
Current assignee: Olympus Medical Systems Corp
Priority date: 2023-07-06
Filing date: 2023-07-06
Publication date: 2025-01-09
Anticipated expiration: 2026-01-06
Also published as: CN121001637A

Abstract

補助情報生成方法は、被験者の消化管内の複数の位置において内視鏡の撮像部によって得られた複数の画像を順次取得し、前記複数の画像に基づいて、前記消化管における特徴領域を検出し、前記消化管内の複数の区間の各々における前記特徴領域の数を算出し、前記特徴領域の前記数に応じて補助情報を生成し、前記補助情報が表示部に表示されるときに前記補助情報の態様を前記特徴領域の前記数に応じて制御する。

Description

補助情報生成方法、補助情報生成装置、およびプログラム

　本発明は、補助情報生成方法、補助情報生成装置、およびプログラムに関する。

　近年、画像認識技術を使用することにより、画像における特徴部分を判定し、画像と判定結果とを表示する方法が様々なシーンで使用されている。しかしながら、検出される特徴部分の種類または数が多くなると、表示画面がその判定結果に関する情報で満たされ、画像の視認性が低下する。

　特許文献１は、グラフィックスオブジェクトを実空間の映像に重畳する技術を開示する。この技術では、表示位置が近い複数の拡張現実感情報が１つの集合グラフィックスオブジェクトとして表示される。

日本国特開２０１０－２３８０９８号公報

　特許文献１に開示された技術では、現在表示されている映像と関連する拡張現実感情報が表示される。しかしながら、過去に表示された映像と関連する拡張現実感情報は重視されていない。

　本発明は、過去に取得された画像を含む複数の画像から得られる補助情報の煩雑な通知を避けることができる補助情報生成方法、補助情報生成装置、およびプログラムを提供することを目的とする。

　本発明の第１の態様によれば、補助情報生成方法は、以下を含む。被験者の消化管内の複数の位置において内視鏡の撮像部によって得られた複数の画像を順次取得する。前記複数の画像に基づいて、前記消化管における特徴領域を検出する。前記消化管内の複数の区間の各々における前記特徴領域の数を算出する。前記特徴領域の前記数に応じて補助情報を生成し、前記補助情報が表示部に表示されるときに前記補助情報の態様を前記特徴領域の前記数に応じて制御する。

　本発明の第２の態様によれば、第１の態様において、前記補助情報生成方法は、前記撮像部が前記消化管の奥行き方向に撮影を実行しているか否かを判定してもよく、前記撮像部が前記奥行き方向に撮影を実行していると判定されるときに前記補助情報を前記表示部に出力してもよい。

　本発明の第３の態様によれば、第２の態様において、前記補助情報生成方法は、前記撮像部によって得られた画像を前記消化管の円周方向と対応する方向に分割した複数の画像領域の各画像領域の前記補助情報を生成してもよい。

　本発明の第４の態様によれば、第３の態様において、前記補助情報生成方法は、前記複数の画像領域の各画像領域の前記補助情報を示すアイコンの大きさを、前記特徴領域の前記数に応じて制御してもよい。

　本発明の第５の態様によれば、第２の態様において、前記撮像部によって得られた画像を前記消化管の半径方向と対応する方向に分割し、かつ前記消化管の円周方向と対応する方向に分割した複数の画像領域の各画像領域の前記補助情報を生成してもよい。

　本発明の第６の態様によれば、第１の態様において、前記補助情報生成方法は、前記特徴領域の前記数が所定の数以上であるとき、第１の態様で表示される前記補助情報を生成してもよく、前記特徴領域の前記数が前記所定の数未満であるとき、前記第１の態様と異なる第２の態様で表示される前記補助情報を生成してもよい。

　本発明の第７の態様によれば、第６の態様において、前記第２の態様で表示される前記補助情報は、前記特徴領域の位置を示してもよい。

　本発明の第８の態様によれば、補助情報生成装置は、画像取得部、領域検出部、領域算出部、および補助情報生成部を有する。前記画像取得部は、被験者の消化管内の複数の位置において内視鏡の撮像部によって得られた複数の画像を順次取得する。前記領域検出部は、前記複数の画像に基づいて、前記消化管における特徴領域を検出する。前記領域算出部は、前記補助情報生成部は、前記特徴領域の前記数に応じて補助情報を生成し、前記補助情報が表示部に表示されるときに前記補助情報の態様を前記特徴領域の前記数に応じて制御する。

　本発明の第９の態様によれば、以下をコンピュータに実行させるためのプログラムが提供される。被験者の消化管内の複数の位置において内視鏡の撮像部によって得られた複数の画像を順次取得する。前記複数の画像に基づいて、前記消化管における特徴領域を検出する。前記消化管内の複数の区間の各々における前記特徴領域の数を算出する。前記特徴領域の前記数に応じて補助情報を生成し、前記補助情報が表示部に表示されるときに前記補助情報の態様を前記特徴領域の前記数に応じて制御する。

　上記の各態様によれば、補助情報生成方法、補助情報生成装置、およびプログラムは、過去に取得された画像を含む複数の画像から得られる補助情報の煩雑な通知を避けることができる。

本発明の第１の実施形態に係る内視鏡システムの構成の例を示すブロック図である。本発明の第１の実施形態における複数の区間の例を示す図である。本発明の第１の実施形態における撮影方向の例を示す図である。本発明の第１の実施形態における撮影方向の例を示す図である。本発明の第１の実施形態に係る補助情報生成装置が実行する処理の手順の例を示すフローチャートである。本発明の第１の実施形態における未観察領域の数を算出する方法の例を示す図である。本発明の第１の実施形態に係る補助情報生成装置が実行する処理の手順の例を示すフローチャートである。本発明の第１の実施形態における画像において検出された未観察領域の例を示す図である。本発明の第１の実施形態における表示部に表示された画像および補助情報の例を示す図である。本発明の第１の実施形態に係る補助情報生成装置が実行する処理の手順の例を示すフローチャートである。本発明の第１の実施形態における画像において検出された未観察領域の例を示す図である。本発明の第１の実施形態における表示部に表示された画像および補助情報の例を示す図である。本発明の第１の実施形態に係る補助情報生成装置が実行する処理の手順の例を示すフローチャートである。本発明の第１の実施形態における表示部の表示画面の例を示す図である。本発明の第２の実施形態に係る補助情報生成装置が実行する処理の手順の例を示すフローチャートである。本発明の第２の実施形態における表示部の表示画面の第１の例を示す図である。本発明の第２の実施形態における表示部の表示画面の第２の例を示す図である。本発明の第２の実施形態における表示部の表示画面の第３の例を示す図である。本発明の第２の実施形態における表示部の表示画面の第４の例を示す図である。本発明の第２の実施形態における表示部の表示画面の第５の例を示す図である。本発明の第２の実施形態における表示部の表示画面の第６の例を示す図である。本発明の第２の実施形態に係る補助情報生成装置が実行する処理の手順の例を示すフローチャートである。本発明の第２の実施形態に係る補助情報生成装置が実行する処理の手順の例を示すフローチャートである。

　以下、図面を参照し、本発明の実施形態を説明する。以下では、補助情報生成装置を含む内視鏡システムの例を説明する。以下の説明における「複数のＸＸ」は、２つ以上のＸＸを意味する。

　（第１の実施形態）
　図１は、本発明の第１の実施形態に係る内視鏡システム１の構成の例を示す。図１に示す内視鏡システム１は、内視鏡１０および補助情報生成装置２０を有する。

　内視鏡１０は、被験者の消化管に挿入される。例えば、消化管は大腸である。内視鏡１０は、撮像部１１を有する。撮像部１１は、内視鏡１０の先端に配置されている。撮像部１１は、イメージセンサであり、被験者の消化管内の複数の位置における複数の画像を生成する。撮像部１１は、複数の画像を補助情報生成装置２０に出力する。

　補助情報生成装置２０は、画像取得部２１、記憶部２２、領域検出部２３、領域算出部２４、撮影方向判定部２５、補助情報生成部２６、および表示部２７を有する。

　画像取得部２１は、撮像部１１から出力された複数の画像を順次取得する。画像取得部２１は、取得された複数の画像を記憶部２２に出力する。

　記憶部２２は、メモリであり、画像取得部２１から出力された複数の画像を記憶する。記憶部２２に記憶された複数の画像は、領域検出部２３、撮影方向判定部２５、および表示部２７に順次出力される。

　領域検出部２３は、記憶部２２から出力された複数の画像に基づいて、消化管内の複数の区間の各々における特徴領域を検出する。以下の例では、領域検出部２３が特徴領域として未観察領域を検出する例を説明する。消化管内の領域が画像に写っていない、または画像における領域の視認性が悪い場合がある。あるいは、消化管内の領域は画像に写っているが、医師がその領域の詳細な観察または処置を実施しない場合がある。領域検出部２３は、これらの領域を未観察領域として検出する。領域検出部２３は、画像における未観察領域の位置を示す領域位置情報を領域算出部２４に出力する。

　図２は、複数の区間の例を示す。消化管は区間ＳＥ１からＳＥ５に分割される。例えば、各区間は、区間内の領域の画像の撮影時刻に基づいて設定され、所定の長さの時間内に撮影された領域を含む。各区間は、所定の長さを持ち、その長さ内の領域を含んでもよい。消化管内の特定の部位ごとに各区間が設定されてもよい。

　領域算出部２４は、消化管内の複数の区間の各々における未観察領域の数を算出する。領域算出部２４は、各区間における未観察領域の数を示す領域数情報を補助情報生成部２６に出力する。

　撮影方向判定部２５は、記憶部２２から出力された複数の画像に基づいて、撮像部１１の撮影方向を判定する。図３Ａおよび図３Ｂは、撮影方向の例を示す。

　図３Ａでは、撮像部１１は、消化管の内壁ＩＷに沿った奥行き方向Ｄ１（長軸方向）に撮影を実行する。図３Ｂでは、撮像部１１は、内壁ＩＷに向かう方向Ｄ２に撮影を実行する。医師は、特定の領域の観察または処置を実施するために、内視鏡１０を湾曲させる。このとき、撮像部１１は方向Ｄ２に撮影を実行する。撮影方向判定部２５は、内視鏡１０を湾曲させるための湾曲機構の状態に基づいて撮影方向を判定してもよい。撮影方向判定部２５は、撮影方向を示す撮影方向情報を領域算出部２４および補助情報生成部２６に出力する。

　複数の画像が変化し、画像の中央部付近に継続して暗い管腔穴の画像特徴が検出されたとき、撮影方向判定部２５は、撮影方向が方向Ｄ１であると判定してもよい。あるいは、その特徴が次第に消失して均一な管腔の壁面に特有の画像特徴が検出されたとき、撮影方向判定部２５は、撮影方向が方向Ｄ２に切り替わったと判定してもよい。また、撮影方向判定部２５は、特別なセンサまたは操作部のセンサによって検出された情報を使用することにより、方向Ｄ１および方向Ｄ２を判定してもよい。

　また、撮影方向判定部２５は、記憶部２２から出力された複数の画像に基づいて、内視鏡１０の進行方向を判定する。医師が内視鏡１０を消化管内の検査対象に向かって移動させているとき、内視鏡１０の進行方向は奥行き方向である。医師が内視鏡１０を消化管から抜去される方向に移動させているとき、内視鏡１０の進行方向は後退方向である。撮影方向判定部２５は、内視鏡１０の進行方向を示す進行方向情報を領域検出部２３に出力する。

　補助情報生成部２６は、領域算出部２４から出力された領域数情報に応じて補助情報を生成し、補助情報を表示部２７に出力する。補助情報は、未観察領域の数に応じた態様で表示される。補助情報生成部２６は、補助情報の態様を制御する。

　表示部２７は、液晶モニタなどである。表示部２７は、記憶部２２から出力された複数の画像を順次表示する。また、表示部２７は、補助情報生成部２６から出力された補助情報を画像と一緒に表示する。

　画像取得部２１、領域検出部２３、領域算出部２４、撮影方向判定部２５、および補助情報生成部２６の少なくとも１つは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のようなプロセッサにより構成されてもよい。

　コンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、画像取得部２１、領域検出部２３、領域算出部２４、撮影方向判定部２５、および補助情報生成部２６の少なくとも１つの動作を規定する命令を含む。つまり、画像取得部２１、領域検出部２３、領域算出部２４、撮影方向判定部２５、および補助情報生成部２６の少なくとも１つの機能はソフトウェアにより実現されてもよい。

　上記のプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により内視鏡システム１に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。前述した機能は、コンピュータに既に記録されているプログラムと差分プログラムとの組合せによって実現されてもよい。

　図４を使用することにより、補助情報生成装置２０の動作の例を説明する。図４は、補助情報生成装置２０が実行する処理の手順の例を示す。

　（ステップＳ１００）
　画像取得部２１は、撮像部１１から出力された画像を取得する。画像取得部２１は、その画像を記憶部２２に出力する。画像取得部２１から出力された画像は、記憶部２２に出力された後、領域検出部２３、撮影方向判定部２５、および表示部２７に出力される。表示部２７は、記憶部２２から出力された画像を表示する。

　（ステップＳ１０１）
　撮影方向判定部２５は、記憶部２２から出力された画像に基づいて、内視鏡１０の進行方向が奥行き方向であるか否かを判定する。内視鏡１０の進行方向が奥行き方向であるとき、撮影方向判定部２５は、奥行き方向を示す進行方向情報を領域検出部２３に出力する。このとき、ステップＳ１０２が実行される。内視鏡１０の進行方向が奥行き方向ではないとき、ステップＳ１０８が実行される。

　（ステップＳ１０２）
　撮影方向判定部２５は、記憶部２２から出力された画像に基づいて、奥行き方向における撮影位置が変化したか否かを判定する。現在のフレームの画像と、現在のフレームの１つ前のフレームの画像との間の変化量が大きいとき、撮影方向判定部２５は奥行き方向における撮影位置が変化したと判定する。その変化量が小さいとき、撮影方向判定部２５は奥行き方向における撮影位置が変化していないと判定する。撮影位置が変化したとき、ステップＳ１０３が実行される。撮影位置が変化していないとき、ステップＳ１００が実行される。

　（ステップＳ１０３）
　撮影方向判定部２５から出力された進行方向情報が奥行き方向を示すとき、領域検出部２３は、記憶部２２から出力された画像に基づいて、現在の撮影位置と対応する区間における未観察領域を検出する。領域検出部２３は、画像における未観察領域の位置を示す領域位置情報を領域算出部２４に出力する。

　例えば、領域検出部２３は、Ｖｉｓｕａｌ　ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）と呼ばれる技術を使用することにより、カメラ位置の推定および３次元（３Ｄ）再構成を実行する。３Ｄ再構成を通して３Ｄモデルが復元される。３Ｄモデル上の位置と画像上の位置とは互いに関連付けられている。

　消化管の一部の領域が画像に写っていない、または画像が３Ｄ再構成に適していない場合、３Ｄモデルの一部の領域が復元されない。領域検出部２３は、その領域を未観察領域として検出する。

　領域検出部２３は、記憶部２２から出力された画像を処理し、病変部を検出してもよい。撮影方向が図３Ａに示す奥行き方向Ｄ１であるときに生成された画像に病変部が写っており、撮影方向が図３Ｂに示す方向Ｄ２であるときに生成された画像にその病変部が写っていない場合、領域検出部２３は、その病変部を未観察領域として検出してもよい。後述するように、領域検出部２３は、人工知能（ＡＩ）を使用することにより未観察領域を検出してもよい。

　（ステップＳ１０４）
　撮影方向判定部２５は、記憶部２２から出力された画像に基づいて、撮像部１１の撮影方向が奥行き方向であるか否かを判定する。撮像部１１の撮影方向が奥行き方向であるとき、撮影方向判定部２５は奥行き方向を示す撮影方向情報を領域算出部２４および補助情報生成部２６に出力する。このとき、ステップＳ１０５が実行される。撮像部１１の撮影方向が奥行き方向ではないとき、ステップＳ１００が実行される。

　（ステップＳ１０５）
　撮影方向判定部２５から出力された撮影方向情報が奥行き方向を示すとき、領域算出部２４は、未観察領域の数を算出する。例えば、領域算出部２４は、記憶部２２から出力された画像を時計方向に分割した複数の画像領域の各画像領域における未観察領域の数を算出する。

　例えば、画像は、その画像の中心に対称な４つの画像領域に分割される。その４つの画像領域は、右上の画像領域、左上の画像領域、左下の画像領域、および右下の画像領域である。領域算出部２４は、領域検出部２３から出力された領域位置情報に基づいて、各画像領域における未観察領域の数を算出する。領域算出部２４は、各画像領域における未観察領域の数を示す領域数情報を補助情報生成部２６に出力する。

　図５は、未観察領域の数を算出する方法の例を示す。内視鏡１０は、後退方向に移動する。撮像部１１は、撮影時刻ｔ１において画像ＩＭＧ１を生成し、撮影時刻ｔ２において画像ＩＭＧ２を生成し、撮影時刻ｔ３において画像ＩＭＧ３を生成する。

　領域検出部２３は、画像ＩＭＧ１を使用することにより、画像ＩＭＧ１に写っている未観察領域Ｒ１およびＲ２を検出する。領域検出部２３は、画像ＩＭＧ２を使用することにより、画像ＩＭＧ２に写っている未観察領域Ｒ１およびＲ２を検出する。領域検出部２３は、画像ＩＭＧ３を使用することにより、画像ＩＭＧ３に写っている未観察領域Ｒ３を検出する。未観察領域Ｒ１およびＲ２は画像ＩＭＧ３に写っていない。内視鏡１０が撮影時刻ｔ１からｔ３まで消化管内の同一区間を通るとき、未観察領域Ｒ１からＲ３がその区間に含まれる。そのため、その区間における未観察領域の数は３である。

　（ステップＳ１０６）
　撮影方向判定部２５から出力された撮影方向情報が奥行き方向を示すとき、補助情報生成部２６は補助情報を生成し、補助情報を表示部２７に出力する。ステップＳ１０６の詳細については、後述する。

　（ステップＳ１０７）
　表示部２７は、補助情報生成部２６から出力された補助情報を表示する。補助情報の例については後述する。

　（ステップＳ１０８）
　撮影方向判定部２５は、記憶部２２から出力された画像に基づいて、内視鏡１０の進行方向が後退方向であるか否かを判定する。内視鏡１０の進行方向が後退方向であるとき、撮影方向判定部２５は、後退方向を示す進行方向情報を領域検出部２３に出力する。このとき、ステップＳ１０９が実行される。内視鏡１０の進行方向が後退方向ではないとき、ステップＳ１００が実行される。

　（ステップＳ１０９）
　補助情報生成部２６は、内視鏡１０の挿入を補助するための挿入補助情報を表示部２７に出力する。表示部２７は、補助情報生成部２６から出力された挿入補助情報を表示する。

　図６を使用することにより、ステップＳ１０６における補助情報生成装置２０の動作の第１の例を説明する。図６は、補助情報生成装置２０がステップＳ１０６において実行する処理の手順の例を示す。

　（ステップＳ２００）
　補助情報生成部２６は、変数ｎを初期値である０に設定する。

　（ステップＳ２０１）
　補助情報生成部２６は、変数ｎを１増加する。

　（ステップＳ２０２）
　補助情報生成部２６は、領域算出部２４から出力された領域数情報を参照し、第ｎ領域における未観察領域の数が１以上であるか否かを判定する。第１領域は、右上の画像領域である。第２領域は、左上の画像領域である。第３領域は、左下の画像領域である。第４領域は、右下の画像領域である。第ｎ領域における未観察領域の数が１以上であるとき、ステップＳ２０３が実行される。第ｎ領域における未観察領域の数が０であるとき、ステップＳ２０６が実行される。

　（ステップＳ２０３）
　補助情報生成部２６は、第ｎ領域における未観察領域の数が３よりも大きいか否かを判定する。第ｎ領域における未観察領域の数が３よりも大きいとき、ステップＳ２０４が実行される。第ｎ領域における未観察領域の数が３以下であるとき、ステップＳ２０５が実行される。ステップＳ２０３における閾値３は例である。閾値は３に限らない。

　（ステップＳ２０４）
　補助情報生成部２６は、表示部２７の表示画面の第ｎ領域の面積の３０％の面積を持つ円を補助情報として生成する。

　（ステップＳ２０５）
　補助情報生成部２６は、表示部２７の表示画面の第ｎ領域の面積の１０％の面積を持つ円を補助情報として生成する。

　（ステップＳ２０６）
　補助情報生成部２６は、変数ｎが４であるか否かを判定する。変数ｎが４であるとき、図４に示すステップＳ１０７が実行される。変数ｎが４ではないとき、ステップＳ２０１が実行される。

　補助情報生成部２６は、ステップＳ２０４およびＳ２０５において、各画像領域の補助情報を示すアイコンの大きさを、未観察領域の数に応じて制御する。未観察領域の数が所定の数以上であるとき、補助情報生成部２６は第１の態様で表示される補助情報を生成する。上記の例では、第１の態様は、表示画面の第ｎ領域の面積の３０％の面積を持つ円である。未観察領域の数が所定の数未満であるとき、補助情報生成部２６は第１の態様と異なる第２の態様で表示される補助情報を生成する。上記の例では、第２の態様は、表示画面の第ｎ領域の面積の１０％の面積を持つ円である。

　図７Ａは、画像において検出された未観察領域の例を示す。領域検出部２３は、記憶部２２から出力された画像ＩＭＧ１０における第１領域の６つの未観察領域Ｒ１０を検出する。また、領域検出部２３は、画像ＩＭＧ１０における第３領域の２つの未観察領域Ｒ１１を検出する。領域算出部２４は、画像ＩＭＧ１０を時計方向Ｄ１０に分割した複数の画像領域の各画像領域における未観察領域の数を算出する。時計方向Ｄ１０は、画像ＩＭＧ１０の中心と一致する中心を持つ円の円周方向である。

　図７Ａに示す例では、消化管内の複数の区間は、画像ＩＭＧ１０を時計方向Ｄ１０に分割した４つの領域と対応する。撮像部１１の撮影方向が奥行き方向であるとき、時計方向Ｄ１０は消化管の円周方向と対応する。消化管の円周方向は、奥行き方向と垂直な消化管の断面における時計方向である。

　ユーザは、消化管内部など比較的平坦な面の濃淡または色合い、画像の階調表現の再現性、または画像のわかりやすさを重視して画像を観察し、細かな変化を見逃さないように観察対象の健康状態または病変の有無などを観察する。未観察領域Ｒ１０および未観察領域Ｒ１１を示す円または枠のように、輪郭部を持つ多数の図形が並ぶと、ユーザはそれらを煩わしく、煩雑に感じる可能性があった。もちろん、対象物を表示する画面と異なるサブ画面にそれらを表示する場合も、サブ画面の比較的小さい領域に雑多な情報が並ぶと、本来の簡単なガイドが複雑化して理解が困難になる可能性があった。小さな領域に細かな図形が並ぶと、ユーザがそれらの重なりなどの意味をとっさに判定することが困難になる。

　図７Ｂは、表示部２７に表示された画像および補助情報の例を示す。表示部２７は、画像ＩＭＧ１１を表示する。補助情報を示すアイコンＩＣ１０およびＩＣ１１が画像ＩＭＧ１１に重畳される。

　アイコンＩＣ１０は、画像ＩＭＧ１１の第１領域の面積の３０％の面積を持つ円である。アイコンＩＣ１０は、第１領域の未観察領域の数を示す。アイコンＩＣ１０は、第１領域に重畳される。アイコンＩＣ１１は、画像ＩＭＧ１１の第３領域の面積の１０％の面積を持つ円である。アイコンＩＣ１１は、第３領域の未観察領域の数を示す。アイコンＩＣ１１は、第３領域に重畳される。

　アイコンＩＣ１０およびアイコンＩＣ１１は、単純化された円形で表示されるが、多角形または矢印などで表示されてもよい。あるいは、アイコンＩＣ１０およびアイコンＩＣ１１を示す枠が表示されてもよい。

　例えば、未観察領域の位置または数を示す補助情報が多くの細かいアイコンまたは枠として表示されると、ユーザはそれらを煩雑に感じる。そのため、単純化かつ要約したアイコンまたは枠などで上記の情報が表示される。前述したように、ユーザは、比較的平坦な観察面の濃淡または色合い、画像の階調表現の再現性、または画像のわかりやすさを重視して画像を観察し、細かな変化を見逃さないように、観察対象の健康状態または病変の有無などを観察する。そのようなユーザのために、観察部位が表示された画像において観察部位と補助情報（アイコンＩＣ１０およびアイコンＩＣ１１）との視認性を両立させるためには、補助情報が単純化されることが好ましい場合がある。補助情報生成装置２０は、このような補助情報の態様を特徴領域の数に応じて切り換えることにより、なるべく本来の観察部位の画像が観察されるように、煩雑感または違和感を抑えている。

　医師は、アイコンＩＣ１０およびＩＣ１１に基づいて、未観察領域の存在を認識することができる。アイコンＩＣ１０がアイコンＩＣ１１よりも大きいため、医師は内視鏡１０の視野における右上の領域に存在する未観察領域が内視鏡１０の視野における左下の領域に存在する未観察領域よりも多いと判断することができる。

　図８を使用することにより、ステップＳ１０６における補助情報生成装置２０の動作の第２の例を説明する。図８は、補助情報生成装置２０がステップＳ１０６において実行する処理の手順の例を示す。図６に示す処理と同じ処理については説明しない。図６に示す処理と異なる処理について説明する。

　（ステップＳ２１０）
　補助情報生成部２６は、遠領域を処理対象として設定する。遠領域は、記憶部２２から出力された画像の中心と画像の角との中点を通る楕円の内側の領域である。ステップＳ２１０が実行された後、ステップＳ２００が実行される。

　（ステップＳ２１１）
　ステップＳ２０６において変数ｎが４であるとき、補助情報生成部２６は、近領域が処理対象として設定されているか否かを判定する。近領域は、記憶部２２から出力された画像の中心と画像の角との中点を通る楕円の外側の領域である。つまり、近領域は遠領域の外側の領域である。近領域が処理対象として設定されているとき、図４に示すステップＳ１０７が実行される。遠領域が処理対象として設定されているとき、ステップＳ２１２が実行される。

　（ステップＳ２１２）
　補助情報生成部２６は、近領域を処理対象として設定する。ステップＳ２１２が実行された後、ステップＳ２００が実行される。

　図８に示す例では、記憶部２２から出力された画像は、遠領域における４つの画像領域と、近領域における４つの画像領域とに分割される。

　図９Ａは、画像において検出された未観察領域の例を示す。記憶部２２から出力された画像ＩＭＧ１２において、遠領域は線Ｌ１０の内側の領域であり、近領域は線Ｌ１０の外側の領域である。領域検出部２３は、画像ＩＭＧ１２の遠領域における第１領域の４つの未観察領域Ｒ１２を検出する。また、領域検出部２３は、画像ＩＭＧ１２の近領域における第１領域の２つの未観察領域Ｒ１３と第３領域の２つの未観察領域Ｒ１４とを検出する。

　領域算出部２４は、記憶部２２から出力された画像ＩＭＧ１０を方向Ｄ１１かつ時計方向Ｄ１２に分割した複数の画像領域の各画像領域における未観察領域の数を算出する。方向Ｄ１１は、画像ＩＭＧ１２の中心から画像ＩＭＧ１２の外周に向かう方向である。時計方向Ｄ１２は、画像ＩＭＧ１２の中心と一致する中心を持つ円の円周方向である。

　図９Ａに示す例では、消化管内の各区間は、画像ＩＭＧ１２を方向Ｄ１１かつ時計方向Ｄ１２に分割した８つの領域と対応する。撮像部１１の撮影方向が奥行き方向であるとき、方向Ｄ１１は消化管の半径方向と対応し、時計方向Ｄ１２は消化管の円周方向と対応する。消化管の半径方向は、奥行き方向と垂直な消化管の断面の中心を通り奥行き方向と垂直な直線と平行である。消化管の円周方向は、奥行き方向と垂直な消化管の断面における時計方向である。

　未観察領域Ｒ１２からＲ１４を示す円または枠のように、輪郭部を持つ多数の図形が並ぶと、ユーザはそれらを煩わしく、煩雑に感じる可能性があった。対象物を表示する画面と異なるサブ画面にそれらを表示する場合も、サブ画面の比較的小さい領域に雑多な情報が並ぶと、本来の簡単なガイドが複雑化して理解が困難になる可能性があった。

　図９Ｂは、表示部２７に表示された画像および補助情報の例を示す。表示部２７は、画像ＩＭＧ１３を表示する。補助情報を示すアイコンＩＣ１２、ＩＣ１３、およびＩＣ１４が画像ＩＭＧ１３に重畳される。

　アイコンＩＣ１２は、画像ＩＭＧ１３の遠領域における第１領域の面積の３０％の面積を持つ円である。アイコンＩＣ１２は、遠領域における第１領域の未観察領域の数を示す。アイコンＩＣ１２は、遠領域における第１領域に重畳される。

　アイコンＩＣ１３は、画像ＩＭＧ１３の近領域における第１領域の面積の１０％の面積を持つ円である。アイコンＩＣ１３は、近領域における第１領域の未観察領域の数を示す。アイコンＩＣ１３は、近領域における第１領域に重畳される。

　アイコンＩＣ１４は、画像ＩＭＧ１３の近領域における第３領域の面積の１０％の面積を持つ円である。アイコンＩＣ１４は、近領域における第３領域の未観察領域の数を示す。アイコンＩＣ１４は、近領域における第３領域に重畳される。

　例えば、未観察領域の位置または数を示す補助情報が多くの細かいアイコンまたは枠として表示されると、ユーザはそれらを煩雑に感じる。そのため、単純化かつ要約したアイコンまたは枠などで上記の情報が表示される。観察部位が表示された画像において観察部位と補助情報（アイコンＩＣ１２からＩＣ１４）との視認性を両立させるためには、補助情報が単純化されることが好ましい場合がある。補助情報生成装置２０は、このような補助情報の態様を特徴領域の数に応じて切り換えることにより、なるべく本来の観察部位の画像が観察されるように、煩雑感または違和感を抑えている。

　図１０を使用することにより、ステップＳ１０６における補助情報生成装置２０の動作の第３の例を説明する。図１０は、補助情報生成装置２０がステップＳ１０６において実行する処理の手順の例を示す。図８に示す処理と同じ処理については説明しない。図８に示す処理と異なる処理について説明する。

　図８に示すステップＳ２０４はステップＳ２０４ａに変更され、図８に示すステップＳ２０５はステップＳ２０５ａに変更される。

　（ステップＳ２０４ａ）
　補助情報生成部２６は、補助表示部の第ｎ領域の色を第１の色に設定する。補助表示部は、表示部２７の表示画面の一部である。第１の色は補助情報と対応する。例えば、第１の色は黄色であるが、これに限らない。

　（ステップＳ２０５ａ）
　補助情報生成部２６は、補助表示部の第ｎ領域の色を第１の色と異なる第２の色に設定する。第２の色は補助情報と対応する。例えば、第２の色は赤色であるが、これに限らない。

　図１１は、表示部２７の表示画面の例を示す。画像ＩＭＧ１４が表示画面ＳＣ１０に表示される。表示画面ＳＣ１０は、補助表示部ＳＵＢ１０を有する。

　補助表示部ＳＵＢ１０の表示領域ＤＲ１０は第１の色で表示される。表示領域ＤＲ１０は遠領域における第１領域と対応する。補助表示部ＳＵＢ１０の表示領域ＤＲ１１およびＤＲ１２は第２の色で表示される。表示領域ＤＲ１１は近領域における第１領域と対応し、表示領域ＤＲ１２は近領域における第３領域と対応する。

　領域検出部２３は、内視鏡１０の撮像部１１によって得られた複数の画像（画像コマ）を順次取得しながら、当該画像コマあるいは画像コマ群を利用して、例えば被験者の消化管内の複数の位置において特徴領域を検出する。領域検出部２３は、画像内に現れた特徴情報を教師データとした深層学習等によって得られた推論モデル（ＡＩ）を使用することにより特徴領域を検出してもよい。また、領域検出部２３は、３Ｄモデル構成の技術を使用することにより複数の画像をつなぎ合わせて、つなぎ合わせの材料となる画像コマがない場合に未観察領域（３Ｄモデルの穴）があると判断してもよい。領域検出部２３は、単純に特徴情報をルールベースで判定するロジックまたは画像処理の演算等を利用することにより実現されてもよい。

　本発明の各実施形態では、領域検出部２３は、消化管内の複数の区間の各々において得られた画像または画像群を使用することにより上記特徴領域を検出する。補助情報生成部２６は、特徴領域の数を判定し、特徴領域の数に応じて補助情報を生成する。補助情報は、表示部２７において画像上に表示され、または表示部２７において画像が表示される領域とは異なる領域（表示領域ＤＲ１１）に表示される。この補助情報が表示部２７に表示されるときに補助情報生成部２６は、補助情報の態様を特徴領域の数に応じて制御する。そのため、補助情報生成部２６は、状況に応じて、領域検出部２３によって検出された情報の履歴を記録した結果を特徴領域の数として利用する必要がある場合がある。この場合、情報を記録する機能を領域検出部２３が具備してもよい。

　なお、上記の特徴領域は、見落としが発生しやすい特徴を有する領域と、見落としが実際に発生した領域（３Ｄモデルの穴）を想定している。見落としが発生しやすい特徴を有する領域として、具体的には以下のような例を想定している。
　第１の例：残渣、泡、または便が付着している領域
　第２の例：粘膜が収縮している領域
　第３の例：管腔が湾曲している領域
　第４の例：襞が多く存在する、または深い襞が存在する領域

　上記のように、補助情報生成部２６は、未観察領域の数に応じて補助情報を生成する。補助情報が表示部２７に表示されるとき、補助情報生成部２６は補助情報の態様を未観察領域の数に応じて制御する。そのため、補助情報生成部２６は、補助情報の煩雑な通知を避け、画像の視認性の低下を避けることができる。

　（第２の実施形態）
　本発明の第２の実施形態を説明する。第２の実施形態において、図１に示す内視鏡システム１が使用される。補助情報生成装置２０は、図４に示す処理を実行する。

　図１２を使用することにより、ステップＳ１０６における補助情報生成装置２０の動作の第１の例を説明する。図１２は、補助情報生成装置２０がステップＳ１０６において実行する処理の手順の例を示す。

　（ステップＳ２２０）
　補助情報生成部２６は、領域算出部２４から出力された領域数情報を参照し、未観察領域の数が所定の数以上であるか否かを判定する。未観察領域の数が所定の数以上であるとき、ステップＳ２２１が実行される。未観察領域の数が所定の数未満であるとき、ステップＳ２２２が実行される。

　（ステップＳ２２１）
　補助情報生成部２６は、網羅率に応じて補助情報を生成する。網羅率は、未観察領域を含まない消化管の領域の面積が全体の領域の面積に占める割合を示す。あるいは、補助情報生成部２６は、注意通知を補助情報として生成する。注意通知は、所定の数以上の未観察領域が存在することをユーザに通知するためのアイコンである。

　例えば、領域検出部２３は、図４に示すステップＳ１０３において３Ｄ再構成を実行し、３Ｄモデルを構成する３Ｄ点群を生成する。領域検出部２３は、３Ｄ点群における穴領域の３Ｄ点群を補間する。穴領域は、未観察領域と対応する。補助情報生成部２６は、以下の式（１）に従って網羅率ＣＯ（％）を算出する。
　　ＣＯ＝１００＊（１－Ｎ１／Ｎ２）　　（１）

　式（１）におけるＮ１は、補間された３Ｄ点群の数を示す。式（１）におけるＮ２は、補間された３Ｄ点群を含む全体の３Ｄ点群の数を示す。

　領域検出部２３は、３Ｄ点群からメッシュ（ポリゴン）データを生成してもよい。領域検出部２３は、複数のメッシュにおける穴領域のメッシュを補間してもよい。補助情報生成部２６は、以下の式（２）または式（３）に従って網羅率ＣＯ（％）を算出してもよい。
　　ＣＯ＝１００＊（１－Ａ１／Ａ２）　　（２）
　　ＣＯ＝１００＊（１－Ｎ３／Ｎ４）　　（３）

　式（２）におけるＡ１は、補間されたメッシュの面積を示す、式（２）におけるＡ２は、補間されたメッシュを含む全体のメッシュの面積を示す。式（３）におけるＮ３は、補間されたメッシュの数を示す。式（３）におけるＮ４は、補間されたメッシュを含む全体のメッシュの数を示す。

　補助情報生成部２６は、網羅率の代わりに、穴領域の数などに応じて補助情報を生成してもよい。

　前述したように、ユーザは、比較的平坦な観察面の濃淡または色合い、画像の階調表現の再現性、または画像のわかりやすさを重視して画像を観察し、細かな変化を見逃さないように、観察対象の健康状態または病変の有無などを観察する。未観察領域Ｒ１０および未観察領域Ｒ１１を示す円または枠のように、輪郭部を持つ多数の図形が並ぶと、ユーザはそれらを煩わしく、煩雑に感じる可能性があった。

　（ステップＳ２２２）
　補助情報生成部２６は、画像における未観察領域の位置に応じた補助情報を生成する。

　図１３Ａは、表示部２７の表示画面の第１の例を示す。画像ＩＭＧ２０およびアイコンＩＣ２０が表示画面ＳＣ２０に表示される。

　アイコンＩＣ２０は、ステップＳ２２１において生成される補助情報を構成し、消化管内の複数の区間の各々の網羅率を示す。アイコンＩＣ２０は、棒状に構成されており、上下方向に複数の領域に分割されている。例えば、アイコンＩＣ２０における下側の領域は、画像ＩＭＧ２０に写っている消化管における手前側の区間の網羅率を示す。アイコンＩＣ２０における上側の領域は、画像ＩＭＧ２０に写っている消化管における奥側の区間の網羅率を示す。アイコンＩＣ２０における各領域は、その領域と対応する区間における網羅率に応じた色で表示される。

　図１３Ｂは、表示部２７の表示画面の第２の例を示す。画像ＩＭＧ２０およびメッセージＭＳ２０が表示画面ＳＣ２１に表示される。

　メッセージＭＳ２０は、ステップＳ２２１において生成される補助情報を構成し、網羅率を示す。メッセージＭＳ２０における網羅率は、消化管内の複数の区間のうちの１つの区間の網羅率を示す。複数の区間の網羅率が表示画面ＳＣ２１に表示されてもよい。

　図１３Ｃは、表示部２７の表示画面の第３の例を示す。画像ＩＭＧ２０が表示画面ＳＣ２２に表示される。表示画面ＳＣ２２は、補助表示部ＳＵＢ２０を有する。

　補助表示部ＳＵＢ２０は、画像ＩＭＧ２０に写っている襞の位置と対応する複数の線を表示する。複数の線は、ステップＳ２２１において生成される補助情報を構成する。消化管内の複数の区間は、襞によって区切られている。複数の線の各々は、各区間における網羅率に応じた色で表示される。

　図１４Ａは、表示部２７の表示画面の第４の例を示す。画像ＩＭＧ２０が表示画面ＳＣ２３に表示される。表示画面ＳＣ２３は、補助表示部ＳＵＢ２１を有する。

　補助表示部ＳＵＢ２１は、ステップＳ２２１において生成される補助情報を構成する消化管の模式図を表示する。消化管内の複数の区間の各々は、直腸などの部位と対応する。複数の区間の各々は、各区間における網羅率に応じた色で表示される。

　図１４Ｂは、表示部２７の表示画面の第５の例を示す。画像ＩＭＧ２０が表示画面ＳＣ２４に表示される。

　注意通知ＡＮ２０が画像ＩＭＧ２０に重畳される。注意通知ＡＮ２０は、所定の数以上の未観察領域が存在することを示す。

　図１５Ｂは、表示部２７の表示画面の第６の例を示す。画像ＩＭＧ２０が表示画面ＳＣ２５に表示される。

　位置情報ＰＩ２０が画像ＩＭＧ２０に重畳される。位置情報ＰＩ２０は、ステップＳ２２２において生成される補助情報を構成し、未観察領域の位置を示す。位置情報ＰＩ２０は、未観察領域の位置と対応する画像ＩＭＧ２０上の位置に表示される。位置情報ＰＩ２０は、未観察領域の位置を示す矢印として表示されてもよい。

　図１５を使用することにより、ステップＳ１０６における補助情報生成装置２０の動作の第２の例を説明する。図１５は、補助情報生成装置２０がステップＳ１０６において実行する処理の手順の例を示す。

　（ステップＳ２３０）
　図４に示すステップＳ１０５は、ステップＳ２３０に含まれる。領域算出部２４は、現在の撮影位置と対応する区間（現在区間）における未観察領域の数を算出する。現在区間における未観察領域の数は、内視鏡１０が既に通過した１つ以上の区間（過去区間）における未観察領域の数を含まない。領域算出部２４は、未観察領域の数を示す領域数情報を補助情報生成部２６に出力する。

　（ステップＳ２３１）
　補助情報生成部２６は、領域算出部２４から出力された領域数情報を参照し、未観察領域の数が所定の数以上であるか否かを判定する。未観察領域の数が所定の数以上であるとき、ステップＳ２３２が実行される。未観察領域の数が所定の数未満であるとき、ステップＳ２３４が実行される。

　（ステップＳ２３２）
　補助情報生成部２６は、未観察領域の数に応じて網羅率を算出する。網羅率を算出する方法は、図１２に示すステップＳ２２１において網羅率を算出する方法と同じである。

　（ステップＳ２３３）
　補助情報生成部２６は、網羅率に応じて補助情報を生成する。

　（ステップＳ２３４）
　補助情報生成部２６は、画像における未観察領域の位置を示す補助情報を生成する。

　図１６を使用することにより、ステップＳ１０６における補助情報生成装置２０の動作の第３の例を説明する。図１６は、補助情報生成装置２０がステップＳ１０６において実行する処理の手順の例を示す。図１５に示す処理と同じ処理については説明しない。図１５に示す処理と異なる処理について説明する。

　図１５に示すステップＳ２３０はステップＳ２３０ａに変更される。

　（ステップＳ２３０ａ）
　領域算出部２４は、内視鏡１０が既に通過した１つ以上の区間（過去区間）における未観察領域の数を算出する。過去区間における未観察領域の数は、現在の撮影位置と対応する区間（現在区間）における未観察領域の数を含まない。領域算出部２４は、未観察領域の数を示す領域数情報を補助情報生成部２６に出力する。

　ステップＳ２３２およびＳ２３３が一旦実行されると、ステップＳ２３１およびＳ２３４の実行が停止されてもよい。つまり、ステップＳ２３０ａが実行された後、ステップＳ２３１が実行されずにステップＳ２３２が実行されてもよい。

　上記のように、補助情報生成部２６は、未観察領域の数に応じて補助情報を生成する。未観察領域の数が多いとき、補助情報生成部２６は、網羅率を示す補助情報を生成する。ユーザは、未観察領域の存在を概略的に把握することができる。未観察領域の数が少ないとき、補助情報生成部２６は、未観察領域の位置を示す補助情報を生成する。ユーザは、未観察領域の詳細な位置を把握することができる。

　以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

　本発明の各実施形態によれば、補助情報生成方法、補助情報生成装置、およびプログラムは、過去に取得された画像を含む複数の画像から得られる補助情報の煩雑な通知を避けることができる。ここでは、消化器内視鏡を例にしたが、奥行き方向に順次位置を変えて観察、測定、および検査を実施する測定機器または検査機器でありさえすれば、どのような機器にでも本発明の各実施形態を利用できることは言うまでもない。

　１　内視鏡システム
　１０　内視鏡
　１１　撮像部
　２０　補助情報生成装置
　２１　画像取得部
　２２　記憶部
　２３　領域検出部
　２４　領域算出部
　２５　撮影方向判定部
　２６　補助情報生成部
　２７　表示部

Claims

　被験者の消化管内の複数の位置において内視鏡の撮像部によって得られた複数の画像を順次取得し、
　前記複数の画像に基づいて、前記消化管における特徴領域を検出し、
　前記消化管内の複数の区間の各々における前記特徴領域の数を算出し、
　前記特徴領域の前記数に応じて補助情報を生成し、前記補助情報が表示部に表示されるときに前記補助情報の態様を前記特徴領域の前記数に応じて制御する
　補助情報生成方法。
　前記撮像部が前記消化管の奥行き方向に撮影を実行しているか否かを判定し、
　前記撮像部が前記奥行き方向に撮影を実行していると判定されるときに前記補助情報を前記表示部に出力する
　請求項１に記載の補助情報生成方法。
　前記撮像部によって得られた画像を前記消化管の円周方向と対応する方向に分割した複数の画像領域の各画像領域の前記補助情報を生成する
　請求項２に記載の補助情報生成方法。
　前記複数の画像領域の各画像領域の前記補助情報を示すアイコンの大きさを、前記特徴領域の前記数に応じて制御する
　請求項３に記載の補助情報生成方法。
　前記撮像部によって得られた画像を前記消化管の半径方向と対応する方向に分割し、かつ前記消化管の円周方向と対応する方向に分割した複数の画像領域の各画像領域の前記補助情報を生成する
　請求項２に記載の補助情報生成方法。
　前記特徴領域の前記数が所定の数以上であるとき、第１の態様で表示される前記補助情報を生成し、
　前記特徴領域の前記数が前記所定の数未満であるとき、前記第１の態様と異なる第２の態様で表示される前記補助情報を生成する
　請求項１に記載の補助情報生成方法。
　前記第２の態様で表示される前記補助情報は、前記特徴領域の位置を示す
　請求項６に記載の補助情報生成方法。
　被験者の消化管内の複数の位置において内視鏡の撮像部によって得られた複数の画像を順次取得する画像取得部と、
　前記複数の画像に基づいて、前記消化管における特徴領域を検出する領域検出部と、
　前記消化管内の複数の区間の各々における前記特徴領域の数を算出する領域算出部と、
　前記特徴領域の前記数に応じて補助情報を生成し、前記補助情報が表示部に表示されるときに前記補助情報の態様を前記特徴領域の前記数に応じて制御する補助情報生成部と、
　を備える補助情報生成装置。
　被験者の消化管内の複数の位置において内視鏡の撮像部によって得られた複数の画像を順次取得するステップと、
　前記複数の画像に基づいて、前記消化管における特徴領域を検出するステップと、
　前記消化管内の複数の区間の各々における前記特徴領域の数を算出するステップと、
　前記特徴領域の前記数に応じて補助情報を生成し、前記補助情報が表示部に表示されるときに前記補助情報の態様を前記特徴領域の前記数に応じて制御するステップと、
　をコンピュータに実行させるためのプログラム。