JP7017198B2

JP7017198B2 - 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP7017198B2
Application number: JP2019032163A
Authority: JP
Inventors: 宏章斎藤; 智聖七條; 有真遠藤; 和玄青山; 智裕多田; 篤生山田; 健太郎中川; 立石原; 俊太郎井上
Original assignee: 株式会社Ａｉメディカルサービス
Priority date: 2018-06-22
Filing date: 2019-02-25
Publication date: 2022-02-08
Anticipated expiration: 2039-02-25
Also published as: US12048413B2; US20210153808A1; CN112584749A8; JP2020078539A; CN112584749A

Description

本発明は、ニューラルネットワーク（neural network）を用いた消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プロラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体に関する。

消化器官、例えば、喉頭、咽頭、食道、胃、十二指腸、胆道、膵菅、小腸、大腸などに対し、内視鏡検査が多く行われている。上部消化器官の内視鏡検査は、胃癌、食道癌、消化性潰瘍、逆流性胃炎などのスクリーニングのために、また、大腸の内視鏡検査は大腸癌、大腸ポリープ、潰瘍性大腸炎等のスクリーニングのために、しばしば行われている。特に上部消化器官の内視鏡検査は、様々な上腹部症状の詳細な検査、胃の病気に対するバリウム検査の陽性結果を受けての精密検査、及び、日本の定期健康診断に一般的に組み込まれている異常な血清ペプシノゲンレベルに対する精密検査にも有用である。また、近年では、胃癌検診は従来のバリウム検査から胃内視鏡検査への移行が進んでいる。

胃癌は、最も一般的な悪性腫瘍の１つであり、数年前には世界中で約１００万件も発症したものと推定されている。胃癌発症の根本原因のうち、ヘリコバクター・ピロリ（Helicobacter pylori、以下、「Ｈ．ピロリ」ということがある。）感染は、萎縮性胃炎、腸上皮化生を誘導し、最終的には胃癌発症につながる。世界中で非噴門胃癌のうちの９８％はＨ．ピロリが寄与していると考えられている。Ｈ．ピロリに感染した患者の胃癌の危険性が高まり、Ｈ．ピロリ除菌後の胃癌の発生率が低下したことを考慮し、国際癌研究機関（International Agency for Research on Cancer）は、Ｈ．ピロリを明確な発癌物質と分類している。この結果から、胃癌発症のリスクを低減させるためにはＨ．ピロリの除菌が有用であり、抗菌薬によるＨ．ピロリの除菌はわが国の保険診療にもなっており、今後とも保健衛生上強く奨励される治療法である。事実、日本国の厚生労働省は、２０１３年２月にＨ．ピロリ感染による胃炎患者の根絶治療のための健康保険適用を承認した。

Ｈ．ピロリ感染の存在についての鑑別診断には、胃内視鏡検査は極めて有用な情報を提供する。毛細血管がきれいに見える場合（ＲＡＣ（regular arrangement of collecting venules））や胃底腺ポリープはＨ．ピロリ陰性の胃粘膜に特徴的であるが、萎縮、発赤、粘膜腫脹、皺壁肥大は、Ｈ．ピロリ感染胃炎の代表的な所見である。また、斑状赤斑は、Ｈ．ピロリを除菌した胃粘膜の特性である。Ｈ．ピロリ感染の正確な内視鏡診断は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定、尿素呼気試験、又は迅速ウレアーゼ試験などの様々な検査によって確認され、検査結果が陽性の患者はＨ．ピロリ除菌に進むことができる。内視鏡検査は広く胃病変の検査に使われるが、臨床検体分析によらずに胃病変の確認時にＨ．ピロリ感染までも特定できるようになれば、画一的に血液検査や尿検査等を行うことのなく、患者の負担は大きく減り、また医療経済上の貢献も期待できる。

また、食道癌は８番目に多い癌で、６番目に多い癌の死亡原因であり、２０１２年には４５６，０００件の新たな症例と４０万人の死亡が推定されている。ヨーロッパや北米では食道腺癌の発生率は急速に高まっているが、扁平上皮癌（ＳＣＣ）は全世界の食道癌の８０％を占める最も一般的な腫瘍型である。進行した食道ＳＣＣ患者の全生存率は依然として低いままである。しかし、この癌が粘膜癌又は粘膜下癌として検出されれば、良好な予後が期待できる。

また、全大腸内視鏡検査（colonoscopy、ＣＳ）は、結腸・直腸癌（colorectal cancer、ＣＲＣ）、結腸・直腸ポリープ及び炎症性大腸疾患などの結腸・直腸疾患を高感度及び高特異度を持って検出することができる。このような疾患の早期診断により、患者はよりよい予後の早期治療が可能になるため、ＣＳの十分な品質を提供することが重要である。

このように、上部消化器官及び大腸の内視鏡検査は広く行われるようになっているが、小腸に対する内視鏡検査は、一般的な内視鏡を小腸の内部にまで挿入することが困難なため、あまり行われていない。一般的な内視鏡は長さが約２ｍ程度であり、小腸まで内視鏡を挿入するには、経口的に胃及び十二指腸を経由して、あるいは経肛門的に大腸を経由して小腸まで挿入する必要があり、しかも、小腸自体は６－７ｍ程度もある長い器官であるので、一般的な内視鏡では小腸全体に亘る挿入及び観察が困難なためである。そのため、小腸の内視鏡検査には、ダブルバルーン内視鏡(特許文献１参照）又はワイヤレスカプセル内視鏡（Wireless Capsule Endoscopy、以下単に「ＷＣＥ」ということがある。）(特許文献２参照）が使用されている。

ダブルバルーン内視鏡は、内視鏡の先端側に設けられたバルーンと、内視鏡を覆うオーバーチューブの先端側に設けられたバルーンとを、交互にあるいは同時に膨らませたりしぼませたりして、長い小腸をたぐり寄せるようにして短縮化・直線化しながら検査を行う方法であるが、小腸の長さが長いので、一度に小腸の全長に亘って検査を行うことは困難である。そのため、ダブルバルーン内視鏡による小腸の検査は、通常は経口的な内視鏡検査と、経肛門的な内視鏡検査との２回に分けて行われている。

また、ＷＣＥによる内視鏡検査は、カメラ、フラッシュ、電池、送信機等が内蔵された経口摂取可能なカプセルを飲み込み、カプセルが消化管内を移動中に撮影した画像を無線で外部に送信し、これを外部で受信及び記録することにより検査が行われるものであり、一度に小腸の全体に亘る撮影が可能である。

また一般に、小腸とは十二指腸・空腸・回腸のこと指すが、小腸腺癌は、膨大部腺癌（ファーター乳頭部癌）を除く十二指腸腺癌、空腸腺癌、又は回腸腺癌として定義される。小腸腺癌は、消化管の全悪性腫瘍の０．５％未満、および全悪性腫瘍の５％未満を占めている。西欧諸国での小腸腺癌の年間発生率は極めて低く、１００万人あたり２．２?５．７例であり、まれな癌と考えられている。十二指腸腺癌は小腸腺癌の４５％を占め、その５年生存率は悪性小腸腫瘍の中で最も低く、３０％未満である。進行した段階で診断された場合、膵頭十二指腸切除術などの侵襲性の高い治療が必要になるが、切除不能な進行性癌と診断された場合、予後は不良である。

さらに、表在性非乳頭部十二指腸上皮性腫瘍（Superficial Non-Ampullary Duodenal Epithelial Tumors、以下「ＳＮＡＤＥＴ」ということがある。）は、ファーター乳頭部からは発生せず、十二指腸の粘膜又は粘膜下散発性腫瘍として定義される。この腫瘍はめったにリンパ節に転移を引き起こさないので、ＳＮＡＤＥＴの大部分は内視鏡下切除術（ＥＲ）のようなより侵襲的の小さい治療方法によって治療することができる。

特開２００２－３０１０１９号公報特開２００６－０９５３０４号公報特開２０１７－０４５３４１号公報特開２０１７－０６７４８９号公報

Bibault JE, Giraud P, Burgun A. Big Data and machine learning in radiation oncology: State of the art and future prospects. Cancer Lett. 2016;382(1):110-117. Esteva A, Kuprel B, Novoa RA, et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature. 2017;542(7639):115-118. Gulshan V, Peng L, Coram M, et al. Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs. JAMA. 2016;316(22):2402-2410. Byrne MF, Chapados N, Soudan F, et al. Real-time differentiation of adenomatous and hyperplastic diminutive colorectal polyps during analysis of unaltered videos of standard colonoscopy using a deep learning model. Gut. 2017. Chen PJ, Lin MC, Lai MJ, Lin JC, Lu HH, Tseng VS. Accurate Classification of Diminutive Colorectal Polyps Using Computer-Aided Analysis. Gastroenterology. 2018;154(3):568-575. Misawa M, Kudo SE, Mori Y, et al. Artificial Intelligence-Assisted Polyp Detection for Colonoscopy: Initial Experience. Gastroenterology. 2018. Takiyama H, Ozawa T, Ishihara S, et al. Automatic anatomical classification of esophagogastroduodenoscopy images using deep convolutional neural networks. Sci Rep. 2018;8(1):7497. Hirasawa T, Aoyama K, Tanimoto T, et al. Application of artificial intelligence using a convolutional neural network for detecting gastric cancer in endoscopic images. Gastric Cancer. 2018. Shichijo S, Nomura S, Aoyama K, et al. Application of Convolutional Neural Networks in the Diagnosis of Helicobacter pylori Infection Based on Endoscopic Images. EBioMedicine. 2017;25:106-111. Iakovidis DK, Koulaouzidis A. Automatic lesion detection in capsule endoscopy based on color saliency: closer to an essential adjunct for reviewing software. Gastrointestinal endoscopy 2014 Nov;80(5):877-83. Farley HA, Pommier RF. Surgical Treatment of Small Bowel Neuroendocrine Tumors. Hematology/oncology clinics of North America. 2016;30(1):49-61.

このような消化器官の内視鏡検査においては、多くの内視鏡画像が収集されるが、精度管理のために内視鏡専門医による内視鏡画像のダブルチェックが義務付けられている。年に数万件もの内視鏡検診に伴い、二次読影において内視鏡専門医が読影する画像枚数は１人あたり１時間で約２８００枚と膨大なものとなっており、現場の大きな負担となっている。

特に小腸のＷＣＥによる検査では、ＷＣＥの移動は、ＷＣＥ自体の動きによるものではなく、腸の蠕動によるものであるため、外部から動きを規制することはできないので、見逃しを防ぐために一度の検査で多数の画像が撮影され、しかも、ＷＣＥが小腸を移動している時間は約８時間もあるため、一度の検査で撮影される画像は非常に多くなる。たとえば、ＷＣＥは１人あたり約６０，０００枚の画像を無線で送信するので、内視鏡専門医は早送りしてチェックすることとなるが、これによる平均的なＷＣＥ画像分析には３０－１２０分の厳しい注意と集中が必要である。

しかも、これらの内視鏡画像に基づく診断は、内視鏡専門医に対する訓練や、保存画像をチェックするのに多くの時間を要するばかりか、主観的であり、様々な偽陽性判断及び偽陰性判断を生じる可能性がある。さらに、内視鏡専門医による診断は、疲労により精度が悪化することがある。このような現場の多大な負担や精度の低下は、受診者数の制限にもつながる可能性があり、ひいては需要に応じた医療サービスが十分に提供されない懸念も想定される。

上記の内視鏡検査の労務負荷と精度低下の改善のためには、ＡＩ（人工知能：artificial intelligence）の活用が期待されている。近年の画像認識能力が人間を上回ったＡＩを内視鏡専門医のアシストとして使用できれば、二次読影作業の精度とスピードを向上させるものと期待されている。近年、ディープラーニング（深層学習）を用いたＡＩが様々な医療分野で注目されており、放射線腫瘍学、皮膚癌分類、糖尿病性網膜症(非特許文献１－３参照）や消化器内視鏡分野、特に大腸内視鏡を含む分野(非特許文献４－６参照）だけでなく、様々な医療分野において、医学画像を専門医に替わってスクリーニングできるとの報告がある。また、各種ＡＩを利用して医用画像診断を行った特許文献（特許文献３、４参照）も存在する。しかし、ＡＩの内視鏡画像診断能力が実際の医療現場において役立つ精度（正確性）と性能（スピード）を満たせるかどうかについては、十分に検証されておらず、ＡＩを利用した内視鏡画像に基づく診断は、未だに実用化されていない。

ディープラーニングは、複数に重ねて構成されたニューラルネットワークを用いて、入力データから高次の特徴量を学習できる。また、ディープラーニングは、バックプロパゲーション・アルゴリズムを使用して、各層の表現を前の層の表現から計算するために使用される内部パラメータを、装置がどのように変更すべきかを示すことによって更新することができる。

医用画像の関連付けに際しては、ディープラーニングは、過去に蓄積された医用画像を用いて訓練することができ、医学的画像から患者の臨床的特徴を直接得ることができる強力な機械学習技術になり得る。ニューラルネットワークは脳の神経回路の特性を計算機上のシミュレーションによって表現した数理モデルであるところ、ディープラーニングを支えるアルゴリズムのアプローチがニューラルネットワークである。畳み込みニューラルネットワーク（ＣＮＮ）は、Szegedyらによって開発され、画像の深層学習のための最も一般的なネットワークアーキテクチャである。

消化管内視鏡検査における内視鏡画像の判定作業において、高い精度を維持した上での効率化が大きな課題になっている。また、この分野の画像解析にＡＩを活用しようとしたときには、そのＡＩ技術の向上が大きな課題となっている。発明者等は、解剖学的部位に応じて食道・胃・十二指腸の画像を分類でき、内視鏡画像中の胃癌を堅守することができるＣＮＮを構築した(非特許文献７，８参照）。

さらに、発明者等は、最近、内視鏡画像に基づくＨ．ピロリ胃炎の診断におけるＣＮＮの役割を報告し、ＣＮＮの能力が経験豊富な内視鏡医に匹敵し、診断時間がかなり短くなることを示した（非特許文献９参照）。しかし、このＣＮＮは、訓練／検証用データセットとして、Ｈ．ピロリ除菌された症例が除外され、Ｈ．ピロリ陽性及び陰性の症例のみが用いられており、予めＨ．ピロリ除菌された症例を除外した訓練／検証用データセットの構築に手間が掛かるという課題が存在するほか、Ｈ．ピロリ陽性及び陰性の症例のみでなく、Ｈ．ピロリ除菌された症例をも正確に同定することができるかどうかは評価できないという課題が存在している。

また、ＣＳを実施する場合、開業医は通常、直腸、結腸、及び終末回腸の一部を検査するが、疾患の臨床特性は結腸・直腸の解剖学的部位によって異なる。例えば、いくつかの最近の研究によると、結腸・直腸癌では、化学療法による疫学、予後及び臨床結果に関して、右側結腸及び左側結腸でいくつかの違いが指摘されている。同様に、大腸の解剖学的部位は、潰瘍性大腸炎の治療にとって重要である。潰瘍性大腸炎における経口薬剤ないし座薬の適用性は大腸炎の存在位置に基づくからである。従って、ＣＳ検査に際して結腸・直腸疾患の解剖学的部位を正確に特定することは臨床的に意味がある。

ＣＳは糞便潜血陽性の場合や腹部症状のスクリーニングに一般的に使用されるが、施術者が大腸内視鏡を自由に取り扱い、異常領域を認識し、病気を正確に診断するのに十分な特別な訓練が必要である。そのような技能を得るのに時間がかかる理由の１つは、内視鏡検査中の解剖学的認識の困難性である。結腸のそれぞれの部位の解剖学的な相違点と、結腸のさまざまな部分の類似性のため、各個人の解剖学的な相違及び結腸の部位間の類似性のために、ＣＳの初心者だけでなくＣＳの専門家も、その内視鏡スコープの先端の正確な位置を認識することができない。

したがって、開業医がＣＳを行い、異常を検出するためには、ＣＳ画像を介して結腸の解剖学的部分を正確に認識することが必要である。最近の証拠によると、十分なスキルを得るには、ＣＳ試験の全部を修了した経験が少なくとも２００件必要ある。実際、日本国では、内視鏡専門の認定は５年以上の内視鏡訓練の後にのみ行われる。

さらに、ＷＣＥによって発見される小腸における最も一般的な症状は、びらんや潰瘍などの粘膜破壊である。これらは主に非ステロイド性抗炎症薬（ＮＳＡＩＤ）によって引き起こされ、時にはクローン病または小腸悪性腫瘍によって引き起こされるため、早期診断と早期治療が必要である。従前の各種報告では、小腸のびらんないし潰瘍による粘膜が破壊されている部分は、周囲の正常粘膜との間に色の差が小さいため、ソフトウェア的に自動検出するには血管拡張症を検出する場合よりも劣っていた（非特許文献１０参照）。また、小腸のＷＣＥ画像に対してＣＮＮを適用して、小腸の各種疾患を診断することについての研究はない。

粘膜又は粘膜下癌と定義される表在食道扁平上皮癌(以下、ＳＣＣということがある。）は、日本で診断されたすべての食道癌の３８％を占めている。表在食道ＳＣＣでは、食道切除術及び内視鏡的切除術（ＥＲ）が適用可能であるが、両者は侵襲性の点で大きく異なる。適切な治療法を選択する際には、転移の危険性やＥＲの治癒の可能性を考慮すると、癌の深達度(浸潤深度）が最も重要な因子である。

癌の深達度の内視鏡診断は、食道癌の術後経過、突出、硬さ、及び微小血管の変化等、様々な内視鏡所見を評価するのに十分な専門知識を必要とする。表在食道ＳＣＣの深達度の診断には非拡大内視鏡検査（非ＭＥ）、拡大内視鏡検査（ＭＥ）、超音波内視鏡検査（ＥＵＳ）が用いられている。非ＭＥを用いた診断は、主観的であり、観察者間の変動性の影響を受ける可能性のある癌の突出、陥没、及び硬さに基づく。ＭＥは、食道癌の深達度と密接に関連している微小血管構造の明確な観察を可能にする。

ＥＵＳとＭＥによる診断は、非ＭＥによる診断よりも客観的であるが、複雑であり、医師の専門知識に影響される。したがって、ＥＵＳとＭＥの報告された癌の深達度の正確な精度は相反しており、満足のいくものではない。そのため、食道癌の癌侵襲深度をより客観的に簡単に診断する方法として、革新的なアプローチが求められている。

加えて、最近、食道胃十二指腸内視鏡による検査の広範な使用により、表在性非乳頭部十二指腸上皮性腫瘍（ＳＮＡＤＥＴ）の検出が増加していると報告されている。ＳＮＡＤＥＴは、通常平坦で表面の変化が極めて小さいので、検査中に見逃しやすい。この事実は、報告されたＳＮＡＤＥＴの検出率が０．１％から３％の間で大きくばらついていることによって裏付けられる。そのため、食道胃十二指腸内視鏡によるＳＮＡＤＥＴの検出に対しても、良好な検出手法を見出すことが要望されている。

本発明は、上記のような従来技術の課題を解決すべくなされたものである。すなわち、本発明の第１の目的は、消化器官の内視鏡画像を用い、ＣＮＮを用いることによって、例えばＨ．ピロリ陽性及び陰性の症例のみでなく、Ｈ．ピロリ除菌された症例をも正確に同定することができる消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することにある。

また、本発明の第２の目的は、消化器官の内視鏡画像を用い、ＣＮＮを用いることによって、例えば結腸・直腸疾患の解剖学的部位を正確に特定することができる、消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することにある。

また、本発明の第３の目的は、ＷＣＥによる小腸の内視鏡画像に基く、ＣＮＮを用いた小腸のびらん／潰瘍を正確に同定することができる小腸の疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。

また、本発明の第４の目的は、非ＭＥ及びＭＥを用いた食道内視鏡画像に基づく表在食道ＳＣＣの深達度とその分類を行うことができる表在食道ＳＣＣの診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。

さらに、本発明の第５の目的は、食道胃十二指腸内視鏡を用いた十二指腸内視鏡画像に基づく、ＳＮＡＤＥＴの診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。

本発明の第１の態様の畳み込みニューラルネットワーク（以下、「ＣＮＮ」ということがある。）を用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法であって、コンピュータが、前記消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する前記消化器官の前記疾患の陽性又は陰性を含む確定診断結果と、を用いて畳み込みニューラルネットワークを訓練するステップと、前記訓練された畳み込みニューラルネットワークが、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性の領域を検出し、検出された前記疾患の陽性の領域が前記第２の内視鏡画像内に表示されるステップと、前記疾患の陽性又は陰性の確定診断結果が、前記第２の内視鏡画像内に前記疾患の陽性の領域として表示されるステップと、前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練された畳み込みニューラルネットワークの診断結果の正誤を判定するステップと、を実行することを特徴とする。

かかる態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、ＣＮＮが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第１の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性、過去の疾患、重症度のレベル、疾患の深達度、もしくは、撮像された部位に対応する情報の少なくとも１つの確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率のいずれか１つ以上を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを自動診断することができるため、内視鏡専門医によるチェック／修正が容易になるだけでなく、疾患と関連づけられた画像の集合を作成する作業の省略化も図ることができる。
また、本発明の第１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、第２の内視鏡画像内に、内視鏡専門医による確定診断結果が得られた領域と、訓練されたＣＮＮによって検出された疾患の陽性の領域とが正確に対比できるので、ＣＮＮの感度及び特異度をより良好なものとすることができるようになる。
また、本発明の第１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、第２の内視鏡画像内に、内視鏡専門医による確定診断結果が得られた領域と、訓練されたＣＮＮによって検出された疾患の陽性の領域とが表示されているので、それらの領域の重なり状態によって、直ちに訓練されたＣＮＮの診断結果に対比することができるようになる。

また、本発明の第２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、畳み込みニューラルネットワークを訓練するステップにおける確定診断の結果には、前記消化器官の前記疾患の陽性又は陰性に加え、過去の疾患、重症度のレベル、疾患の深達度、もしくは、撮像された部位に対応する情報の少なくとも１つを含み、検出した前記疾患の陽性の領域を前記第２の内視鏡画像内に表示するステップにおいて、前記訓練された畳み込みニューラルネットワークが、当該消化器官の疾患の陽性の領域に加え、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを検出することを特徴とする。
本発明の第２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、当該消化器官の疾患の陽性の領域に加え、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを検出することが可能である。
また、本発明の第３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１又は第２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記第１の内視鏡画像は、それぞれが撮像された消化器官の部位に関連付けられていることを特徴とする。

訓練されていないＣＮＮでは、具体的な消化器官の内視鏡画像が如何なる部位の画像であるかを識別するのが困難な場合がある。第３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、それぞれの部位によって分類された内視鏡画像を用いて訓練されたニューラルネットワークとなっているので、ＣＮＮに対し、それぞれの部位に応じたきめ細かい訓練が可能であるため、第２内視鏡画像に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル、撮像された部位に対応する確率等の検出精度が向上する。

また、本発明の第４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことを特徴とする。

第４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、咽頭、食道、胃、十二指腸及び大腸の部位毎の分類が正確にできるので、それぞれの部位に対する疾患の陽性及び陰性のそれぞれの確率、過去の疾患の確率、疾患の重症度のレベル、撮像された部位に対応する確率等の検出精度が向上する。

また、本発明の第５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つにおいて複数箇所に区分されていることを特徴とする。

消化器官はそれぞれ複雑な形状をしているため、部位の分類数が少ないと具体的な内視鏡画像が当該消化器官の如何なる部位の画像であるかを認識するのが困難な場合がある。第５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、複数の消化器官のそれぞれにおいて複数箇所に区分されているので、短時間に高精度の診断結果を得ることができるようになる。

また、本発明の第６の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第４又は第５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記消化器官の部位が胃であって、前記少なくとも１つの確定診断結果は、Ｈ．ピロリ感染陽性、Ｈ．ピロリ感染陰性及びＨ．ピロリ除菌のいずれかを含み、前記ＣＮＮは、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力することを特徴とする。

本発明の第６の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、極めて短時間で、かつ、日本消化器内視鏡学会専門医と同等の精度で被験者のＨ．ピロリ感染の陽性又は陰性のそれぞれの確率だけでなく、Ｈ．ピロリ除菌済である確率も出力することができ、別途確定診断を行わなければならない被験者を短時間で正確に選別することができるようになる。なお、確定診断は、選別された被験者に対して血液又は尿の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原検査、又は尿素呼気検査を行うことにより行うことができる。

また、本発明の第７の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記消化器官の部位が大腸であり、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記ＣＮＮは、前記第２の内視鏡画像が撮像された前記区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。

また、本発明の第８の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門であり、前記ＣＮＮは、前記第２の内視鏡画像が撮像された区分として、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。

また、本発明の第９の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門であり、前記ＣＮＮは、前記第２の内視鏡画像が撮像された区分として、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。

本発明の第７～９のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、大腸の区分毎の分類が正確にできるようになり、精密に検査しなければならない区分が理解しやすくなる。なお、大腸の区分の選択は、大腸疾患の出現傾向や出現頻度等を考慮し、それぞれの区分に対するＣＮＮの感度及び特異性をも考慮し、適宜に選択すればよい。

また、本発明の第１０の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記疾患がびらん及び潰瘍の少なくとも一つであることを特徴とする。

本発明の第１０の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、多数の被験者についてのＷＣＥによる小腸の内視鏡画像に対して、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の小腸の疾患の陽性及び／又は陰性の領域及び確率を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになり、内視鏡専門医によるチェック／修正が容易になる。なお、かかる態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、小腸のＷＣＥ内視鏡画像ではびらんと潰瘍との区別が明確ではないが、これらの少なくとも一つを正確に自動的に選別することができるようになる。

また、本発明の第１１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記消化器官の部位が十二指腸であって、前記内視鏡画像が食道胃十二指腸内視鏡画像であり、前記疾患が表在性非乳頭部十二指腸上皮性腫瘍であることを特徴とする。

本発明の第１１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、食道胃十二指腸内視鏡による内視鏡画像に対して、短時間で、表在性非乳頭部十二指腸上皮性腫瘍の領域及び確率を得ることができるようになる。

本発明の第１２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１～１１のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記疾患の陽性又は陰性の確定診断結果は、前記第２の内視鏡画像内に前記疾患の陽性の領域として表示されたものであり、前記訓練された畳み込みニューラルネットワークは、検出した前記疾患の陽性の領域を前記第２の内視鏡画像内に表示するとともに、前記第２の画像内に前記確率スコアを表示することを特徴とする。

本発明の第１２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、第２の内視鏡画像内に、内視鏡専門医による確定診断結果が得られた領域と、訓練されたＣＮＮによって検出された疾患の陽性の領域とが正確に対比できるので、ＣＮＮの感度及び特異度をより良好なものとすることができるようになる。

また、本発明の第１３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１～１２のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記重なりが、（１）前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域の８０％以上である時、又は、（２）前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第１の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、前記訓練された畳み込みニューラルネットワークの診断は正しいと判定することを特徴とする。

本発明の第１３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、ＣＮＮの診断の正誤を容易に判定することができるようになり、訓練されたＣＮＮの診断の精度が向上する。

また、本発明の第１４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１～１３のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記訓練された畳み込みニューラルネットワークは、前記第２の画像内に、検出した前記疾患の陽性の領域とともに前記確率スコアを表示することを特徴とする。

本発明の第１４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、内視鏡専門医が、多数の被験者についての小腸ないし十二指腸の疾患の陽性及び／又は陰性の領域及び確率スコアを、短時間で、正確に把握することができるようになり、内視鏡専門医によるチェック／修正が容易になる。

また、本発明の第１５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記消化器官の部位が食道であって、前記内視鏡画像が非拡大内視鏡画像又は拡大内視鏡画像であり、前記疾患が表在食道扁平上皮癌（ＳＣＣ）の深達度であることを特徴とする。また、本発明の第１６の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記疾患の陽性又は陰性の確定診断結果は、前記扁平上皮癌の深達度が粘膜上皮－粘膜固有層（ＥＰ－ＬＰＭ）、粘膜筋板（ＭＭ）、粘膜下層表面近傍（ＳＭ１）、粘膜下層中間部以深（ＳＭ２－）のいずれかであることを判定することを特徴とする。

本発明の第１５又は第１６の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、表在食道ＳＣＣの深達度を短時間で、正確に把握することができるため、表在食道ＳＣＣに対する内視鏡的切除術（ＥＲ）の適用性の判断を正確に行うことができるようになる。

また、本発明の第１７の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１～１６のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記ＣＮＮは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする。

本発明の第１７の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、Ｘ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置は、それぞれの消化器官の構造を立体的に表すことができるから、第１～１６のいずれかの態様のＣＮＮの出力と組み合わせると、内視鏡画像が撮影された部位をより正確に把握することができるようになる。

また、本発明の第１８の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１～１７のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする。

第１８の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、入力された第２の内視鏡画像に対する消化器官の疾患陽性及び陰性のそれぞれの確率ないし重症度を短時間で出力することができるので、第２の内視鏡画像の入力形式によらず、例えば遠隔地から送信された画像であっても、動画であっても利用可能となる。なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。これらによって、いわゆるクラウドサービスや遠隔支援サービスの形態として利用可能である。

また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク－ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク－Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。これらによって、いわゆる医療機関や検診機関に簡便にシステムを移植又は設置できる形態を提供することができる。

さらに、本発明の第１９の態様の消化器官の内視鏡画像による疾患の診断支援システムは、内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、前記コンピュータが、消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性を含む確定診断結果を記憶する第２の記憶領域と、前記畳み込みニューラルネットワークプログラムを記憶する第３の記憶領域と、を備え、前記畳み込みニューラルネットワークが、前記第１の記憶部に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている、前記第１の内視鏡画像に対応する前記消化器官の前記疾患の陽性又は陰性を含む確定診断結果とに基いて訓練されており、前記訓練された畳み込みニューラルネットワークが、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性の領域を検出し、検出された前記疾患の陽性の領域が前記第２の内視鏡画像内に表示され、前記疾患の陽性又は陰性の確定診断結果が、前記第２の内視鏡画像内に前記疾患の陽性の領域として表示され、前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練された畳み込みニューラルネットワークの診断結果の正誤を判定することを特徴とする。

また、本発明の第２０の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第１８の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする。

また、本発明の第２１の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２０の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことを特徴とする。

また、本発明の第２２の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２１の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つにおいて複数箇所に区分されていることを特徴とする。

また、本発明の第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２１又は２２の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が胃であって、前記ＣＮＮは、前記第２の内視鏡画像に基いて、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力することを特徴とする。

また、本発明の第２４の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２２の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が大腸であり、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記ＣＮＮは、前記第２の内視鏡画像が撮像された前記区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。

また、本発明の第２５の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２２の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記ＣＮＮは、前記第２の内視鏡画像が撮像された部位として、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。

また、本発明の第２６の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２２の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が大腸であって、前記訓練されたＣＮＮは、前記第２の内視鏡画像が撮像された部位として、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つの区分に対応する確率を出力することを特徴とする。

また、本発明の第２７の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２１の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が小腸であって、前記訓練された畳み込みニューラルネットワークは、前記第２の内視鏡画像に基いて、前記疾患としてびらん及び潰瘍の少なくとも一つに対応する確率を出力することを特徴とする。

また、本発明の第２８の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２１の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が十二指腸であって、前記訓練された畳み込みニューラルネットワークは、前記第２の内視鏡画像に基いて、前記疾患として表在性非乳頭部十二指腸上皮性腫瘍に対応する確率を出力することを特徴とする。

また、本発明の第２９の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第１９～２８のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記ＣＮＮは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする。

また、本発明の第３０の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第１９～２８のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする。

本発明の第１９～３０のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムによれば、それぞれ第１～１８のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法と同様の効果を奏することができる。

さらに、本発明の第３１の態様の消化器官の内視鏡画像による診断支援プログラムは、第１～１８のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムの作動方法における各ステップを前記コンピュータにより実行させるものであることを特徴とする。

本発明の第３１の態様の消化器官の内視鏡画像による診断支援プログラムによれば、第１～１８のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムの作動方法における各ステップを前記コンピュータにより実行させるための、消化器官の内視鏡画像による診断支援プログラムを提供することができる。

また、本発明の第３２の態様のコンピュータ読み取り可能な記録媒体は、第３１の態様の消化器官の内視鏡画像による診断支援プログラムを記録したものであることを特徴とする。

本発明の第３２の態様のコンピュータ読み取り可能な記録媒体によれば、第３１の態様の消化器官の内視鏡画像による診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。

以上述べたように、本発明によれば、ＣＮＮを組み込んだプログラムが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、撮像された部位に対応する情報等を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。

図１ＡはＨ．ピロリ感染の陽性の場合の胃内視鏡画像例であり、図１ＢはＨ．ピロリ感染の陰性の場合の胃内視鏡画像例であり、図１ＣはＨ．ピロリ除菌後の胃内視鏡画像例である。胃の主要な解剖学的部位を示す図である。実施形態１のＣＮＮ構築用の検証用データセット用の患者の選別を示す図である。 GoogLeNetの動作を示す模式概念図である。大腸の主要な解剖学的部位を示す図である。実施形態２のＣＮＮシステム構築用のフローチャートの概略図である。実施形態２の代表的な大腸内視鏡画像とＣＮＮにより認識された各部位の確率スコアを示す図である。図８Ａ－図８Ｆは、それぞれ順に終末回腸、盲腸、上行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の受信機動作特性（ＲＯＣ）曲線を示す図である。図９Ａは肛門と正しく認識された画像と各部位の確率スコアを示す図であり、図９Ｂは肛門と誤認識された終末回腸の画像と各部位の確率スコアを示す図である。図１０Ａは盲腸と正しく認識された画像と各部位の確率スコアを示す図であり、図１０Ｂは終末回腸と誤認識された盲腸の画像と各部位の確率スコアを示す図である。実施形態３のＣＮＮシステム構築用のフローチャートの概略図である。実施形態３のＣＮＮによるＲＯＣ曲線の一例を示す図である。図１３Ａ－図１３Ｄは、実施形態３のＣＮＮによって正しく診断された代表的な小腸内視鏡画像とＣＮＮにより認識された特定部位の確率スコアを示す図である。図１４Ａ－図１４Ｅは、実施形態３のＣＮＮによってそれぞれ順に暗さ、側方性、泡、破片、血管拡張に基いて偽陽性と診断された画像の例であり、図１４Ｆ－図１４Ｈは真のびらんであるが偽陽性と診断された画像の例である。実施形態４のＣＮＮを適用する食道の表在性扁平上皮癌（ＳＣＣ）の深達度とその分類との関係を説明する概略断面図である。十二指腸の主要な解剖学的部位を示す図である。図１７Ａは十二指腸の内視鏡画像の一例であり、図１７Ｂは図１７Ａの部分に対して実施形態５のＣＮＮによって認識された画像を示す図である。図１８Ａは実施形態５のＣＮＮで偽陽性となった正常な十二指腸襞の画像あり、図１８Ｂは同じく正常な十二指腸粘膜の画像であり、図１８Ｃは同じく十二指腸乳頭襞の画像であり、図１８Ｄは同じくハレーションを起こした低品質の画像の例である。図１９Ａは実施形態５のＣＮＮで病変を認識できなかった内視鏡画像であり、図１９Ｂは同じく病変を認識できたが確率スコアが小さかったため否定的な判断がされた内視鏡画像である。実施形態６のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法のブロック図である。実施形態７の消化器官の内視鏡画像による疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体についてのブロック図である。

以下、本発明に係る消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、Ｈ．ピロリ感染胃炎の場合及び大腸の部位別認識の場合を例にとって詳細に説明する。ただし、以下に示す実施形態は、本発明の技術思想を具体化するための例を示すものであって、本発明をこれらの場合に特定することを意図するものではない。すなわち、本発明は特許請求の範囲に含まれるその他の実施形態のものにも等しく適応し得るものである。また、本発明において、画像という用語には、静止画像だけでなく、動画も含まれる。

［実施形態１］
実施形態１では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、Ｈ．ピロリ感染胃炎の場合に適用した例を説明する。発明者の一人が属する医院において、延べ３３人の内視鏡検査医が白色光による通常の倍率の内視鏡を用い、食道・胃・十二指腸内視鏡検査（以下、「ＥＧＤ」という。）を行った。ＥＧＤの適応症は、様々な上腹部症状、胃の病気に対するバリウム検査の陽性結果、異常な血清ペプシノゲンのレベル、胃や十二指腸の既往症又はスクリーニングに関するプライマリケア医からの紹介であった。

標準的なＥＧＤ用内視鏡（ＥＶＩＳＧＩＦ－ＸＰ２９０Ｎ、ＧＩＦ－ＸＰ２６０、ＧＩＦ－ＸＰ２６０ＮＳ、ＧＩＦ－Ｎ２６０；オリンパスメディカルシステムズ社、東京）で白色光を用いて画像を撮影し、ＥＧＤを行った。得られた画像は通常の倍率の画像であり、拡大された画像は使用していない。

全ての患者は、Ｈ．ピロリ感染の有無の検出のための検査を受けた。その検査は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定及び尿素呼気試験の少なくとも一つであった。そして、これらの検査のいずれかにおいて陽性反応を示した患者は、Ｈ．ピロリ陽性と分類された。Ｈ．ピロリ陽性と診断されなかった患者において、Ｈ．ピロリ除菌治療を受けた経験がなかった者はＨ．ピロリ陰性と分類された。また、過去にＨ．ピロリ除菌治療を受け、既に除菌に成功した患者はＨ．ピロリ除菌と分類された。図１に、得られた典型的な胃部内視鏡画像を示す。なお、図１ＡはＨ．ピロリ陽性と診断された画像の例であり、図１ＢはＨ．ピロリ陰性と診断された画像の例であり、図１ＣはＨ．ピロリ除菌後の画像の例である。

［データセットについて］
２０１５年１２月－２０１７年４月にかけて行われた５，２３６人のＥＧＤの画像を遡及的にレビューすることにより、ＡＩベースの診断システムの訓練及び検証に使用するデータセット（それぞれ「訓練用データセット」及び「検証用データセット」といい、両者纏めて「訓練／検証用データセット」という。また、訓練及び検証の両者を纏めて「訓練／検証」ということがある。）を用意した。胃癌、潰瘍、又は粘膜下腫瘍の存在又は病歴を有する患者のデータは、訓練／検証用データセットから除外した。Ｈ．ピロリ陽性、Ｈ．ピロリ陰性又はＨ．ピロリ除菌と診断された胃の画像は、胃内の食物残渣、出血及びハレーションによる不明瞭な画像を除外するために、内視鏡専門医によってさらにスクリーニングされた。また、評価対象となる内視鏡画像データセット（「テストデータセット」という。）も用意した。なお、この「訓練／検証用データ」が本発明の「第1の内視鏡画像」に対応し、「テストデータ」が本発明の「第２の内視鏡画像」に対応する。

表１に示したように、Ｈ．ピロリ陽性と判定された７４２人、Ｈ．ピロリ陰性と判定された３，４６９人及びＨ．ピロリ除菌と判定された８４５人の患者から得られた９８，５６４枚の画像を訓練用データセット用に調製した。９８，５６４枚の内視鏡画像を、０－３５９°の間でランダムに回転させ、周囲の黒い枠部分をトリミングして削除し、適宜に０．９－１．１倍のスケールで縮小ないし拡大し、画像数を増加させた。このような画像数の増加は、回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも１つを含み、ツールによって自動的に行うことができる。なお、狭帯域画像などの強調された画像を除外し、通常の倍率を有する通常の白色光画像のみが含まれるようにしてもよい。次いで、胃の７箇所（噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞及び幽門、図２参照）にしたがって分類された画像を用いてＣＮＮを構築した。

［検証用データセットの準備］
上述した訓練用データセットを用いて構築された実施形態１のＣＮＮと内視鏡検査医との診断精度を評価するために、検証用データセットを準備した。発明者の一人が属する医院において、２０１７年５月から６月にかけて内視鏡検査を行った８７１人の患者の画像データのうち、Ｈ．ピロリの感染状況が不明である２２人及び胃切除術を受けた２人の画像データを除外し、最終的に８４７人の患者（それぞれ７０人のＨ．ピロリ陽性、４９３人のＨ．ピロリ陰性及び２８４人のＨ．ピロリ除菌）からの合計２３，６９９枚の画像を含んでいた（図３参照）。

これらの患者の人口統計学的特徴及び画像の特徴を表１に示した。

臨床診断は、糞便抗原検査によるものが２６４人（３１％）、尿中の抗Ｈ．ピロリＩｇＧレベルによるものが１２６人（１５％）であった。６３人（７％）の症例で複数の診断検査が行われた。訓練データセットと検証用データセットの間に重複はない。

［訓練／検証・アルゴリズム］
ＡＩベースの診断システムを構築するため、Szegedyらによって開発された最先端のディープラーニングニューラルネットワークの開発基盤として、バークレー・ビジョン・ラーニング・センター（ＢＶＬＣ）で最初に開発されたCaffeフレームワークを利用し、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャとして２２層からなるGoogLeNet（https://arxiv.org/abs/1409.4842）を使用した。

実施形態１で用いたＣＮＮは、図４に示したように、バックプロパゲーション（Backpropagation：誤差逆伝播法）を用いて訓練されている。ＣＮＮの各層は、AdaDelta（https://arxiv.org/abs/1212.5701）を使用し、グローバル学習率が0.005で確率的最適化が行われている。全ての画像をGoogLeNetと互換性を持たせるために、各画像を２４４×２４４ピクセルにリサイズした。また、ImageNetを通して自然画像の特徴量を学んだ訓練済みのモデルを訓練開始時の初期値として使用した。ImageNet（http://www.image-net.org/）は、２０１７年当初で１，４００万点以上もの画像が収載されているデータベースである。この訓練手法は転移学習と呼ばれ、教師データが少ない場合でも有効であることが認められている。なお、実施形態１のＣＮＮでは、ＣＰＵとしてINTEL社のCore i7-7700Kを使用し、グラフィックス処理装置用ＧＰＵとしてNVIDEA社のGeForce GTX 1070を使用した。

［評価アルゴリズム］
訓練／検証された実施形態１のＣＮＮは、入力された画像に対してのＨ．ピロリ陽性、Ｈ．ピロリ陰性及びＨ．ピロリ除菌の診断結果として、０から１の間の確率値（ＰＳ）を出力する。Ｈ．ピロリ陽性のＰＳ値をＰｐ、Ｈ．ピロリ陰性のＰＳ値をＰｎ、Ｈ．ピロリ除菌のＰＳ値をＰｅと表すと、Ｐｐ＋Ｐｎ＋Ｐｅ＝１となる。この３つの確率値の最大値をとるものが最も確からしい「ＣＮＮの診断」として選択された。

全ての患者情報は、患者の匿名性を維持するためのデータ分析の前に削除された。この研究は、日本医師会制度審査委員会（ID JMA-IIA00283）の承認を得て、ヘルシンキ宣言の下で実施された。

実施形態１で測定されたＣＮＮによる診断結果と臨床検査による診断結果との関係を表２に纏めて示した。

全２３，６９９枚の画像の中で、ＣＮＮは４１８枚の画像をＨ．ピロリ陽性と診断し、２３，０３４枚の画像をＨ．ピロリ陰性と診断し、さらに２４７枚の画像をＨ．ピロリ除菌と診断した。ＣＮＮが全画像をＨ．ピロリ陰性と診断した６５５人中、臨床検査では４６６人（７１％）が同様にＨ．ピロリ陰性と診断されたが、２２人（３％）がＨ．ピロリ陽性と診断され、１６７人（２５％）がＨ．ピロリ除菌と診断された。

また、ＣＮＮが少なくとも１画像を「Ｈ．ピロリ陽性又は除菌」と診断した１９２人中、臨床検査では４８人（２５％）がＨ．ピロリ陽性、１１７人（６１％）がＨ．ピロリ除菌、計１６５人（８６％）が同様に「Ｈ．ピロリ陽性又は除菌」と診断されたが、２７人（１４％）はＨ．ピロリ陰性と診断された。さらに、ＣＮＮが少なくとも１画像についてＨ．ピロリ除菌と診断した１１９人中、臨床検査では８３人（７０％）が同様にＨ．ピロリ除菌と診断されたが、１６人（１３％）がＨ．ピロリ陰性と診断され、２０人（１７％）がＨ．ピロリ陽性と診断された。なお、ＣＮＮが２３，６６９枚の画像を診断するのに掛かった時間は２６１秒である。

表２に示した結果から、以下のことが分かる。すなわち、ＣＮＮを用いた胃内視鏡画像によるＨ．ピロリ感染状態の診断に際しては、ＣＮＮ構築用の訓練／検証用データセットとして、臨床検査によりＨ．ピロリ陽性及び陰性と診断された画像だけでなく、Ｈ．ピロリ除菌と診断された画像も含めて構築することにより、短時間で「Ｈ．ピロリ陽性又は除菌」の症例を抽出するのに有用であることが分かる。さらに、このＣＮＮに基づくスクリーニングシステムは、臨床実践に導入するのに十分な感度と特異度を有しており、内視鏡検査時に撮影された画像（テストデータ）のスクリーニングに際する内視鏡専門医の作業負荷を著しく低減することができることを示している。

この実施形態１のＣＮＮによれば、疲労なしにＨ．ピロリ感染のスクリーニング時間をずっと短くすることができ、内視鏡検査後すぐに報告結果が得られるようになる。これにより、世界中で解決すべき大きな課題である内視鏡検査医のＨ．ピロリ感染診断の負担軽減と医療費の削減に貢献することができる。さらに、この実施形態１のＣＮＮによるＨ．ピロリ診断は、内視鏡検査時の画像を入力すれば直ぐに結果が得られるため、完全に「オンライン」でＨ．ピロリ診断補助を行うことができ、いわゆる「遠隔医療」として地域による医師の分布の不均一性の問題を解決することができるようになる。

我が国においては、特に高齢者ではＨ．ピロリ感染が多く、２０１３年２月にＨ．ピロリ感染による胃炎患者に対するＨ．ピロリ除菌療法に対して健康保険が適用されるようになり、実際にはこのＨ．ピロリ除菌療法はＨ．ピロリ感染患者を対象として広く採用されるようになっている。さらに、２０１６年に開始された胃癌の内視鏡画像によるマススクリーニングでは、大量の内視鏡画像が処理されており、より効率的な画像スクリーニング法が必要とされている。実施形態１で得られた結果は、大量の保存画像をこのＣＮＮを用いて、内視鏡検査者の評価なしでも、Ｈ．ピロリ感染のスクリーニングを大きく助けることができ、さらなる試験によりＨ．ピロリ感染の確認につながるとともに最終的にはＨ．ピロリ除菌に至る可能性があることを示唆している。しかも、Ｈ．ピロリ感染状況に対するＣＮＮの診断能力は、胃の各部位の分類を加えることにより向上するが、胃癌の診断能力もＨ．ピロリ感染状況の情報を追加することにより改善される。

なお、実施形態１では、ＣＮＮのアーキテクチャとしてGoogLeNetを使用した例を示したが、ＣＮＮのアーキテクチャは日々進化しており、最新のものを採用するとより良好な結果が得られる場合がある。また、ディープラーニングフレームワークとして同じくオープンソースのCaffeを使用したが、他にCNTK、TensorFlow、Theano、Torch、MXNet等を使用し得る。さらに、最適化手法としてAdamを使用したが、他に周知のＳＧＤ（Stochastic Gradient Descent：確率的勾配降下法）法、ＳＧＤに慣性項（Momentum）を付与したMomentumSGV法、AdaGrad法、AdaDelta法、NesterovAG法、RMSpropGraves法等を適宜に選択して使用し得る。

以上述べたように、実施形態１のＣＮＮによる胃の内視鏡画像によるＨ．ピロリ感染の診断精度は、内視鏡検査医に匹敵した。したがって、実施形態１のＣＮＮは、スクリーニング又はその他の理由により、得られた内視鏡画像からＨ．ピロリ感染患者を選別するのに役立つ。また、Ｈ．ピロリ除菌後の画像をＣＮＮに学習させたので、Ｈ．ピロリが除菌できたかどうかの判定にも使える。

［診断支援システム］
実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータは、基本的に、内視鏡画像入力部と、記憶部（ハードディスクないし半導体メモリ）と、画像解析装置と、判定表示装置と、判定出力装置とを備えている。他に、直接内視鏡画像撮像装置を備えているものであってもよい。また、このコンピュータシステムは、内視鏡検査施設から離れて設置され、遠隔地から画像情報を得て中央診断支援システムとしたり、インターネット網を介したクラウド型コンピュータシステムとしても稼働させることができる。

このコンピュータは、内部の記憶部に、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像を記憶する第１の記憶領域と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果を記憶する第２の記憶領域と、ＣＮＮプログラムを記憶する第３の記憶領域と、を備えることになる。この場合、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像は数が多くてデータ量が大きくなること、ＣＮＮプログラムの作動時に大量のデータ処理が行われることから、並列処理とすることが好ましく、また、大容量の記憶部を有することが好ましい。

近年、ＣＰＵやＧＰＵの能力の向上が著しく、実施形態１で使用した診断支援システムとしてのＣＮＮを組み込んだコンピュータは、ある程度高性能な市販のパーソナルコンピュータを使用した場合であれば、Ｈ．ピロリ感染胃炎診断システムとしても、１時間に３０００症例以上を処理でき、１枚の画像については約０．２秒で処理することができる。そのため、内視鏡で撮影中の画像データを実施形態１で使用したＣＮＮを組み込んだコンピュータに与えることにより、リアルタイムでのＨ．ピロリ感染判定も可能となり、世界中や僻地から送信された胃内視鏡画像はもちろんのこと、たとえそれが動画であっても、遠隔で診断可能となる。特に、近年のコンピュータのＧＰＵは性能が非常に優れているので、実施形態１のＣＮＮを組み込むことにより、高速かつ高精度の画像処理が可能となる。

また、実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータの入力部に入力する被験者の消化器官の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像又はコンピュータ読み取り可能な記録媒体に記録された画像とすることができる。すなわち実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータは、短時間で入力された被験者の消化器官の内視鏡画像に対して消化器官の疾患陽性及び陰性のそれぞれの確率を出力することができるので、被験者の消化器官の内視鏡画像の入力形式によらず利用可能となる。

なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク－ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク－Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。

［実施形態２］
実施形態２では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、大腸の部位別分類に適用した例を説明する。大腸の各部位は、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門からなる。なお、大腸の主要な解剖学的分類を図５に示した。実施形態２では、これらの部位別の画像を自動的に区別できるように、ＣＮＮを訓練及び検証した。

発明者の一人が属する医院において、２０１７年１月から２０１７年１１月にかけて、全大腸内視鏡検査（ＣＳ）を受けた患者の臨床データを回顧的にレビューした。ＣＳを実施した理由は、腹痛、下痢、陽性糞便免疫化学検査、同一医院における過去のＣＳのフォローアップ、単なるスクリーニングなどであった。結腸・直腸の解剖学的部位を正確に特定するため、十分に空気が吹き込まれた、結腸・直腸の部位を特定できた正常な結腸・直腸画像のみを用いた。除外された画像は、結腸・直腸ポリープ、癌及び生検跡のようなものが大部分を占めており、重度の炎症又は出血を有するものも除外された。また、通常の倍率の白色光画像又は強調画像のみが含まれていた。

このＣＳ法で撮影された画像は、標準的な大腸内視鏡（ＥＶＩＳＬＵＣＥＲＡＥＬＩＴＥ，ＣＦＴＹＰＥＨ２６０ＡＬ／Ｉ，ＰＣＦＴＹＰＥＱ２６０ＡＩ，Ｑ２６０ＡＺＩ，Ｈ２９０Ｉ，及びＨ２９０ＺＩ，オリンパスメディカルシステムズ、東京、日本）を用いて撮影された。回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸及び肛門の画像をＣＳ中に撮影し、それぞれのＣＳ中に平均２４枚の画像を得た。

なお、ＣＮＮを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態２のＣＮＮに関与した内視鏡医のいずれも、識別可能な患者情報にアクセスすることができないようにした。このＣＮＮの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、日本医師会倫理審査委員会（ID：JMA-IIA00283）の承認を得た。

実施形態２のＣＮＮシステムのフローチャートの概要を図６に示す。ここではＣＮＮを終末回腸、盲腸、上行及び横行結腸、下行及びＳ字結腸、直腸、肛門及び分類不能の７つのカテゴリーに訓練／検証するために、内視鏡専門医によって画像を分類した。訓練／検証のための全ての画像は、ＣＮＮを訓練／検証する前に少なくとも２人の内視鏡専門医によって分類をチェックされた。訓練／検証用データセットは、終末回腸、盲腸、上行及び横行結腸、下行及びＳ字結腸、直腸及び肛門の６つのカテゴリーに分類された。訓練／検証用データセットには分類不能な画像は含まれていなかった。

従来、結腸・直腸ポリープに対するＡＩシステムを構築するために必要な画像データは５，０００枚以下の画像で訓練することにより行われていた。そこで、十分なデータ量を確保するため、約１０，０００枚の画像を基に実施形態２のＣＮＮシステムを構築することを目指した。２０１７年１月から２０１７年３月までに収集された４０９人の画像９９９５枚を訓練用画像として用意し、２０１７年１１月に取得した１１８人の画像５１２１枚を検証用画像セットに用いた（表３参照）。両方の画像セットの各解剖学的部位の画像数を表４に示した。

このようにして得られた実施形態２の訓練／検証用データセットは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが２４４×２４４ピクセルにリサイズされている。そして、実施形態２で用いたＣＮＮシステムは、実施形態１のＣＮＮシステムと同様のものを用いて訓練した。

実施形態２のＣＮＮシステムは、訓練／検証用の画像について、各画像の部位毎の確率スコア（ＰＳ）を出力する。確率スコアは０－１（０－１００％）の範囲であり、画像が属する大腸の部位の確率を表している。ＣＮＮは、各画像を７つの部位毎（終末回腸、盲腸、上行及び横行結腸、下行及びＳ字結腸、直腸、肛門及び分類不能）の確率スコアを算出する。確率スコアの最高値を得た解剖学的部位が画像の部位として割り当てられる。なお、大腸の部位は、それぞれの組織の類似性から、盲腸、上行結腸及び横行結腸を纏めて右側結腸と、下行結腸、Ｓ字結腸及び直腸を左側結腸とし、終末回腸、右側結腸、左側結腸及び肛門の４部位に分類することもある。

例えば、図７の左側の大腸内視鏡画像は上行－横行結腸画像の例であるが、ＣＮＮは、上行－横行結腸の確率スコアが９５％と判断したが、下行－Ｓ字結腸の確率スコアが５％であるとも判断した例を示している。結果として、ＣＮＮは図７の左側の大腸内視鏡画像を上行－横行結腸であると割り当てている。

実施形態２のＣＮＮによる主要な目的は、大腸内視鏡画像のＣＮＮによる解剖学的分類の感度及び特異度を求めることである。受信機動作特性（ＲＯＣ）曲線を各部位について描き、GraphPad Prism 7（GraphPad software、Inc、California、U.S.A）によりＲＯＣ曲線の下側部分の面積（ＡＵＣ）を算出した。実施形態2のＣＮＮによって作成された大腸の部位別のＲＯＣ曲線を図８に示した。なお、図８Ａ－図８Ｆは、それぞれ順に終末回腸、盲腸、上行結腸、下行結腸、Ｓ字結腸、直腸及び肛門のＲＯＣ曲線を示す図である。

実施形態２で構築されたＣＮＮシステムは、検証用データセットの画像の６６．６％（３，４１０枚／５，１２１枚）を正しく認識した。表５は、ＣＮＮが画像に提割り当てた確率スコアによる正しい認識率を示す。

ＣＮＮシステムは、確率スコアが９９％を超える画像については、全画像（５，１２１枚）中１０％（５０７枚）を割り当てたが、そのうち４６５枚（正しく分類されたものの１４％）が臨床診断により正しく分類されたものであり、正確度は９１．７％であった。

同じく、ＣＮＮシステムは、確率スコアが９０％を越え、９９％以下の画像については、全画像中２５％（１，２９６枚）を割り当てたが、そのうち１，０３９枚（正しく分類されたものの３０％）が臨床診断により正しく分類されたものであり、正確度は８０．２％であった。同じく、ＣＮＮシステムは、確率スコアが７０％を超え、９０％以下の画像については、全画像中３０％（１，５４９枚）を割り当てたが、そのうち１，００９枚（正しく分類されたものの３０％）が臨床診断により正しく分類されたものであり、正確度は６５．１％であった。

同じく、ＣＮＮシステムは、確率スコアが５０％を超え、７０％以下の画像については、全画像中２７％（１，３９７枚）を割り当てたが、そのうち７６１枚（正しく分類されたものの２２％）が臨床診断により正しく分類されたものであり、正確度は５４．５％であった。さらに、ＣＮＮシステムは、確率スコアが５０％以下の画像については、全画像中７％（３７２枚）を割り当てたが、そのうち１３６枚（正しく分類されたものの４％）が臨床診断により正しく分類されたものであり、正確度は３６．６％であった。

表６は、臨床診断により分類された解剖学的部位毎のＣＮＮの出力の分布を示す。ここでは、「分類不能」に分類された画像はなかった。

実施形態２で構築されたＣＮＮは、肛門の画像９１．４％の最も高い感度で認識し、次いで、下行結腸及びＳ字結腸を９０．０％の次に高い感度で、終末回腸を６９．４％の感度で、上行結腸及び横行結腸を５１．１％の感度で、さらに盲腸を４９．８％の感度で認識したが、直腸は２３．３％の最も低い感度でしか認識できなかった。また、それぞれの解剖学的部位に対する特異度は、下行結腸及びS状結腸の部位（６０．９％）を除いて９０％以上であった。なお、実施形態２で構築したＣＮＮは、各解剖学的部位について０．８を超えるＡＵＣ値を有する画像を認識した。

表７は、盲腸、上行結腸及び横行結腸を「右側結腸」と表し、下行結腸、Ｓ字結腸及び直腸を「左側結腸」と表した場合の、実施形態２で構築したＣＮＮの終末回腸、右側結腸
、左側結腸及び肛門の出力分布を示す。左側結腸は、９１．２％の高い感度および６３．％の比較的低い特異性を示したが、回腸末端、右側結腸および肛門は逆の結果を示した。

次に、各解剖学的部位について、特定の確率スコア毎、すなわち、７０％≧ＰＳ＞６０％、８０％≧ＰＳ>７０％、９０％≧ＰＳ>８０％及びＰＳ＞９０％の４区分に従って、感度及び特異度を計算した。計算結果を表８に示した。

表８に示した結果によると、直腸を除くすべての部位に関し、全ての確率スコアにおいて、確率スコアが高いほど感度及び特異度が高くなっていた。しかし、直腸では、確率スコアが高い程特異度は高くなっていたが、感度は確率スコアの傾向とは一致していなかった。

実施形態２のＣＮＮによって誤って認識された１，７１１枚（全画像数－正常判定数＝５，１２１－３，４１０＝１，７１１、表５参照）の画像をレビューした。実施形態２のＣＮＮシステムは、全画像の１７．５％（２９９枚／１，７１１枚）を間違って認識し、確率スコアは０．９以上であった。図９及び図１０に、実施形態２のＣＮＮによって間違って認識された画像の典型的な例を示す。図９Ａは肛門と正しく認識された内視鏡画像の例であり、図９Ｂは肛門として間違って認識された終末回腸の画像を示す。図９Ｂの内腔の輪郭は肛門の輪郭に類似していた。図１０Ａは盲腸と正しく認識された内視鏡画像の例であり、図１０Ｂは終末回腸と誤って認識された盲腸の画像の例である。図１０Ａには盲腸の特徴の１つとして虫垂の穴が見えるが、図１０Ｂでは終末回腸として間違って認識された。

以上述べたように、実施形態２では４０９人の９９９５枚の大腸内視鏡画像に基づいてＣＮＮシステムを構築した。このＣＮＮシステムは、大規模な独立した検証用データセットを用いて解剖学的部位を識別したところ、臨床的に有用な性能を示した。このＣＮＮシステムは、６０％以上の精度で結腸の画像を認識することができた。したがって、このシステムは、近い将来の大腸内視鏡検査用のＡＩシステムの開発の基礎となるであろう。

結腸疾患のためのＡＩシステムを開発するためには、画像の効率的な解剖学的部位の認識能力が第一の重要なステップである。従来、結腸ポリープの認識のためのＡＩシステムが知られていたが、感度は７９％－９８．７％の範囲であり、特異度は７４．１％－９８．５％の範囲であった。しかし、従来のシステムは、ポリープの解剖学的部位を認識する能力を有さなかった。ポリープ又は大腸癌の出現頻度は、結腸の解剖学的部位によって異なることはよく知られている。実施形態２のＣＮＮシステムがその解剖学的部位に基づいて結腸の病変を検出する感度を変えることができれば、より効果的なＡＩシステムを開発することができる。

実施形態２で構築されたＣＮＮでは、精度は確率スコアの値によって異なった。一般に、高い確率スコアを有する画像が高い精度で認識されるので、ＣＮＮは、高い確率スコアを有する画像のみに限定することにより、より良好に機能することができる。臨床的に有用な応用のためには、認識結果を確実にする確率スコアの適切な値が必要である。

実施形態２で構築されたＣＮＮの結果は、胃腸画像を分類できるＣＮＮシステムを構築した発明者等の以前の報告と比較すると、良好ではなかった。従来の胃腸の解剖学的部位を認識するための感度及び特異度は、喉頭で９３．９％及び１００％、食道で９５．８％及び９９．７％、胃で９８．９％及び９３．０％、十二指腸で８７．０％及び９９．２％であった。

しかし、臨床医にとってさえ、大腸内視鏡画像の解剖学的部位を、胃腸内視鏡画像の解剖学的部位と同様に正確に認識することは、より困難である。例えば、臨床医は上行－横行結腸の画像と下行－Ｓ字結腸の画像とを区別できないことがある。特に、各部位間にマージンにある画像は認識しにくい。さらに、臨床医は、通常、画像の連続的な順序又は臨床現場での以前の画像又は後の画像との関係を考慮することによって、大腸内視鏡の画像がどこの部分であるかを認識することができる。したがって、ＣＮＮの単一画像に基づく６６％の精度は、前画像と後画像との関係を統合するとより良い性能が達成できるので、過小評価することはできない。

実施形態２で構築したＣＮＮシステムの感度及び特異性は、解剖学的部位によって異なる。下行結腸－Ｓ字結腸の部位は、９０％以上の高い感度を有したが、特異性は６９．９％と最も低かった。対照的に、回腸末端、盲腸、上行結腸―横行結腸及び直腸では高い特異性を有していたが、感度は２３．３－６９．４％と低感度であった。また、実施形態２のＣＮＮは、９０％以上の高い感度と特異度で肛門を認識した。興味深いことに、高い確率スコアを有する画像の中から算出した場合、直腸の認識感度は低下した。

実施形態２のＣＮＮでは、直腸画像に対しては確実に正しく出力されず、直腸画像が下行－Ｓ状結腸として認識された。直腸が低感度で認識された理由は、特徴的な部分がないためであろう。しかし、実施形態２のＣＮＮは、終末回腸及び盲腸では、回盲弁、虫垂口などの特徴的な部分を有していたが、認識感度は比較的低かった。このような結果が得られた理由は、実施形態２のＣＮＮシステムが各部位に属するそのような特徴的な部分を認識できなかったことによって説明することができる。その理由は、実施形態２のＣＮＮシステムは、画像全体の構造のみに基づいて画像を認識することができ、ＣＮＮに画像内の各部位に基づく特徴部分をそれぞれ教示することなく、全画像を各部位に分類するだけであるからである。画像の典型的な部分を実施形態２のＣＮＮシステムに教えることができれば、それらの部位の認識精度は高くなる。

すなわち、内視鏡を部位の表面に近づけたり、内腔が空気に不十分に吹き込まれたりすると、内腔の形状を捕捉することが困難になる。食道・胃・十二指腸の画像では、食道、胃、及び十二指腸の上皮が互いに異なるため、表面の微細構造に基づいて画像を認識する必要がある。例えば、胃の中では、上皮は解剖学的部位によって異なる。例えば、幽門腺は胃幽門に分布し、胃底腺は他の領域に存在している。

一方、盲腸、上行結腸、横行結腸、下行結腸、S状結腸、及び直腸の微細構造パターンはほぼ同じである。したがって、表面微細構造をＣＮＮに教えて結腸・直腸の画像を区別するようにすることは非効率的である。ただ、実施形態２のＣＮＮシステムにおいて、終末回腸又は肛門を認識するためには、表面微細構造を教えることは有用である。

さらに、実施形態２のＣＮＮシステムにおいて、画像の正確な位置決め能力を高めるために、大腸内視鏡検査とコンピュータ断層撮影や透視画像などの３次元情報を表示できる他のＸ線ＣＴ（Computed Tomography：コンピュータ断層撮影装置）、ＵＳＣＴ（Ultrasonic Computer Tomography：超音波コンピュータ断層撮影装置）、ＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像診断装置）など、医療用画像における撮像手段（modality：モダリティ）と組み合わせることができる。訓練用データセットにこれらのモダリティがある画像を使用できる場合、ＣＮＮは大腸内視鏡画像の位置をより正確に認識することができる。

結腸の解剖学的部位を自動的に認識する能力は、診断と治療の両方に大きな影響を与える。第１に、結腸疾患がどこにあるかを認識する。例えば、潰瘍性大腸炎の治療のため、大腸炎の存在部位に基づいて治療又は適切な種類の薬剤を投与することができる。また、結腸・直腸癌に関しては、癌が存在する解剖学的部位は手術のための重要な情報となる。

第２に、結腸の解剖学的部位に関する情報は、大腸内視鏡の挿入と排出の両方の間の正確な検査に有用である。特に訓練中の研修医ないし初診医にとって内視鏡スコープの挿入を完了させるための最も困難な要因の１つは、内視鏡スコープがどこに挿入されているかを認識することである。ＣＮＮによって内視鏡スコープが客観的にどこにあるかを認識することができるようにすると、訓練中の研修医ないし初診医が大腸内視鏡を挿入するのに役立つ。解剖学的部位を認識する機能がビデオ画像に採用された場合、大腸内視鏡の挿入を完了するための時間及び困難性が低減される。

実施形態２のＣＮＮシステムでは、考慮すべきいくつかの制限がある。第１に、正確度には、検証画像を分類した専門医の能力又は技能が含まれている。専門医の大腸内視鏡画像の解剖学的部位を認識する能力は、大腸内視鏡検査の回数、訓練の期間、内視鏡検査の資格などの内視鏡的経験又は技能に基づいている。実施形態２のＣＮＮシステムにおいて、検証用データセットは、１人の医師が割り当てたため、誤って分類された画像が含まれている可能性がある。画像を正確に割り当てるためには、複数の医師がすべての画像を分類する必要がある。

第２に、実施形態２のＣＮＮシステムにおいては、全ての画像を単一施設で取得した。施術者又は施設の方針により、各部位における大腸内視鏡画像の数、内腔内の空気量ないし画像の角度が異なることがある。

最後に、実施形態２の大腸内視鏡のＣＮＮの構築に際しては、訓練用データ及び検証用データの両方に従来使用されていたものよりも多くの画像を使用したが、より信頼性の高いＣＮＮを構築するためには、より多くの画像を用いた方がよい。一般に、その特性に基づいて画像を正確に区別することができるＣＮＮシステムを構築するには、１０，０００以上の画像が必要であろう。さらに、複数の医師によって割り当てられた複数の施設からより多くの訓練用データセットを準備することが必要である。

以上述べたように、実施形態２では、大腸内視鏡画像の解剖学的部位の観点から、新しく構築したＣＮＮシステムの臨床的に適切な性能を明らかにした。これは、結腸疾患をより簡単に検出できるＣＮＮシステムを構築するための第一歩となる。

［実施形態３］
実施形態３では、ワイヤレスカプセル内視鏡（ＷＣＥ）画像による小腸の疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。なお、実施形態３では、びらんと潰瘍との区別が困難であったので、両者合わせて「びらん／潰瘍」と表してある。すなわち、この明細書における「びらん／潰瘍」という用語は、「びらん」、「潰瘍」、「びらん及び潰瘍」の意味だけでなく、「びらん及び潰瘍のどちらかは明確でないが、少なくとも正常粘膜ではない」ものも含む意味で用いられている。

［データセットについて］
発明者の一人が属する医院において、２００９年１０月から２０１４年１２月までの間にＷＣＥを受けた１１５人の患者から、訓練用データセットとして小腸のびらん／潰瘍の画像を５３６０枚収集した。また、ＣＮＮの検証のために、２０１５年１月から２０１８年１月までに６５人の患者からの１０，４４０枚の独立した画像を準備し、検証用データセットとして用いた。これらの検証用データセットのうち、４５人の患者の４４０画像は小腸のびらん／潰瘍を有しており、２０人の患者の１０，０００画像は小腸の正常粘膜であると３人の内視鏡専門医により診断されている。ＷＣＥとしては、Pillcam（登録商標）ＳＢ２又はＳＢ３ＷＣＥ装置（Given Imaging, Yoqneam, Israel）を用いて実施した。

なお、ＣＮＮを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態１のＣＮＮに関与した内視鏡医のいずれも、識別可能な患者情報にアクセスすることができないようにした。このＣＮＮの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、東京大学倫理委員会（No.11931）及び日本医師会倫理審査委員会（ID JMA-IIA00283）の承認を得た。実施形態３のＣＮＮシステムのフローチャートの概要を図１１に示す。

ＷＣＥの適応症は、原因不明の消化管出血が主であり、他に他の医療機器を用いて異常小腸画像が観察された例、腹痛、過去の小腸症例のフォローアップ、下痢スクリーニングに関するプライマリケア医からの紹介等であった。病因としては、非ステロイド性抗炎症が多く、それに次いで炎症性腸疾患、小腸悪性腫瘍、吻合部潰瘍が主であったが、病因を確定できなかったものも多かった。ＣＮＮの訓練用及び検証用に用いられたデータデットの患者特性を表９に示した。

［訓練／検証・アルゴリズム］
ＡＩベースの診断システムを構築するために、アルゴリズムを変更することなく、Single Shot MultiBox Detector（ＳＳＤ、https://arxiv.org/abs/1512.02325）と呼ばれるディープニューラルネットワークアーキテクチャを利用した。まず、２人の内視鏡専門医によって、訓練データセットの画像内のびらん／潰瘍のすべての領域に、手動で長方形の境界ボックスを有する注釈が付けられた。これらの画像は、バークレー・ビジョン・ラーニング・センター（Berkeley Vision and Learning Center）で最初に開発されたCaffeフレームワークを通じてＳＳＤアーキテクチャに組み込まれた。Caffeフレームワークは、最初に開発された、最も一般的で広く使用されているフレームワークの１つである。

実施形態３のＣＮＮは、境界ボックスの内側の領域がびらん／潰瘍領域であり、他の領域が背景であると「教育」された。そして、ＣＮＮは、それ自体で境界ボックス領域の特定の特徴を抽出し、訓練データセットを介してびらん／潰瘍の特徴を「学習」した。ＣＮＮのすべての層は、グローバル学習率０．０００１で確率的最適化が行われている。各画像は３００×３００ピクセルにリサイズした。それに応じて境界ボックスのサイズも変更された。これらの値は、すべてのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。

［結果の測定及び統計］
まず、検証データセットの画像内のびらん／潰瘍の全てに、手作業で長方形の境界ボックス（以下、「真のボックス」という。）を太線で付与した。また、訓練されたＣＮＮは、検証データセットセットの画像内の検出したびらん／潰瘍の領域に長方形の境界ボックス（以下、「ＣＮＮボックス」という。）を細線で付与するとともに、びらん／潰瘍の確率スコア（範囲は０－１）を出力した。確率スコアが高いほど、ＣＮＮはその領域にびらん／潰瘍が含まれている確率が高いと判断していることを示している。

発明者等は、各画像がびらん／潰瘍を含むか否かについて、実施形態３のＣＮＮが判別する能力を評価した。この評価を実行するために、以下の定義を使用した。
１）ＣＮＮボックスが真のボックスに８０％以上重なったときは正解とした。
２）複数のＣＮＮボックスが１つの画像内に存在し、それらのボックスの１つでもびらん／潰瘍を正しく検出した場合、画像が正しく識別されたと結論付けた。
なお、このようにして正解と判断されたＷＣＥ内視鏡画像は、その情報を画像に付与して撮影された画像のダブルチェックの現場で診断補助として活用したり、ＷＣＥ内視鏡検査時に動画でリアルタイムで情報を表示して診断補助として活用される。

また、確率スコアのカットオフ値を変えることによって、受信機動作特性（ＲＯＣ）曲線をプロットし、実施形態1のＣＮＮによるびらん／潰瘍識別の評価のために曲線下面積（ＡＵＣ）を計算した。Youdenインデックスに従ったスコアを含む確率スコアに対する様々なカットオフ値を用いて、実施形態３のＣＮＮのびらん／潰瘍を検出する能力である、感度、特異度及び精度を計算した。なお、Youdenインデックスは、感度と特異度で計算された最適なカットオフ値を決定するための標準的な方法の１つであり、「感度＋特異度－１」の数値が最大となるようなカットオフ値を求めるものである。ここではＳＴＡＴＡソフトウェア（バージョン１３；Stata Corp、College Station、TX、USA）を用いてデータを統計的に分析した。

検証データセットは、６５人の患者（男性＝６２％、平均年齢＝５７歳、標準偏差（ＳＤ）＝１９歳）からの１０，４４０画像からなっていた。実施形態１の訓練されたＣＮＮは、これらの画像を評価するのに２３３秒を要した。これは、毎秒４４．８画像の速度に等しい。びらん／潰瘍を検出したＣＮＮのＡＵＣは０．９６０（９５％信頼区間［ＣＩ］、０．９５０－０．９６９；図１２参照）であった。

Youdenインデックスによれば、確率スコアの最適カットオフ値は０．４８１であり、確率スコアが０．４８１の領域がＣＮＮによってびらん／潰瘍として認識された。そのカットオフ値では、ＣＮＮの感度、特異度及び精度は、８８．２％（９５％ＣＩ（信頼区間）、８４．８－９１．０％）、９０．９％（９５％ＣＩ、９０．３－９１．４％）及び９０．８％（９５％ＣＩ、９０．２－９１．３％）であった（表１０参照）。なお、表１０は、確率スコアのカットオフ値を０．２から０．９まで０．１ずつ増加させて計算した、それぞれの感度、特異度及び精度を示している。

このようにして、確率スコアのカットオフ値＝０．４８１として実施形態１のＣＮＮに
より分類されたびらん／潰瘍の分類結果と内視鏡専門医によるびらん／潰瘍の分類結果と
の関係を表１１に纏めて示した。

また、図１３Ａ－図１３ＤはそれぞれＣＮＮによって正しく検出された代表的な領域を示し、図１４Ａ－図１４ＨはそれぞれＣＮＮによって誤分類された典型的な領域を示している。偽陰性画像は、表１２に示されるように、境界不明瞭（図１４Ａ参照）、周囲の正常粘膜と類似の色、小さすぎ、全体の観察不可（側方性（患部が側面にあるので見え難い）ないし部分性（部分的にしか見えない））（図１４Ｂ参照）の４つの原因に分類された。

一方、偽陽性画像は、表１３に示したように、正常粘膜、泡（図１４Ｃ）、破片（図１４Ｄ）、血管拡張（図１４Ｅ）、真のびらん（図１４Ｆ－図１４Ｈ）の５つの原因に分類された。

以上述べたように、実施形態３の訓練されたＣＮＮによれば、ＷＣＥの小腸像におけるびらん及び潰瘍の自動検出のためのＣＮＮベースのプログラムが構築され、９０．８％の高い精度（ＡＵＣ、０．９６０）の独立した試験画像におけるびらん／潰瘍を検出できることが明らかにされた。

［実施形態４］
実施形態４では、通常の内視鏡（非拡大内視鏡，非ＭＥ）、超音波内視鏡（ＥＵＳ）及び拡大内視鏡（ＭＥ）による扁平上皮癌（ＳＣＣ）の深達度を診断する診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。

まず、食道のＳＣＣの深達度とその分類との関係を、図１５を用いて説明する。食道は、食道の内面側から、粘膜上皮（ＥＰ）、粘膜固有層（ＬＰＭ），粘膜筋板（ＭＭ）、粘膜下層（ＳＭ）、固有筋層及び外膜からなっている。ＳＣＣが粘膜上皮（ＥＰ）内に止まっている場合は「ＥＰ」と表示し、「Ｔｉｓ」に分類される。ＳＣＣが粘膜上皮の下部の粘膜固有層（ＬＰＭ）まで達している場合は「ＬＰＭ」と表示し、同じく粘膜筋板（ＭＭ）まで達している場合は「ＭＭ」と表示し、両者ともに「Ｔ１ａ」に分類される。

これらの粘膜上皮、粘膜固有層及び粘膜筋板が一般的に「粘膜」と称される箇所である。日本のガイドライン及び欧州のガイドラインによれば、ＥＲは、上皮（ＥＰ）／粘膜固有層（ＬＰＭ）、粘膜筋（ＭＭ）／２００μｍ程度まで達しているものに適用することが望ましいとされている。

ＳＣＣが粘膜固有層の下部の粘膜下層まで達しているものは，その深さに応じて順に「ＳＭ１」、「ＳＭ２」及び「ＳＭ３」と表示し、全て「Ｔ１ｂ」に分類される。なお、「ＳＭ１」、「ＳＭ２」及び「ＳＭ３」の区分の境界は明確なものではないが、一応、感覚的に粘膜下層表面近傍、粘膜下層中間部及び粘膜下深部の３区分に分けることができる。

上記のガイドラインでは、Ｔ１ａよりも深く達したＴ１ｂに分類されるＳＣＣに対してＥＲの適用性については示されていない。しかしながら、ＳＣＣの深達度がＴ１ａ（ＭＭ及びＳＭ１）である場合には、癌の転移確率は１０％未満であると報告されているので、食道切除術の高い死亡率及び実質的な罹患率に基づき、特に患者が老人であるか虚弱である場合には、ＥＲはＴ１ａ（ＭＭ及びＳＭ１）のための最も適切な初期治療と見なされている。食道切除術は、転移リスクが２５％を超えているため、通常Ｔ１ｂ（粘膜下層中間部（ＳＭ２）又は粘膜下深部（ＳＭ３））の場合に適応される。したがって、ＳＣＣの深達度の術前診断のための最も重要な仕事は、Ｔ１ａ（ＥＰ及びＳＭ１）をＴ１ｂ（ＳＭ２又はＳＭ３）と区別することである。

［データセットについて］
発明者の一人が属する医院において日常撮影された内視鏡画像を用いてＡＩシステムとしてのＣＮＮの訓練を行った。使用した内視鏡システムは、高解像度ないし高精細上部胃腸内視鏡（ＧＩＦ－ＸＰ２９０Ｎ，ＧＩＦ－Ｑ２６０Ｊ，ＧＩＦ－ＲＱ２６０Ｚ，ＧＩＦ－ＦＱ２６０Ｚ，ＧＩＦ－Ｑ２４０Ｚ，ＧＩＦ－Ｈ２９０Ｚ，ＧＩＦ－Ｈ２９０，ＧＩＦ－ＨＱ２９０及びＧＩＦ－Ｈ２６０Ｚ；オリンパス製，東京，日本）及びビデオプロセッサ（ＣＶ２６０；オリンパス製）、高精細拡大胃腸内視鏡（ＧＩＦ－Ｈ２９０Ｚ，ＧＩＦ－Ｈ２９０，ＧＩＦ－ＨＱ２９０，ＧＩＦ－Ｈ２６０Ｚ：オリンパス製）及びビデオプロセッサ（ＥＶＩＳＬＵＣＥＲＡＣＶ－２６０／ＣＬＶ－２６０及びＥＶＩＳＬＵＣＥＲＡＥＬＩＴＥＣＶ－２９０／ＣＬＶ－２９０ＳＬ；オリンパスメディカルシステム製）、高解像度内視鏡（ＥＧ－Ｌ５９０ＺＷ，ＥＧ－Ｌ６００ＺＷ及びＥＧ－Ｌ６００ＺＷ７；富士フィルム製，東京，日本）及びビデオ内視鏡システム（ＬＡＳＥＲＥＯ：富士フイルム製）であった。

訓練用画像は、標準白色光画像、狭帯域光（ＮＢＩ）画像及び青色レーザ光(ＢＬＩ）を用いた画像であるが、以下の除外基準に属する患者の画像は除外された。この除された画像には、重度の食道炎を有する患者、化学療法の病歴を有する患者、食道への放射線照射、潰瘍又は潰瘍の瘢痕に隣接する病変、少なすぎる空気吹き込みによる低品質の画像、出血、ハレーション、ぼけ、焦点外れ、又は粘液が含まれる。

選択後、８０４名の患者の病理学的に証明された表在食道ＳＣＣからの８，６６０枚の非ＭＥ画像及び５，６７８のＭＥ画像を訓練画像データセットとして収集した。これらの画像は、ＪＰＥＧ(Joint Photographic Experts Group)形式で保存され、切除標本の病理診断に基づいて、病理学的ｐＥＰ及びｐＬＰＭ、ｐＭＭ、ｐＳＭ１、及び、ｐＳＭ２及びｐＳＭ３癌に分類された。その後、日本消化器内視鏡学会の指導医によって手作業で四角枠の標識を付与した。癌の全領域は、ｐＥＰ－ｐＳＭ１癌のために標識され、ｐＳＭ２及びｐＳＭ３のもののみがＳＭ２及びＳＭ３癌のために特別に標識された。

内視鏡ビデオプロセッサの構造強化は、狭帯域イメージング（ＮＢＩ）はＢモードレベル８に設定され、青色レーザイメージング（ＢＬＩ）のレベルレベルは５－６に設定された。拡大観察時に内視鏡ズームレンズの先端と粘膜面との間の距離を適切に保つため、内視鏡の先端に黒い軟質フードを取り付けた。非拡大白色光画像、ＮＢＩ又はＢＬＩによる初期ルーチン検査を行って、癌の突出の程度、陥没の程度及び硬さを評価した。

続いて、ＮＢＩを拡大して、表面血管構造の外観、特に毛細血管の毛細血管ループの変化を評価した。最後に、癌の広がりを描写するためにヨウ素染色を行った。

［訓練／検証・アルゴリズム］
実験形態４のＡＩベースの診断システムは、アルゴリズムを変更することなく、実質的に実施形態３の場合と同様のシングルショットマルチボックス検出器（ＳＳＤ）と呼ばれるＣＮＮアーキテクチュアと、Ｃａｆｆｅフレームワークとを用いた。

モデル訓練は、グローバル学習率０．０００１の確率勾配降下で行った。各画像は３００×３００ピクセルにリサイズされ、四角枠も最適なＣＮＮ分析を行うようにサイズを変更した。これらの値は、すべてのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。

［結果の測定及び統計］
ＣＮＮに基づくＡＩシステムの評価は、表在食道ＳＣＣの独立した検証試験データによって行われた。２０１７年１月から２０１８年４月まで、発明者の一人が属する病院でＥＳＤ又は食道切除術を受けた患者から画像を収集した。訓練データセットと同じ除外基準を満たす患者を除外した後、１５５人の患者を選択した。一人の患者から３－６枚の代表的な画像（非ＭＥ及びＭＥ）を選択し、ＡＩシステムによって診断した。

訓練されたＣＮＮは、その診断の確率に対応する、０と１との間の連続数を有するＥＰ－ＳＭ１又はＳＭ２／ＳＭ３癌の診断を生成する。病変の全領域がＥＰ－ＳＭ１に限定されていると診断された場合、病変はＥＰ－ＳＭ１癌と診断された。病変の一部がＳＭ２又はＳＭ３に侵入したと診断された場合、病変はＳＭ２／３癌と診断された。非ＭＥ、ＭＥ及び最終診断（非ＭＥ＋ＭＥ）の結果を分析した。

ＡＩシステムと医師の判断の正確性を比較するために、内視鏡専門家として日本消化器内視鏡学会の１６名の内視鏡専門医が招待された。内視鏡専門医は医師として９－２３年の専門知識を有し、３０００－２００００回の内視鏡検査を経験している。彼らはまた、術前診断及び胃腸癌の内視鏡的切除を日常的に行っている。彼らに対し、ＡＩシステムと同じ検証テストデータが提供され、ＥＰ－ＳＭ１又はＳＭ２／ＳＭ３癌の診断を行なった。

主な出力指標は、診断精度、感度、特異性、陽性予測値（ＰＰＶ）、陰性予測値（ＮＰＶ）、及び診断時間であった。これらの値をＡＩシステムと内視鏡専門医との間で比較した。癌の深達度の診断における観察者間の変動を評価するために、κ統計が用いられた。κ値＞０．８は、ほぼ完全な一致を示し、κ値＝０．８－０．６は実質的な一致、κ値＝０．６－０．４は中程度の一致、κ値＝０．４－０．２は低度の一致、κ値<０．２はわずかな一致、κ値＝０は偶然の一致を示し、κ値<０は不一致を示唆している。全ての計算は統計ソフトＥＺＲを用いて行った。

この調査は、大阪国際癌センターの倫理審査委員会（No.2017-1710059178）及び日本医師会倫理審査委員会（ID JMA-IIA00283）の承認を受けて行われた。

ＡＩの診断の妥当性を調べるため、１５５人の患者からの合計で４０５枚の非ＭＥ画像と、５０９枚のＭＥ画像を選択した。選択された患者の人口統計を表１４に要約した。

全ての画像を診断するための所要時間は２９秒であった。表１５に示したように、ｐＥＰ－ＳＭ１癌（非ＭＥ＋ＭＥ）の最終診断では、感度９０．１％、特異度９５．８％、陽性予測値９９．２％、陰性予測値６３．９％、精度９１．０％が得られた。

ｐＥＰ－ＳＭ１癌の非ＭＥ診断では、感度９５．４％、特異度７９．２％、陽性予測値９６．２％、陰性予測値７６．０％、及び精度９２．９％が得られた。ｐＳＭ１癌のＭＥ診断では、感度９１．６％、特異度７９．２％、陽性予測値９６．０％、陰性予測値６３．３％、精度８９．７％が得られた。

ＡＩのＭ癌とＳＭ癌とを区別する性能を調べるため、１５５人の患者から同一の妥当性検査試験データ、すなわち、４０５枚の非ＭＥ画像及び５０９枚のＭＥ画像を選択した。すべての画像を診断するのに必要な時間は２９秒であった。ｐＭ癌の最終診断では、特異性８９．０％（９５％ＣＩ、８２．２％－９３．８％）、９２．９％（９５％ＣＩ、７６．５％－９９．１％）、陽性予測値９８．３％（９５％ＣＩ、４８．３％－７９．４％）、精度８９．７％（９５％ＣＩ、８３．８％－９４．０％）が得られた。

ｐＭ癌の非ＭＥ診断では、感度９３．７％（９５％ＣＩ、８８．０％－９７．２％）、特異度７５．０％（９５％ＣＩ、５５．１％－８９．３％）、陽性予測値９４．４％（９５％ＣＩ、８８．９％－９７．７％）、陰性予測値７２．４％（９５％ＣＩ、５２．８％－８７．３％）、精度９０．３％（９５％ＣＩ、８４．５％－９４．５％）が得られた。ＭＥのｐＭ癌診断では、感度９３．７％（９５％ＣＩ、８８．０％－９７．２％）、特異度８５．７％（９５％ＣＩ、６７．３％－９６．０％）、陽性予測値９６．７％（９５％ＣＩ、５６．６％－８８．５％）、精度９２．３％（９５％ＣＩ、８６．９％－９５．９％）が得られた。

同じ有効性試験データのＳＣＣの深達度は、１６人の内視鏡専門医によって診断された（表１６）。全体として、感度８９．８％、特異性８８．３％、９７．９％の陽性予測値、６５．５％の陰性予測値、及び８９．６％の精度が得られた。長期（１６年以上）及び短期（１６年未満）の専門知識を持つ内視鏡専門家のサブグループ分析では、診断精度はそれぞれ９１．０％及び８７．７％であった。診断のための観察者間の一致度は０．３０３（Fleissのκ係数、ｚ＝４１．１、ｐ値＝０．０００）であった。全ての検証試験データを評価するのに要した時間は１１５分（範囲７０－１８０分）であった。

病変の特徴に応じたＡＩシステムの診断精度を表１６及び１７に示した。ＡＩシステム及び内視鏡専門医の正確さは、病変の性質、例えば、癌浸潤深さ、形態及び病変の大きさが含まれる。

ＡＩシステムの非ＭＥ診断は高い性能を示した。非ＭＥ画像の大部分は白色光画像であった。白色光イメージングを使用した非ＭＥは、世界中で利用可能な従来の最も一般的な内視鏡イメージング方式である。従来の非ＭＥを用いた癌深達度の診断は、主観的であり、観察者間変動の影響を受ける可能性のある癌の突出、陥没、及び硬さに基づいている。

このような従来の非ＭＥを用いた癌深達度の診断のばらつきは、低い客観性に由来し、その信頼性を損ない、癌深達度を診断するためのツールとしての非ＭＥの適用を妨げた。しかしながら、実施形態４のＡＩシステムによる診断は、明確な診断を示すことができるため、客観的な診断を提供し、変動性を解決することができる。一方、ＭＥの診断能は実施形態４のＡＩシステムでは不利であった。この好ましくない性能は、ＭＥ画像の訓練用画像の量が少ないことから得られたものである。ＭＥのためのより多くの訓練データセットを蓄積することにより、さらなる改善が期待される。

上述したように、実施形態４のＡＩシステムは、表在食道ＳＣＣの癌深達度を診断するための良好な性能を示し、最終診断の精度は９１．０％であり、長期の専門知識を持つ内視鏡専門家の精度に匹敵している。

［実施形態５］
実施形態５では、食道胃十二指腸内視鏡（ＥＧＤ）画像を用いた診断システムを構築し、ＥＧＤ画像に基づいてＣＮＮにより表在性非乳頭部十二指腸上皮性腫瘍（ＳＮＡＤＥＴ）を診断する、診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。

まず、十二指腸の主要な解剖学的部位の名称を、図１６を用いて説明する。十二指腸は、胃に近い側から、球部（bulb)、上部(superior part)、上十二指腸曲(superior duodennal flexture)、下行部(descending part)、下十二指腸曲(inferior duodennal flexture)、水平部(horizontal part)、上行部(ascending part)及び空腸(jejunum)に分類される。図示省略したが、下行部には内側に２つの隆起があり、一方は副膵管が開口する小十二指腸乳頭であり、他方は膵管と総胆管が開口する大十二指腸乳頭（ファーター乳頭）となっている。なお、球部は胃の幽門部(図２参照）に連なり、空腸は回腸(図示省略）を経て大腸の盲腸に連なっている。この十二指腸は小腸の一部を構成している。

［データセットについて］
発明者の一人が属する医院において、日常の臨床診療におけるスクリーニング又は治療前検査として行われたＥＧＤ検査で撮影されたＥＧＤ内視鏡画像を用いてＡＩシステムとしてのＣＮＮの訓練を行った。使用した内視鏡システムは、高解像度ないし高精細上部胃腸内視鏡（ＧＩＦ－Ｈ２９０Ｚ、ＧＩＦ－Ｈ２９０、ＧＩＦ－Ｈ２６０Ｚ、ＧＩＦ－Ｑ２４０Ｚ＋ＯｌｙｍｐｕｓＭｅｄｉｃａｌＳｙｓｔｅｍｓ、Ｃｏ．、Ｌｔｄ／東京、日本）であった。

訓練用画像としては、２０１６年８月から２０１８年１１月までに大阪国際がんセンターで８７人の患者（９６病変）に対して行われたＥＧＤ画像を遡及的に検討した。そして、３１例の高度異形成及び６５例の腺腫と組織学的に診断された９６例のＳＮＡＤＥＴ病変から１５４６枚の訓練用画像を収集した。病理学的診断は、臨床認定医によって又は臨床専門医の監督下で行われた。ほとんどの診断は切除された標本に基づいて行ったが、いくつかは生検標本に基づいて行った。

ＳＮＡＤＥＴ病変を有する全ての画像は、内視鏡専門医によって手動で方形状の境界ボックスが付与され、別の内視鏡専門医によって確認された。ＳＮＡＤＥＴ病変を有する内視鏡画像をさらにスクリーニングし、ハレーション、ぼやけ、焦点ぼけ、粘液、食物残渣及び生検後の出血を含む等、様々な理由からあいまいな画像を除外した。最後に、ＳＮＡＤＥＴ病変を有する５３１枚の内視鏡画像を訓練用データセットとして得た。

構築したＣＮＮの診断精度を評価するために、試験データセットとして訓練用データセットとは別のデータセットを用意した。３６例の病変から得られた３９９枚の画像（９例の高度異形成及び２７例の腺腫；そのうち１４１枚は白色光画像、６１枚はインジゴカルミン染色画像であり、１９７枚は狭帯域画像）及び６８１枚の正常画像（５７３枚の白色光画像及び１０８枚の狭帯域画像）が試験データセットとして用意された。

［訓練／検証・アルゴリズム］
実験形態５のＡＩベースの診断システムは、アルゴリズムを変更することなく、実質的に実施形態３の場合と同様のシングルショットマルチボックス検出器（ＳＳＤ）と呼ばれるＣＮＮアーキテクチュアと、Ｃａｆｆｅフレームワークとを用いた。ＣＮＮの訓練は、グローバル学習率０．０００１の確率勾配降下で行った。各画像は３００×３００ピクセルにリサイズされ、四角枠も最適なＣＮＮ分析を行うようにサイズを変更した。これらの値は、全てのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。

そして、訓練用画像セット内のＳＮＡＤＥＴを示す全ての領域は、経験豊富な内視鏡専門医によって手動で長方形の境界ボックスが付けられ、各画像は別の内視鏡専門医によってダブルチェックされた。そして、ＣＮＮは、境界ボックス内の領域をＳＮＡＤＥＴを表し、他の領域を背景を表すものとして認識するように訓練された。

［結果の測定及び統計］
訓練用画像セットを使用してＣＮＮを構築した後、検証データセットとして準備したテスト画像を使用してＣＮＮのパフォーマンスを評価した。まず、訓練されたＣＮＮがテスト画像の入力データからＳＮＡＤＥＴを検出すると、診断（高度異形成又は腺腫）がなされ、所定の病変を囲むように内視鏡画像内に長方形の境界ボックスが確率スコアとともに表示される。確率スコアのカットオフ値は０．４に設定され、そしてそれが病変を検出したとしても、確率スコアが０．４より低ければそれは陰性であると判断された。

また、ＣＮＮが内視鏡専門医によって付与された境界ボックスの一部とでも重なった境界ボックスを付与することができれば、正確にＳＮＡＤＥＴを検出できたと判断した。内視鏡専門医がＳＮＡＤＥＴを含むと認識した画像で、ＣＮＮがそれを認識しなかった場合、それは偽陰性と判断した。ＣＮＮが非腫瘍構造をＳＮＡＤＥＴと診断した場合、偽陽性と判断した。主要評価項目は、精度、感度、特異度、陽性適中率（ＰＰＶ）、陰性適中率（ＮＰＶ）であった。正確にＳＮＡＤＥＴと診断された数を実際のＳＮＡＤＥＴ数で割って、ＣＮＮの感度を計算した。

ＣＮＮが非ＳＮＡＤＥＴと正しく診断した画像の数を非ＳＮＡＤＥＴ画像の総数で割ることによって特異度を計算した。ＣＮＮがＳＮＡＤＥＴと正しく診断した画像の数をＣＮＮがＳＮＡＤＥＴと診断した全ての画像で割ることによってＰＰＮはを計算した。次に、ＣＮＮが非ＳＮＡＤＥＴと正確に診断した画像の数をＣＮＮ非ＳＮＡＤＥＴと診断された全画像の数で割ることによってＮＰＶを計算した。全ての統計解析にはＲソフトウェア（ver.3.5.1)を使用し、０．０５未満のｐ値を統計的に有意と見なした。

本試験は大阪府立国際がんセンターの倫理審査委員会(第2017-1710059178号)及び日本医師会倫理審査委員会(ID:JMA-IIA00283)の承認を受けて行われた。

表１８は、試験画像セットに使用された３３人の患者及び３６例の病変の特徴を示す。９病変（２５％）は高度異形成であり、２７病変（７５％）は腺腫であった。腫瘍の大きさの中央値は１２ｍｍ（３－５０ｍｍの範囲）であった。ＣＮＮは、３６例のＳＮＡＤＥＴ病変から得られた画像（計３９９枚の画像）と正常な十二指腸の画像（６８１枚の画像）の計１０８０枚の画像を診断した。訓練されたＣＮＮは、画像ベースでＳＮＡＤＥＴ病変の９４．７％（３９９枚のうち３７８枚）を検出し、また病変ベースでは１００％検出した。ＳＮＡＤＥＴ病変には５ｍｍ以下の５例の病変が含まれているにもかかわらず、全ての病変がＣＮＮによって検出された。

図１７Ａは直径３ｍｍの小さな病変の画像を示すが、ＣＮＮはこの小さな病変を、クローズアップ画像の場合だけでなく、比較的離れた画像でも図１７Ｂに示すように検出できた。ＣＮＮがＳＮＡＤＥＴを含む３９９枚の画像と正常画像を含む１０８０枚の画像を診断するのに要した時間は、それぞれ１２秒と３１秒であった。実施形態５におけるＡＩ診断の詳細な結果を表１９に示した。ＡＩ診断の感度と特異度はそれぞれ９４．７％（３７８／３９９）と８７．４％（５９６／６８１）であった。また陽性適中率（ＰＰＶ）と陰性適中率（ＮＰＶ）はそれぞれ８０．８％と９７．４％であった。

偽陽性の発生率は１２．６％であった（６８１枚の正常画像のうちの８６枚）。偽陽性は、正常な十二指腸の襞（４５枚）、正常な十二指腸の粘膜（２３枚）、十二指腸の乳頭状の襞（９枚）、及び低品質の画像（例えばハレーション、９枚）で引き起こされた。これらの偽陽性となった十二指腸の画像を図１８に示した。なお、図１８Ａは偽陽性となった正常な十二指腸の襞の画像、図１８Ｂは同じく正常な十二指腸の粘膜の画像、図１８Ｃは同じく十二指腸の乳頭状の襞の画像、図１８Ｄは同じくハレーションを起こした低品質の画像の例である。ほとんどの偽陽性との誤検知は、蠕動運動に関連した隆起部を病変として誤って解釈したことによって引き起こされたものと思われる。

また、偽陰性の発生率は５．３％（３９９枚の画像のうちの２１枚）であった。これらの偽陰性の大部分は、離れたところでの病巣のイメージングによって引き起こされた（図１９参照）ものであった。例えば、図１９Ａは、内視鏡専門医がＳＮＡＤＥＴであると認識して方形状の枠を付与したが、ＣＮＮはＳＮＡＤＥＴであると認識できなかった画像の例である。また、図１９Ｂは、内視鏡専門医がＳＮＡＤＥＴであると認識して付与した方形状の枠内にＣＮＮがＳＮＡＤＥＴであると認識して方形状の枠を付与することができたが、確率スコアがカットオフ値の０．４よりも小さい０．２４であったために、ＳＮＡＤＥＴではないと判断された画像の例である。このように、偽陰性の原因のほとんどは離れた場所で撮影された病変部に基づくものであり、熟練した内視鏡医でさえもそれらの画像のみでこれらの病変を正確に検出するのは困難であった。

通常、十二指腸のスクリーニングは白色光イメージング（ＷＬＩ）によって行われ、その後に狭帯域イメージング（ＮＢＩ）による詳細な観察が続くことがある。したがって、ほとんどのＷＬＩ画像は遠くから撮影され、ほとんどのＮＢＩ画像は近くから撮影される。ＷＬＩとＮＢＩの診断結果の比較を表２０に示した。

表２０によると、ＮＢＩの感度はＷＬＩの感度よりも有意に高かった（ｐ＝０．００９）。一方、特異度は、ＮＢＩと比較してＷＬＩの方が有意に高かった（Ｐ＝０．００１）。すなわち、ＮＢＩの方がＷＬＩよりもＳＮＡＤＥＴに対して有意に高い感度と低い特異度を示した。ＮＢＩが表面構造を強調することを考えると、それはＳＮＡＤＥＴに対する感度を実際に高めることに繋がるかもしれないが、これらの結果は画像の状態や訓練用データセットなどのいくつかの要因によって偏る可能性がある。また、ＷＬＩは遠くから撮影されるため周囲の粘膜を含むが、ＮＢＩは主に病変部を含む。実施形態５のＮＢＩの訓練用データセットは、正常な構造が欠如しているため、低特異度の原因となった可能性がある。

以上述べたように、実施形態５のＣＮＮによれば、３９９枚の全ての病変画像が１２秒で検証されたが、言い換えると毎秒３３枚の画像が分析されたことになる。このことは日常の内視鏡診療におけるリアルタイムＳＮＡＤＥＴ検出が可能であることを示唆している。

［実施形態６］
実施形態６のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法について、図２０を用いて説明する。実施形態６では、実施形態１－５のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法を使用することができる。Ｓ１では、消化器官の第１の内視鏡画像と、第１の内視鏡画像に対応する、消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、疾患の深達度、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、を用いてＣＮＮを訓練／検証する。このＣＮＮが胃内視鏡画像におけるＨ．ピロリ関連疾患の診断用の場合であれば、Ｈ．ピロリ陽性及びＨ．ピロリ陽性の場合だけでなく、Ｈ．ピロリ除菌後の画像データをも含める。

Ｓ２では、Ｓ１において訓練／検証されたＣＮＮは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する確率の少なくとも１つを出力する。この第２の内視鏡画像は、新たに観察された内視鏡画像を示す。

Ｓ１では、第１の内視鏡画像はそれぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。

第１の内視鏡画像が胃内視鏡画像を含む場合には、Ｓ１では疾患としてＨ．ピロリ感染陽性又は陰性だけでなく、Ｈ．ピロリ除菌の有無を含めてもよく、Ｓ２ではＨ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力するようにしてもよい。

第１の内視鏡画像が大腸内視鏡画像を含む場合には、Ｓ１では、区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門を含めてもよく、Ｓ２では、第２の内視鏡画像の大腸の区分として、例えば、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力するようにしてもよく、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力するようにしてもよく、さらには、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力するようにしてもよい。

また、Ｓ２では、第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。

［実施形態７］
実施形態７の消化器官の内視鏡画像による疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体について図２１を参照して、説明する。実施形態７では、実施形態４及び５で説明した消化器官の内視鏡画像による疾患の診断支援システムを利用することができる。

この消化器官の内視鏡画像による疾患の診断支援システム１は、内視鏡画像入力部１０と、出力部３０と、ＣＮＮが組み込まれたコンピュータ２０と、出力部３０と、を有する。コンピュータ２０は、消化器官の第１の内視鏡画像を記憶する第１の記憶領域２１と、第１の内視鏡画像に対応する、消化器官の疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域２２と、ＣＮＮプログラムを記憶する第３の記憶領域２３と、を備える。第３の記憶領域２３に記憶されたＣＮＮプログラムは、第１の記憶領域２１に記憶されている第１の内視鏡画像と、第２の記憶領域２２に記憶されている確定診断結果とに基いて訓練／検証されており、内視鏡画像入力部１０から入力された消化器官の第２の内視鏡画像に基いて、第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する確率の少なくとも１つを出力部３０に出力する。

第１の記憶領域２１に記憶する第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃、十二指腸、小腸又は大腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。

第１の記憶領域２１に記憶する第１の内視鏡画像が胃内視鏡画像を含む場合には、第２の記憶領域２２に記憶する確定診断結果としては、Ｈ．ピロリ感染陽性又は陰性だけでなく、Ｈ．ピロリ除菌の有無を含めてもよく、第３の記憶領域に記憶させた第２の内視鏡画像について、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力部３０から出力するようにしてもよい。

第１の記憶領域２１に記憶する第１の内視鏡画像が大腸内視鏡画像を含む場合には、第２の記憶領域２２に記憶する確定診断結果としての区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門を含めてもよく、第３の記憶領域に記憶させた第２の内視鏡画像の大腸の区分として、例えば、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力部３０から出力するようにしてもよく、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力部３０から出力するようにしてもよく、さらには、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力部３０から出力するようにしてもよい。

また、第３の記憶領域に記憶させる第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。

実施形態７の消化器官の内視鏡画像による疾患の診断支援システムは、各手段としてコンピュータを動作させるためのもの消化器官の内視鏡画像による診断支援プログラムを備えている。また、消化器官の内視鏡画像による診断支援プログラムは、コンピュータ読み取り可能な記録媒体に記憶しておくことができる。

１０…内視鏡画像入力部
２０…コンピュータ
２１…第１の記憶領域
２２…第２の記憶領域
２３…第３の記憶領域
３０…出力部

Claims

畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法であって、
コンピュータが、
前記消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する前記消化器官の前記疾患の陽性又は陰性を含む確定診断結果と、を用いて畳み込みニューラルネットワークを訓練するステップと、
前記訓練された畳み込みニューラルネットワークが、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性の領域を検出し、検出された前記疾患の陽性の領域が前記第２の内視鏡画像内に表示されるステップと、
前記疾患の陽性又は陰性の確定診断結果が、前記第２の内視鏡画像内に前記疾患の陽性の領域として表示されるステップと、
前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練された畳み込みニューラルネットワークの診断結果の正誤を判定するステップと、
を実行することを特徴とする、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
畳み込みニューラルネットワークを訓練するステップにおける確定診断の結果には、前記消化器官の前記疾患の陽性又は陰性に加え、過去の疾患、重症度のレベル、疾患の深達度、もしくは、撮像された部位に対応する情報の少なくとも１つを含み、
検出した前記疾患の陽性の領域を前記第２の内視鏡画像内に表示するステップにおいて、前記訓練された畳み込みニューラルネットワークが、当該消化器官の疾患の陽性の領域に加え、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを検出することを特徴とする、請求項１に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記第１の内視鏡画像は、それぞれが撮像された消化器官の部位に関連付けられていることを特徴とする、請求項１又は２に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことを特徴とする、請求項３に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記消化器官の部位は、咽頭、食道、胃、十二指腸及び大腸の少なくとも１つにおいて複数箇所に区分されていることを特徴とする、請求項４に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記消化器官の部位が胃であって、前記少なくとも１つの確定診断結果は、Ｈ．ピロリ感染陽性、Ｈ．ピロリ感染陰性及びＨ．ピロリ除菌のいずれかを含み、前記畳み込みニューラルネットワークは、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力することを特徴とする、請求項４又は５に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記消化器官の部位が大腸であり、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門であり、前記畳み込みニューラルネットワークは、前記第２の内視鏡画像が撮像された前記区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする、請求項５に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門であり、前記畳み込みニューラルネットワークは、前記第２の内視鏡画像が撮像された区分として、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする、請求項５に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門であり、前記畳み込みニューラルネットワークは、前記第２の内視鏡画像が撮像された区分として、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする、請求項５に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記疾患がびらん及び潰瘍の少なくとも一つであることを特徴とする、請求項４に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記消化器官の部位が十二指腸であって、前記内視鏡画像が食道胃十二指腸内視鏡画像であり、前記疾患が表在性非乳頭部十二指腸上皮性腫瘍であることを特徴とする、請求項４に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
検出した前記疾患の陽性の領域を前記第２の内視鏡画像内に表示するステップにおいて、
前記訓練された畳み込みニューラルネットワークが、検出した前記疾患の陽性の領域を前記第２の内視鏡画像内に表示するとともに、前記第２の画像内に前記確率スコアを表示することを特徴とする、請求項１～１１のいずれか１項に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記重なりが、
（１）前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域の８０％以上である時、又は、
（２）前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第１の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、
前記訓練された畳み込みニューラルネットワークの診断は正しいと判定することを特徴とする、請求項１～１２のいずれか１項に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記訓練された畳み込みニューラルネットワークは、前記第２の画像内に、検出した前記疾患の陽性の領域とともに前記確率スコアを表示することを特徴とする、請求項１～１３のいずれか１項に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記消化器官の部位が食道であって、前記内視鏡画像が非拡大内視鏡画像又は拡大内視鏡画像であり、前記疾患が扁平上皮癌の癌深達度であることを特徴とする、請求項４に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記疾患の陽性又は陰性の確定診断結果は、前記扁平上皮癌の癌深達度が粘膜上皮－粘膜固有層、粘膜筋板、粘膜下層表面近傍、粘膜下層中間部以深のいずれかであることを判定することを特徴とする、請求項１５に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記畳み込みニューラルネットワークは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする、請求項１～１６のいずれか１項に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項１～１７のいずれか１項に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、
前記コンピュータが、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性を含む確定診断結果を記憶する第２の記憶領域と、
前記畳み込みニューラルネットワークプログラムを記憶する第３の記憶領域と、
を備え、
前記畳み込みニューラルネットワークが、前記第１の記憶部に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている、前記第１の内視鏡画像に対応する前記消化器官の前記疾患の陽性又は陰性を含む確定診断結果とに基いて訓練されており、
前記訓練された畳み込みニューラルネットワークが、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性の領域を検出し、検出された前記疾患の陽性の領域が前記第２の内視鏡画像内に表示され、
前記疾患の陽性又は陰性の確定診断結果が、前記第２の内視鏡画像内に前記疾患の陽性の領域として表示され、
前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練された畳み込みニューラルネットワークの診断結果の正誤を判定することを特徴とする、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする、請求項１９に記載の消化器官の内視鏡画像による疾患の診断支援システム。
前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことを特徴とする、請求項２０に記載の消化器官の内視鏡画像による疾患の診断支援システム。
前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つにおいて複数箇所に区分されていることを特徴とする、請求項２１に記載の消化器官の内視鏡画像による疾患の診断支援システム。
前記消化器官の部位が胃であって、前記畳み込みニューラルネットワークは、前記第２の内視鏡画像に基いて、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力する、請求項２１又は２２に記載の消化器官の内視鏡画像による疾患の診断支援システム。
前記消化器官の部位が大腸であり、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記畳み込みニューラルネットワークは、前記第２の内視鏡画像が撮像された前記区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする、請求項２２に記載の消化器官の内視鏡画像による疾患の診断支援システム。
前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記畳み込みニューラルネットワークは、前記第２の内視鏡画像が撮像された部位として、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする、請求項２２に記載の消化器官の内視鏡画像による疾患の診断支援システム。
前記消化器官の部位が大腸であって、前記訓練された畳み込みニューラルネットワークは、前記第２の内視鏡画像が撮像された部位として、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つの区分に対応する確率を出力することを特徴とする、請求項２２に記載の消化器官の内視鏡画像による疾患の診断支援システム。
前記消化器官の部位が小腸であって、前記訓練された畳み込みニューラルネットワークは、前記第２の内視鏡画像に基いて、前記疾患としてびらん及び潰瘍の少なくとも一つに対応する確率を出力することを特徴とする、請求項２１に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
前記消化器官の部位が十二指腸であって、前記訓練された畳み込みニューラルネットワークは、前記第２の内視鏡画像に基いて、前記疾患として表在性非乳頭部十二指腸上皮性腫瘍に対応する確率を出力することを特徴とする、請求項２１に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
前記畳み込みニューラルネットワークは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする、請求項１９～２８のいずれかに記載の消化器官の内視鏡画像による疾患の診断支援システム。
前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項１９～２８のいずれかに記載の消化器官の内視鏡画像による疾患の診断支援システム。
請求項１～１８のいずれかに記載の消化器官の内視鏡画像による疾患の診断支援システムの作動方法における各ステップを前記コンピュータにより実行させるものであることを特徴とする、消化器官の内視鏡画像による診断支援プログラム。
請求項３１に記載の消化器官の内視鏡画像による診断支援プログラムを記録したことを特徴とする、コンピュータ読み取り可能な記録媒体。