JP6994094B1

JP6994094B1 - 推定装置、推定方法、プログラム、及び生成方法

Info

Publication number: JP6994094B1
Application number: JP2020154719A
Authority: JP
Inventors: 耕片山; 健策森; 昌宏小田; 冬平潘
Original assignee: MEDICAL CORPORATION KATAYAMA ORTHOPEDIC RHEUMATOLOGY CLINIC
Current assignee: MEDICAL CORPORATION KATAYAMA ORTHOPEDIC RHEUMATOLOGY CLINIC
Priority date: 2020-09-15
Filing date: 2020-09-15
Publication date: 2022-01-14
Anticipated expiration: 2040-09-15
Also published as: US12493961B2; EP4216154A1; WO2022059713A1; JP2022048732A; US20230419493A1; EP4216154A4

Abstract

【課題】骨髄浮腫の診断にあたり、高価なＭＲＩ装置を使用した検査によらず、対象の身体部位に骨髄浮腫が存在するか否かについて推定可能にする。【解決手段】身体部位が撮影されたＸ線画像、およびＸ線画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報を含む学習用データを用いて学習させた学習器３２１を含み、学習器に対象の身体部位が撮影されたＸ線画像３２２を入力し、入力されたＸ線画像に撮影された身体部位における骨髄浮腫の有無に関する推定結果を出力する、推定装置３。【選択図】図２

Description

本発明は、推定装置、推定方法、プログラム、及び生成方法に関する。

関節リウマチ（ＲＡ）は、全世界の人口の約１％が罹患しているともいわれる最も一般的な炎症性関節炎である。炎症が続くと次第に軟骨や骨が破壊されて関節が変形してしまい、最終的に関節としての機能が失われてしまうことから、効果的な治療方法の開発が進められてきた。近時では、その病因自体は未だ明らかでない部分が多いものの、免疫抑制剤であるメトトレキサート（ＭＴＸ）や新たな生物学的製剤（ＢＩＯ）等の効果的な治療薬の出現により治療面において著しい改善がなされた。しかしながら、一部の患者では、関節破壊の進行が著しく早い場合があり、早期診断および早期治療の必要性も認識されている。

関節リウマチの診断方法としては、画像診断法が広く利用されているが、早期診断のために画像診断方法の改良が進められている。例えば、Ｘ線検査、関節超音波検査、核磁気共鳴画像法（ＭＲＩ）検査等の画像診断方法が知られている。Ｘ線検査では、関節内骨びらん、関節裂隙狭小化等を観察するが、感度が低いことから、関節破壊の結果を見ることが多い。関節超音波検査およびＭＲＩ検査は、関節破壊前の早期の関節内の炎症を観察することができる。とくに、ＭＲＩ検査は、唯一、骨内の炎症性病変である骨髄浮腫（ＢＭＥ）も観察可能な画像診断方法として知られている。Ｘ線検査で骨髄浮腫を観察できるとの報告はこれまでに一切ない。

ここで、骨髄浮腫は、骨内の炎症性病変であるが、関節リウマチ患者において骨髄浮腫が将来の関節破壊の可能性を示すことが知られている。最近では、骨髄浮腫が早期関節リウマチの強力な独立した関節破壊の予後予測因子であると２０１３年のヨーロッパリウマチ学会画像診断項目に推奨されている（非特許文献１）。また、骨髄浮腫を伴う関節リウマチ患者において、早期に生物学的製剤を投与したことで、骨髄浮腫を抑え、関節破壊の進行を抑えることができたことも報告されている。

他方、関節リウマチの診断にＡＩを利用する試みが進展している。例えば、非特許文献２では、畳み込みニューラルネットワークを使用して、臨床情報に基づき、関節リウマチおよび非関節リウマチを分類している。

Colebatch AN, Edwards CJ, Ostergaard M, et al. EULAR recommendations for the use of imaging of the joints in the clinical management of rheumatoid arthritis. Ann Rheum Dis, 2013; 72: 804-814. Fukae J, Isobe M, Hattori T, et al. Convolutional neural network for classification of two-dimensional array images generated from clinical information may support diagnosis of rheumatoid arthritis. Scientific reports, 2020; 10: 1-7.

これまで見てきたとおり、骨髄浮腫の早期診断とその早期治療は、関節リウマチにおける関節破壊の抑制に重要であるが、現時点で骨髄浮腫の診断は高価なＭＲＩ装置を使用したＭＲＩ検査によってのみ可能である。そして、ＭＲＩ検査の検査費用は、一般に高額であり世界中の多くの患者にとって負担である。

したがって、本発明の目的は、骨髄浮腫の診断にあたり、高価なＭＲＩ装置を使用したＭＲＩ検査によらず、対象の身体部位に骨髄浮腫が存在するか否かについて推定可能にすることにある。

本発明者らは、長年にわたり骨髄浮腫を有する関節等のＸ線画像と骨髄浮腫を有さない関節等のＸ線画像とを数多く比較観察していたところ、Ｘ線画像においても骨髄浮腫との関連が示唆される不定形の像が存在している可能性を見出した。さらに、本発明者らは、この知見をもとに、ディープラーニングなどの機械学習手法を利用することで、関節等のＸ線画像から骨髄浮腫の有無を推定できることを見出した。

すなわち、本発明の要旨は、身体部位が撮影されたＸ線画像、および前記Ｘ線画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報を含む学習用データを用いて学習させた学習器を含み、前記学習器に対象の身体部位が撮影されたＸ線画像を入力し、入力されたＸ線画像に撮影された身体部位における骨髄浮腫の有無に関する推定結果を出力する、推定装置にある。

また、本発明の要旨は、身体部位が撮影されたＸ線画像、および前記Ｘ線画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報を含む学習用データを用いて学習させた学習器に、対象の身体部位が撮影されたＸ線画像を入力し、入力されたＸ線画像に撮影された身体部位における骨髄浮腫の有無に関する推定結果を出力する推定工程を含む、Ｘ線画像に撮影された身体部位における骨髄浮腫の有無を推定する方法にある。

また、本発明の要旨は、コンピュータを、身体部位が撮影されたＸ線画像、および前記Ｘ線画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報を含む学習用データを用いて学習させた学習器として機能させ、ここで、前記学習済み学習器は、対象の身体部位が撮影されたＸ線画像が入力され、入力されたＸ線画像に撮影された身体部位における骨髄浮腫の有無に関する推定結果を出力する、プログラムにある。

また、本発明の要旨は、学習器を、身体部位が撮影されたＸ線画像、および前記Ｘ線画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報を含む学習用データを用いて学習させる学習工程を含む、Ｘ線画像に撮影された身体部位における骨髄浮腫の有無を推定可能な学習済み学習器の生成方法にある。

本発明によれば、ＭＲＩ装置を使用した検査をすることなく、対象の身体部位が撮影されたＸ線画像に基づいて、対象の身体部位に骨髄浮腫が存在するか否かについて推定することができる。

図１は、実施形態１の推定システムの構成の一例を示すブロック図である。図２は、実施形態１におけるサーバの構成の一例を示すブロック図である。図３は、実施形態１における学習済み学習器の生成方法の一例を示すフローチャートである。図４は、実施形態１における推定方法の一例を示すフローチャートである。図５は、実施例１における畳み込みニューラルネットワークの設計を示す概略図である。図６は、実施例１における手関節のＸ線画像の一例である。図７は、実施例１におけるＲＯＣ曲線を示すグラフである。

本発明において、「骨髄浮腫」は、当業者に周知の通常の意味で使用され、典型的には、ＭＲＩのＴ１協調画像で低信号、Ｔ２協調、脂肪抑制、ＳＴＩＲ画像で高信号として描出される辺縁不整のびまん性の骨内の領域であり、変性疾患（変形性関節症）、炎症性疾患（関節リウマチ、脊椎関節炎、付着部炎）等の病態に出現するものを意味する。

本発明において、好ましく扱うことのできる骨髄浮腫は、炎症性疾患に伴う骨髄浮腫（組織像：炎症細胞、破骨細胞）である。中でも、関節リウマチ、または脊椎関節炎に伴う骨髄浮腫をより好ましく扱うことができ、関節リウマチに伴う骨髄浮腫をとくに好ましく扱うことができる。

本発明において、推定の目的となる身体部位としては、特に制限はないが、例えば、関節リウマチでは、手指関節、手首の関節（手関節）、股関節、膝関節、足首の関節、足の指の関節などが挙げられ、脊椎関節炎では、仙腸関節、椎体やアキレス腱などの関節周囲靭帯付着部骨組織などが挙げられる。中でも、関節リウマチでは手関節、脊椎関節炎では仙腸関節が好ましく挙げられ、とくに手関節が好ましく挙げられる。また、手関節は、関節リウマチにおいて出現頻度が高いという点で好ましく、関節破壊予測という見地からも好ましい。

以下、本発明の実施形態について、図１～４を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用できる。

［実施形態１］
本発明の推定装置、推定方法、生成方法の一例について、以下、図を用いて説明する。なお、本実施形態では、推定の目的となる身体部位として手関節を例に説明するが、前述のとおり、本発明はこれに限定されない。

図１は、実施形態１の推定システムの構成の一例を示すブロック図である。推定システム１０は、Ｘ線撮影装置１と、ユーザー端末２と、推定装置としてのサーバ３とを含む。Ｘ線撮影装置１、ユーザー端末２、およびサーバ３は、それぞれ通信回線網４に接続されており、通信回線網４を介して相互に通信可能である。通信回線網４は、一般公知の通信回線網が使用でき、有線であっても無線であってもよく、例えば、ＬＡＮ（Local Area Network）、インターネット等を使用できる。また、本実施形態では、Ｘ線撮影装置１、およびユーザー端末２は、それぞれ１つずつ設置されているが、例えば、これらは複数設置されてもよい。

Ｘ線撮影装置１は、対象の手関節をＸ線撮影するための装置であり、例えば、一般的な医療診断用のＸ線撮影装置である。Ｘ線撮影装置１は、通常、医師の興味に従い対象（患者）の手関節を撮影するのに用いられて、本実施形態における推定の対象となる手関節が撮影されたＸ線画像が取得される。なお、後述する学習用データ用のＸ線画像も、本装置により取得可能である。

Ｘ線撮影装置１は通信機能を有しており、撮影された手関節のＸ線画像はサーバ３に送信される。

ここで、Ｘ線画像には、対象の手関節が撮影されていればよい。すなわち、その対象の手関節が撮影されたＸ線画像に、例えば、対象の手関節以外の身体部位が撮影されていてもよく、その撮影範囲は問わない。手関節の診断においては、手首から指先にかけて広い範囲をＸ線撮影することが一般的であって、本実施形態の推定システム１は、このようなＸ線画像を好適に用いることができる。

ユーザー端末２は、ユーザーが利用する端末である。ユーザー端末２は、一般的なコンピュータであってよく、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等からなる制御部、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等からなる記憶部、ネットワークアダプタ等からなる通信部、液晶パネル等からなる表示部、およびキーボード、マウス等からなる入力部を含んで構成される。ユーザー端末２は、推定装置としてのサーバ３から、Ｘ線画像に撮影された手関節における骨髄浮腫の有無に関する推定結果を受信できる。例えば、医師は、ユーザー端末２を利用することで、患者のＸ線画像についての上記推定結果を確認することができ、これを患者の診断に活用できる。

なお、本実施形態では、ユーザー端末２は、Ｘ線撮影装置１とは別に設置されているが、例えば、Ｘ線撮影装置１とユーザー端末２とが一緒になって構成されてもよい。

サーバ３は、サーバとして機能し得る程度の性能を有するコンピュータにより構成される。サーバ３は、本発明の推定装置として機能し、対象の手関節が撮影されたＸ線画像について、骨髄浮腫の有無を推定する処理を行うことができる。図２は、サーバ３の構成の一例を示すブロック図である。サーバ３は、通信部３１と、記憶部３２と、制御部３３とを含み、各部は電気回路を介して相互に接続されている。

通信部３１は、例えば、ネットワークアダプタ等を含んで構成される。通信部３１は、通信回線網４を介して他の装置と相互に通信する。通信部３１は、例えば、対象の手関節が撮影されたＸ線画像をＸ線撮影装置１から受信する。また、通信部３１は、Ｘ線画像に撮影された対象の手関節における骨髄浮腫の有無に関する推定結果をユーザー端末２に送信する。

記憶部３２は、例えば、ハードディスク、ＲＯＭ、ＲＡＭ等を含んで構成される。記憶部３２には、サーバ３の各部を動作させるための処理プログラムが保存されている。また、記憶部３２には、学習器３２１およびＸ線画像ＤＢ３２２が保存されている。また、記憶部３２は、例えば、Ｘ線撮影装置１から受信した対象の手関節が撮影されたＸ線画像を保存することもできる。

学習器３２１について説明する。典型的には、学習器３２１の実態は、機械学習プログラム（アルゴリズム）である。本発明において、学習器３２１は、Ｘ線画像に撮影された対象の身体部位における骨髄浮腫の有無に関する推定を行うために必要なパラメータが規定されるように学習される。学習器３２１は、上記推定を行えるように学習可能であれば、任意の機械学習プログラム（アルゴリズム）であってよく、例えば、畳み込みニューラルネットワーク（ＣＮＮ）を好適に使用できる。本実施形態では、Ｘ線画像ＤＢ３２２には、手関節が撮影された複数のＸ線画像、および各Ｘ線画像に撮影された手関節が骨髄浮腫を有しているか否かの情報を含む学習用データが格納されており、推定処理の前に、学習器３２１に、Ｘ線画像ＤＢ３２２に格納された学習用データを読み込ませる（学習させる）ことにより、学習済みの学習器（すなわち、学習済みモデル）を生成した上で、記憶部３２に保存される。

なお、上記では、学習済み学習器３２１を生成する生成処理と学習済み学習器３２１を利用した推定処理とを同一のコンピュータであるサーバ３が実行するものとして説明しているが、これらは別々に実行できる。したがって、例えば、学習済み学習器３２１の生成は、別のコンピュータで行い、生成された学習済み学習器３２１をサーバ３にインストールして使用してもよい。すなわち、記憶部３２は、Ｘ線画像ＤＢ３２２を保存していなくとも、学習済み学習器３２１を保存していれば、後述する推定処理を行うことができる。

前述のように、推定処理の前には、学習器３２１は、手関節が撮影されたＸ線画像、および前記Ｘ線画像に撮影された手関節が骨髄浮腫を有しているか否かの情報を含む学習用データを用いて学習させた学習済み学習器として保存されている。そして、学習済み学習器３２１には、Ｘ線撮影装置１から受信した、対象の手関節が撮影されたＸ線画像が入力データとして入力され、学習済み学習器３２１は、入力されたＸ線画像に撮影された対象の手関節における骨髄浮腫の有無に関する推定を行う。例えば、入力されたＸ線画像について、骨髄浮腫を有する手関節であるか、骨髄浮腫を有さない手関節であるかを識別する。

具体的な学習器３２１の構成の例としては、例えば、後述する実施例における畳み込みニューラルネットワーク（図５を参照）の構成を例示できる。ただし、図５に示す畳み込みニューラルネットワークの構成は一例であって、本実施形態はこれに限定されるものではない。本発明における学習器としての機能を有している限り、任意の構成を採用できる。

なお、本実施形態では、推定の目的となる身体部位は手関節であるが、本発明の推定装置は、手関節以外の身体部位も推定可能である。したがって、手関節以外の身体部位の推定のために、記憶部３２は、推定の目的となる身体部位に対応して、その身体部位に応じた学習用データを用いて生成された複数の学習済み学習器を記憶してもよい。

制御部３３は、例えば、ＣＰＵ、ＧＰＵ等を含んで構成される。制御部３３は、記憶部３２に記憶された処理プログラムに従って、サーバ３の各部を制御する。また、制御部３３は、以下のような学習処理部および推定処理部としても機能する。すなわち、制御部３３は、学習処理部として機能する場合、学習器３２１に対して、Ｘ線画像ＤＢ３２２に格納された学習用データを読み込ませて、学習済み学習器を生成する一連の処理を実行する。また、制御部３３は、推定処理部として機能する場合、学習済み学習器３２１に対して、Ｘ線画像を入力し、推定結果を出力する一連の処理を実行する。

また、本発明の推定装置は、任意で、学習器の内部状態を解析して、入力されたＸ線画像において異常が疑われる領域を可視化した画像を出力する可視化部を含むことができる。この場合には、制御部３３は、可視化部としても機能する。制御部３３は、可視化部として機能する場合、学習器３２１の内部状態を解析して、入力されたＸ線画像において異常が疑われる領域を可視化した画像を出力する一連の処理を実行する。

つぎに、サーバ３で実行される学習済み学習器３２１の生成方法を図３のフローチャートを用いて説明する。なお、本実施形態の生成方法は、この例に制限されない。

まず、制御部３３が、学習済み学習器３２１の生成に用いる学習用データを取得する（ステップＳ１１）。具体的には、制御部３３は、Ｘ線画像ＤＢ３２２から、手関節が撮影された複数のＸ線画像、および各Ｘ線画像に撮影された手関節が骨髄浮腫を有しているか否かの情報を含む学習用データを読み出す。

つづいて、制御部３３が、上記学習用データを用いて学習器３２１を学習させることで、対象の手関節が撮影されたＸ線画像を入力したとき、Ｘ線画像に撮影された対象の手関節における骨髄浮腫の有無に関する推定結果を出力する学習済み学習器３２１を生成する（ステップＳ１２）。このとき、制御部３３は、学習済み学習器３２１を記憶部３２に保存して、一連の処理を終了する。

つぎに、サーバ３で実行されるＸ線画像の推定方法を図４のフローチャートを用いて説明する。なお、本実施形態の推定方法は、この例に制限されない。

まず、制御部３３が、通信部３１あるいは記憶部３２から、対象の手関節が撮影されたＸ線画像を取得する（ステップＳ２１）。

つづいて、制御部３３が、前記Ｘ線画像を学習済み学習器３２１への入力に適したサイズにリサイズする（ステップＳ２２）。

つづいて、制御部３３が、学習済み学習器３２１に対して、リサイズしたＸ線画像を入力する（ステップＳ２３）。

つづいて、制御部３３は、学習済み学習器３２１からの出力として、Ｘ線画像に撮影された対象の手関節における骨髄浮腫の有無に関する推定結果を取得する（ステップＳ２４）。

つづいて、制御部３３は、これら推定結果をユーザー端末２に出力して（ステップＳ２５）、一連の処理を終了する。ユーザー端末２では、推定結果が表示部に表示される。

また、本発明の推定方法は、任意で、学習器の内部状態を解析して、入力されたＸ線画像において異常が疑われる領域を可視化した画像を出力する可視化工程を含むことができる。この場合には、つづいて、制御部３３（可視化部）は、学習器３２１の内部状態を解析して、入力されたＸ線画像において異常が疑われる領域を可視化した画像を出力する。ここで、学習器３２１の内部状態を解析して、入力されたＸ線画像において異常が疑われる領域を可視化した画像を出力するための手法としては、一般公知の手法をとることができ、例えば、Ｇｒａｄ－ＣＡＭ（Selvaraju R R, Cogswell M, Das A, et al. Grad-cam: Visual explanations from deep networks via gradient-based localization. Proceedings of the IEEE international conference on computer vision. 2017: 618-626.を参照）を使用すれば、最終的な予測に対する画像中の各領域の重要性を可視化できることから、これを利用することができる。このような異常が疑われる領域を可視化した画像は、医師が骨髄浮腫の診断するときに有益な情報であり、医師の診断を支援することができる。

なお、上記では、Ｘ線撮影装置と、ユーザー端末と、推定装置としてのサーバとを含む推定システムの例を説明したが、推定装置のみでも、Ｘ線画像に撮影された対象の身体部位における骨髄浮腫の有無を推定できる。この場合、推定装置は、上記記憶部、制御部等の他、例えば操作入力を受け付ける入力部、推定結果を表示する表示部等を備えてもよく、さらに、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フラッシュメモリ等の可搬型記憶媒体を読み取る読取部を備えてもよい。このような推定装置は、すでに取得済みのＸ線画像を外部から読み込んで使用することができ、また、推定結果を表示部に出力することができる。

（変形例）
上記実施形態１では、学習用データとして、身体部位が撮影されたＸ線画像、および前記Ｘ線画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報のみを用いた例を示したが、本発明はこれに限定されず、学習用データとして、これら以外の任意の情報を含ませることができる。例えば、その身体部位を有する患者の情報（年齢、性別、体重、身長、血液検査、尿検査、痛みの有無等）を含ませることができる。このような学習用データを用いて学習器３２１を学習させ、学習済み学習器３２１に対して、対象の身体部位が撮影されたＸ線画像に加えて、対象の情報（年齢、性別、体重、身長、血液検査、尿検査、痛みの有無等）を入力することで、より精度の高い推定結果を得ることができる。

［実施形態２］
本発明の一態様は、前述の本発明の推定方法を、コンピュータ上で実行することが可能なプログラムである。前述の推定装置および推定方法の説明が、本実施形態にも援用される。

このようなプログラムは、コンピュータを、身体部位が撮影されたＸ線画像、および前記Ｘ線画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報を含む学習用データを用いて学習させた学習器として機能させ、ここで、前記学習済み学習器は、対象の身体部位が撮影されたＸ線画像が入力され、入力されたＸ線画像に撮影された身体部位における骨髄浮腫の有無に関する推定結果を出力する、プログラムである。

また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。記録媒体としては、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等を使用できる。

［実施例１］
本発明によれば、前述のように、機械学習プログラム（アルゴリズム）を使用することで、関節等のＸ線画像から骨髄浮腫（ＢＭＥ）の有無を推定できる。本実施例では、ＢＭＥ又は非ＢＭＥのラベル付けがされた手関節のＸ線画像からなる学習用データを用いて学習済みモデルを作成し、その学習済みモデルの性能を評価した。

＜方法＞
Ｘ線画像を分類するために、畳み込み層および全結合層を含むニューラルネットワークを使用した。ネットワーク設計を図５に示す。ネットワークの入力は、２２４×２２４ピクセルの解像度を有する画像（Ｘ線画像）である。オリジナル画像は、ＪＰＥＧ形式で保存され、約８００×４５０ピクセルのサイズを有している。オリジナル画像のサイズは整理されていないため、画像を２２４×２２４ピクセルにリサイズする。図５の畳み込みニューラルネットワークは、３つの畳み込みブロック（「Ｃｏｎｖ」）と３つの全結合層（「ＦＣ」）とを含む。各畳み込みブロックは、２Ｄ畳み込み層（「Ｃｏｎｖ２ｄ」）、ＬｅａｋｙＲｅｌｕ活性化層（「ＬｅａｋｙＲｅｌｕ」）、最大プーリング層（「Ｍａｘｐｏｏｌｉｎｇ」）、およびバッチ正規化層（「ＢＮ」）からなる。図５における各「Ｃｏｎｖ」上の数字は、カーネルサイズ、カーネルサイズ、カーネル数を示す。各「ＦＣ」上の数字は、ニューロン数を示す。最後の層は、各カテゴリの確率を出力することができるソフトマックス層（「Ｓｏｆｔｍａｘ」）である。出力は、ＢＭＥのスコアであり、０～１の範囲のＢＭＥの確率である。

ニューラルネットワークは、Ａｄａｍオプティマイザを用いて、２００エポック訓練する。損失関数は、二値交差エントロピーを使用する。マイナーカテゴリーが訓練プロセスにおいてより影響力のある役割を果たすように、損失関数を重み付けする。具体的には、ＢＭＥサンプル数が非ＢＭＥサンプル数のｎ倍である場合、非ＢＭＥサンプルからの損失はｎの係数で乗算される。

＜実験＞
オリジナルデータは、５７７枚の手のＸ線画像からなる。そのうち４５０枚はＢＭＥを含まず、残り１２７枚はＢＭＥを含む。ここで、ＢＭＥは、ＭＲＩ検査によってのみ観察可能である。各Ｘ線画像は、医師により、対応するＭＲＩ検査の診断結果を利用することでラベル付けされた。図６にＢＭＥ画像および非ＢＭＥ画像の例を示す。左の２枚の画像はＢＭＥの例であり、右の２枚の画像は非ＢＭＥの例である。早期のＢＭＥ例では、軟部組織の腫脹および骨皮質の辺縁不明瞭が見られた。

データ分割に関して、７９枚の非ＢＭＥ画像および２５枚のＢＭＥ画像を含む１０４枚の画像をホールドアウトテストセットとして使用した。残りの４７３枚の画像を訓練データおよび検証データとして使用した。これら４７３枚の画像に対して、５分割交差検証を用いた。各回、訓練データセットには２９７枚の非ＢＭＥ画像および８１枚のＢＭＥ画像を含む約３７８の画像が含まれ、検証データセットには７４枚の非ＢＭＥ画像および２１枚のＢＭＥ画像を含む約９５枚の画像が含まれた。全て画像を十分に利用し、かつ訓練データセットおよび検証データセットの分布を統一するため、非ＢＭＥ画像とＢＭＥ画像との比を約３．６６：１に調整した。

ここで、データセットは反転および回転により拡張した。選択された全ての画像を偶然反転させるように、Ｋｅｒａｓのデータ生成機能を使用した。反転による拡張には水平反転および垂直反転が含まれた。回転による拡張はオフラインで処理した。それぞれの画像を時計回りに５度および１０度回転させ、また、反時計回りにも同様に回転させた。回転による拡張によって、データセットは元の画像数の５倍に拡張した。

モデルの性能は、ＲＯＣ曲線、適合率（precision）、および再現率（recall）を用いて評価した。データセットは３．６６：１の比率で不均衡であるので、モデル性能を評価するために全体正解率（accuracy）を用いることには意味がない。すべての画像を非ＢＭＥとして予測することによって７８．５％の全体正解率を得ることができてしまい、誤りを招く。そこで、全体正解率に代えて、ＲＯＣ曲線、適合率、および再現率を適用して、ニューラルネットワークの性能を評価した。これら評価基準の概略は、以下の通りである。

本モデルにおいて、最終出力はＢＭＥのスコアであり、これはＢＭＥの可能性を意味する。この２値分類タスクのために、閾値が選択される。出力スコアが閾値を超える場合、画像はＢＭＥとみなされる。ここで、選択のために閾値を０．１から０．９としてＦ値（F-measure）を計算したところ、０．４のときのＦ値が最も高かったことから、これを閾値として選択した。

また、ＲＯＣ曲線を作成した。ＲＯＣ曲線は、各閾値の分類性能を把握するために広く用いられている。ＲＯＣ曲線では、ｘ軸に１－特異度（偽陽性率（ＦＰＲ）に相当）、ｙ軸に感度（真陽性率（ＴＰＲ）に相当）をとる。全ての閾値について、下記表１に示す混同行列（confusion matrix）を作成し、下記式に基づき、真陽性率（ＴＰＲ）および偽陽性率（ＦＰＲ）を算出した。

ＴＰＲ＝ＴＰ／（ＴＰ＋ＦＮ）（式１）
ＦＰＲ＝ＦＰ／（ＦＰ＋ＴＮ）（式２）

ＴＰ／ＴＮは、真陽性／真陰性（正しく陽性／陰性を予測していることを意味する）の数であり、同様に、ＦＰ／ＦＮは、偽陽性／偽陰性（誤って陽性／陰性を予測していることを意味する）の数である（表１に定義される）。

ＲＯＣ曲線上の点は、各閾値に対応する。ＲＯＣ曲線は、全ての閾値におけるネットワークの全体的な能力を示す。他方、最適な閾値における適合率および再現率は、モデルにおける最高の性能を示す。適合率は、下記式３に基づき計算される。再現率は、真陽性率と同様に計算される（式４）。

適合率＝ＴＰ／（ＦＰ＋ＴＰ）（式３）
再現率＝ＴＰ／（ＴＰ＋ＦＮ）（式４）

下記表２に、適合率および再現率のテスト結果を示す（閾値＝０．４）。表２のとおり、ホールドアウトテストセットに対し、５フォールドは同様の性能を示した。図７には、フォールド５のＲＯＣ曲線を示す。ＡＵＣは、ＲＯＣ曲線の下の面積であるが、表２のとおり、本モデルの一般的な性能を示すＡＵＣは０．７３～０．７９の範囲にあった。また、平均適合率は６３％であり、平均再現率８７％であった。

＜考察＞
以上のとおり、実施例１では、Ｘ線画像およびＭＲＩベースのラベルを用いて、ＢＭＥおよび非ＢＭＥ間の２値分類タスクを設計した。また、これを評価したところ、結果はランダムな推測よりもはるかに良好であった。これらの結果によれば、ＢＭＥ画像と非ＢＭＥ画像との間にはある程度の差があるはずであり、機械学習を使用して、Ｘ線画像から骨髄浮腫（ＢＭＥ）の有無を推定できることが示された。

以上、実施形態および実施例を参照して本発明を説明したが、本発明は、上記実施形態および実施例に限定されるものではなく、本発明の主旨を逸脱しない限りにおいて種々の変更が可能である。

本発明によれば、ＭＲＩ装置を使用した検査をすることなく、対象の身体部位が撮影されたＸ線画像に基づいて、その身体部位に骨髄浮腫が存在するか否かについて推定することができることから、骨髄浮腫の診断を支援するものとして有利に使用できる。

１Ｘ線撮影装置
２ユーザー端末
３サーバ
４通信回線網
１０推定システム
３１通信部
３２記憶部
３３制御部
３２１学習器
３２２Ｘ線画像ＤＢ

Claims

身体部位が撮影された単純Ｘ線撮影画像、および前記単純Ｘ線撮影画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報を含む学習用データを用いて学習させた学習器を含み、
前記学習器に対象の身体部位が撮影された単純Ｘ線撮影画像が入力され、入力された単純Ｘ線撮影画像に撮影された身体部位における骨髄浮腫の有無に関する推定結果が出力され、ここで該出力はＢＭＥのスコアである、
推定装置。
身体部位が手関節である、請求項１記載の推定装置。
骨髄浮腫が、関節リウマチに伴う骨髄浮腫である、請求項１または２記載の推定装置。
さらに、学習器の内部状態を解析して、入力された単純Ｘ線撮影画像において異常が疑われる領域を可視化した画像を出力する可視化部を含む、請求項１～３のいずれか一項に記載の推定装置。
身体部位が撮影された単純Ｘ線撮影画像、および前記単純Ｘ線撮影画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報を含む学習用データを用いて学習させた学習器に、対象の身体部位が撮影された単純Ｘ線撮影画像を入力し、入力された単純Ｘ線撮影画像に撮影された身体部位における骨髄浮腫の有無に関する推定結果を出力させ、ここで該出力はＢＭＥのスコアである、推定工程を含む、
単純Ｘ線撮影画像に撮影された身体部位における骨髄浮腫の有無を推定する方法。
さらに、学習器の内部状態を解析して、入力された単純Ｘ線撮影画像において異常が疑われる領域を可視化した画像を出力する可視化工程を含む、請求項５記載の方法。
コンピュータを、
身体部位が撮影された単純Ｘ線撮影画像、および前記単純Ｘ線撮影画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報を含む学習用データを用いて学習させた学習器として機能させ、
ここで、前記学習済み学習器は、対象の身体部位が撮影された単純Ｘ線撮影画像が入力され、入力された単純Ｘ線撮影画像に撮影された身体部位における骨髄浮腫の有無に関する推定結果を出力し、ここで該出力は、ＢＭＥのスコアである、
プログラム。
学習器を、身体部位が撮影された単純Ｘ線撮影画像、および前記単純Ｘ線撮影画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報を含む学習用データを用いて学習させる学習工程を含む、
単純Ｘ線撮影画像に撮影された身体部位における骨髄浮腫の有無を推定可能な学習済み学習器の生成方法であって、
該学習済み学習器は、対象の身体部位が撮影された単純Ｘ線撮影画像が入力され、入力された単純Ｘ線撮影画像に撮影された身体部位における骨髄浮腫の有無に関する推定結果を出力し、ここで該出力は、ＢＭＥのスコアである、生成方法。