[go: up one dir, main page]

JP7513697B2 - 画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラム - Google Patents

画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラム Download PDF

Info

Publication number
JP7513697B2
JP7513697B2 JP2022505970A JP2022505970A JP7513697B2 JP 7513697 B2 JP7513697 B2 JP 7513697B2 JP 2022505970 A JP2022505970 A JP 2022505970A JP 2022505970 A JP2022505970 A JP 2022505970A JP 7513697 B2 JP7513697 B2 JP 7513697B2
Authority
JP
Japan
Prior art keywords
image
lesion
radiation
subject
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022505970A
Other languages
English (en)
Other versions
JPWO2021182229A5 (ja
JPWO2021182229A1 (ja
Inventor
崇文 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021182229A1 publication Critical patent/JPWO2021182229A1/ja
Publication of JPWO2021182229A5 publication Critical patent/JPWO2021182229A5/ja
Application granted granted Critical
Publication of JP7513697B2 publication Critical patent/JP7513697B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/04Positioning of patients; Tiltable beds or the like
    • A61B6/0407Supports, e.g. tables or beds, for the body or parts of the body
    • A61B6/0414Supports, e.g. tables or beds, for the body or parts of the body with compression means
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10124Digitally reconstructed radiograph [DRR]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/436Limited angle
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/441AI-based methods, deep learning or artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラムに関する。
近年、乳がんの早期発見を促すため、乳房を撮影する放射線画像撮影装置(マンモグラフィと呼ばれる)を用いた画像診断が注目されている。また、マンモグラフィにおいて、放射線源を移動させて複数の線源位置から乳房に放射線を照射して撮影を行い、これにより取得した複数の投影画像を再構成して所望の断層面を強調した断層画像を生成するトモシンセシス撮影が提案されている。トモシンセシス撮影では、撮影装置の特性および必要な断層画像に応じて、放射線源を放射線検出器と平行に移動させたり、円または楕円の弧を描くように移動させたりして、複数の線源位置において乳房を撮影することにより複数の投影画像を取得し、単純逆投影法若しくはフィルタ逆投影法等の逆投影法、または逐次再構成法等を用いてこれらの投影画像を再構成して断層画像を生成する。
このような断層画像を乳房における複数の断層面において生成することにより、乳房内において断層面が並ぶ深さ方向に重なり合った構造を分離することができる。このため、予め定められた方向から被写体に放射線を照射する、従来の単純撮影により取得される2次元画像(以下、単純2次元画像とする)においては検出が困難であった病変等の異常部位を発見することが可能となる。
一方、医療分野においては、ディープラーニング等により学習がなされたニューラルネットワーク等の機械学習モデルである学習モデルを用いて、画像中の病変を自動的に検出し、検出された病変の強調表示等を行うコンピュータ支援画像診断システム(CAD: Computer Aided Diagnosis、以下CADと称する)が知られている。例えば、トモシンセシス撮影により取得された断層画像から、石灰化、スピキュラおよび腫瘤等の病変を、CADを用いて検出することが行われている。
ところで、CADにおける機械学習モデルを構築するためには、病変を含む教師画像および教師画像における病変の位置を表す情報を教師データとして用いて、機械学習モデルを学習する必要がある。とくに、検出の精度を向上させるためには、大量の教師データを用意する必要がある。しかしながら、病変を含む教師画像を大量に用意することは容易ではない。
このため、病変を含まない正常な画像に、病変画像を人工的に加えることにより、病変を含む教師画像を生成し、病変を含む教師画像と正常な画像とを教師データとして用いて、学習モデルを構築する手法が提案されている(特開2008-229161号公報参照)。
しかしながら、特開2008-229161号公報に記載された手法により生成される病変を含む教師画像は、単純撮影された2次元画像に病変の画像を加算することにより生成される。このため、特開2008-229161号公報に記載された手法をトモシンセシス撮影により取得される投影画像に対してそのまま適用しても、病変を精度よく含む断層画像を導出することはできない。また、このような断層画像を教師画像として使用して学習を行った機械学習モデルを用いても、画像から病変を精度よく検出することができない可能性がある。
また、特開2008-229161号公報に記載された手法は、病変画像を単純に正常な画像に合成しているのみである。このため、生成された病変を含む教師画像は、実際の撮影装置により取得された画像とは見た目が異なるものとなる。したがって、そのような教師画像を用いて機械学習モデルを構築した場合、画像から病変を精度よく検出することができない可能性がある。
本発明は上記事情に鑑みなされたものであり、画像から病変を精度よく検出できるようにすることを目的とする。
本開示による第1の画像生成装置は、少なくとも1つのプロセッサを備え、
プロセッサは、
被写体を複数の線源位置で撮影することにより取得された複数の第1の投影画像を取得し、
病変を表す病変画像を取得し、
複数の線源位置および被写体に仮想的に配置した病変の位置の幾何学的関係に基づいて、複数の第1の投影画像に病変画像を合成した複数の第2の投影画像を導出し、
複数の第2の投影画像を再構成することにより、病変を含む断層画像を生成するように構成される。
なお、本開示による第1の画像生成装置においては、プロセッサは、被写体に仮想的に配置した病変についての放射線減弱係数を導出し、
放射線減弱係数にも基づいて、複数の第2の投影画像を導出するように構成されるものであってもよい。
また、本開示による第1の画像生成装置においては、プロセッサは、病変を含む断層画像と病変を含む断層画像における病変の位置を表すデータとを含み、対象画像が入力されると対象画像に含まれる病変を検出するモデルを機械学習するための教師データを生成するものであってもよい。
本開示による第2の画像生成装置は、少なくとも1つのプロセッサを備え、
プロセッサは、
被写体を放射線撮影することにより取得された画像を取得し、
病変を表す病変画像を取得し、
被写体に仮想的に配置した病変についての放射線減弱係数を導出し、
放射線減弱係数、放射線撮影を行った際の線源位置および被写体に仮想的に配置した病変の位置の幾何学的関係に基づいて、画像に病変画像を合成した画像を生成するように構成される。
また、本開示による第2の画像生成装置においては、プロセッサは、病変画像を合成した画像と病変画像を合成した画像における病変の位置を表すデータとを含み、対象画像が入力されると対象画像に含まれる病変を検出するモデルを機械学習するための教師データを生成するものであってもよい。
なお、本開示による第1および第2の画像生成装置においては、病変は腫瘤、スピキュラおよび石灰化の少なくとも1つであってもよい。
本開示による学習装置は、少なくとも1つのプロセッサを備え、
プロセッサは、
本開示による第1および第2の画像生成装置により生成された教師データである第1の教師データおよび病変を含まない画像である第2の教師データを使用し、対象画像が入力されると対象画像に含まれる病変を検出するモデルを、機械学習によって構築するように構成される。
本開示による画像処理装置は、少なくとも1つのプロセッサと、
本開示による学習装置により構築されたモデルとを備え、
プロセッサは、
対象画像を取得し、
モデルを用いて、対象画像に含まれる病変を検出するように構成される。
なお、本開示による画像処理装置においては、プロセッサは、病変の検出結果を表示するように構成されるものであってもよい。
本開示による第1の画像生成プログラムは、被写体を複数の線源位置で撮影することにより取得された複数の第1の投影画像を取得する手順と、
病変を表す病変画像を取得する手順と、
複数の線源位置および被写体に仮想的に配置した病変の位置の幾何学的関係に基づいて、複数の第1の投影画像に病変画像を合成した複数の第2の投影画像を導出する手順と、
複数の第2の投影画像を再構成することにより、病変を含む断層画像を生成する手順とをコンピュータに実行させる。
本開示による第2の画像生成プログラムは、被写体を放射線撮影することにより取得された画像を取得する手順と、
病変を表す病変画像を取得する手順と、
被写体に仮想的に配置した病変についての放射線減弱係数を導出する手順と、
放射線減弱係数、放射線撮影を行った際の線源位置および被写体に仮想的に配置した病変の位置の幾何学的関係に基づいて、画像に病変画像を合成した画像を生成する手順とをコンピュータに実行させる。
本開示による学習プログラムは、本開示による第1および第2の画像生成装置により生成された教師データである第1の教師データおよび病変を含まない画像である第2の教師データを使用し、対象画像が入力されると対象画像に含まれる病変を検出するモデルを、機械学習によって構築する手順をコンピュータに実行させる。
本開示による画像処理プログラムは、対象画像を取得する手順と、
本開示による学習装置により構築されたモデルを用いて、対象画像に含まれる病変を検出する手順とをコンピュータに実行させる。
本開示によれば、画像から病変を精度よく検出できる。
本開示の第1の実施形態による画像処理装置を適用した放射線画像撮影システムの概略構成図 放射線画像撮影装置を図1の矢印A方向から見た図 第1の実施形態による画像処理装置の概略構成を示す図 第1の実施形態による画像処理装置の機能的な構成を示す図 投影画像の取得を説明するための図 各種病変についての模擬病変の病変画像を示す図 第1の実施形態における病変画像の合成位置の導出を説明するための図 第1の投影画像における病変画像の位置を説明するための図 第1の投影画像および第2の投影画像を示す図 第1の断層画像の生成を説明するための図 模擬病変の断層像を含む断層画像を示す図 第1の実施形態において生成される教師データを示す図 対象断層画像および病変の領域の検出結果を示す図 第1の実施形態における対象断層画像の検出結果の表示画面を示す図 第1の実施形態において行われる画像生成処理のフローチャート 第1の実施形態において行われる学習処理のフローチャート 第1の実施形態において行われる検出処理のフローチャート 第2の実施形態における病変画像の合成位置の導出を説明するための図 第2の実施形態において生成される教師データを示す図 第2の実施形態における対象画像の検出結果の表示画面を示す図 第2の実施形態において行われる画像生成処理のフローチャート 合成2次元画像の生成を説明するための図
以下、図面を参照して本開示の実施形態について説明する。図1は本開示の第1の実施形態による画像処理装置を適用した放射線画像撮影システムの概略構成図、図2は放射線画像撮影システムにおけるマンモグラフィ撮影装置を図1の矢印A方向から見た図である。図1に示すように、本実施形態による放射線画像撮影システム100は、マンモグラフィ撮影装置1、コンソール2、画像保存システム3および画像処理装置4を備える。マンモグラフィ撮影装置1は、乳房のトモシンセシス撮影を行って断層画像を生成するために、複数の線源位置から被写体である乳房Mを撮影して、複数の放射線画像、すなわち複数の投影画像を取得するためのものである。また、マンモグラフィ撮影装置1は、予め定められた線源位置から乳房Mに放射線を照射して乳房の2次元の放射線画像を取得する単純撮影も行うことができる。
マンモグラフィ撮影装置1は、不図示の基台に対して回転軸11により連結されたアーム部12を備えている。アーム部12の一方の端部には撮影台13が、その他方の端部には撮影台13と対向するように放射線照射部14が取り付けられている。アーム部12は、放射線照射部14が取り付けられた端部のみを回転することが可能に構成されており、これにより、撮影台13を固定して放射線照射部14のみを回転することが可能となっている。
撮影台13の内部には、フラットパネルディテクタ等の放射線検出器15が備えられている。放射線検出器15は放射線の検出面15Aを有する。また、撮影台13の内部には、放射線検出器15から読み出された電荷信号を電圧信号に変換するチャージアンプ、チャージアンプから出力された電圧信号をサンプリングする相関2重サンプリング回路、および電圧信号をデジタル信号に変換するAD(Analog Digital)変換部等が設けられた回路基板等も設置されている。
放射線照射部14の内部には、放射線源16が収納されている。放射線源16は放射線としてX線を出射するものであり、放射線源16から放射線を照射するタイミングおよび放射線源16における放射線発生条件、すなわちターゲットおよびフィルタの材質の選択、管電圧並びに照射時間等は、コンソール2により制御される。
また、アーム部12には、撮影台13の上方に配置されて乳房Mを押さえつけて圧迫する圧迫板17、圧迫板17を支持する支持部18、および支持部18を図1および図2の上下方向に移動させる移動機構19が設けられている。なお、圧迫板17と撮影台13との間隔、すなわち圧迫厚はコンソール2に入力される。
コンソール2は、無線通信LAN(Local Area Network)等のネットワークを介して、不図示のRIS(Radiology Information System)等から取得した撮影オーダおよび各種情報と、技師等により直接行われた指示等とを用いて、マンモグラフィ撮影装置1の制御を行う機能を有している。具体的には、コンソール2は、マンモグラフィ撮影装置1に乳房Mのトモシンセシス撮影を行わせることにより、後述するように複数の投影画像を取得する。一例として、本実施形態では、サーバコンピュータをコンソール2として用いている。
画像保存システム3は、マンモグラフィ撮影装置1により撮影された放射線画像、投影画像および断層画像等の画像データを保存するシステムである。画像保存システム3は、保存している画像から、コンソール2および画像処理装置4等からの要求に応じた画像を取り出して、要求元の装置に送信する。画像保存システム3の具体例としては、PACS(Picture Archiving and Communication Systems)が挙げられる。
次に、第1の実施形態に係る画像処理装置について説明する。なお、第1の実施形態に係る画像処理装置4は、本開示による画像生成装置および学習装置を内包するものであるが、以降の説明においては、画像処理装置にて代表させるものとする。まず、図3を参照して、第1の実施形態に係る画像処理装置のハードウェア構成を説明する。図3に示すように、画像処理装置4は、ワークステーション、サーバコンピュータおよびパーソナルコンピュータ等のコンピュータであり、CPU(Central Processing Unit)21、不揮発性のストレージ23、および一時記憶領域としてのメモリ26を備える。また、画像処理装置4は、液晶ディスプレイ等のディスプレイ24、キーボードおよびマウス等の入力デバイス25、不図示のネットワークに接続されるネットワークI/F(InterFace)27を備える。CPU21、ストレージ23、ディスプレイ24、入力デバイス25、メモリ26およびネットワークI/F27は、バス28に接続される。なお、CPU21は、本開示におけるプロセッサの一例である。
ストレージ23は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ23には、画像処理装置4にインストールされた画像生成プログラム22A、学習プログラム22Bおよび画像処理プログラム22Cが記憶される。CPU21は、ストレージ23から画像生成プログラム22A、学習プログラム22Bおよび画像処理プログラム22Cを読み出してからメモリ26に展開し、展開した画像生成プログラム22A、学習プログラム22Bおよび画像処理プログラム22Cを実行する。
なお、画像生成プログラム22A、学習プログラム22Bおよび画像処理プログラム22Cは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて画像処理装置4を構成するコンピュータにダウンロードされ、インストールされる。または、DVD(Digital Versatile Disc)、CD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体から画像処理装置4を構成するコンピュータにインストールされる。
次いで、第1の実施形態による画像処理装置の機能的な構成を説明する。図4は、第1の実施形態による画像処理装置の機能的な構成を示す図である。図4に示すように、画像処理装置4は、画像取得部31、合成部32、再構成部33、教師データ生成部34、学習部35、検出部36、表示制御部37および通信部38を備える。そして、CPU21が、画像生成プログラム22A、学習プログラム22Bおよび画像処理プログラム22Cを実行することにより、画像処理装置4は、画像取得部31、合成部32、再構成部33、教師データ生成部34、学習部35、検出部36、表示制御部37および通信部38として機能する。なお、検出部36は、後述する学習モデル36Aが適用されている。
なお、一例として、画像取得部31、合成部32、再構成部33、教師データ生成部34、表示制御部37および通信部38が、第1の実施形態による画像生成装置を構成する。また、一例として、画像取得部31および学習部35が、第1の実施形態による学習装置を構成する。また、一例として、画像取得部31、検出部36および表示制御部37が、第1の実施形態による画像処理装置を構成する。
画像取得部31は、コンソール2がマンモグラフィ撮影装置1にトモシンセシス撮影を行わせることにより取得した複数の投影画像を取得する。また、乳房Mに含まれる病変を模式的に表す模擬病変の病変画像を取得する。画像取得部31は、コンソール2または画像保存システム3からネットワークI/F27を介して投影画像を取得する。また、画像取得部31は、画像保存システム3からネットワークI/F27を介して病変画像を取得する。また、画像取得部31は、後述する学習モデルの学習のために,後述するように生成されて画像保存システム3に保存された教師データをネットワークI/F27を介して取得する。また、画像取得部31は、後述するように病変の検出の対象となる対象画像を、画像保存システム3からネットワークI/F27を介して取得する。
ここで、コンソール2におけるトモシンセシス撮影について説明する。コンソール2は、断層画像を生成するためのトモシンセシス撮影を行うに際し、アーム部12を回転軸11の周りに回転させることにより放射線源16を移動させ、放射線源16の移動による複数の線源位置において、トモシンセシス撮影用の予め定められた撮影条件により被写体である乳房Mに放射線を照射し、乳房Mを透過した放射線を放射線検出器15により検出して、複数の線源位置における複数の投影画像Gi(i=1~n、nは線源位置の数であり、例えばn=15)を取得する。
図5は投影画像Giの取得を説明するための図である。図5に示すように、放射線源16をS1、S2、・・・、Snの各線源位置に移動し、各線源位置において放射線源16を駆動して乳房Mに放射線を照射し、乳房Mを透過したX線を放射線検出器15により検出することにより、各線源位置S1~Snに対応して、投影画像G1、G2、・・・、Gnが取得される。なお、各線源位置S1~Snにおいては、同一の線量の放射線が乳房Mに照射される。また、以降の説明においては、投影画像Giを第1の投影画像と称するものとする。
なお、図5において、線源位置Scは、放射線源16から出射された放射線の光軸X0が放射線検出器15の検出面15Aと直交する線源位置である。線源位置Scを基準線源位置Scと称するものとする。
合成部32は、マンモグラフィ撮影装置1がトモシンセシス撮影を行った際の複数の線源位置および乳房Mにおける予め定められた位置に配置した病変の位置の幾何学的関係に基づいて、複数の第1の投影画像Giに模擬病変の病変画像を合成して複数の第2の投影画像を導出する。なお、乳房Mの病変の種類としては、腫瘤、スピキュラおよび石灰化等が挙げられる。
図6は各種病変についての模擬病変の病変画像を示す図である。図6に示すように、模擬病変の病変画像としては、実際の病変の形状と同様のものが用意される。具体的には、腫瘤の病変画像として、球体または楕円体、多角形、分葉型および不整形のものが用意される。また、スピキュラの病変画像としては、スピキュラを伴う腫瘤および構築の乱れが用意される。構築の乱れとは、腫瘤を伴っていない状態を示す。また、石灰化の病変画像としては、球形、多角形および線状・分葉状のもののが用意される。
なお、模擬病変の病変画像は、実際の病変が含まれる乳房を放射線撮影することにより取得されたものであってもよく、コンピュータグラフィックス等により人工的に生成されたものであってもよい。本実施形態においては、コンピュータグラフィックスにより生成された病変画像を用いるものとする。
合成部32は、第1の投影画像Giに病変画像を合成するに際し、マンモグラフィ撮影装置1がトモシンセシス撮影を行った際の複数の線源位置および乳房Mに仮想的に配置した病変の位置の幾何学的関係に基づいて、まず、第1の投影画像Giに対する病変画像の合成位置を導出する。図7は、第1の実施形態における病変画像の合成位置の導出を説明するための図である。図7に示すように、乳房M内における予め定められた位置に模擬病変40が仮想的に配置されたものとする。図7に示すように、各線源位置S1~Sn(図7においてはS1,S2,Scのみを示す)から出射されて乳房M内の模擬病変40を透過した放射線は、放射線検出器15の検出面15Aに照射される。この場合、模擬病変40を透過した放射線が照射される放射線検出器15の検出面15A上の位置は、線源位置に応じて異なるものとなる。このため、図8に示すように、線源位置S1,S2,Scにおいて取得される第1の投影画像G1,G2,Gcに含まれる模擬病変40の病変画像42の位置は、線源位置毎に異なるものとなる。
ここで、各線源位置S1~Sn、乳房M内に仮想的に配置した模擬病変40の配置位置、放射線検出器15の検出面15Aの位置は既知である。このため、合成部32は、乳房M内に仮想的に模擬病変40を配置してトモシンセシス撮影を行った場合における、各線源位置S1~Sn、模擬病変40の乳房M内における配置位置、および放射線検出器15の検出面15Aの位置の幾何学的関係から、第1の投影画像Giにおいて病変画像42が合成される合成位置を導出する。
一方、トモシンセシス撮影を行う際に放射線源16から出射される放射線は、放射線源16と圧迫板17との間に存在する空気、圧迫板17、乳房Mおよび撮影台13の天板13Aを透過して、放射線検出器15に照射される。このため、放射線源16から出射された放射線は、空気、圧迫板17、乳房Mおよび天板13Aにより減弱されて放射線検出器15に照射され、第1の投影画像Giとして検出される。
上述したように、乳房M内に模擬病変40を配置した場合、模擬病変40を透過して放射線検出器15に照射される放射線の透過シミュレーションを行うと、放射線は、圧迫板17の上の空気、圧迫板17、模擬病変40および撮影台13の天板13Aを透過して、放射線検出器15に照射されることとなる。
このため、本実施形態においては、合成部32は、第1の投影画像Giの上記合成位置に模擬病変40の病変画像42を合成する際に、模擬病変40を透過する放射線の減弱を表す放射線減弱係数を導出し、第1の投影画像Giに模擬病変40の病変画像42を、放射線減弱係数に基づいて合成位置に合成することにより、第2の投影画像CGiを導出する。以下、模擬病変40の放射線減弱係数の導出について説明する。
なお、第1の投影画像Giを取得した際の放射線発生条件(すなわちターゲットおよびフィルタ、並びに管電圧)は既知であり、コンソール2から取得することができる。本実施形態においては、合成部32は、放射線発生条件から第1の投影画像Giを取得した際の放射線の照射スペクトルP0を取得する。なお、本実施形態においては、各種放射線発生条件と照射スペクトルP0との関係を規定したテーブルが予め用意されてストレージ23に保存されている。合成部32は、ストレージ23に保存されたテーブルを参照して、コンソール2から取得した放射線発生条件から第1の投影画像Giを取得した際の放射線の照射スペクトルP0を取得する。
また、放射線の減弱は、いずれの線源位置Siにおいても同様に生じる。このため、本実施形態においては、以下、基準線源位置Scに基づいて、模擬病変40の放射線減弱係数を導出するものとするが、これに限定されるものではない。
ここで、模擬病変40の乳房M内の配置位置およびサイズは既知である。このため、合成部32は、基準線源位置Scから出射されて模擬病変40に入射した放射線の、模擬病変40を透過する際の経路長を、模擬病変40の厚さt1として導出する。
また、放射線のエネルギー毎の模擬病変40の放射線減弱係数μ1は、病変の種類毎に既知である。このため、合成部32は、照射スペクトルP0、放射線のエネルギー毎の模擬病変40の放射線減弱係数μ1、および模擬病変40の厚さt1から、下記の式(1)により模擬病変40を透過後の照射スペクトルP1を導出する。
P1=P0・exp(-μ1・t1) (1)
そして、合成部32は、放射線のエネルギー毎の放射線スペクトルP0および放射線スペクトルP1から、下記の式(2)により、放射線の全エネルギー域に亘る模擬病変40の放射線減弱係数μmを導出する。

合成部32は、上述したように導出した模擬病変40の放射線減弱係数μmを用いて、上述したように導出した第1の投影画像Giにおける合成位置に病変画像42を合成して、第2の投影画像CGiを導出する。具体的には下記の式(3)により、合成位置(x,y)における投影画像CGiの画素値を導出することにより、第2の投影画像CGiを導出する。なお、式(3)において、G(x,y)は第1の投影画像Giにおける合成位置、CG(x,y)は第2の投影画像CGiにおける合成位置、l(x,y)は合成位置(x,y)における模擬病変40を透過する放射線の透過長である。
CG(x,y)=G(x,y)-μm・l(x,y) (3)
図9は第1の投影画像Giおよび第2の投影画像CGiを示す図である。図9に示すように、第2の投影画像CGiにおいては、第1の投影画像Giにおける合成位置41に模擬病変40の病変画像42が含まれたものとなっている。
なお、本実施形態においては、合成部32は、図6に示すように各種形状を有する各種種類の模擬病変についての病変画像を含む第2の投影画像CGiを生成する。
再構成部33は、第2の投影画像CGiを再構成することにより、模擬病変40の病変画像42が含まれる、乳房Mの所望とする断層面を強調した断層画像を生成する。具体的には、再構成部33は、単純逆投影法あるいはフィルタ逆投影法等の周知の逆投影法等を用いて複数の第2の投影画像CGiを再構成して、図10に示すように、乳房Mの複数の断層面のそれぞれにおける複数の断層画像Daj(j=1~m)を生成する。この際、乳房Mを含む3次元空間における3次元の座標位置が設定され、設定された3次元の座標位置に対して、複数の第2の投影画像CGiの対応する画素位置の画素値が再構成されて、その座標位置の画素値が算出される。なお、再構成により生成された複数の断層画像Dajにより、乳房Mの3次元画像が構成される。また、生成された断層画像Dajには、図11に示すように、第2の投影画像CGiを生成した際に、乳房M内に仮想的に配置された模擬病変40の断層像43が含まれるものがある。図11においては、断層画像Da2,Da3,Da4に亘って模擬病変40の断層像43が含まれる。以降の説明においては、模擬病変40が含まれる断層画像Dajを異常画像と称するものとする。また、以降の説明においては、異常画像として参照符号Dajを用いる場合があるものとする。
教師データ生成部34は、上述したように生成された異常画像(すなわち模擬病変40の断層像43を含む断層画像Daj)と、各異常画像Dajに含まれる断層像43の位置を表すデータ(以下、正解データとする)とを含む教師データTjを生成する。図12は第1の実施形態において生成される教師データを模式的に示す図である。図12に示すように,教師データTjは、模擬病変40の断層像43を含む異常画像Dajおよび異常画像Dajにおける模擬病変40の断層像43の位置を表す正解データCjとからなる。なお、教師データは異常画像Daj毎に生成される。教師データ生成部34が生成した教師データTjはストレージ23に保存される。
なお、生成された異常画像Dajは、表示制御部37がディスプレイ24に表示するようにしてもよい。また、通信部38は、教師データTjを画像保存システム3に送信する。画像保存システム3は、受信した教師データTjを保存する。
学習部35は、異常画像についての教師データTjを第1の教師データとして、病変を含まない医用画像についての教師データを第2の教師データとしてそれぞれ用いて、入力された対象画像における病変の領域を判別するように、機械学習モデルを学習することによって、検出部36が有する学習モデル36Aを構築する。第1および第2の教師データは複数用意される。このため、機械学習モデルの学習に際しては、画像取得部31が、ストレージ23または画像保存システム3から複数の第1および第2の教師データを取得する。
学習モデル36Aを構築するための機械学習モデルの一例として、ニューラルネットワークモデルが挙げられる。ニューラルネットワークモデルとしては、単純パーセプトロン、多層パーセプトロン、ディープニューラルネットワーク、畳み込みニューラルネットワーク、ディープビリーフネットワーク、リカレントニューラルネットワーク、および確率的ニューラルネットワーク等が挙げられる。本実施形態においては、学習モデル36Aを構築するための機械学習モデルとして畳み込みニューラルネットワークを用いるものとする。
学習モデル36Aは、教師データに含まれる異常画像Dajが入力されると、異常画像Dajの各画素が病変の領域であることの確率(尤度)を出力するように、機械学習モデルを学習することによって構築される。学習モデル36Aが出力した、確率が予め定められたしきい値以上となる画素からなる領域が病変の領域となる。学習部35は、異常画像を機械学習モデルに入力し、異常画像の各画素について病変の領域となる確率を出力させる。そして、機械学習モデルが出力した、予め定められたしきい値以上となる確率となる画素からなる領域と、教師データに含まれる正解データにより表される領域との相違を損失として導出する。そして、損失に基づいて機械学習モデルを学習する。具体的には、損失を小さくするように、畳み込みニューラルネットワークにおけるカーネルの係数およびニューラルネットワークの結合の重み等を導出する。学習部35は、損失が予め定められたしきい値以下となるまで学習を繰り返す。これによって、入力された対象画像に含まれる病変の領域について、予め定められたしきい値以上の高い確率を出力することにより、入力された対象画像に含まれる病変の領域を抽出するように、学習モデル36Aが構築される。
検出部36は、学習部35により構築された学習モデル36Aが適用されてなる。検出部36に対象画像が入力されると、検出部36は、対象画像に含まれる病変の領域を学習モデル36Aに検出させることにより、病変の領域を検出する。なお、検出部36が対象画像から病変の領域を検出するに際しては、画像取得部31がマンモグラフィ撮影装置1または画像保存システム3から、対象画像となる投影画像(対象投影画像とする)を取得する。そして、再構成部33が、対象投影画像を再構成することにより、対象断層画像を生成する。検出部36は、対象断層画像から病変の領域を検出する。なお、マンモグラフィ撮影装置1のコンソール2において、対象投影画像から対象断層画像を生成するようにしてもよく、この場合、画像取得部31はコンソール2から対象断層画像を取得する。また、画像保存システム3に対象投影画像から生成された対象断層画像が保存されている場合には、画像取得部31は、画像保存システム3から対象断層画像を取得するようにしてもよい。
図13は対象断層画像および病変の領域の検出結果を示す図である。図13に示すように、検出部36は、例えば、6枚の対象断層画像DT1~DT6から病変の領域を検出して、検出結果R1~R6を出力する。
表示制御部37は、検出部36が対象断層画像から検出した病変の領域を強調して、対象断層画像をディスプレイ24に表示する。図14は第1の実施形態における対象断層画像の検出結果の表示画面を示す図である。図14に示すように、表示画面50には図13に示す6枚の対象断層画像DT1~DT6のうちの1枚目の対象断層画像DT1が表示されている。表示される対象断層画像は、入力デバイス25からの操作により切り替え可能である。表示制御部37は、対象断層画像DT1に含まれる病変の領域52を矩形の枠53で囲むことにより、対象断層画像DT1における病変の領域52を強調する。なお、図14においては矩形の枠53は白抜きにて示しているが、色を付与してもよい。なお、矩形の枠53の付与に代えて、病変の領域付近に矢印および星印等のマークを付与することにより、病変の領域を強調してもよい。
次いで、第1の実施形態において行われる処理について説明する。図15は第1の実施形態において行われる画像生成処理のフローチャートである。まず、画像取得部31が、複数の第1の投影画像Giを取得する(ステップST1)。次いで、合成部32が、マンモグラフィ撮影装置1がトモシンセシス撮影を行った際の複数の線源位置および乳房Mに仮想的に配置した模擬病変の位置の幾何学的関係に基づいて、第1の投影画像Giに病変画像42を合成して複数の第2の投影画像CGiを導出する(ステップST2)。
次いで、再構成部33が複数の第2の投影画像CGiを再構成することにより、模擬病変40の断層像43が含まれる、乳房Mの所望とする断層面を強調した断層画像を異常画像Dajとして生成する(異常画像生成:ステップST3)。そして、教師データ生成部34が、上述したように生成された異常画像Dajと各異常画像Dajに含まれる模擬病変40の断層像43の位置を表す正解データCjとを含む教師データTjを生成し(ステップST4)、処理を終了する。生成された教師データTjは、ストレージ23に保存され、さらに通信部38により画像保存システム3に送信される。
次いで、第1の実施形態における学習処理について説明する。図16は第1の実施形態において行われる学習処理のフローチャートである。まず,画像取得部31が第1および第2の教師データを取得し(ステップST11)、学習部35が、検出部36の学習モデル36Aを構築するための機械学習モデルに第1および第2の教師データを入力して病変の領域の抽出結果を取得し、正解データとの相違に基づく損失を用いて機械学習モデルを学習し(ステップST12)、ステップST11にリターンする。そして、学習部35は、損失が予め定められたしきい値となるまで、ステップST11,ST12の処理を繰り返し、機械学習モデルの学習を終了する。これにより、学習モデル36Aが構築される。なお、学習部35は、予め定められた回数学習を繰り返すことにより、学習を終了するものであってもよい。
次いで、第1の実施形態における病変の領域の検出処理について説明する。図17は第1の実施形態において行われる検出処理のフローチャートである。画像取得部31が、検出対象となる対象画像(対象断層画像DTj)を取得し(ステップST21)、検出部36が、対象画像から病変の領域を検出する(ステップST22)。そして、表示制御部37が、病変の領域を強調した対象画像をディスプレイ24に表示し(ステップST23)、処理を終了する。
ここで、学習モデル36Aを構築するための機械学習モデルの学習に必要な、病変を含む異常画像を大量に収集することは困難である。本実施形態においては、第1の投影画像Giに模擬病変40の病変画像42を合成することにより生成した第2の投影画像CGiを用いて、模擬病変40の断層像43を含む断層画像Dajを異常画像として生成するようにした。このため、模擬病変40の種類を種々変更したり、模擬病変40が設置される位置を種々変更したりすることにより、様々な位置に様々な種類の病変が含まれる断層画像を異常画像として生成することができる。したがって、学習モデル36Aを構築するための機械学習モデルの学習のために、十分な数および十分なバリエーションの異常画像を用意することができる。
また、異常画像および異常画像における病変画像の位置を表す情報を含むデータからなる第1の教師データを用いて、入力された対象画像から病変の領域を判別する学習モデル36Aを機械学習によって構築するようにした。ここで、本実施形態においては、学習モデル36Aを構築するための機械学習モデルの学習のために、十分な数および十分なバリエーションの異常画像、さらには第1の教師データを用意することができる。したがって、本実施形態によれば、病変の検出精度が高い学習モデル36Aを構築することができる。
また、模擬病変40の放射線減弱係数μmにも基づいて、第2の投影画像CGiを導出しているため、実際に病変を含む乳房Mを撮影した場合と同様の第2の投影画像CGiを取得することができる。このため、病変の検出精度が高い学習モデル36Aを構築することができる。
次いで、本開示の第2の実施形態について説明する。なお、第2の実施形態による画像処理装置の構成は、上記第1の実施形態による画像処理装置4の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。上記第1の実施形態においては、トモシンセシス撮影により取得された第1の投影画像Giに模擬病変40の病変画像42を合成して、第2の投影画像CGiを生成し、第2の投影画像CGiから断層画像を異常画像として生成していた。第2の実施形態においては、単純撮影により取得された放射線画像に、模擬病変40の病変画像42を合成した画像を、異常画像として生成するようにした点が第の実施形態と異なる。
なお、第2の実施形態による画像処理装置は、第1の実施形態における再構成部33は不要であるため、第2の実施形態による画像処理装置は、再構成部33を備えないものとしてもよい。
第2の実施形態においては、マンモグラフィ撮影装置1において、基準線源位置Scからのみ乳房Mに放射線を照射する単純撮影を行うことにより、乳房Mの放射線画像H0を取得する。画像取得部31は、単純撮影による乳房Mの放射線画像H0を取得する。
合成部32は、放射線画像H0の合成位置に模擬病変40の病変画像42を合成する。図18は第2の実施形態における模擬病変40の病変画像42の合成位置を説明するための図である。第2の実施形態においては、基準線源位置Scにおいてのみ乳房Mの撮影が行われる。このため、合成部32は、基準線源位置Sc、乳房M内に仮想的に配置した模擬病変40の配置位置および放射線検出器15の検出面15Aの位置との幾何学的関係に基づいて、放射線画像H0において病変画像42が合成される合成位置を導出する。
そして、合成部32は、上記第1の実施形態と同様に、放射線減弱のシミュレーションを行うことにより、模擬病変40の放射線減弱係数μmを導出し、放射線減弱係数μmを用いて、上述したように導出した放射線画像H0における合成位置に病変画像42を合成して、異常画像H1を生成する。
教師データ生成部34は、上述したように生成された異常画像H1と、異常画像H1に含まれる病変画像の位置を表すデータ(正解データとする)を含む教師データHTを生成する。図19は第2の実施形態において生成される教師データを模式的に示す図である。図19に示すように、教師データHTは、模擬病変40の病変画像44を含む異常画像H1および異常画像H1における模擬病変40の病変画像44の位置を表す正解データHCとからなる。教師データ生成部34が生成した教師データHTはストレージ23に保存される。
なお、生成された異常画像H1は、表示制御部37がディスプレイ24に表示するようにしてもよい。また、通信部38は、教師データHTを画像保存システム3に送信する。画像保存システム3は、受信した教師データHTを保存する。
また、第2の実施形態においては、学習部35は、異常画像H1についての教師データHTを第1の教師データとして、病変を含まない医用画像についての教師データを第2の教師データとしてそれぞれ用いて、入力された単純撮影により取得された対象画像における病変の領域を判別するように、機械学習モデルを学習することによって、検出部36が有する学習モデル36Aを構築する。第1および第2の教師データは複数用意される。このため、機械学習モデルの学習に際しては、画像取得部31が、ストレージ23または画像保存システム3から複数の第1および第2の教師データを取得する。なお、学習部35が行う学習の処理は、教師データが断層画像である点を除いて第1の実施形態と同一であるため、ここでは詳細な説明は省略する。
第2の実施形態においては、検出部36は、単純撮影により取得された対象画像が入力されると、対象画像に含まれる病変の領域を学習モデル36Aに検出させることにより、病変の領域を検出する。
第2の実施形態において、表示制御部37は、検出部36が対象画像から検出した病変の領域を強調して、対象画像をディスプレイ24に表示する。図20は第2の実施形態における対象画像の検出結果の表示画面を示す図である。図20に示すように、表示画面60には対象画像61が表示されている。表示制御部37は、対象画像61に含まれる病変の領域62を矩形の枠63で囲むことにより、対象画像61における病変の領域62を強調している。
次いで、第2の実施形態において行われる処理について説明する。図21は第2の実施形態において行われる画像生成処理のフローチャートである。まず、画像取得部31が、異常画像を生成するための放射線画像H0を取得する(ステップST31)。次いで、合成部32が、マンモグラフィ撮影装置1が撮影を行った際の線源位置および乳房Mに仮想的に配置した模擬病変の位置の幾何学的関係に基づいて、放射線画像H0に病変画像を合成して異常画像H1を生成する(ステップST32)。
次いで、教師データ生成部34が、異常画像H1と異常画像H1に含まれる病変画像の位置を表す正解データを含む教師データを生成し(ステップST33)、処理を終了する。生成された教師データは、ストレージ23に保存され、さらに通信部38により画像保存システム3に送信される。
なお、第2の実施形態における学習処理については、教師データが異常画像H1と正解データとからなる点を除いて第1の実施形態と同一である。また、第2の実施形態における病変の検出処理は、対象画像が単純撮影により取得された放射線画像である点を除いて第1の実施形態と同一である。このため、第2の実施形態における学習処理および病変の検出処理については、詳細な説明は省略する。
また、上記第1の実施形態においては、複数の断層画像に模擬病変40の病変画像42を合成して、模擬病変40の断層像43を含む異常画像Dajを生成している。このため、複数の異常画像Dajを用いて、合成2次元画像を生成するようにしてもよい。合成2次元画像は、異常画像を含む複数の断層画像を、加算法、平均法、最大値投影法または最小値投影法等によって合成することにより、単純2次元画像に相当する擬似的な2次元画像である(特開2014-128716号公報参照)。
図22は、合成2次元画像の生成を説明するための図である。なお、合成2次元画像の生成は合成部32が行ってもよく、合成2次元画像を生成するための合成2次元画像生成部を設け、合成2次元画像生成部において行うようにしてもよい。合成部32は、図2に示すように、複数の異常画像Dajを積層した状態で、基準線源位置Scからの放射線検出器15へ向かう視点方向、すなわち図5に示す光軸X0に沿って、異常画像を含む複数の断層画像の対応する画素位置の画素値を合成して、合成2次元画像GG0を生成する。
このように合成2次元画像GG0を生成した場合、教師データ生成部34は、合成2次元画像GG0と合成2次元画像GG0に含まれる模擬病変40の病変画像の位置を表すデータとから教師データを生成する。学習部35は、合成2次元画像が入力されると、合成2次元画像に含まれる病変を検出するように、教師データを用いて機械学習モデルを学習することによって、検出部36における学習モデル36Aを構築する。このように構築された学習モデル36Aを用いることにより、検出部36に合成2次元画像が対象画像として入力されると、合成2次元画像である対象画像から病変を検出することが可能となる。
なお、合成2次元画像の生成の手法は上記手法に限定されるものではない。例えば、米国特許第8983156号明細書に記載された手法のように、異常画像Dajに含まれる断層像のみを予め用意された任意の断層画像に合成することにより、合成2次元画像を生成してもよい。また、米国特許第9792703号明細書に記載されたように、異常画像Dajに含まれる断層像のみを平均化することによって合成することにより、合成2次元画像を生成するようにしてもよい。
なお、上記実施形態における放射線は、とくに限定されるものではなく、X線の他、α線またはγ線等を適用することができる。
また、上記各実施形態においては、被写体を乳房Mとしているが、これに限定されるものではない。乳房Mの他に、心臓、肝臓、脳、および四肢等の人体の任意の部位を被写体とすることができる。この場合、模擬病変は被写体に応じた種類のものを用意すればよい。また、検出部36の学習モデル36Aは被写体に応じた病変の検出を行うものが用意され、生成された異常画像を含む教師データにより学習がなされ、検出部36により被写体に応じた病変の検出が行われる。
また、上記実施形態において、例えば、画像取得部31、合成部32、再構成部33、教師データ生成部34、学習部35、検出部36、表示制御部37および通信部38といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
1 マンモグラフィ撮影装置
2 コンソール
3 画像保存システム
4 画像処理装置
11 回転軸
12 アーム部
13 撮影台
13A 天板
14 放射線照射部
15 放射線検出器
15A 検出面
16 放射線源
17 圧迫板
21 CPU
22A 画像生成プログラム
22B 学習プログラム
22C 画像処理プログラム
23 ストレージ
24 ディスプレイ
25 入力デバイス
26 メモリ
27 ネットワークI/F
28 バス
31 画像取得部
32 合成部
33 再構成部
34 教師データ生成部
35 学習部
36 検出部
36A 学習モデル
37 表示制御部
38 通信部
40 模擬病変
41 合成位置
42,44 病変画像
43 断層像
50,60 表示画面
61 対象画像
52,62 病変
53,63 矩形の枠
100 放射線画像撮影システム
Cj 正解データ
Daj(j=1~m) 異常画像
DT1~DT6 対象断層画像
Gi(i=1~n) 投影画像
GG0 合成2次元画像
H0 放射線画像
H1 異常画像
HC 正解データ
HT 教師データ
M 乳房
Si(i=1~n) 線源位置
Sc 基準線源位置
Tj 教師データ
X0 光軸

Claims (10)

  1. 少なくとも1つのプロセッサを備え、
    前記プロセッサは、
    被写体を、トモシンセシス撮影方式により複数の線源位置で撮影することにより取得された複数の第1の投影画像を取得し、
    病変を表す病変画像を取得し、
    前記被写体に仮想的に配置した前記病変についての放射線減弱係数を導出し、
    前記放射線減弱係数、並びに前記複数の線源位置および前記被写体に仮想的に配置した前記病変の位置の幾何学的関係に基づいて、前記複数の第1の投影画像に前記病変画像を合成した複数の第2の投影画像を導出し、
    前記複数の第2の投影画像を再構成することにより、前記病変を含む断層画像を生成し、
    前記病変を含む断層画像と前記病変を含む断層画像における病変の位置を表すデータとを含み、対象画像が入力されると該対象画像に含まれる病変を検出するモデルを機械学習するための教師データを生成する
    ように構成される画像生成装置。
  2. 少なくとも1つのプロセッサを備え、
    前記プロセッサは、
    被写体を放射線撮影することにより取得された画像を取得し、
    病変を表す病変画像を取得し、
    前記被写体を放射線撮影した際の放射線発生条件と、前記被写体の厚さと、放射線のエネルギー毎の前記病変の放射線減弱係数と、に基づいて、前記被写体に仮想的に配置した前記病変についての放射線の全エネルギー域に亘る放射線減弱係数を導出し、
    前記放射線減弱係数、前記放射線撮影を行った際の線源位置および前記被写体に仮想的に配置した前記病変の位置の幾何学的関係に基づいて、前記画像に前記病変画像を合成した画像を生成し、
    前記病変画像を合成した画像と前記病変画像を合成した画像における病変の位置を表すデータとを含み、対象画像が入力されると該対象画像に含まれる病変を検出するモデルを機械学習するための教師データを生成する
    ように構成される画像生成装置。
  3. 前記病変は腫瘤、スピキュラおよび石灰化の少なくとも1つである請求項1または請求項2に記載の画像生成装置。
  4. 少なくとも1つのプロセッサを備え、
    前記プロセッサは、
    請求項1または請求項2に記載の画像生成装置により生成された教師データである第1の教師データおよび前記病変を含まない画像である第2の教師データを使用し、対象画像が入力されると該対象画像に含まれる病変を検出するモデルを、機械学習によって構築するように構成される学習装置。
  5. 少なくとも1つのプロセッサと、
    請求項に記載の学習装置により構築されたモデルとを備え、
    前記プロセッサは、
    対象画像を取得し、
    前記モデルを用いて、前記対象画像に含まれる病変を検出するように構成される画像処理装置。
  6. 前記プロセッサは、前記病変の検出結果を表示するように構成される請求項に記載の画像処理装置。
  7. 被写体を、トモシンセシス撮影方式により複数の線源位置で撮影することにより取得された複数の第1の投影画像を取得する手順と、
    病変を表す病変画像を取得する手順と、
    前記被写体に仮想的に配置した前記病変についての放射線減弱係数を導出する手順と、
    前記放射線減弱係数、並びに前記複数の線源位置および前記被写体に仮想的に配置した前記病変の位置の幾何学的関係に基づいて、前記複数の第1の投影画像に前記病変画像を合成した複数の第2の投影画像を導出する手順と、
    前記複数の第2の投影画像を再構成することにより、前記病変を含む断層画像を生成する手順と、
    前記病変を含む断層画像と前記病変を含む断層画像における病変の位置を表すデータとを含み、対象画像が入力されると該対象画像に含まれる病変を検出するモデルを機械学習するための教師データを生成する手順と、
    をコンピュータに実行させる画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
  8. 被写体を放射線撮影することにより取得された画像を取得する手順と、
    病変を表す病変画像を取得する手順と、
    前記被写体を放射線撮影した際の放射線発生条件と、前記被写体の厚さと、放射線のエネルギー毎の前記病変の放射線減弱係数と、に基づいて、前記被写体に仮想的に配置した前記病変についての放射線の全エネルギー域に亘る放射線減弱係数を導出する手順と、
    前記放射線減弱係数、前記放射線撮影を行った際の線源位置および前記被写体に仮想的に配置した前記病変の位置の幾何学的関係に基づいて、前記画像に前記病変画像を合成した画像を生成する手順と、
    前記病変画像を合成した画像と前記病変画像を合成した画像における病変の位置を表すデータとを含み、対象画像が入力されると該対象画像に含まれる病変を検出するモデルを機械学習するための教師データを生成する手順と、
    をコンピュータに実行させる画像生成プログラム。
  9. 請求項1または請求項2に記載の画像生成装置により生成された教師データである第1の教師データおよび前記病変を含まない画像である第2の教師データを使用し、対象画像が入力されると該対象画像に含まれる病変を検出するモデルを、機械学習によって構築する手順をコンピュータに実行させる学習プログラム。
  10. 対象画像を取得する手順と、
    請求項に記載の学習装置により構築されたモデルを用いて、前記対象画像に含まれる病変を検出する手順とをコンピュータに実行させる画像処理プログラム。
JP2022505970A 2020-03-13 2021-03-03 画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラム Active JP7513697B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020044697 2020-03-13
JP2020044697 2020-03-13
PCT/JP2021/008162 WO2021182229A1 (ja) 2020-03-13 2021-03-03 画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラム

Publications (3)

Publication Number Publication Date
JPWO2021182229A1 JPWO2021182229A1 (ja) 2021-09-16
JPWO2021182229A5 JPWO2021182229A5 (ja) 2022-10-06
JP7513697B2 true JP7513697B2 (ja) 2024-07-09

Family

ID=77670717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022505970A Active JP7513697B2 (ja) 2020-03-13 2021-03-03 画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラム

Country Status (4)

Country Link
US (1) US12417565B2 (ja)
EP (1) EP4119055B1 (ja)
JP (1) JP7513697B2 (ja)
WO (1) WO2021182229A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7413216B2 (ja) * 2020-09-15 2024-01-15 富士フイルム株式会社 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム
CN116128320B (zh) * 2023-01-04 2023-08-08 杭州有泰信息技术有限公司 电网输变电可视化管控方法及平台
WO2025150130A1 (ja) * 2024-01-11 2025-07-17 富士通株式会社 病変識別方法および病変識別プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007283108A (ja) 2006-04-17 2007-11-01 Siemens Medical Solutions Usa Inc 画像の位置合わせを容易にするシステム及び方法
JP2008048880A (ja) 2006-08-24 2008-03-06 Ge Medical Systems Global Technology Co Llc 画像作成方法
JP2008229161A (ja) 2007-03-22 2008-10-02 Fujifilm Corp 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
JP2009162597A (ja) 2007-12-29 2009-07-23 Omron Corp X線断層撮影のシミュレーション方法およびシミュレーション用のプログラム
WO2010059920A2 (en) 2008-11-21 2010-05-27 Hologic, Inc. System and method for generating a 2d image from a tomosynthesis data set
WO2017211968A1 (en) 2016-06-09 2017-12-14 Agfa Healthcare Geometric misalignment correction method and apparatus for chest tomosynthesis reconstruction
WO2017221537A1 (ja) 2016-06-21 2017-12-28 株式会社日立製作所 画像処理装置、及び方法
JP2020018705A (ja) 2018-08-02 2020-02-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置、画像生成方法、及び画像生成プログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006058160A2 (en) 2004-11-26 2006-06-01 Hologic, Inc. Integrated multi-mode mammography/tomosynthesis x-ray system and method
US7616801B2 (en) 2002-11-27 2009-11-10 Hologic, Inc. Image handling and display in x-ray mammography and tomosynthesis
US7831296B2 (en) 2002-11-27 2010-11-09 Hologic, Inc. X-ray mammography with tomosynthesis
US8571289B2 (en) 2002-11-27 2013-10-29 Hologic, Inc. System and method for generating a 2D image from a tomosynthesis data set
US7577282B2 (en) 2002-11-27 2009-08-18 Hologic, Inc. Image handling and display in X-ray mammography and tomosynthesis
US8565372B2 (en) 2003-11-26 2013-10-22 Hologic, Inc System and method for low dose tomosynthesis
US7123684B2 (en) 2002-11-27 2006-10-17 Hologic, Inc. Full field mammography with tissue exposure control, tomosynthesis, and dynamic field of view processing
US10638994B2 (en) 2002-11-27 2020-05-05 Hologic, Inc. X-ray mammography with tomosynthesis
US8768026B2 (en) 2003-11-26 2014-07-01 Hologic, Inc. X-ray imaging with x-ray markers that provide adjunct information but preserve image quality
EP1815388B1 (en) 2004-11-15 2013-03-06 Hologic, Inc. Matching geometry generation and display of mammograms and tomosynthesis images
US10008184B2 (en) 2005-11-10 2018-06-26 Hologic, Inc. System and method for generating a 2D image using mammography and/or tomosynthesis image data
JP2014534042A (ja) 2011-11-27 2014-12-18 ホロジック, インコーポレイテッドHologic, Inc. マンモグラフィーおよび/またはトモシンセシス画像データを使用して2d画像を生成するためのシステムおよび方法
US8983156B2 (en) 2012-11-23 2015-03-17 Icad, Inc. System and method for improving workflow efficiences in reading tomosynthesis medical image data
GB2533632B (en) * 2014-12-24 2018-01-03 Gen Electric Method and system for obtaining low dose tomosynthesis and material decomposition images
US9792703B2 (en) * 2015-07-06 2017-10-17 Siemens Healthcare Gmbh Generating a synthetic two-dimensional mammogram
US20190000318A1 (en) * 2015-12-28 2019-01-03 Metritrack, Inc. System and method for the coregistration of medical image data
JP6566887B2 (ja) * 2016-02-16 2019-08-28 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US10165997B2 (en) * 2016-07-05 2019-01-01 Siemens Healthcare Gmbh System for acquiring a three-dimensional image of arteries and veins
JP7123919B2 (ja) * 2016-10-28 2022-08-23 エセンシャル ロボティクス X線撮像システムの軌道を決定する方法及びシステム
EP3400878B1 (en) * 2017-05-10 2020-03-25 Esaote S.p.A. Method for postural independent location of targets in diagnostic imagines acquired by multimodal acquisitions and system for carrying out the said method
JP6824133B2 (ja) * 2017-09-28 2021-02-03 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6917913B2 (ja) * 2018-01-17 2021-08-11 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP7113447B2 (ja) * 2018-03-12 2022-08-05 東芝エネルギーシステムズ株式会社 医用画像処理装置、治療システム、および医用画像処理プログラム
CN108986182B (zh) * 2018-07-10 2022-11-25 上海联影医疗科技股份有限公司 一种重建ct图像的方法、系统及存储介质
JP7482860B2 (ja) * 2018-09-28 2024-05-14 ホロジック, インコーポレイテッド 高密度要素抑制による合成乳房組織画像発生のためのシステムおよび方法
US11331162B2 (en) * 2020-01-13 2022-05-17 Imaging For Women, L.L.C. Surface markers for 3D supine automated ultrasound imaging and use thereof
US11564645B2 (en) * 2020-02-25 2023-01-31 GE Precision Healthcare LLC Methods and systems for digital mammography imaging

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007283108A (ja) 2006-04-17 2007-11-01 Siemens Medical Solutions Usa Inc 画像の位置合わせを容易にするシステム及び方法
JP2008048880A (ja) 2006-08-24 2008-03-06 Ge Medical Systems Global Technology Co Llc 画像作成方法
JP2008229161A (ja) 2007-03-22 2008-10-02 Fujifilm Corp 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
JP2009162597A (ja) 2007-12-29 2009-07-23 Omron Corp X線断層撮影のシミュレーション方法およびシミュレーション用のプログラム
WO2010059920A2 (en) 2008-11-21 2010-05-27 Hologic, Inc. System and method for generating a 2d image from a tomosynthesis data set
WO2017211968A1 (en) 2016-06-09 2017-12-14 Agfa Healthcare Geometric misalignment correction method and apparatus for chest tomosynthesis reconstruction
WO2017221537A1 (ja) 2016-06-21 2017-12-28 株式会社日立製作所 画像処理装置、及び方法
JP2020018705A (ja) 2018-08-02 2020-02-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置、画像生成方法、及び画像生成プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI, Hui et al.,"Deep learning in breast cancer risk assessment: evaluation of convolutional neural networks on a cl,Journal of Medical Imaging,2017年,vol.4(4),041304,041304-1~041304-6
安倍 和弥 他4名,"乳がんを対象とした新しい人工石灰化陰影の作成と実証例を全く用いないCAD開発手法の有効性検証",MEDICAL IMAGING TECHNOLOGY,2017年,vol.35, No.5,pp.268-272

Also Published As

Publication number Publication date
EP4119055A4 (en) 2023-08-09
WO2021182229A1 (ja) 2021-09-16
EP4119055A1 (en) 2023-01-18
EP4119055B1 (en) 2024-10-30
US20220383564A1 (en) 2022-12-01
US12417565B2 (en) 2025-09-16
JPWO2021182229A1 (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
US7142633B2 (en) Enhanced X-ray imaging system and method
JP7513697B2 (ja) 画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラム
KR20240013724A (ko) 다중 펄스 x-선 소스 이동 단층합성 영상화 시스템을 사용한 인공 지능 훈련
JP7017492B2 (ja) 断層画像生成装置、方法およびプログラム
US12315145B2 (en) Image processing device, learning device, radiography system, image processing method, learning method, image processing program, and learning program
US12056875B2 (en) Image processing device, learning device, radiography system, image processing method, learning method, image processing program, and learning program
JP2020005706A (ja) 画像表示装置、方法およびプログラム
JP7686430B2 (ja) 推定装置、方法およびプログラム
JP7758830B2 (ja) 推定装置、方法およびプログラム
JP2021045268A (ja) 画像処理装置、方法およびプログラム、並びに画像表示装置、方法およびプログラム
JP2025164920A (ja) 放射線画像処理装置、方法およびプログラム
US11517280B2 (en) Image processing apparatus, method, and program
WO2020202612A1 (ja) 画像処理装置、方法およびプログラム
US12272055B2 (en) Image processing device, image processing method, and image processing program
JP7607489B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2021019930A (ja) 画像処理装置、方法およびプログラム
JP7542477B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Goodsitt et al. Evolution of tomosynthesis
JP2025040874A (ja) 画像処理装置、放射線画像撮影システム及びプログラム
US12307664B2 (en) Image processing device, image processing method, and image processing program
JP2025051943A (ja) 画像処理装置、放射線画像撮影システム及びプログラム
JP7612692B2 (ja) 画像処理装置、方法およびプログラム
JP2025138515A (ja) 画像処理装置、放射線画像撮影システム及びプログラム
WO2022070570A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240627

R150 Certificate of patent or registration of utility model

Ref document number: 7513697

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150