JP6996303B2 - 医用画像生成装置 - Google Patents

Description

本開示は、医用画像生成装置に関する。

従来、画像内に映る被写体等を識別する画像認識技術として、Deep Learning等の機械学習を利用する技術が知られている。

この種の画像認識技術においては、識別器（例えば、Convolutional Neural Network；以下、「ＣＮＮ」とも称する）に対して、教師画像を用いた機械学習を施すことによって、画像データに潜在する確率分布の特徴を把握させる。学習済みの識別器は、典型的には、画像のピクセル値情報を入力するだけで、画像パターンを識別し得るようになる。

但し、この種の画像認識技術においては、識別器の識別精度や識別率が、識別器に対して機械学習を行う際の学習データに依拠するため、学習に適した教師画像を大量に入力する必要がある。しかしながら、学習に適した教師画像を大量に準備することは、実際には困難な場合も多い。例えば、大量の動画像をすべて記憶し、その中から学習に適した画像を探し出すことは、現実的に困難且つ煩雑である。

このような背景から、学習データを水増しする手法として、データオーギュメンテ-ション（Data Augmentation）と称される手法が用いられる場合がある（例えば、特許文献１を参照）。データオーギュメンテ-ションは、現在保有する教師画像に対して、左右反転、回転、ズーム、パン、γカーブ変換、ブライトネス／コントラスト調整、スムージング、エッジ強調、又はホワイトノイズ付加等の画像変換を行い、一枚の教師画像から複数枚の教師画像を生成する手法である。

国際公開第２０１６／１５７４９９号

しかしながら、データオーギュメンテ-ション法で生成した教師画像は、不自然な画像となるため、かかる画像を用いて機械学習を施した識別器の識別精度の低下も引き起こす。又、データオーギュメンテ-ション法を適用する際にも、専用のソフトを用いて各種画像処理を施したり、又は識別器に入力する形式に変換するための処理を施したりする必要があるため、煩雑な作業が必要となる。

近年、この種の画像認識技術を医用画像の診断に適用する要請があり、より効率的に、学習データとして有用な医用画像を収集する技術が求められている。

本開示は、上記問題点に鑑みてなされたもので、効率的に、機械学習用途の学習データとして有用な医用画像の収集を可能とする医用画像生成装置を提供することを目的とする。

前述した課題を解決する主たる本開示は、
被検体を撮像した医用画像を時間的に連続して生成する医用画像生成装置であって、
生成された前記医用画像の時系列データを一時的に記憶する第１の記憶部と、
前記第１の記憶部よりも大きな記憶容量を有する第２の記憶部と、
撮影者の所定の入力操作を契機として、時間的に連続して生成される前記医用画像のうちの一を注目画像として設定する注目画像設定部と、
前記第１の記憶部に記憶された前記医用画像の時系列データから前記注目画像との類似度が閾値以上の前記医用画像を抽出し、抽出した前記医用画像を前記注目画像に係るラベル情報と関連付けて前記第２の記憶部に記憶させる類似画像抽出部と、
を備える医用画像生成装置である。

本開示に係る医用画像生成装置によれば、効率的に、機械学習用途の学習データとして有用な医用画像の収集が可能である。

第１の実施形態に係る超音波診断装置の外観を示す図 第１の実施形態に係る超音波診断装置の機能ブロックの一例を示す図 第１の実施形態に係る超音波診断装置の注目画像設定部及び類似画像抽出部に係る詳細構成を示す図 第１の実施形態に係る超音波診断装置の表示部が表示する表示画面の一例を示す図 注目画像設定部の構成の変形例を示す図 第１の実施形態に係る超音波診断装置の動作の一例を示すフローチャート 第２の実施形態に係る超音波診断装置の構成の一例を示す図 第３の実施形態に係る超音波診断装置の構成の一例を示す図 第３の実施形態に係る超音波診断装置の表示部が表示する表示画面の一例を示す図 第３の実施形態に係る識別器の構成の一例を示す図

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態）
以下、図１～図２を参照して、本実施形態に係る医用画像生成装置の構成の一例について説明する。

尚、以下では、本発明の医用画像生成装置のより好適な適用対象の一例として、超音波診断装置について説明する。但し、本発明の医用画像生成装置は、例えば、血管Ｘ線撮影装置、又は、動態解析装置等にも適用することができる。

図１は、本実施形態に係る超音波診断装置Ｕの外観を示す図である。図２は、本実施形態に係る超音波診断装置Ｕの機能ブロックの一例を示す図である。

本実施形態に係る超音波診断装置Ｕ（以下、「医用画像生成装置Ｕ」とも称する）は、制御部１、撮像部２、画像処理部３、表示部４、シネメモリ部５、操作入力部６、記憶部７、及び、通信部８を備えている（図２を参照）。

本実施形態に係る超音波診断装置Ｕは、例えば、医用画像としてカラードプラ画像を生成する態様について説明する。カラードプラ画像は、生体内の断層像をグレースケールで表現したＢモード画像（Brightness Mode Imaging）に重ねて、血流や心筋壁等の体組織の動きを色で表現したカラー画像（Color Flow Imaging）を表示することで生成される。

撮像部２は、被検体の検査対象部位を撮像して、医用画像（ここでは、超音波画像）を生成するためのフレーム単位となる二次元データを生成する。

撮像部２は、複数の振動子によって構成される超音波探触子を備え、当該超音波探触子から、被検体内に対して超音波ビームを送信する。そして、当該超音波探触子は、この被検体内で反射した超音波エコーを受信し、受信信号を生成する。

撮像部２は、Ｂモード画像を生成する際には、当該超音波エコーによって生成された受信信号の信号強度の時間的変化をラインメモリに蓄積する。そして、撮像部２は、超音波探触子の複数の振動子を走査（スキャン）して、超音波ビームを送受信させる方向を切り替え、各走査位置での当該受信信号をラインメモリに順次蓄積させることでフレーム単位となる二次元データを生成する。Ｂモード画像は、当該二次元データに係る受信信号の信号強度を輝度値に変換することによって生成される。

撮像部２は、カラー画像を生成する際には、連続して送信したパルス状の超音波ビームの、同じ深さ位置からの超音波エコーを検出する。そして、撮像部２は、当該連続する超音波エコーの位相差に基づいて、当該深さ位置に存在する血流の速度、パワー、分散を算出して血流信号を生成する。撮像部２は、Ｂモード画像と同様に、超音波探触子を走査（スキャン）して、超音波ビームを送受信させる方向を切り替えることで、各走査位置での血流信号をラインメモリに順次蓄積し、フレーム単位となる二次元データを生成する。カラー画像は、当該二次元データに係る血流信号の速度、パワー、分散をＲＧＢ値に変換することによって生成される。

画像処理部３は、撮像部２からフレーム単位となる二次元データを取得して、表示部４に表示する医用画像を生成する。具体的には、画像処理部３は、上記したとおり、受信信号の信号強度に係る二次元データからＢモード画像を生成し、血流信号の速度、パワー、分散に係る二次元データからカラー画像を生成する。そして、画像処理部３は、Ｂモード画像上に動きのあるカラー画像を重畳することによって、カラードプラ画像を生成する。

又、画像処理部３は、このようにして生成した医用画像に対して、座標変換処理を施したり、データ補間処理を施したりして、表示部４に表示可能な画像データに変換して、順次、シネメモリ部５に記憶させる。

表示部４は、ＬＣＤや又はＣＲＴディスプレイ等である。表示部４は、画像処理部３によって画像処理が施された医用画像を表示画面上に表示する（図３を参照して後述する）。尚、表示部４には、シネメモリ部５に記憶された医用画像が、画像処理部３を介して表示される。

シネメモリ部５（本発明の第１の記憶部に相当）は、例えば、直前数分間に取得された複数の医用画像（複数のフレーム画像）を動画再生可能なように一時的に記憶する。

操作入力部６は、各種スイッチ、機能ボタン、トラックボール、マウス、又はキーボード等であり、撮影者によって入力操作がなされた際に、操作信号を制御部１に出力する。

記憶部７（本発明の第２の記憶部に相当）は、例えば、フラッシュメモリや又はＨＤＤ等により構成された制御部１の外部記憶装置である。記憶部７は、後述する学習データとして抽出された画像データを保存する記憶領域も有している。

通信部８は、ＬＡＮカード等により構成され、スイッチングハブを介して通信ネットワークＮに接続された端末装置等の外部機器との間でデータの送受信を行う。

制御部１は、超音波診断装置Ｕの各部の動作を統括制御する。制御部１は、例えば、撮像動作制御部１１、注目画像設定部１２、及び類似画像抽出部１３を備えている。

撮像動作制御部１１は、撮像部２の動作を制御する。

注目画像設定部１２は、操作入力部６に対する撮影者の所定の入力操作を契機として、当該操作タイミングに生成された医用画像を注目画像として設定する。

類似画像抽出部１３は、シネメモリ部５に記憶された複数の医用画像から注目画像との類似度が閾値以上の医用画像を抽出し、機械学習用途の学習データとして記憶部７に記憶させる。

尚、制御部１は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入力ポート、及び出力ポート等を備えたコンピュータである。制御部１が有する機能は、例えば、ＣＰＵがＲＯＭやＲＡＭに格納された制御プログラムや各種データを参照することによって実現される。但し、当該機能は、ソフトウェアによる処理に限られず、専用のハードウェア回路、又はこれらの組み合わせによっても実現できることは勿論である。

［医用画像生成装置における画像保存機能］
以下、図３～図５を参照して、本実施形態に係る超音波診断装置Ｕにおける画像保存機能について説明する。

本実施形態に係る超音波診断装置Ｕは、効率的に、有用な学習データを収集するため、操作入力部６からの所定の操作（ここでは、画像保存操作とする）を契機として、注目画像設定部１２及び類似画像抽出部１３によって自動的に画像データを保存する機能を有している。

図３は、本実施形態に係る超音波診断装置Ｕの注目画像設定部１２及び類似画像抽出部１３に係る詳細構成を示す図である。

図３の矢印は、制御部１の各機能ブロックにおけるデータの流れを表している。尚、超音波診断装置Ｕが撮像動作を実行している際、シネメモリ部５には、画像処理部３から医用画像（ここでは、超音波画像）が時間的に連続して入力され、当該シネメモリ部５において一定時間分の医用画像（例えば、数百フレーム分）が一時的に記憶される。シネメモリ部５は、典型的には、一定時間分の医用画像を時系列データとして記憶しており、自身の記憶容量を超えた分の医用画像については、過去分から順次消去するように構成されている。

図４は、超音波診断装置Ｕの表示部４が表示する表示画面（ここでは、超音波画像）の一例を示す図である。

撮影者は、例えば、図４の表示画面を見ながら、撮像部２で撮像する被検体の部位の位置を移動させる、又は、操作入力部６で当該医用画像を保存する操作を行う。

図４の表示画面において、Ｒ１領域には、撮像部２が撮像した医用画像が、動画形式でリアルタイムに表示される。表示画面のＲ２領域には、医用画像を学習データとして保存する際に、当該学習データに対して付与する付与ラベル（ここでは、「撮影対象の部位種別」及び「撮影対象の状態」に係るラベルが設定されている）が表示されている。表示画面のＲ３領域には、被検体の個人を特定する識別情報が表示されている。

以下、図３に示す各部の構成について説明する。

注目画像設定部１２は、操作入力部６からの画像保存操作を受け付ける。そして、注目画像設定部１２は、医用画像が時間的に連続して生成されている際に、画像保存操作を契機として、当該画像保存操作がなされた操作タイミングに生成された１フレーム分の医用画像（例えば、図４のＲ１領域）を、シネメモリ部５から取得して、当該注目画像を第１のフレームバッファ１３ｃに設定する。

ここで、「注目画像」とは、撮影者が注目する対象の医用画像であり、即ち学習データとして取り込む医用画像の基準画像である。一般的に、超音波診断装置Ｕを用いた診断（例えば、甲状腺診断）においては、撮影者が撮像部２の超音波探触子をあてて医用画像を取り込みながら、リアルタイムで観察を行い、診断に必要と思われる領域（例えば、異常陰影候補又は正常候補）が現れたときに画像保存操作やフリーズ操作を行って、そのタイミングの医用画像を画面上に保持して詳細に観察を行っている。即ち、画像保存操作やフリーズ操作が行われたタイミングに表示されていた医用画像は、撮影者が診断に適した注目すべき画像であると判断した画像であると考えられる。換言すると、識別器が識別すべき対象の医用画像であると言える。

かかる観点から、注目画像設定部１２は、撮影者の操作入力部６への所定の操作（典型的には、画像保存操作）を契機として、当該操作タイミングに生成された医用画像を注目画像として設定する。そして、当該注目画像が、後述する類似画像抽出部１３が類似判定する際の基準画像となる。尚、「注目画像」として設定する医用画像は、医用画像が撮像部２で撮影されてから撮影者が操作入力部６に所定の操作を行うまでのタイムラグ等を考慮した適宜のタイミングの医用画像であることは勿論である。

又、注目画像設定部１２は、学習データとして保存する注目画像に対してラベル情報を付すため、注目画像を設定する際、学習データとして保存する際又は事前に、記憶部７にラベル情報を設定する。注目画像設定部１２は、例えば、撮影者が予め設定したラベル情報（例えば、図４の「撮影対象の部位種別」（例えば、甲状腺）及び「撮影対象の状態」（例えば、悪性腫瘍）に係るラベル）を記憶部７に設定し、ラベル情報と保存対象の医用画像（即ち、類似度判定部１３ａから転送される医用画像）とを関連付けた状態で記憶部７に記憶させる。

ここで、「ラベル情報」とは、注目画像の種別を示す任意のラベルであり、典型的には、撮像対象の被検体の部位の種別、病変状態、又は症例の情報等である。又、「ラベル情報」としては、超音波診断装置Ｕにおける表示機能として既設の診断補助情報（例えば、アノテーション情報（診断部位を示す情報）、ボディマーク情報（被検体に対する超音波プローブの当接位置を示す情報）、診断部位／プリセット情報（検査中か準備中かを示す情報）、計測条件、計測項目、計測結果、又は撮影者のコメント）等が含まれていてもよい。

類似画像抽出部１３は、シネメモリ部５に一時的に記憶された医用画像の時系列データから、注目画像設定部１２に設定された注目画像と類似する医用画像を抽出して、当該医用画像を記憶部７に記憶させる。

類似画像抽出部１３は、類似度判定部１３ａ、判定対象設定部１３ｂ、第１のフレームバッファ１３ｃ、及び、第２のフレームバッファ１３ｄを含んで構成される。

第１のフレームバッファ１３ｃには、例えば、注目画像設定部１２により、１フレームの注目画像が設定される。一方、第２のフレームバッファ１３ｄには、例えば、判定対象設定部１３ｂにより、シネメモリ部５に一時的に記憶された医用画像のうち、１フレームの判定対象の医用画像が、順次、設定される。

類似度判定部１３ａは、第１のフレームバッファ１３ｃに設定された注目画像と、第２のフレームバッファ１３ｄに設定された判定対象の医用画像と、を比較して、注目画像と判定対象の医用画像との類似度を算出する。そして、類似度判定部１３ａは、当該類似度が閾値以上の場合には、第２のフレームバッファ１３ｄに設定された判定対象の医用画像を記憶部７に対してデータ転送し、当該類似度が閾値未満の場合には、記憶部７に対するデータ転送を行うことなく破棄する。これにより、記憶部７には、シネメモリ部５に一時的に記憶された医用画像のうち、注目画像に類似する医用画像が選択的に記憶される。

類似度判定部１３ａは、上記類似度判定を行った後、判定対象設定部１３ｂに対して、フレームポインタを１つ進める指示を出力する。判定対象設定部１３ｂは、類似度判定部１３ａからの指示を受信するに応じて、シネメモリ部５から、次の判定対象の医用画像を取得して、第２のフレームバッファ１３ｄに対して設定する。そして、判定対象設定部１３ｂは、例えば、シネメモリ部５に一時的に記憶された医用画像のすべての取得が完了するに応じて、処理を終了する。尚、類似度判定部１３ａは、例えば、最後に、第１のフレームバッファ１３ｃに設定された注目画像を記憶部７に対して送信し、処理を終了する。

このようにして生成された学習データは、記憶部７において、医用画像Ｄ１、ラベル情報Ｄ２、及び、類似度判定部１３ａで基準とした注目画像（図示せず）のセットとして記憶される。尚、この際、記憶部７には、被検体の個人を特定する情報（例えば、患者ＩＤ）を含まないように記憶されるのが望ましい。

類似度判定部１３ａにおける類似度の算出手法は、例えば、公知のＣＡＤ（Computer-Aided Diagnosis）技術、公知の類似画像検索技術等の手法（典型的には、テンプレートマッチング）を用いて行うことができる。

ＣＡＤ技術を用いた類似度の判定は、例えば、以下のようにして行う。

まず、医用画像内における異常の疑いのある領域の特定を行う。異常の疑いのある領域は、例えば、医用画像において、エッジ検出及び領域分割を行い、次いで、各領域について、面積、平均濃度、重心の位置、周辺との濃度差、及び縦横比等の特徴量を算出し、当該特徴量と予め定められた閾値とを比較することによって、特定される。

次いで、異常の疑いがあるとして特定した領域について、辺縁の形状、内部の不均一性、縦横比、病変辺縁の形状等の特徴量を算出し、４次の要素からなるベクトルを設定する。

次いで、注目画像と判定対象の医用画像それぞれについて、４次の要素からなるベクトルに基づくマハラノビス距離を算出する。

ＣＡＤ技術を用いた類似度の判定においては、このようにして算出したマハラノビス距離の近接度合いを、注目画像と判定対象の医用画像の類似度の基準とする。

尚、類似度判定部１３ａにおける類似度の判定手法は、任意であって、類似判定項目（例えば、陰影の形状、陰影の大きさ、陰影の方向、濃淡パターンの特性等）の一又は複数についてのみ、類似度を算出し、類似しているか否かを判定してもよい。又、注目画像と判定対象の医用画像の全画像領域を対象として、類似度の判定を行ってもよいし、一部領域のみを対象として類似度の判定を行ってもよい。

図５は、注目画像設定部１２の構成の変形例を示す図である。

図５では、医用画像のうちの一部の特定領域Ｒ１ａのみが注目画像に設定された状態を表している。類似度判定部１３ａにて類似判定を行う際、例えば、撮影者が注目する特定の領域又は特定の部位のみを類似判定の対象とした方が、より精度の高い類似判定を行うことが可能である。

変形例に係る注目画像設定部１２は、かかる観点から、医用画像のうちの一部の特定領域Ｒ１ａのみを注目画像として設定している。

注目画像設定部１２は、撮影者が操作入力部６に対して所定の操作を行った際、例えば、公知のＣＡＤ技術を用いた異常部位抽出によって、設定対象の医用画像のうちから、撮影者が注目する異常部位等に係る注目領域を推定し、設定対象の医用画像から注目領域Ｒ１ａのみを切り出して注目画像として設定する。これによって、撮影者の操作を要することなく、自動的に特定領域Ｒ１ａを設定し、類似度判定部１３ａによる精度の高い類似判定に資することが可能となる。

他方、注目画像設定部１２は、例えば、撮影者が操作を行って、医用画像のうちから特定領域Ｒ１ａを切り出して、注目画像として設定してもよい。これによって、公知の異常部位判定方法によって自動的に切り出せないような部位を特定領域Ｒ１ａとして設定することが可能となる。

尚、注目画像設定部１２が設定する注目画像は、上記の他、撮影者によって所定の操作がなされたタイミングの前後の数フレームを平均化したもの等が用いられてもよい。

［医用画像生成装置における動作フロー］
図６は、本実施形態に係る超音波診断装置Ｕの動作の一例を示すフローチャートである。尚、図６のフローチャートは、例えば、学習データを取得する際に、制御部１（注目画像設定部１２、類似画像抽出部１３）がコンピュータプログラムに従って実行する処理である。

ステップＳ１において、制御部１は、撮影者が操作入力部６に所定の操作（例えば、静止画像保存操作）がなされたか否かを判定する。

ステップＳ２において、制御部１（注目画像設定部１２）は、当該操作を契機として、シネメモリ部５から、当該操作タイミングに対応する１フレームの医用画像を取得して、第１のフレームバッファ１３ｃに対して注目画像を設定する。

尚、このステップＳ２において、制御部１（注目画像設定部１２）は、記憶部７に対して、ラベル情報を設定し、当該記憶部７において、ラベル情報と医用画像とが関連付けて記憶されるようにする。

ステップＳ３において、制御部１（判定対象設定部１３ｂ）は、シネメモリ部５に対して、判定対象の医用画像があるか否かを問い合わせ、判定対象の医用画像がない場合（Ｓ３：ＮＯ）、ステップＳ８に処理を進める。判定対象の医用画像がある場合（Ｓ３：ＹＥＳ）、シネメモリ部５から当該医用画像を取得する。

尚、このステップＳ３において、制御部１（判定対象設定部１３ｂ）は、Ｓ３～Ｓ７の処理ループに入った最初の処理時には、シネメモリ部５に対して、先頭フレームの医用画像を要求する。

ステップＳ４において、制御部１（判定対象設定部１３ｂ）は、シネメモリ部５から取得した１フレームの医用画像を第２のフレームバッファ１３ｄに設定する。

ステップＳ５において、制御部１（類似度判定部１３ａ）は、第１のフレームバッファ１３ｃの注目画像、及び、第２のフレームバッファ１３ｄの判定対象の医用画像を取得する。

ステップＳ６において、制御部１（類似度判定部１３ａ）は、注目画像と判定対象の医用画像の間の類似度を算出し、類似度が閾値以上か否かを判定する。

尚、このステップＳ６において、制御部１（類似度判定部１３ａ）は、類似度が閾値以上と判定した場合（Ｓ６：ＹＥＳ）、ステップＳ７に処理を進める。一方、類似度が閾値未満と判定した場合（Ｓ６：ＮＯ）、ステップＳ３の処理に戻って、シネメモリ部５のフレームポインタを１つ進め、シネメモリ部５に対して判定対象の医用画像があるか否かを再度問い合わせる。

ステップＳ７において、制御部１（類似度判定部１３ａ）は、ステップＳ６において類似度が閾値以上と判定された医用画像を記憶部７（例えば、専用の画像ストレージ領域）に保存する。

ステップＳ７の後、制御部１（類似度判定部１３ａ、判定対象設定部１３ｂ）は、ステップＳ３に戻って、シネメモリ部５のフレームポインタを１つ進め、シネメモリ部５に対して判定対象の医用画像があるか否かを再度問い合わせる。

制御部１（類似度判定部１３ａ、判定対象設定部１３ｂ）は、フレームポインタが最後尾になるまで、ステップＳ３～Ｓ７の処理を繰り返す。

ステップＳ８において、制御部１（類似度判定部１３ａ、判定対象設定部１３ｂ）は、第１のフレームバッファ１３ｃに設定された注目画像を、記憶部７（例えば、専用の画像ストレージ領域）に保存する。

［効果］
以上のように、本実施形態に係る医用画像生成装置Ｕ（超音波診断装置Ｕ）によれば、注目画像設定部１２において、撮影者の所定の入力操作（例えば、画像保存操作）を契機として、時間的に連続して生成される医用画像のうちから一の注目画像を設定し、類似画像抽出部１３において、シネメモリ部５に記憶された複数の医用画像から注目画像との類似度が閾値以上の医用画像を抽出し、機械学習用途の学習データとして記憶部７に記憶させる。

これによって、医用画像生成装置Ｕの利用態様の特徴（即ち、医師等の撮影者が医用画像を取り込みながらリアルタイムで観察を行う）を活かし、効率的に、機械学習用途の学習データとして有用な医用画像を収集することができる。換言すると、これによって、識別器に対して精度の高い機械学習を施すことが可能となり、医用画像を高精度に識別し得る識別器を構成することができる。換言すると、これによって、従来技術に係るデータオーギュメンテ-ション等の処理を行うことなく、機械学習の学習データとして好適な態様の医用画像を大量に収集することができる。

又、本実施形態に係る医用画像生成装置Ｕによれば、抽出する医用画像について適切なラベル情報を付与することができるため、機械学習の学習データとして好適に用いることができる。

(第２の実施形態)
図７は、第２の実施形態の超音波診断装置Ｕの構成の一例を示す図である。

本実施形態に係る超音波診断装置Ｕは、更に、データ転送指令部１４を備える点で、第１の実施形態に係る超音波診断装置Ｕと相違する。尚、第１の実施形態と共通する構成については、説明を省略する（以下、他の実施形態についても同様）。

上記第１の実施形態では、超音波診断装置Ｕが、学習データとして生成した医用画像を記憶部７に自動的に蓄積していく態様を示した。しかしながら、学習データの蓄積は、撮影者が意識することなく行われるため、学習データが記憶部７の記憶領域を圧迫するおそれがある。

本実施形態に係る超音波診断装置Ｕは、かかる観点から、データ転送指令部１４にて、記憶部７に格納された医用画像の記憶容量を監視し、当該記憶容量が閾値を超えた場合には、自動的に、学習データ（即ち、医用画像）を所定のサーバ装置２００（例えば、識別器の機械学習用に準備されたサーバ装置）に転送すると共に、当該学習データを記憶部７から削除する。

データ転送指令部１４は、所定タイミング（例えば、超音波診断装置Ｕの起動時）で、学習データに付されたフラグ等に基づいて、記憶部７に記憶された学習データの記憶容量を確認する。そして、データ転送指令部１４は、記憶部７に記憶された学習データの記憶容量が閾値を超えた場合、予め設定された転送先のサーバ装置２００に対して、通信部８を用いて、データ転送を行う。

以上のように、本実施形態に係る超音波診断装置Ｕによれば、撮影者が意識することなく蓄積される学習データが、記憶部７の記憶領域を圧迫する事態を抑制することができる。又、これによって、記憶部７の記憶容量が圧迫され、医用画像に係る学習データが収集不可の状態となることを防止することができる。

(第３の実施形態)
図８は、第３の実施形態に係る超音波診断装置Ｕの構成の一例を示す図である。図９は、第３の実施形態に係る超音波診断装置Ｕの表示部４が表示する表示画面の一例を示す図である。

本実施形態に係る超音波診断装置Ｕは、更に、識別処理部１５を備える点で、第１の実施形態に係る超音波診断装置Ｕと相違する。

識別処理部１５は、学習装置３００から取得した学習済みの識別器のモデルデータＭ（例えば、識別器の構造データ及び学習済みのパラメータデータ等を表す。以下、「識別器Ｍ」と略称する）を利用して、医用画像を撮影している際に、リアルタイムに、当該医用画像に対して識別処理を施す。そして、識別器Ｍが医用画像を識別した結果（即ち、ラベル情報）は、表示部４が表示する表示画面に表示される。

図９の識別結果表示領域Ｒ４には、識別器Ｍが識別した医用画像のラベル情報が表示されている。尚、図９のラベル情報は、撮影対象が「部位種別Ｘ」に該当し、撮影対象の状態が「病変種別Ｚ」に該当するとして表示している。

識別器Ｍは、例えば、第１の実施形態で生成した医用画像の学習データを用いて、学習装置３００において機械学習が施されている。

図１０は、識別器Ｍの構成の一例を示す図である。図１０に示す識別器Ｍは、ＣＮＮと称される識別器である。

ＣＮＮは、例えば、特徴抽出部Ｎａと識別部Ｎｂとを有し、特徴抽出部Ｎａが、入力される画像から画像特徴を抽出する処理を施し、識別部Ｎｂが、当該画像特徴から画像に係る識別結果を出力する。

特徴抽出部Ｎａは、複数の特徴量抽出層Ｎａ１、Ｎａ２・・・が階層的に接続されて構成される。各特徴量抽出層Ｎａ１、Ｎａ２・・・は、それぞれ、畳み込み層（Convolution layer）、活性化層（Activation layer）及びプーリング層（Pooling layer）を備える。

第１層目の特徴量抽出層Ｎａ１は、入力される画像を、ラスタスキャンにより所定サイズ毎に走査する。そして、特徴量抽出層Ｎａ１は、走査したデータに対して、畳み込み層、活性化層及びプーリング層によって特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。第１層目の特徴量抽出層Ｎａ１は、例えば、水平方向に延びる線状の特徴量や斜め方向に延びる線状の特徴量等の比較的シンプルな単独の特徴量を抽出する。

第２層目の特徴量抽出層Ｎａ２は、前階層の特徴量抽出層Ｎａ１から入力される画像（特徴マップとも称される）を、例えば、ラスタスキャンにより所定サイズ毎に走査する。そして、特徴量抽出層Ｎａ２は、走査したデータに対して、同様に、畳み込み層、活性化層及びプーリング層による特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。尚、第２層目の特徴量抽出層Ｎａ２は、第１層目の特徴量抽出層Ｎａ１が抽出した複数の特徴量の位置関係などを考慮しながら統合させることで、より高次元の複合的な特徴量を抽出する。

第２層目以降の特徴量抽出層（図１０では、説明の便宜として、特徴量抽出層Ｎａを２階層のみを示す）は、第２層目の特徴量抽出層Ｎａ２と同様の処理を実行する。そして、最終層の特徴量抽出層の出力（複数の特徴マップのマップ内の各値）が、識別部Ｎｂに対して入力される。

識別部Ｎｂは、例えば、複数の全結合層（Fully Connected）が階層的に接続された多層パーセプトロンによって構成される。

識別部Ｎｂの入力側の全結合層は、特徴抽出部Ｎａから取得した複数の特徴マップのマップ内の各値に全結合し、その各値に対して重み係数を異ならせながら積和演算を行って出力する。識別部Ｎｂの次階層の全結合層は、前階層の全結合層の各素子が出力する値に全結合し、その各値に対して重み係数を異ならせながら積和演算を行う。そして、識別部Ｎｂの最後段には、正常度を出力する出力素子が設けられる。

本実施形態に係る識別器Ｍは、医用画像Ｄ１を入力とし（図１０のｉｎｐｕｔ）、当該医用画像Ｄ１の画像特徴に応じたラベル情報Ｄ２を出力する（図１０のｏｕｔｐｕｔ）ように構成される。尚、本実施形態に係る識別器Ｍは、入力された医用画像Ｄ１の画像特徴に応じて、ラベル情報Ｄ２を出力する。

尚、学習装置３００が学習処理を行う際のアルゴリズムは、公知の手法であってよい。識別器ＭとしてＣＮＮを用いる場合であれば、学習装置３００は、例えば、公知の誤差逆伝播法を用いて、識別器Ｍに対して学習処理を施し、ネットワークパラメータ（重み係数、バイアス等）を最適化する。

超音波診断装置Ｕは、学習装置３００によって学習処理が施された識別器Ｍのモデルデータ（例えば、構造データ及び学習済みのネットワークパラメータ）を取得して、当該識別器を用いた画像解析（例えば、識別器の順伝搬処理）を行うプログラムと共に、自身の保有する記憶装置（図示せず）に格納する。

識別処理部２０は、このようにして設定された学習済みの識別器Ｍを用いて、生成される医用画像からラベル情報として最適な種別を識別する。即ち、識別処理部２０は、医用画像を入力し、当該識別器Ｍの順伝播処理によって当該医用画像の画像解析を行って、例えば、クラス該当度が最大の種別を、ラベル情報（例えば、図９のように、撮影対象が「部位種別Ｘ」に該当し、撮影対象の状態が「病変種別Ｚ」に該当する）として出力する。

以上のように、本実施形態に係る医用画像生成装置Ｕ（超音波診断装置Ｕ）によれば、精度の高い学習データによって学習処理を施した識別器Ｍを用いて、リアルタイムに、医用画像に対して識別処理を実行することが可能である。これによって、医用画像生成装置Ｕ（超音波診断装置Ｕ）を用いて被検体の診断を行っている際に、リアルタイムに、表示部４に上記ラベル情報を表示したり、上記ラベル情報に応じたアラームを発する等、有用な診断補助機能を実現することが可能となる。

（その他の実施形態）
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。

上記実施形態では、学習データを適用する識別器Ｍの一例として、ＣＮＮを示した。但し、識別器Ｍは、ＣＮＮに限らず、任意の識別器が用いられてよい。識別器Ｍとしては、例えば、ＳＶＭ（Support Vector Machine）識別器、ベイズ識別器、又は、回帰木等が用いられてもよい。又は、これらが複数組み合わされて構成されてもよい。

又、上記実施形態では、注目画像設定部１２の一例として、静止画像を保存する操作を契機として、当該操作タイミングに生成された医用画像を注目画像として設定する態様を示した。しかしながら、注目画像設定部１２が基準とする撮影者の操作は、フリーズ操作や又は動作保存操作等、撮影者が注目している医用画像に対して行う操作であれば、任意の操作であってよい。

又、上記実施形態では、類似画像抽出部１３の一例として、シネメモリ部５に一時的に記憶されている医用画像の全部を類似判定の対象とする構成を示した。しかしながら、類似画像抽出部１３が類似判定の対象とする医用画像は、例えば、撮影者が操作入力部６に対して所定の操作を行った操作タイミングを基点としてその前及び／又は後の予め定められた時間範囲内に取得された医用画像のみであってもよい。類似画像抽出部１３は、例えば、操作タイミングを起点とした前後の１秒～１０秒を類似判定の対象としてもよい。

又、上記実施形態では、医用画像生成装置Ｕの制御部１の構成の一例として、一のコンピュータによって実現されるものとして記載したが、複数のコンピュータによって実現されてもよいのは勿論である。

又、上記実施形態では、医用画像生成装置Ｕの構成の一例を種々に示した。但し、各実施形態で示した態様を種々に組み合わせたものを用いてもよいのは勿論である。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

本開示に係る医用画像生成装置によれば、効率的に、機械学習用途の学習データとして有用な医用画像の収集が可能である。

Ｕ 医用画像生成装置
１ 制御部
１１ 撮像動作制御部
１２ 注目画像設定部
１３ 類似画像抽出部
１４ データ転送指令部
１５ 識別処理部
２ 撮像部
３ 画像処理部
４ 表示部
５ シネメモリ部
６ 操作入力部
７ 記憶部
８ 通信部
２００ サーバ装置
３００ 学習装置
Ｍ 識別器

Claims (8)

1. 被検体を撮像した医用画像を時間的に連続して生成する医用画像生成装置であって、
   生成された前記医用画像の時系列データを一時的に記憶する第１の記憶部と、
   前記第１の記憶部よりも大きな記憶容量を有する第２の記憶部と、
   撮影者の所定の入力操作を契機として、時間的に連続して生成される前記医用画像のうちの一を注目画像として設定する注目画像設定部と、
   前記第１の記憶部に記憶された前記医用画像の時系列データから前記注目画像との類似度が閾値以上の前記医用画像を抽出し、抽出した前記医用画像を前記注目画像に係るラベル情報と関連付けて前記第２の記憶部に記憶させる類似画像抽出部と、
   を備える医用画像生成装置であって、
   前記ラベル情報は、前記注目画像に映る前記被検体若しくは当該被検体の部位の種別、病変状態、又は症例の情報のいずれかを含む、
   医用画像生成装置。
2. 被検体を撮像した医用画像を時間的に連続して生成する医用画像生成装置であって、
   生成された前記医用画像の時系列データを一時的に記憶する第１の記憶部と、
   前記第１の記憶部よりも大きな記憶容量を有する第２の記憶部と、
   撮影者の所定の入力操作を契機として、時間的に連続して生成される前記医用画像のうちの一を注目画像として設定する注目画像設定部と、
   前記第１の記憶部に記憶された前記医用画像の時系列データから前記注目画像との類似度が閾値以上の前記医用画像を抽出し、抽出した前記医用画像を前記注目画像に係るラベル情報と関連付けて前記第２の記憶部に記憶させる類似画像抽出部と、
   を備える医用画像生成装置であって、
   前記注目画像は、前記所定の入力操作の操作タイミングに生成された前記医用画像である、
   医用画像生成装置。
3. 被検体を撮像した医用画像を時間的に連続して生成する医用画像生成装置であって、
   生成された前記医用画像の時系列データを一時的に記憶する第１の記憶部と、
   前記第１の記憶部よりも大きな記憶容量を有する第２の記憶部と、
   撮影者の所定の入力操作を契機として、時間的に連続して生成される前記医用画像のうちの一を注目画像として設定する注目画像設定部と、
   前記第１の記憶部に記憶された前記医用画像の時系列データから前記注目画像との類似度が閾値以上の前記医用画像を抽出し、抽出した前記医用画像を前記注目画像に係るラベル情報と関連付けて前記第２の記憶部に記憶させる類似画像抽出部と、
   を備える医用画像生成装置であって、
   前記注目画像設定部は、自動的に、前記医用画像のうち異常部位と推定される特定領域の画像を切り出して前記注目画像として設定する、
   医用画像生成装置。
4. 被検体を撮像した医用画像を時間的に連続して生成する医用画像生成装置であって、
   生成された前記医用画像の時系列データを一時的に記憶する第１の記憶部と、
   前記第１の記憶部よりも大きな記憶容量を有する第２の記憶部と、
   撮影者の所定の入力操作を契機として、時間的に連続して生成される前記医用画像のうちの一を注目画像として設定する注目画像設定部と、
   前記第１の記憶部に記憶された前記医用画像の時系列データから前記注目画像との類似度が閾値以上の前記医用画像を抽出し、抽出した前記医用画像を前記注目画像に係るラベル情報と関連付けて前記第２の記憶部に記憶させる類似画像抽出部と、
   を備える医用画像生成装置であって、
   前記注目画像設定部は、前記撮影者の入力操作に基づいて、前記医用画像のうち一部領域を切り出して前記注目画像として設定する、
   医用画像生成装置。
5. 被検体を撮像した医用画像を時間的に連続して生成する医用画像生成装置であって、
   生成された前記医用画像の時系列データを一時的に記憶する第１の記憶部と、
   前記第１の記憶部よりも大きな記憶容量を有する第２の記憶部と、
   撮影者の所定の入力操作を契機として、時間的に連続して生成される前記医用画像のうちの一を注目画像として設定する注目画像設定部と、
   前記第１の記憶部に記憶された前記医用画像の時系列データから前記注目画像との類似度が閾値以上の前記医用画像を抽出し、抽出した前記医用画像を前記注目画像に係るラベル情報と関連付けて前記第２の記憶部に記憶させる類似画像抽出部と、
   を備える医用画像生成装置であって、
   前記第２の記憶部に格納された前記医用画像の記憶容量を監視し、当該記憶容量が閾値以上になった場合、前記第２の記憶部に格納された前記医用画像の少なくとも一部をサーバ装置にデータ転送するデータ転送指令部、を更に備える、
   医用画像生成装置。
6. 被検体を撮像した医用画像を時間的に連続して生成する医用画像生成装置であって、
   生成された前記医用画像の時系列データを一時的に記憶する第１の記憶部と、
   前記第１の記憶部よりも大きな記憶容量を有する第２の記憶部と、
   撮影者の所定の入力操作を契機として、時間的に連続して生成される前記医用画像のうちの一を注目画像として設定する注目画像設定部と、
   前記第１の記憶部に記憶された前記医用画像の時系列データから前記注目画像との類似度が閾値以上の前記医用画像を抽出し、抽出した前記医用画像を前記注目画像に係るラベル情報と関連付けて前記第２の記憶部に記憶させる類似画像抽出部と、
   を備える医用画像生成装置であって、
   前記類似画像抽出部は、前記被検体の個人を特定する情報を含まないように、抽出した前記医用画像を前記第２の記憶部に記憶させる、
   医用画像生成装置。
7. 超音波診断装置、血管Ｘ線撮影装置、又は、動態解析装置のいずれかに適用される、
   請求項１乃至６のいずれか一項に記載の医用画像生成装置。
8. 学習済みの識別器を用いて、撮影中の前記医用画像の画像解析を行い、前記医用画像に関連する前記ラベル情報を出力する識別処理部、を更に備え、
   前記識別器は、前記類似画像抽出部に抽出された前記医用画像を用いて機械学習が施された
   請求項１乃至７のいずれか一項に記載の医用画像生成装置。

Images