JP7461221B2

JP7461221B2 - 医用画像処理装置、および、医用撮像装置

Info

Publication number: JP7461221B2
Application number: JP2020090860A
Authority: JP
Inventors: 奈桜伊藤; 喜実野口; 朋史西浦; 真紀 ▲桑▼山
Original assignee: 富士フイルムヘルスケア株式会社
Priority date: 2020-05-25
Filing date: 2020-05-25
Publication date: 2024-04-03
Anticipated expiration: 2040-05-25
Also published as: US20210366120A1; US11526991B2; CN113712594B; JP2021185970A; CN113712594A

Description

本発明は医用画像診断装置における病変検出技術に関し、特に誤検出の抑制に関する。

近年の乳がん検診においては、従来のマンモグラフィに加えて超音波診断装置による検診の併用が進みつつある。超音波検査は大量の超音波画像を読影する必要があり、医療従事者の負担が大きいことから、コンピュータによる検出支援技術（ＣＡＤｅ：Computer-Aided Detection）の開発が期待されている。

乳房超音波画像は、病変の種類に加えて被検査者の年齢、検査者の経験、撮像装置の機種等により様々な見た目を呈することから、医用画像の中でも検出難易度が高い。特に、病変様を呈する領域が正常組織内にも存在するため、誤検出が多い傾向にある。検査者の検診効率低下を防ぐため、ＣＡＤｅを乳房超音波画像へ適用する際には機械の誤検出を抑制することが重要である。

一般的な物体検出における誤検出抑制技術として、特許文献１では前景と背景の差分、検出矩形の縦横比の変動量を用いて誤検出を特定する手法が開示されている。また、乳房超音波画像における病変の誤検出を抑制する技術として、特許文献２では病変候補領域を検出するとともに乳房内の解剖学的構造を把握し、両者の関係性から検出結果を医学的に診断する価値があるかを判定する手法が開示されている。

特開２０１８－１９０１３２号公報特開２０１５－１５４９１８号公報

特許文献１に記載された背景差分による誤検出抑制手法は、背景領域として画像内の前景以外の領域を用いる。しかし、乳房超音波画像では乳腺は画像内の特定の領域にのみ存在しているため、検出された乳腺の病変とそれ以外の領域との差分から誤検出を判定することは困難であり、適切な誤検出の抑制を行うことは難しい。また、乳房超音波画像は複雑かつ不明瞭であり、特許文献２に開示されるような解剖学的構造の解析を行うには処理コストがかかると考えられるため、リアルタイムな検出支援が難しい。

本発明は、病変組織とその周辺の正常組織との構造的な特徴を考慮して、解析対象画像において、検出された病変候補領域に応じた正常組織領域を決定し、決定した正常組織領域の情報を用いて、病変候補領域の妥当性を評価する。

すなわち本発明の医用画像処理装置は、病変候補領域を検出する検出部と、検出された病変候補領域に応じた正常組織領域を用いて、病変候補領域の妥当性を評価する妥当性評価部と、を備える。

例えば、本発明の医用画像処理装置は、医用画像撮像装置が取得した医用画像を処理する画像処理部を備え、前記画像処理部は、前記医用画像から病変候補領域を検出する検出部と、前記検出部の検出結果の妥当性を評価する妥当性評価部と、を備え、前記妥当性評価部は、前記検出部が検出した病変候補領域の位置情報を用いて前記医用画像から正常組織領域を抽出する正常組織抽出部と、前記病変候補領域および前記正常組織領域の特徴の差を表す変動特徴量を算出する特徴抽出部と、を有し、前記特徴抽出部が算出した変動特徴量を用いて前記検出結果の妥当性の評価を行う。

また本発明の医用撮像装置は、医用画像を取得する撮像部と、撮像部が取得した医用画像の解析を行う画像処理部とを備え、前記画像処理部は、上述した医用画像処理装置の構成を備える。医用撮像装置は、例えば、超音波撮像装置である。

本発明によれば、医用画像における病変検出において誤検出が低減され、操作者の検診効率の向上が可能となる。

本発明の医用画像処理装置を含む医用撮像装置の全体構成を示す図である。撮像部が超音波撮像装置である場合の全体構成を示す図である。超音波撮像装置と画像処理装置とをネットワーク等を介して接続した構成例を示す図である。各実施形態に共通する画像処理装置の構成例を示す図である。医用画像処理装置の処理の概要を示す図である。実施形態１の妥当性評価部の構成例を示す図である。実施形態１の妥当性評価部の処理の流れを示す図である。実施形態１における病変候補領域及び正常組織領域の抽出処理、及び、領域毎の時系列的な差分処理を説明するための図である。実施形態１における病変-正常組織変動特徴量の算出処理を説明する図である。実施形態１における病変候補領域の妥当性の評価手法の一例を説明する図である。実施形態１における表示部の表示例を示す図である。実施形態１における表示画面の一例を示す図である。実施形態１の変形例を説明する図である。実施形態２の妥当性評価部の構成例を示す図である。実施形態２における正常組織領域の抽出とその修正処理を説明する図である。実施形態３の妥当性評価部の構成例を示す図である。実施形態３における下層部領域の変動特徴量の算出を説明する図である。実施形態４の妥当性評価部の構成例を示す図である。実施形態４の処理の流れを示す図である。図１９の処理に続く、実施形態４の処理の流れを示す図である。

以下、本発明の実施形態の医用画像処理装置を、図面を参照して説明する。本明細書で参照する全図において、同一の要素については同一の符号を付し、重複する説明を省略する。以下の実施形態では、医用画像が超音波画像である場合を例に説明するが、本発明の医用画像処理装置が対象とする医用画像は超音波画像に限定されることなく適用することが可能である。

最初に各実施形態に共通する医用撮像装置の実施形態を説明する。
本実施形態の医用撮像装置は、図1に示すように、大きく分けて、撮像部100とデータ処理部200から構成される。本実施形態において撮像部100は超音波を用いて被検体内部の構造を描出する撮像装置であり、図２に示すように、超音波探触子300が接続され、超音波探触子300を介して被検体30に超音波信号を送信する送信部110、超音波探触子300が受波した被検体30からの反射エコー信号を受信する受信部120、送信部110及び受信部120の動作を制御する超音波送受信制御部130、超音波信号の整相を行う整相加算部140、超音波画像生成部150等から構成される。データ処理部200は、画像処理部210、入力部220、出力部230、記憶装置240から構成される。

撮像部100は、例えば超音波送受信制御部130により制御される送信部110より超音波探触子300を介して被検体30に超音波を繰り返し送信し、被検体30から発生した時系列の反射エコー信号を受信部120にて受信する。反射エコー信号は整相加算部140により時系列のＲＦ信号フレームデータへ変換され、アナログデジタル（Ａ／Ｄ）変換器（不図示）を内蔵する超音波画像生成部150により超音波画像に変換され、データ処理部200の画像処理部210に送信される。

画像処理部210は送信された超音波画像を解析し、病変の検出、検出結果の妥当性判断等の処理を行う。入力部220はキーボード、マウス、タッチパネル、ボタン等の入力装置を含み、ユーザからの操作を受け付ける。出力部230はディスプレイ（表示部）やプリンタ、スピーカー等の出力装置から構成され、画像処理部210により生成された超音波画像および病変の検出結果を出力する。記憶装置240は磁気ディスク、光ディスク等を含み、データや所望のプログラムを記憶する。

データ処理部200内部の全構成要素または画像処理部210を含む一部構成要素は、ＣＰＵやＧＰＵ及びメモリを備えた計算機やワークステーション上に構築することができ、その機能は予めプログラムされたソフトウェアをＣＰＵあるいはＧＰＵが読み込むことで実現される。また画像処理部210の一部の機能は、ＡＳＩＣやＦＰＧＡ等のハードウェアで実現することも可能である。このようなデータ処理部200は、撮像部100と同一の超音波診断装置上に設けられてもよいし、撮像部100と接続された外部装置のほか、ネットワーク上のサーバ等の構成としてもよい。外部装置またはネットワーク上のサーバ等の構成とする場合、図３に示すように、撮像部100を含む超音波診断装置10が出力する超音波画像は有線または無線通信により画像処理装置21へ送信され、その結果が必要に応じて超音波診断装置10内部へ再度送信される。

画像処理部210（画像処理装置21）の構成例を図４に示す。図４に示すように、画像処理部210は撮像部100から得た超音波画像に対し病変候補領域を検出する検出部410と、検出部410が検出した病変候補領域の妥当性（検出結果の妥当性）を評価する妥当性評価部420と、妥当性評価部の評価結果を用いて病変候補領域の表示内容を生成し、出力部230のディスプレイに表示させる表示制御部430とを備えている。

本実施形態の画像処理部210による処理の概要を、図５のフローを参照して説明する。まず撮像部100から超音波画像を入力すると（S51）、検出部410が超音波画像から病変候補領域を検出する（S52）。検出する手法は、限定されないが、機械学習を用いた検出方法を採用する。機械学習手法には、例えばＣＮＮ（Convolutional Neural Network）、ＳＶＭ（Support Vector Machine)、Adaboost等の手法が知られており、これら既存の学習手法のうち1つもしくは複数を組み合わせて用いることができる。例えばＣＮＮの場合、検出部410は、入力された超音波画像に対して畳み込み処理とプーリング処理を繰り返すことで特徴の抽出を行い、出力値として病変候補領域の位置を算出する。またＣＮＮでは病変候補領域の確率スコアを確信度として出力することもできる。病変候補領域は、病変を囲う所定の形状の領域、例えば矩形領域として出力される。位置情報は、病変候補領域が特定できる情報であればよく、病変候補領域が矩形であれば、例えば各頂点の座標値や、領域の中心座標と幅および高さの組などとして取得される。

次いで妥当性評価部420は、検出部410が検出した病変候補領域の妥当性を評価する（S53）。そのため妥当性評価部420は、まず病変とそれが発生する組織の構造的な特徴に基づいて、医用画像における病変候補領域の周囲の組織を正常組織として抽出し、抽出した正常組織領域の画像の特徴と検出した病変候補領域の画像の特徴とを比較し、両者の差分から検出結果が妥当か否かを判断する。この差分は、正常組織から病変組織への特徴量の変化を示す指標であり、以下では病変―正常組織変動特徴量あるいは単に変動特徴量という。妥当性評価部420は、変動特徴量が大きい場合には、妥当性が高いものと判断し、変動特徴量が小さい場合には、妥当性が低いものと判断する。妥当性の評価は、「高い」、「低い」等の定性的な評価でもよいし、変動特徴量の数値を利用して定量的に評価してもよい。また、妥当性の判断において、検出部410から病変候補領域とともに確信度が出力される場合には、確信度も妥当性判断に用いてもよい。

表示制御部430は、妥当性評価部420の結果を受け取ると、ディスプレイに表示させる画像を生成する（S54）。また妥当性評価部420の結果は、必要に応じて、検出部410の出力である確信度の補正や更新に用いられる（S55）。

以上、画像処理部210による処理の概要を説明したが、以下、乳房超音波画像を対象とする妥当性評価部420による処理の具体的な実施形態を説明する。

＜実施形態１＞
本実施形態は、乳がんなど乳房の悪性疾患は多くの場合、層状の乳腺組織の内部に発生し、病変と正常組織は水平方向に隣接しているという構造的な特徴を利用して、病変候補領域に対し水平方向に位置する領域のみを正常組織領域として抽出し、検出された病変候補領域の妥当性を評価する。

図６は、本実施形態の妥当性評価部420の構成の一例を示す図である。図示するように、妥当性評価部420は、超音波画像から病変候補領域と比較するための正常組織領域を抽出する正常組織領域抽出部421と、病変候補領域と正常組織領域の画像特徴の差を表す変動特徴量を算出する特徴抽出部422と、算出された変動特徴量を用いて、病変候補領域が病変として妥当であるかを評価する評価部423から構成される。

本実施形態の妥当性評価部420は、図７に示すように、処理ステップS71にて、正常組織領域抽出部421が、検出部410が検出した病変候補領域に対し水平方向の両側にある領域を正常組織領域として抽出する。次に、特徴抽出部422が、処理ステップS72にて、病変候補領域及び正常組織領域の隣接フレーム間の差分を算出し、さらに、処理ステップS73にて、算出された病変候補領域と正常組織領域の差分から変動特徴量を抽出する。最後に、処理ステップS74にて、評価部423が、算出された変動特徴量から病変候補領域の妥当性を評価する。妥当性評価部420の結果は、表示制御部430に渡され、ディスプレイに表示する表示画像が生成される。以下、各処理の具体的な内容を、図８～図１０を参照して説明する。これら図面において同一の要素については同一の符号を付し、重複する説明を省略する。

[正常組織領域抽出： S71]
処理ステップS71において、乳房超音波画像700から病変候補領域710と正常組織領域720を抽出する処理の一例を図８（Ａ）に示す。図８（Ａ）に示すように、乳房超音波画像700は、例えば皮膚72、脂肪73、乳腺74、大胸筋75、病変71などから構成され、層状の構造を示している。病変71は典型的には乳腺74内に存在する。そこで、乳房超音波画像700に対して、検出部410が検出した病変候補領域710に対して水平方向に拡張した領域を正常組織領域720として抽出する。水平方向の幅は、画像の水平方向の全幅でもよいし、病変候補領域710の幅に対応した所定の幅としてもよい。

[特徴抽出： S72]
処理ステップS72は、病変組織と正常組織との、画像の特徴の差を強調するために特徴抽出部422が行う処理であり、図８（Ｂ）に示すように、病変候補領域710および正常組織領域720について、1フレーム前の超音波画像700Bにおける同一位置の領域との差分800を算出する。フレーム間の差分を取ると、概ね輝度値はゼロとなるが、乳腺組織のように水平方向に層状となった組織では、フレーム間の変化が水平方向に細長い画像となって現れる。一方、腫瘍のような病変組織では層状の特徴がなくなっているため、このような細長い画像は現れない。

［変動特徴量算出： S73］
この処理ステップS73では、差分画像を用いて病変－正常組織の変動特徴量を算出する。図９に処理の一例を示す。変動特徴量を算出するために用いる画像の特徴量としては、各領域の輝度分布、エッジ、テクスチャ特徴、周波数特徴等のうち１つもしくは複数を組み合わせて用いることができるが、ここでは、エッジと輝度を利用して変動特徴量を算出する。図８に示したように、差分800において、エッジは主に乳腺領域（正常組織領域）に細長い画像として現れる。このような乳腺の水平方向の輝度変動を強調するため、特徴抽出部422は、差分800に対して垂直方向にエッジを抽出する。エッジ抽出には、１次微分フィルタ、ブリューウィットフィルタ、ソーベルフィルタ、２次微分フィルタ、ラプラシアンフィルタのいずれか１つあるいは複数のフィルタを組み合わせて用いることができる。本実施形態では、ソーベルフィルタを用いる。

ついで特徴抽出部422は、エッジ抽出後の病変候補領域710について輝度の平均を算出し、病変特徴量910とする。輝度の平均を算出する際に、病変候補領域の全体の輝度を用いてもよいが、算出範囲を病変が存在する病変候補領域710の中心部に限定しても良い。これにより病変内部の特徴をより安定的に抽出することができる。次に、エッジ抽出後の正常組織領域720についても輝度の平均920を算出する。図示する例では、病変候補領域710の水平方向両側に正常組織領域があるので、左右ごとにそれぞれ左方正常組織特徴量920-L、右方正常組織特徴量920-Rを算出する。最後に、病変特徴量910と左方正常組織特徴量920-Lとの差分、病変特徴量910と右方正常組織特徴量920-Rとの差分をそれぞれ算出し、それらの絶対値を平均した値を病変-正常組織変動特徴量とする。

［妥当性評価： S74］
評価部423は、処理ステップS73で算出した変動特徴量を用いて、妥当性を評価する。評価の方法は、変動特徴量のみを用いて、変動特徴量が大きいほど妥当性が高い、変動特徴量が小さいほど妥当性が低い、と判断してもよいが、検出部410（例えばＣＮＮ）が病変候補領域とともに確信度を出力している場合には、変動特徴量とともに確信度を評価することもできる。

図１０は、一例として、変動特徴量と検出部410が出力した確信度を用いて、妥当性を評価する場合を示している。図１０に示すグラフの横軸は変動特徴量、縦軸は確信度で、それぞれ任意単位である。この例では、確信度について上限閾値1002と下限閾値1001を設定しておき、その下限から上限までの間で、確信度と変動特徴量が正比例する関係となる線分で領域を分け、確信度と変動特徴量が上側の領域1004に分布するときは妥当性が高いものと評価し、下側（グレーの領域）1003に分布するときは妥当性が低いものと評価する。一般に、変動特徴量が高く確信度が低い場合は、病変候補として検出された領域はシャドー等の非病変であり且つ左右と様相が異なる領域を誤検出（False Positive）している可能性が高い。この評価方法では、確信度方向の範囲に下限閾値1001を設けることで、このような可能性を排除する。上限閾値1002及び下限閾値1001は０以上１以下の値をとる。

この時、妥当性が低い（変動特徴量が小さい）と評価された際に、確信度の補正を行ってもよい（図５：S55）。例えば確信度が８０％である場合に、検出部410の検出結果として表示される確信度の値（８０％）に対し、変動特徴量に比例する係数ａをかけた値を確信度として表示してもよい。

最後に、評価結果と確信度を出力部230（ディスプレイ）へ出力しユーザに提示する（図５：S54）。ユーザへの提示の仕方は特に限定されないが、以下、表示の具体例を、図１１及び図１２に示す。

図１１は表示制御部430が生成する検出結果の表示内容の例を示す図である。表示制御部430は、評価部423の評価結果から、ユーザへの表示内容を決定する。評価結果が高い場合、病変候補領域の存在を示すマーカを提示し、低い場合には提示しない。マーカは病変71に重畳した形状あるいは輪郭形状1101、病変71を囲む矩形1102、円形または楕円形1103、病変を示す矢印1104などを使用してよい。また、確信度を文字列1105としてマーカの付近に表示してもよい。また、マーカの不透明度（％）を確信度のパーセンテージに置き換えたマーカ1106を表示してもよい。また、位置を示すマーカを表示する代わりに、この画像内から病変候補領域71が検出されたことを示す文字列1107などを表示してもよい。

図１２は、表示制御部430が生成する妥当性評価結果の表示画面の一例を示す図であり、この例では超音波画像700を表示する表示画面と並んで、妥当性評価に関する情報が表示されている。超音波画像700には、病変候補領域710の存在を示すマーカ1102あるいは文字列が表示される。妥当性の評価結果1201は「妥当性：高」などの定性的な表現で表示され、位置情報を取得した際には位置情報1202を表示する。図示する例では、位置情報1202は、乳房の形状を円形で示すとともに、左右いずれかを表す図形（三角形）を表示し、超音波画像700として映し出されている領域の位置（あるいは正常組織領域と病変領域の位置や、病変候補領域として検出された位置）を四角いブロックで示している。これにより左または右の乳房のどこに病変が検出されているのか、を確認することができる。なお、評価結果1201は定性的な表現のほか、図１０に示したように、変動特徴量と確信度とを組み合わせて妥当性を評価した場合には、これら数値を組み合わせた数値、例えば重み付け加算した数値で表してもよい。

また、妥当性の評価に用いた正常組織領域720の表示を実行する乳腺領域表示ボタン1203を表示してもよい。乳腺領域表示ボタン1203が押されると、正常組織領域720の存在を示すマーカ1204を表示する。正常組織領域720の存在を示すマーカ1204には、図１１に示したような、病変候補領域710の存在を示すマーカ1101～1106と同様のものが利用できる。このようなマーカを表示することで、ユーザは正常組織とみなした組織の妥当性、それに基づく妥当性評価結果の信頼性を確認することができる。

以上説明したように、本実施形態によれば、病変が存在すると検出された領域に対し、その水平方向の領域を抽出して正常組織領域とみなし、両者の特徴の差分から変動特徴量を算出することにより、層状組織からなる乳房における病変検出の妥当性を、解剖学的解析などの時間のかかる解析を行うことなく適正に判断することができる。これによりリアルタイムに誤検出を低減し、操作者の検診効率の向上を図ることができる。

＜実施形態１の変形例＞
実施形態１では、病変領域の水平方向の左右の領域を正常組織領域とし、その領域全体の輝度の平均値を算出したが、水平方向の輝度特徴を損なわないために、正常組織領域を垂直方向に分割し、分割した領域毎に輝度平均値を算出してもよい。

この場合にも、図９に示したように、フレーム間で病変候補領域710及び正常組織領域720毎に画像の差分を取った後、エッジ抽出することは実施形態１と同様であるが、図１３に示すように、病変候補領域710及び正常組織領域720を小領域730に分割し、小領域毎にエッジ抽出画像における輝度値の平均値を求める。各小領域で求めた平均値と病変候補領域の輝度値平均値との差分（絶対値）を算出し、各小領域の差分の絶対値の平均値から変動特徴量を算出する。或いは、正常組織領域720及び病変候補領域710のそれぞれの小領域の値（輝度平均値）の集合あるいはベクトルを求め、それらの領域間の類似度を算出し、これから変動特徴量を求めてもよい。この場合、類似度が高いほど変動特徴量は小さく、類似度が低いほど変動特徴量は大きい、という関係になる。なお、ベクトルから類似度を算出する際には、コサイン類似度、ピアソンの相関係数、スピアマンの順位相関係数等の利用が可能である。また集合から類似度を算出する際には、上記の類似度に加えてジャッカード係数、ダイス係数、シンプソン係数等の利用が可能である。

また実施形態１では、特徴量として、各領域のエッジを用いたが、特徴量としては、輝度分布、エッジ、テクスチャ特徴、周波数特徴等のうち１つもしくは複数を組み合わせて利用してよい。テクスチャ特徴とは画像のある領域の質感を表す特徴量を指し、統計ベースの手法により不均一性を表す統計量で表現される。

さらに本実施形態では、正常組織領域を抽出する際に考慮する構造的な特徴として、層状の乳腺組織のように、病変と正常組織は水平方向に隣接しているという特徴を利用したが、臓器内に発生する病変のように、正常組織が病変を取り囲む臓器組織などの場合には、例えば円形の病変候補領域を取り囲むようにドーナツ状の領域を抽出して正常組織領域とするなど、種々の変更が可能である。

＜実施形態２＞
本実施形態においても、基本的には組織の構造が層状であることを利用して正常組織を抽出するが、超音波画像の層構造の傾きを考慮することで正常組織領域をより正確に抽出し、高精度な誤検出抑制を可能にする。本実施形態においても装置の全体構成は、図１及び図４に示す構成と同様である。図１４に、本実施形態における妥当性評価部420の構成の一例を示す。図１４において図６と同一の要素については同一の符号を付し、説明を省略する。本実施形態の妥当性評価部420は、正常組織領域抽出部421の出力から、層構造を解析し、結果を正常組織領域抽出部421へ出力する層構造解析部424を備える構成とする。

妥当性評価部420による処理の流れは、図７に示す実施形態１の処理と概ね同様であるが、正常組織領域を抽出するステップS71において、層構造解析部424が、正常組織領域抽出部421が抽出した領域の解析を行い、正常組織領域を修正することが異なる。以下、層構造解析部424による処理について説明する。

層構造解析部424は、まず正常組織領域720に対してエッジ検出を行い、その後傾きの算出を行う。エッジ検出は、実施形態１において図９を参照して説明したように、フレーム間の差分に対し、ソーベルフィルタを用いてエッジを抽出する。次いで抽出したエッジの傾きを算出する。傾きの算出の手法は、限定されないが、一例として、２Ｄ－ＦＦＴ（２次元高速フーリエ変換）を用いる場合を説明する。

エッジに対し２Ｄ－ＦＦＴを施し、周波数領域のデータに変換する。エッジは、図１５に示すように、周波数領域の極座標（0≦θ≦π）1501において、角度方向の顕著な輝度変化として現れる。この輝度変化のピーク値となる角度に直交する角度がエッジの方向である。従って、ピーク値となる角度にπ/2を減算することで層構造の傾き1502を算出することができる。正常組織領域720が病変候補領域710の両側に存在する場合は、それぞれの領域において傾きを算出する。層構造解析部424は、この傾き1502の絶対値を予め設定した閾値と比較し、閾値以上であった場合に、正常組織領域720において層構造が傾いていると判定し、正常組織領域抽出部421に傾きを送信する。

正常組織領域抽出部421は、送信された傾きを用いて、正常組織領域720を、病変候補領域710の両端と連続するような平行四辺形に変形させ、新たな正常組織領域725とする。なお傾きの算出に際し、正常組織領域720を上下２等分して、それぞれについて同様に傾きを算出し、その傾きで正常組織領域720（長方形）の上下２辺の角度を更新した台形を新たな正常組織領域としてもよい。その後、新たな正常組織領域725と病変候補領域710との特徴量から変動特徴量を算出し妥当性を評価することは実施形態１と同様である。

本実施形態によれば正常組織領域を層構造の傾きに沿って抽出するので、より精度の良い誤検出抑制が可能である。

＜実施形態３＞
実施形態１及び２では、病変領域候補の水平方向につながる領域を正常組織領域として抽出したが、本実施形態は、病変候補領域の水平方向に隣接する領域だけでなく、下層の領域も抽出し、下層の領域の変動特徴量も利用する。これにより高精度な誤検出抑制を可能にする。本実施形態においても装置の全体構成は図１及び図４に示す構成と同様である。

図１６に、本実施形態における妥当性評価部420の構成の一例を示す。図１６において図４と同一の要素については同一の符号を付し、説明を省略する。本実施形態の妥当性評価部420は、正常組織領域抽出部421の出力から、病変候補領域の下方に隣接する層構造領域を抽出する下層部領域抽出部425と、下層部領域から下層部変動特徴量を算出する下層部領域特徴抽出部426を備える構成とする。

本実施形態の妥当性評価部420による処理は、図７に示す実施形態１の処理に加えて、正常組織領域の抽出後に、病変候補領域及び正常組織領域の下側についても、変動特徴量（下層部変動特徴量）を算出する処理を追加するステップと、評価部423は特徴抽出部422が算出した病変―正常組織変動特徴量に加えて、下層部変動特徴量を用いて、検出部410が検出した病変候補領域の妥当性を判断するステップとが含まれる。

一般に超音波画像において、病変の下側の領域ではエコーの減衰または後方散乱1601により、周辺の組織と比較して低輝度または高輝度となるなどの輝度変化が観測される。従って病変の下側と正常組織の下側との輝度分布を比較することにより、病変組織検出の妥当性を判断する情報を得ることができる。

具体的には、まず、下層部領域抽出部425が、図１７に示すように、病変候補領域710及び正常組織領域720、730の下方に、同じ幅でそれぞれの下方領域171、172、173を設定する。下方領域の高さ（深さ）範囲は、病変候補領域710及び正常組織領域720、730と同じでもよいし、予め設定した値でもよい。次いで、下層部領域特徴抽出部426が、下層部領域抽出部425が抽出した下方領域171、172、173について、輝度分布の類似度を算出する。

輝度分布の類似度を算出するため、まず、病変候補領域710の下側領域171及び正常組織領域720の下側領域172、173を、それぞれ、幅が例えば１ピクセル、高さが両領域の高さとなる小領域に分割し、各小領域内の輝度の平均値から輝度分布1721、1711、1731を求める。次に、輝度分布1721、1711、1731に対して平滑化および正規化処理を行う。平滑化には、例えば移動平均フィルタ、ガウシアンフィルタ、メディアンフィルタ等のうち1つまたは複数の組合せを利用してよい。正規化手法としては、例えばある位置の正規化された輝度平均値iは、元の輝度平均値i’、各領域の輝度の最大値i_M、最小値i_mを用いて次のように定義される。
i=(i’-i_m)/(i_M - i_m)

このように輝度分布を正規化したのち、領域間の類似度を算出する。類似度の算出は、例えば、正規化した輝度分布（ピクセル毎の輝度値）を集合あるいはベクトルに変換し、類似度を算出する。類似度の算出手法は、実施形態１の変形例で例示した手法、例えば、ベクトル間の類似度であれば、コサイン類似度、ピアソンの相関係数、スピアマンの順位相関係数等、集合の類似度であれば、上記の類似度に加えてジャッカード係数、ダイス係数、シンプソン係数等を用いることができる。

下層部領域特徴抽出部426はこの類似度を下層部変動特徴量に変換し、評価部423に出力する。この変換は、類似度が高いほど下層部変動特徴量は小さく、類似度が低いほど下層部変動特徴量は大きい値とする変換である。

評価部423は、特徴抽出部422から得た病変―正常組織変動特徴量及び下層部特徴抽出部426から得た下層部変動特徴量の両方あるいはいずれか一方を用いて、検出部410が出力した病変候補領域710の病変の尤度を算出し、妥当性を評価する。尤度の算出手法として、２つの特徴量の単純平均、または加重平均を定数倍する処理が挙げられる。加重平均の重み等の係数は固定値でもよいし、手動で調整可能にしてもよい。あるいは、評価部423にＣＮＮ等の機械学習を用いた小規模な変換器を導入し、各変動特徴量から尤度を直接算出してもよい。

以上のように、本実施形態によれば正常組織領域に加えて下方領域の特徴を妥当性評価に用いることができ、より高精度かつ安定した誤検出抑制が可能である。

なお本実施形態の妥当性評価部の処理のうち、実施形態１と同様の処理については、実施形態１で説明した処理の他にその変形例として説明した処理や実施形態２の手法を組み合わせることも可能である。

＜実施形態４＞
実施形態１～３では、妥当性評価部420は検出部410が検出した病変候補組織の妥当性（Ｐｏｓｉｔｉｖｅ－ｔｒｕｅ，Ｐｏｓｉｔｉｖｅ－ｆａｌｓｅ）を判断したが、本実施形態は検出漏れ（Ｎｅｇａｔｉｖｅ－ｆａｌｓｅ）を判断する機能を追加したことが特徴である。

本実施形態においても画像処理部の全体構成は図４に示す構成と同様である。図１８に、本実施形態の妥当性評価部420の構成の一例を示す。本実施形態では、正常組織領域抽出部421の前に、病変候補領域を抽出する病変候補領域抽出部427を備える構成とする。

本実施形態の妥当性評価部420の処理の流れを、図１９を参照して説明する。図１９において図５と同じ処理は同じ符号で示し、重複する説明を省略する。ここでは、前提として、検出部410はその内部で複数の検出結果、例えば、フレーム毎に検出したデータや直前に検出したデータなどを保持しているものとする。

まず、検出部410は、病変候補が検出されているかいないかに関わらず、複数の検出結果のうち確信度が最も高い病変候補領域の位置と確信度を病変候補領域抽出部427に出力する（S52）。病変候補領域抽出部427は、これを最有力位置情報及び最有力確信度として受け取り（S531）、最有力確信度が予め設定した閾値Ｔｈ以上であるか否かを判定し（S532）、閾値Ｔｈ以上であれば、最有力位置情報をそのまま病変候補領域として正常組織領域抽出部421へ出力する（S534へ進む）。最有力確信度が閾値以下の場合であって、検出部410が前のフレームまで一定数連続して病変候補領域の検出を行っていた場合あるいは直前の検出結果がある場合には、最有力確信度と、前のフレームに検出された病変候補の確信度あるいは直前に検出された病変候補の確信度とを比較する（S533）。ステップS533においてそれ以前に検出された病変候補の確信度との差分が一定範囲を超えると判断された場合には、ステップS534以下のステップをスキップし、次の超音波画像の取得に移行する（S51）。

一方、ステップS533において、差分が一定の範囲内である場合は、ステップS531で受け取った最有力位置情報を病変候補領域として正常組織領域抽出部421へ出力する。この時、最有力確信度も同時に出力する。正常組織領域抽出部421はこの最有力位置情報を用いて正常組織領域を抽出し、実施形態１と同様に、特徴量抽出部422による変動特徴量の算出と評価部423による妥当性判断を行う（S534～S536）。その後、評価結果に基づいて表示制御部430が、ユーザへの表示内容を決定する（S54）。このように確信度が低い場合にも直ちに処理をスキップすることなく、前回との差分を判定するステップを加えることで、検出漏れを防止する。

さらに、評価部423による判断の後、病変候補領域抽出部427は、評価部423の結果を受け取り、必要に応じて処理のスキップ（超音波画像の再取得）をした後に用いる確信度の閾値Ｔｈの更新を行う（S55）。更新処理（S55）の詳細を図２０に示す。すなわち、妥当性の評価結果を受け取り（S551）、妥当性が高いと評価された病変候補領域の確信度が所定の閾値以下だった場合（S552、S553）、病変候補領域抽出部427で処理のスキップの決定（S532）に用いる閾値Ｔｈを確信度と同一の値に更新する（S555）。これにより検出漏れを防止する。但し、閾値Ｔｈが低いための誤検出を減らすために、この更新は病変候補領域抽出部427においてスキップ処理が２回連続で行われた時点でリセットされ（S554）、閾値が初期値に戻る(S556)。なおステップS552、S533で、妥当性が高く且つ確信度が所定の閾値より大きい場合には、検査継続でなければ終了する（S556、S557）。

以上のように、本実施形態によれば検出漏れの抑制が可能であり、安定した検出支援が可能である。なお本実施形態においても、ステップS534～S536の妥当性評価処理は、実施形態１やその変形例或いは実施形態２の手法を適宜組み合わせて実施することができる。

以上、本発明の医用画像処理装置及び医用撮像装置の実施形態を、超音波乳房画像の処理を例に説明したが、本発明の医用画像処理装置及び医用撮像装置は、超音波画像を処理する装置のみならず、ＣＡＤｅを用いて病変検出を行う装置であれば、Ｘ線撮像装置やＣＴ装置等の医用画像処理装置あるいは医用撮像装置にも適用することができ、同様の効果を得ることができる。

100 撮像部
200 データ処理部
210 画像処理部
220 入力部
230 出力部
240 記憶装置
410 検出部
420 妥当性評価部
430 表示制御部
421 正常組織領域抽出部
422 特徴抽出部
423 評価部
424 層構造解析部
425 下層部領域抽出部
426 下層部領域特徴抽出部
427 病変候補領域抽出部
71 病変
710 病変候補領域
720 正常組織領域

Claims

医用画像撮像装置が取得した医用画像を処理する画像処理部を備えた医用画像処理装置であって、
前記画像処理部は、前記医用画像から病変候補領域を検出する検出部と、
前記検出部の検出結果の妥当性を評価する妥当性評価部と、を備え、
前記妥当性評価部は、前記検出部が検出した病変候補領域の位置情報を用いて、前記医用画像から、前記病変候補領域に隣接する領域を正常組織領域として抽出する正常組織抽出部と、前記病変候補領域および前記正常組織領域の特徴の差を表す変動特徴量を算出する特徴抽出部と、を有し、前記特徴抽出部が算出した変動特徴量を用いて前記検出結果の妥当性の評価を行うことを特徴とする医用画像処理装置。
請求項１に記載の医用画像処理装置であって、
前記正常組織抽出部は、前記病変候補領域に対し水平方向に隣接する領域を正常組織領域として抽出することを特徴とする医用画像処理装置。
請求項１に記載の医用画像処理装置であって、
前記妥当性評価部は、前記正常組織抽出部が抽出した正常組織領域の水平方向に対する傾きを解析する層構造解析部をさらに備え、
前記正常組織抽出部は、前記層構造解析部が取得した傾きを用いて正常組織領域を修正し、前記特徴抽出部に渡すことを特徴とする医用画像処理装置。
請求項１に記載の医用画像処理装置であって、
前記妥当性評価部は、前記検出部が検出した病変候補領域および前記正常組織抽出部が抽出した正常組織領域の下側の領域を抽出する下層部領域抽出部と、前記下層部領域抽出部が抽出した下層部領域について、病変候補領域下層及び正常組織領域下層の特徴の差を表す下層部変動特徴量を算出する下層部領域特徴抽出部とを備え、前記下層部変動特徴量を用いて前記検出結果の妥当性の評価を行うことを特徴とする医用画像処理装置。
請求項１に記載の医用画像処理装置であって、
前記特徴抽出部は、前記病変候補領域および前記正常組織領域をそれぞれ小領域に分割し、小領域毎の特徴を表す集合又はベクトルを算出し、前記病変候補領域について算出した集合又はベクトルと、前記正常組織領域について算出した集合又はベクトルとの類似度から前記変動特徴量を算出することを特徴とする医用画像処理装置。
請求項１に記載の医用画像処理装置であって、
前記医用画像は超音波撮像装置が取得した超音波画像であることを特徴とする医用画像処理装置。
請求項６に記載の医用画像処理装置であって、
前記特徴抽出部は、フレーム間の前記超音波画像の差分を用いて前記病変候補領域および前記正常組織領域の特徴を抽出することを特徴とする医用画像処理装置。
請求項１に記載の医用画像処理装置であって、
前記妥当性評価部は、前記検出部の検出結果をもとに、病変候補領域を抽出する病変候補領域抽出部をさらに備えることを特徴とする医用画像処理装置。
請求項８に記載の医用画像処理装置であって、
前記病変候補領域抽出部は、時間的に前後して取得した医用画像に対する検出結果を比較し、妥当性を評価する評価基準を変更することを特徴とする医用画像処理装置。
請求項１に記載の医用画像処理装置であって、
前記特徴抽出部は、前記医用画像の輝度、時系列画像間の差分、エッジ特徴、テクスチャ特徴、周波数特徴のうちいずれか1つまたは複数の組合せにより前記変動特徴量を算出することを特徴とする医用画像処理装置。
請求項１に記載の医用画像処理装置であって、
前記検出部は、多数の畳み込み処理から構成される畳み込みニューラルネットワークを含み、当該畳み込みニューラルネットワークは検出した病変候補領域の位置情報及び検出結果の確信度を出力することを特徴とする医用画像処理装置。
請求項１１に記載の医用画像処理装置であって、
前記妥当性評価部は、前記変動特徴量とともに前記検出部が出力した確信度を用いて、前記検出結果の妥当性を評価することを特徴とする医用画像処理装置。
請求項１に記載の医用画像処理装置であって、
前記妥当性評価部の評価結果を表示装置に表示させる表示制御部をさらに備え、前記表示制御部は、前記検出部による検出結果とともに前記妥当性評価部による評価結果を表示させることを特徴とする医用画像処理装置。
被検体の医用画像を取得する撮像部と、
前記撮像部が取得した医用画像を処理する画像処理部と、を備えた医用撮像装置であって、
前記画像処理部は、前記医用画像から病変候補領域を検出する検出部と、
前記検出部の検出結果の妥当性を評価する妥当性評価部と、を備え、
前記妥当性評価部は、前記検出部が検出した病変候補領域の位置情報を用いて、前記医用画像から、前記病変候補領域に隣接する領域を正常組織領域として抽出する正常組織抽出部と、前記病変候補領域および前記正常組織領域の特徴の差を表す変動特徴量を算出する特徴抽出部と、を有し、前記特徴抽出部が算出した変動特徴量を用いて前記検出結果の妥当性の評価を行うことを特徴とする医用撮像装置。