JP2018000339A - 超音波画像処理装置 - Google Patents
超音波画像処理装置 Download PDFInfo
- Publication number
- JP2018000339A JP2018000339A JP2016128314A JP2016128314A JP2018000339A JP 2018000339 A JP2018000339 A JP 2018000339A JP 2016128314 A JP2016128314 A JP 2016128314A JP 2016128314 A JP2016128314 A JP 2016128314A JP 2018000339 A JP2018000339 A JP 2018000339A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- ultrasonic
- frame
- ultrasonic image
- candidate image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims description 182
- 238000012545 processing Methods 0.000 claims description 90
- 239000000523 sample Substances 0.000 claims description 80
- 238000004364 calculation method Methods 0.000 claims description 44
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000007423 decrease Effects 0.000 claims description 2
- 238000012986 modification Methods 0.000 description 39
- 230000004048 modification Effects 0.000 description 39
- 238000002604 ultrasonography Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000002308 calcification Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002572 peristaltic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 206010039073 rheumatoid arthritis Diseases 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
【課題】簡便な方法により、検出対象構造物を精度よく検出することができる超音波画像処理装置を提供する。
【解決手段】複数フレームの超音波画像について、検出対象構造物を示す画像部分と推定される候補画像部分RCを検出する候補画像部分検出部109と、複数フレームのうちの1つを基準フレームとし、その超音波画像の断面位置を基準位置とすると、複数フレームそれぞれの断面位置の基準位置からの距離に関連する情報を取得する距離関連情報取得部112と、基準位置からの距離が検出対象距離内であるフレームそれぞれについて、候補画像部分を有するか否かを判定する候補画像部分判定部114と、基準位置からの距離に対する変数として表される重みスコアをフレームごとに算出する重みスコア算出部115と、算出された重みスコアが所定の条件を満たしている場合に、候補画像部分が検出対象構造物であると判定する構造物判定部116とを備える。
【選択図】図5
【解決手段】複数フレームの超音波画像について、検出対象構造物を示す画像部分と推定される候補画像部分RCを検出する候補画像部分検出部109と、複数フレームのうちの1つを基準フレームとし、その超音波画像の断面位置を基準位置とすると、複数フレームそれぞれの断面位置の基準位置からの距離に関連する情報を取得する距離関連情報取得部112と、基準位置からの距離が検出対象距離内であるフレームそれぞれについて、候補画像部分を有するか否かを判定する候補画像部分判定部114と、基準位置からの距離に対する変数として表される重みスコアをフレームごとに算出する重みスコア算出部115と、算出された重みスコアが所定の条件を満たしている場合に、候補画像部分が検出対象構造物であると判定する構造物判定部116とを備える。
【選択図】図5
Description
本開示は、超音波画像処理の技術分野に属し、特に被検体に超音波を送信して得られた反射超音波に基づき腫瘍検出の支援情報を提供する超音波画像処理装置に関する。
超音波画像処理装置は、被検体への侵襲が少なく、リアルタイムに体内組織の状態を断層画像などで観察できるため、関節リウマチや乳癌等の疾患の形態診断に広く用いられている。
乳癌腫瘍の診断においては、癌と疑われる腫瘍を探すスクリーニング検査において、乳管内の石灰化や、乳管拡張、嚢胞や腫瘤といった構造物の存在が大きな手掛かりとなる。中でも、石灰化は微小粒状の三次元構造を有し、超音波Bモード画像上では、微小輝点として描出される。そのため、1フレームの超音波Bモード画像では、乳腺や組織境界面といった筋状構造物の断面を示す輝点と区別することが困難である。
乳癌腫瘍の診断においては、癌と疑われる腫瘍を探すスクリーニング検査において、乳管内の石灰化や、乳管拡張、嚢胞や腫瘤といった構造物の存在が大きな手掛かりとなる。中でも、石灰化は微小粒状の三次元構造を有し、超音波Bモード画像上では、微小輝点として描出される。そのため、1フレームの超音波Bモード画像では、乳腺や組織境界面といった筋状構造物の断面を示す輝点と区別することが困難である。
このような他の構造物による輝点と区別する方法として、医師や検査技師等の検査者は、従来、超音波プローブを微小に動かしてみて、輝点が明滅するかどうかにより判断している。筋状構造物の場合は、超音波プローブを多少動かしても輝点が消滅することはないが、粒状構造物の場合は、超音波プローブを微小に動かすと撮像面から外れて輝点が減弱または消滅する。
また、Hessian行列を用いた計算により構造物の形状を検出する方法が、非特許文献1に開示されている。
"Multiscale vessel enhancement filtering". in Medical Image Computing and Computer−Assisted Intervention − MICCAI ’98, A. F. Frangi, W. J. Niessen, K. L. Vincken, M. A. Viergever (1998)
上記のように、超音波プローブを微小に動かすことによって微小粒状構造物を判別する方法では、検査者の手技の巧拙による部分が大きいという問題があり、また、作業効率が低下するという問題がある。
非特許文献1の方法では、Hessian行列を用いた複雑な計算を行う必要があるため、特にリアルタイムで粒状構造物を判別する場合には、非常に計算能力の高いCPUを搭載する必要があり、高コスト化の問題がある。さらには、非特許文献1の方法では、各フレームの検出位置が等間隔であることが前提となっているため、フレーム飛びがある場合には、対応が困難であるという問題がある。
非特許文献1の方法では、Hessian行列を用いた複雑な計算を行う必要があるため、特にリアルタイムで粒状構造物を判別する場合には、非常に計算能力の高いCPUを搭載する必要があり、高コスト化の問題がある。さらには、非特許文献1の方法では、各フレームの検出位置が等間隔であることが前提となっているため、フレーム飛びがある場合には、対応が困難であるという問題がある。
本発明は、上記課題に鑑みてなされたものであり、簡便な方法により、検出対象構造物を精度よく検出することができる超音波画像処理装置を提供することを目的とする。
本発明の一態様に係る、超音波画像処理装置は、超音波プローブを介して被検体から複数フレームの超音波画像信号を取得し、取得した前記超音波画像信号に基づき生成された超音波画像を表示部に表示させる超音波画像処理装置であって、複数フレームの前記超音波画像のそれぞれについて、検出対象構造物を示す画像部分であると推定される候補画像部分が存在する場合に、前記候補画像部分を検出する候補画像部分検出部と、前記複数フレームのうちの1つを基準フレームとし、その超音波画像の断面位置を基準位置とすると、前記複数フレームそれぞれの超音波画像の断面位置の前記基準位置からの距離に関連する距離関連情報を取得する距離関連情報取得部と、前記基準位置からの距離が、検出目標とする前記検出対象構造物の大きさに基づいて決定される所定の検出対象距離内のフレームを、重み付け対象に設定する重み付け対象設定部と、前記重み付け対象に設定された複数のフレームについて、前記候補画像部分が含まれているか否かを判定する候補画像部分判定部と、前記重み付け対象に設定された複数のフレームそれぞれについて、前記基準位置からの距離に対する変数として表される重みスコアを算出する重みスコア算出部と、前記重み付け対象に設定された複数のフレームの前記重みスコアが、所定の条件を満たしている場合に、前記候補画像部分が前記検出対象構造物であると判定する構造物判定部とを備えることを特徴とする。
本発明の一態様に係る超音波画像処理装置によれば、重み付け対象に設定された複数のフレームについて重み付けスコアを算出し、算出された複数の重みスコアが、所定の条件を満たしているかどうかを判定するという簡便な方法で、候補画像部分が実際に検出対象構造物を示すものであるか否かを判定して、検出対象構造物を検出することができる。
≪実施形態1≫
以下、実施形態1に係る超音波画像処理装置100を含む超音波診断システム1000について、図面を参照しながら説明する。
<超音波診断システム1000>
(全体構成)
図1は、実施形態1に係る超音波画像処理装置100を含む超音波診断システム1000の機能ブロック図である。図1に示すように、超音波診断システム1000は、超音波画像処理装置100と、超音波画像処理装置100に接続可能に構成された超音波プローブ101(以下、「プローブ101」と称する。)、カメラ102、操作入力部103、および表示部104を備える。図1は、超音波画像処理装置100に、プローブ101、カメラ102、操作入力部103、表示部104が接続された状態を示している。
以下、実施形態1に係る超音波画像処理装置100を含む超音波診断システム1000について、図面を参照しながら説明する。
<超音波診断システム1000>
(全体構成)
図1は、実施形態1に係る超音波画像処理装置100を含む超音波診断システム1000の機能ブロック図である。図1に示すように、超音波診断システム1000は、超音波画像処理装置100と、超音波画像処理装置100に接続可能に構成された超音波プローブ101(以下、「プローブ101」と称する。)、カメラ102、操作入力部103、および表示部104を備える。図1は、超音波画像処理装置100に、プローブ101、カメラ102、操作入力部103、表示部104が接続された状態を示している。
なお、プローブ101、操作入力部103、表示部104が、超音波画像処理装置100に含まれる態様であってもよい。さらには、これらに加えて、カメラ102が、超音波画像処理装置100に含まれる態様であってもよい。
(各部構成)
(プローブ101)
プローブ101は、例えば一次元方向(以下、「列方向」とする)に配列された複数の振動子101aを有する。プローブ101は、超音波画像処理装置100の送信部105(詳しくは、後述する。)から供給されたパルス状の電気信号(以下、「送信信号」と称する。)をパルス状の超音波に変換する。プローブ101は、プローブ101の振動子側外表面を被検体の皮膚表面に当接させた状態で、複数の振動子から発せられる複数の超音波からなる超音波ビームを測定対象に向けて送信する。そして、プローブ101は、被検体からの複数の超音波反射波(以下、「反射超音波」と称する。)を受信し、複数の振動子によりこれら反射超音波をそれぞれ電気信号(以下、「超音波画像信号」と称する。)に変換して超音波画像処理装置100の受信部106(詳しくは、後述する。)に供給する。
(各部構成)
(プローブ101)
プローブ101は、例えば一次元方向(以下、「列方向」とする)に配列された複数の振動子101aを有する。プローブ101は、超音波画像処理装置100の送信部105(詳しくは、後述する。)から供給されたパルス状の電気信号(以下、「送信信号」と称する。)をパルス状の超音波に変換する。プローブ101は、プローブ101の振動子側外表面を被検体の皮膚表面に当接させた状態で、複数の振動子から発せられる複数の超音波からなる超音波ビームを測定対象に向けて送信する。そして、プローブ101は、被検体からの複数の超音波反射波(以下、「反射超音波」と称する。)を受信し、複数の振動子によりこれら反射超音波をそれぞれ電気信号(以下、「超音波画像信号」と称する。)に変換して超音波画像処理装置100の受信部106(詳しくは、後述する。)に供給する。
(超音波画像処理装置100)
超音波画像処理装置100は、プローブ101に超音波の送受信を行わせ、プローブ101からの出力信号を受信して超音波画像を生成する。超音波画像処理装置100の内部構成を含むより詳細な説明については、後述する。
(カメラ102)
カメラ102は、CCD(Charge−Coupled Device)等の撮像素子を有し、プローブ101や被検体表面に付されたマーカ(図形)を撮像する。
超音波画像処理装置100は、プローブ101に超音波の送受信を行わせ、プローブ101からの出力信号を受信して超音波画像を生成する。超音波画像処理装置100の内部構成を含むより詳細な説明については、後述する。
(カメラ102)
カメラ102は、CCD(Charge−Coupled Device)等の撮像素子を有し、プローブ101や被検体表面に付されたマーカ(図形)を撮像する。
(操作入力部103)
操作入力部103は、検査者からの超音波画像処理装置100に対する各種設定・操作等の各種操作入力を受け付ける。
操作入力部103は、例えば、表示部104と一体に構成されたタッチパネルであってもよい。この場合、表示部104に表示された操作キーに対してタッチ操作やドラッグ操作を行うことで超音波画像処理装置100の各種設定・操作を行うことができ、超音波画像処理装置100がこのタッチパネルにより操作可能に構成される。また、操作入力部103は、例えば、各種操作用のキーを有するキーボードや、各種操作用のボタン、レバー等を有する操作パネルであってもよい。また、表示部104に表示されるカーソルを動かすためのトラックボール、マウスまたはフラットパッド等であってもよい。または、これらを複数用いてもよく、これらを複数組合せた構成のものであってもよい。
操作入力部103は、検査者からの超音波画像処理装置100に対する各種設定・操作等の各種操作入力を受け付ける。
操作入力部103は、例えば、表示部104と一体に構成されたタッチパネルであってもよい。この場合、表示部104に表示された操作キーに対してタッチ操作やドラッグ操作を行うことで超音波画像処理装置100の各種設定・操作を行うことができ、超音波画像処理装置100がこのタッチパネルにより操作可能に構成される。また、操作入力部103は、例えば、各種操作用のキーを有するキーボードや、各種操作用のボタン、レバー等を有する操作パネルであってもよい。また、表示部104に表示されるカーソルを動かすためのトラックボール、マウスまたはフラットパッド等であってもよい。または、これらを複数用いてもよく、これらを複数組合せた構成のものであってもよい。
(表示部104)
表示部104は、いわゆる画像表示用の表示装置であって、後述する表示制御部117からの画像出力を画面に表示する。表示部104には、液晶ディスプレイ、CRT、有機ELディスプレイ等を用いることができる。
<超音波画像処理装置100>
次に、実施形態1に係る超音波画像処理装置100について説明する。
表示部104は、いわゆる画像表示用の表示装置であって、後述する表示制御部117からの画像出力を画面に表示する。表示部104には、液晶ディスプレイ、CRT、有機ELディスプレイ等を用いることができる。
<超音波画像処理装置100>
次に、実施形態1に係る超音波画像処理装置100について説明する。
超音波画像処理装置100は、送信部105、受信部106、マルチプレクサ部107、Bモード画像生成部108、候補画像部分検出部109、位置関連情報検出部110、記憶部111、距離関連情報取得部112、重み付け対象設定部113、候補画像部分判定部114、重みスコア算出部115、構造物判定部116、表示制御部117を有する。
(送信部105)
送信部105は、超音波の送信を行うためにプローブ101の各振動子101aに対する高電圧印加のタイミングを制御する。
(受信部106)
受信部106は、プローブ101で受信した反射超音波に基づき、受信ビームフォーミングして音響線信号を生成する。
送信部105は、超音波の送信を行うためにプローブ101の各振動子101aに対する高電圧印加のタイミングを制御する。
(受信部106)
受信部106は、プローブ101で受信した反射超音波に基づき、受信ビームフォーミングして音響線信号を生成する。
(マルチプレクサ部107)
マルチプレクサ部107は、プローブ101の複数ある振動子101aのうち、送信又は受信の際に用いる振動子を各々に選択し、選択された振動子に対する入出力を確保する。
(Bモード画像生成部108)
Bモード画像生成部108は、受信部106からの出力信号である音響線信号のうち被検体の組織からの反射成分に基づき時系列に複数フレームのBモード画像を生成する。
マルチプレクサ部107は、プローブ101の複数ある振動子101aのうち、送信又は受信の際に用いる振動子を各々に選択し、選択された振動子に対する入出力を確保する。
(Bモード画像生成部108)
Bモード画像生成部108は、受信部106からの出力信号である音響線信号のうち被検体の組織からの反射成分に基づき時系列に複数フレームのBモード画像を生成する。
(候補画像部分検出部109)
候補画像部分検出部109は、生成されたBモード画像(超音波画像)内における検出対象構造物(本実施形態においては、粒状構造物)を示す可能性のある画像部分である候補画像部分を検出する。詳しくは、後述する。
(位置関連情報検出部110)
位置関連情報検出部110は、カメラ102から撮像データを取得し、取得した撮像データに基づいてプローブ101の位置情報(以下、「プローブ位置情報」と称する。)を検出する。具体的には、プローブ101表面に付されたマーカを固定カメラ102で撮像し、撮像画面中のマーカの位置を検出することにより、プローブ101の位置情報を検出する。なお、カメラ102は、固定されている場合に限定されない。例えば、被検体表面にスケールや等間隔に配置されたドット等の位置や長さを示す図形を付して、当該図形をプローブ101と共に撮影し、撮像画面において、プローブのマーカと上記図形との相対的な位置関係から、プローブ101の位置情報を検出する方法であれば、手持ちカメラやクレーン等に設置されたカメラにも適用することができる。
候補画像部分検出部109は、生成されたBモード画像(超音波画像)内における検出対象構造物(本実施形態においては、粒状構造物)を示す可能性のある画像部分である候補画像部分を検出する。詳しくは、後述する。
(位置関連情報検出部110)
位置関連情報検出部110は、カメラ102から撮像データを取得し、取得した撮像データに基づいてプローブ101の位置情報(以下、「プローブ位置情報」と称する。)を検出する。具体的には、プローブ101表面に付されたマーカを固定カメラ102で撮像し、撮像画面中のマーカの位置を検出することにより、プローブ101の位置情報を検出する。なお、カメラ102は、固定されている場合に限定されない。例えば、被検体表面にスケールや等間隔に配置されたドット等の位置や長さを示す図形を付して、当該図形をプローブ101と共に撮影し、撮像画面において、プローブのマーカと上記図形との相対的な位置関係から、プローブ101の位置情報を検出する方法であれば、手持ちカメラやクレーン等に設置されたカメラにも適用することができる。
(記憶部111)
記憶部111は、Bモード画像をBモード画像生成部108から取得し、当該Bモード画像に対応する超音波画像信号を受信部106が受信したときのプローブ位置情報を、位置関連情報検出部110から取得する。そして、取得したBモード画像とプローブ位置情報とを、フレームごとに対応付けて記憶する。
記憶部111は、Bモード画像をBモード画像生成部108から取得し、当該Bモード画像に対応する超音波画像信号を受信部106が受信したときのプローブ位置情報を、位置関連情報検出部110から取得する。そして、取得したBモード画像とプローブ位置情報とを、フレームごとに対応付けて記憶する。
また、操作入力部103を介して検査者から受け付けた、各種設定情報を記憶する。各種設定情報には、設定距離SD(図5参照)、フレームレート、超音波プローブの走査速度等の情報が含まれる。
(距離関連情報取得部112)
距離関連情報取得部112は、1フレームの超音波画像が示す被検体の断面位置を、当該フレームの超音波画像信号を取得したときのプローブ101の被検体に対する相対的な位置で代用し、所定の断面位置(基準位置)からの距離である基準位置からの距離を計算により取得する。基準位置や基準位置からの距離については、詳しくは後述する。
(距離関連情報取得部112)
距離関連情報取得部112は、1フレームの超音波画像が示す被検体の断面位置を、当該フレームの超音波画像信号を取得したときのプローブ101の被検体に対する相対的な位置で代用し、所定の断面位置(基準位置)からの距離である基準位置からの距離を計算により取得する。基準位置や基準位置からの距離については、詳しくは後述する。
(重み付け対象設定部113)
重み付け対象設定部113は、距離関連情報取得部により取得された距離の情報に基づき、基準位置からの距離が、所定の設定距離内であるフレームを特定して、特定された全てのフレームを重み付け対象に設定する。詳しくは、後述する。
(候補画像部分判定部114)
候補画像部分判定部114は、重み付け対象に設定された複数のフレームのそれぞれについて、候補画像部分が含まれているか否かを判定する。
重み付け対象設定部113は、距離関連情報取得部により取得された距離の情報に基づき、基準位置からの距離が、所定の設定距離内であるフレームを特定して、特定された全てのフレームを重み付け対象に設定する。詳しくは、後述する。
(候補画像部分判定部114)
候補画像部分判定部114は、重み付け対象に設定された複数のフレームのそれぞれについて、候補画像部分が含まれているか否かを判定する。
(重みスコア算出部115)
重みスコア算出部115は、候補画像部分検出部109により検出された候補画像部分が、検出対象構造物を示す画像部分であるかどうかを判定するための重みスコアを、フレームごとに算出する。詳しくは後述する。
(構造物判定部116)
構造物判定部116は、重みスコア算出部115により算出された重みスコアに基づいて、候補画像部分検出部109により検出された候補画像部分が、検出対象構造物(本実施形態では、粒状構造物)の断面を示す画像部分であるかどうかを判定する。詳しくは後述する。
重みスコア算出部115は、候補画像部分検出部109により検出された候補画像部分が、検出対象構造物を示す画像部分であるかどうかを判定するための重みスコアを、フレームごとに算出する。詳しくは後述する。
(構造物判定部116)
構造物判定部116は、重みスコア算出部115により算出された重みスコアに基づいて、候補画像部分検出部109により検出された候補画像部分が、検出対象構造物(本実施形態では、粒状構造物)の断面を示す画像部分であるかどうかを判定する。詳しくは後述する。
(表示制御部117)
表示制御部117は、表示画像を生成して表示部104に表示させる。
(制御部118)
制御部118は、各構成要素を制御する。
このうち、送信部105、受信部106、マルチプレクサ部107、Bモード画像生成部108、候補画像部分検出部109、位置関連情報検出部110、距離関連情報取得部112、重み付け対象設定部113、候補画像部分判定部114、重みスコア算出部115、および構造物判定部116は、超音波画像処理回路150を構成する。
表示制御部117は、表示画像を生成して表示部104に表示させる。
(制御部118)
制御部118は、各構成要素を制御する。
このうち、送信部105、受信部106、マルチプレクサ部107、Bモード画像生成部108、候補画像部分検出部109、位置関連情報検出部110、距離関連情報取得部112、重み付け対象設定部113、候補画像部分判定部114、重みスコア算出部115、および構造物判定部116は、超音波画像処理回路150を構成する。
超音波画像処理装置100を構成する各要素、例えば、送信部105、受信部106、マルチプレクサ部107、Bモード画像生成部108、候補画像部分検出部109、位置関連情報検出部110、重みスコア算出部115、および構造物判定部116、表示制御部117、制御部118は、それぞれ、例えば、FPGA(Field Programmable Gate Array)、ASIC(Aplication Specific Integrated Circuit)などのハードウェア回路により実現される。あるいは、上記構成要素は、それぞれ、CPU(Central Processing Unit)やGPGPU(General−Purpose computing on Graphics Processing Unit)やプロセッサなどのプログラマブルデバイスとソフトウェアにより実現される構成であってもよい。そして、これらの構成要素は一個の回路部品とすることができるし、複数の回路部品の集合体にすることもできる。また、複数の構成要素を組合せて一個の回路部品とすることができるし、複数の回路部品の集合体にすることもできる。
記憶部111は、コンピュータ読み取り可能な記録媒体であり、例えば、フレキシブルディスク、ハードディスク、MO、DVD、DVD−RAM、半導体メモリ等を用いることができる。また、本実施形態では、記憶部111は、超音波画像処理装置100に内蔵されているが、これに限られず、記憶部111が、超音波画像処理装置100に外部から接続された構成であってもよい。
なお、本実施形態に係る超音波画像処理装置100は、図1で示した構成の超音波画像処理装置に限定されない。例えば、マルチプレクサ部107が不要な構成もあるし、プローブ101に送信部105や受信部106、またその一部などが内蔵される構成であってもよい。
<粒状構造物検出処理>
続いて、粒状構造物検出処理に含まれる一連の処理について、以下に、より具体的に説明する。
<粒状構造物検出処理>
続いて、粒状構造物検出処理に含まれる一連の処理について、以下に、より具体的に説明する。
<候補画像部分検出処理>
候補画像部分検出部109は、生成されたBモード画像(超音波画像)内における検出対象構造物(本実施形態においては、粒状構造物)を示す可能性のある画像部分である候補画像部分を検出する。本実施形態では、検出対象構造物が粒状構造物であるので、超音波画像中の点状高輝度領域を検出する。
候補画像部分検出部109は、生成されたBモード画像(超音波画像)内における検出対象構造物(本実施形態においては、粒状構造物)を示す可能性のある画像部分である候補画像部分を検出する。本実施形態では、検出対象構造物が粒状構造物であるので、超音波画像中の点状高輝度領域を検出する。
図2(a)〜(c)は、候補画像部分検出部109における候補画像部分検出処理に用いる特徴量の一例を示す模式図である。検出手法としては例えば図2(c)に示すように、中心画素(1から9)の平均輝度が周辺領域(AからP)の平均輝度よりも高い領域を探し、中心部分と周辺領域の各点の大小を比較し、その結果中心部分の平均輝度のほうが一定閾値より大きい場合、点状高輝度領域と判定してもよい。
また、より高度な判定手段として機械学習法を用いる方法もある。機械学習法では、事前プロセスとして、識別したいカテゴリ毎の超音波画像サンプルを各々収集し、学習により識別器の構築を行う。本例では「点状高輝度領域(正例)」か「それ以外(負例)」かの2つのカテゴリに属する画像について特徴量を抽出し、これを用いて学習を行い、識別器を構築する。そして、検出プロセスでは、供試画像として超音波画像から点状高輝度領域に関する特徴量の検出を行い、事前に構築した学習データと比較することにより点状高輝度領域(正例)か否かの判別を行う。ここで、特徴量としては、濃淡パターンを表現する特徴量を用いることができ、例えばLocal Binary Pattern(LBP)と呼ばれる特徴量を用いる。具体的には、図2(a)の画像では、図2(b)に示すように、中央の着目画素に対して、左上から時計回りに周辺画素値との大小を比較し、周辺画素値が注目画素値以上であれば1、周辺画素値が注目画素値未満であれば0として結果をビット出力する。そして、出力した各ビットを並べた8ビットの情報を特徴量とする。また、特徴量としてはHaar−Like特徴量を用いてもよい。Haar−Like特徴量は、探索窓内の計算対象である矩形中の黒色領域の輝度値の和から白色領域の輝度値の和を引いた差である。
図3は、候補画像部分検出部109における候補画像部分検出処理に用いるHaar−Like特徴の一例を示す模式図である。候補画像部分検出部109による点状高輝度領域の検出には、図3に示すHaar−LikeフィルタHL1からHL34を用いることができる。各Haar−LikeフィルタHL1からHL34は、輝度変化を検出するフィルタである。
本例における、点状高輝度領域検出では、複数のHaar−LikeフィルタHL1からHL34を検出窓内の所定位置に配置した検出窓により、超音波画像を掃引する。検索窓内のHaar−Likeフィルタの範囲が、超音波画像に対してHaar−Like特徴量を計算する領域である。結果、検索窓内の各フィルタHL1からHL34を通した計算結果が特徴量として得られる。正例(点状高輝度領域)と負例(それ以外の領域)に対してHaar−Likeフィルタの特徴量をあらかじめ所定量(複数)収集し、これらを用いて機械学習の識別器を構築しておく。識別器は入力特徴量に対して、それが正例であるか否かの判別、もしくは正例である確率値(類似度)を出力する判別式である。識別器を用いて、未知の画像に対して類似度が所定の基準値よりも高い結果が得られた検索窓の位置を、超音波画像における点状高輝度領域として抽出することができる。
機械学習法のアルゴリズムとして、例えば、SupportVectorMachine、RandomForest等を用いて、点状高輝度領域特有の特徴量のパターンを学習し上記検出を行ってもよい。RandomForestは、ツリー構造のグラフを作成し予測/分類を行う決定木を用いた集団学習を行うモデル識別関数であり、弱学習器に分類される。
機械学習を本発明に用いることで、正例・負例の学習データからそれぞれに特徴的なパターンを効率よく抽出・判別する識別器を構成することで、未知の濃淡パターンに対しても精度よく判定を行うことができる。
なお、本実施形態における候補画像部分の検出では、特徴量および識別手法は上記の例に限定されるものでなく、他の方法を用いてもよい。
なお、本実施形態における候補画像部分の検出では、特徴量および識別手法は上記の例に限定されるものでなく、他の方法を用いてもよい。
候補画像部分検出部109は、超音波画像に含まれる輝点を候補画像部分rcとして検出する。候補画像部分rcは、被検体組織における微小な粒状構造物が示された超音波画像中の画像領域である。
図4(a)〜(e)は、候補画像部分検出部109における候補画像部分検出動作の説明図である。図4(a)に示すように、本検出動作では、超音波画像上に検出窓301を設定し、テンプレートTM1と検出窓301内の画像との類似度(誤差値、相関値等)を算出する。本実施形態では、テンプレートTM1には、矩形状の高輝度領域を矩形状の低輝度領域が囲繞している画像パターンを用いる。しかし、テンプレートTM1は、矩形状に限られず、円形状又は楕円形状、多角形、不整形状の高輝度領域を円環状、楕円環状、又は四角環状の低輝度領域が囲繞している画像パターンを用いてもよい。低輝度領域は高輝度領域の全周(360°)を連続して囲繞していなくてもよく、環状部分に所々途切れた箇所があってもよい。テンプレートTM1及び検出窓301の大きさは、高輝度領域に相当する部分の直径が、例えば0.1mmから0.5mmの範囲にすることが好ましいが、これに限られず、検出対象構造物のサイズに合わせて適宜変更してもよい。なお、本実施形態では、上記直径は、0.2mmである。
図4(a)〜(e)は、候補画像部分検出部109における候補画像部分検出動作の説明図である。図4(a)に示すように、本検出動作では、超音波画像上に検出窓301を設定し、テンプレートTM1と検出窓301内の画像との類似度(誤差値、相関値等)を算出する。本実施形態では、テンプレートTM1には、矩形状の高輝度領域を矩形状の低輝度領域が囲繞している画像パターンを用いる。しかし、テンプレートTM1は、矩形状に限られず、円形状又は楕円形状、多角形、不整形状の高輝度領域を円環状、楕円環状、又は四角環状の低輝度領域が囲繞している画像パターンを用いてもよい。低輝度領域は高輝度領域の全周(360°)を連続して囲繞していなくてもよく、環状部分に所々途切れた箇所があってもよい。テンプレートTM1及び検出窓301の大きさは、高輝度領域に相当する部分の直径が、例えば0.1mmから0.5mmの範囲にすることが好ましいが、これに限られず、検出対象構造物のサイズに合わせて適宜変更してもよい。なお、本実施形態では、上記直径は、0.2mmである。
図4(a)では、テンプレートTM1を下限値直径0.2mmとし、スキャンライン303の方向に検出窓301を移動させて、各位置における検出窓301内のBモード画像部分についてテンプレートTM1との類似度を算出する。検出窓301が超音波画像全体を掃引するよう検出窓301を移動させながらこの処理を繰り返し、類似度が基準値以上となる検出窓301の位置での検出窓301を、候補画像部分rcとする。候補画像部分rcは1回の超音波画像の掃引で複数検出されてもよい。図4(b)は、テンプレートTM1による探索から候補画像部分rcが検出された状態を示した模式図である。
<対象構造物判定動作>
(概要)
候補画像部分が連続して出現する超音波画像のフレーム数に相当する距離がわかれば、その候補画像部分が示す構造物の長さがわかる。上記の距離は、超音波画像が示す被検体断面の被検体内における位置により算出することができる。超音波画像が示す被検体断面の位置は、当該超音波画像の超音波画像信号が取得されたときの超音波プローブの被検体に対する相対的な位置と同視することができる。
(概要)
候補画像部分が連続して出現する超音波画像のフレーム数に相当する距離がわかれば、その候補画像部分が示す構造物の長さがわかる。上記の距離は、超音波画像が示す被検体断面の被検体内における位置により算出することができる。超音波画像が示す被検体断面の位置は、当該超音波画像の超音波画像信号が取得されたときの超音波プローブの被検体に対する相対的な位置と同視することができる。
そこで、超音波画像のシーケンスのうちの1つのフレームを基準フレームとし、基準フレームの断面位置(以下、「基準位置」と称する。)から所定距離範囲内にある断面に相当する超音波画像のフレームを、検出対象構造物があるか否かの判定の対象とする。ここで、当該判定を、検査しながらリアルタイムで行う場合には、基準フレームは、最も新しく取得された超音波画像のフレームである。また、判定の対象とするフレームを基準位置から所定距離範囲内にあるフレームとしたのは、微小な粒状構造物を検出するのに、基準位置から長距離範囲まで判定対象とする必要がなく、判定対象フレーム数が必要以上に多くなると、処理負荷も不必要に増大してしまうからである。
基準位置は、いわば、検出対象構造体がそこにあるかどうかを判定する判定対象位置であるので、基準位置に近い位置に存在する粒状構造物(検出対象構造物)は、重要度が高く、基準位置から遠いところに存在する粒状構造物は、重要度が低い。従って、候補画像部分が存在するフレームの断面位置が基準位置に近いほど、基準位置に粒状構造物が存在する可能性が高く、基準位置から遠いほど、基準位置に粒状構造物が存在する可能性が低いということができる。
また、長尺な構造物の場合は、基準位置から遠いフレームにまで連続して候補画像部分が表れる。従って、基準位置から所定距離以上離れたフレームに候補画像部分が存在する場合、当該候補画像部分は、粒状構造物の断面ではなく、別の長尺な構造物の断面を表している可能性が高い。
そこで、検出対象構造物である粒状構造物の可能性の高さを数値化して、検出対象構造物があるか否かの判定の対象とされた超音波画像の各フレームに対して、粒状構造物の可能性の高さに応じた重み付けを行い、各フレームの重み付けの値(重みスコア)を合計した値を、基準フレームの位置に粒状構造物が存在する可能性の高さを表す値として用いることができる。
そこで、検出対象構造物である粒状構造物の可能性の高さを数値化して、検出対象構造物があるか否かの判定の対象とされた超音波画像の各フレームに対して、粒状構造物の可能性の高さに応じた重み付けを行い、各フレームの重み付けの値(重みスコア)を合計した値を、基準フレームの位置に粒状構造物が存在する可能性の高さを表す値として用いることができる。
ここで、長尺な構造物が粒状構造物であると誤判定される可能性を積極的に排除するために、基準位置から所定距離以上離れたフレームに候補画像部分が存在する場合の重みスコアを負の値とする。上記所定距離としては、例えば、検出したい粒状構造物のサイズ(直径)とする。
このようにして、重みスコアの合計の値により、基準位置に存在する粒状構造部(である可能性が高い構造物)を特定することができる。
このようにして、重みスコアの合計の値により、基準位置に存在する粒状構造部(である可能性が高い構造物)を特定することができる。
続いて、本実施形態における対象構造物判定動作の具体的な処理内容について、以下に説明する。
(重み付け対象設定処理)
まず、基準位置から所定距離範囲内にある断面に相当する超音波画像のフレームを、検出対象構造物が存在するか否かの判定の対象として重み付け対象に設定する処理について説明する。
(重み付け対象設定処理)
まず、基準位置から所定距離範囲内にある断面に相当する超音波画像のフレームを、検出対象構造物が存在するか否かの判定の対象として重み付け対象に設定する処理について説明する。
図5(a)は、連続的に取得された複数フレームの超音波画像のシーケンスのうちのいくつかのフレームにおいて、検出対象構造物Sの断面を示す候補画像部分が検出されている状態を模式的に示す図である。図5(a)の上段に示す球は、粒状構造物である検出対象構造物Sを示し、連続する四角い平面のそれぞれは、連続する超音波画像の1フレームを示す。図5(a)の下段には、図5(a)上段の連続する超音波画像のフレームのうちの右から6フレームFA、FB、FC、FD、FE、FFを、順番に並べて示している。
なお、プローブ101は、図5(a)において左から右へと走査され、超音波画像は、取得された順に左から右に並んでいる。即ち、最も右のフレームが最も新しく取得された超音波画像のフレームであり、最も左が同図に示された中ではもっとも古く取得された超音波画像のフレームである。本実施形態では、検査しながらリアルタイムでモニターに表示された超音波画像を医師が見て診断を行う場合を想定しているので、最も右側のフレームfaが、最も新しく取得された超音波画像のフレームであり、検査中の現時点でのプローブ101の位置に対応する超音波画像である。本実施形態では、フレームFAを基準フレームとする。
図5(b)は、基準位置PAからの距離dと重みスコアWSとの関係を示すグラフである。図5(a)下段に示す6つのフレームFA、FB、FC、FD、FE、FFの超音波画像それぞれの断面位置PA、PB、PC、PD、PE、PFを示している。図5(b)に示すように、6つのフレームFA、FB、FC、FD、FE、FFは、基準位置フレームFAの断面位置である基準位置PAから検出対象距離TDの範囲内に存在している。即ち、6つのフレームFA、FB、FC、FD、FE、FFが、重み付け対象WTに設定され、重みスコア付与の対象とされている。上記重み付け対象WTの設定は、重み付け対象設定部113(図1参照)が行う。
(候補画像部分判定処理)
次に、候補画像部分判定部114が、重み付け対象WTに設定されたフレームFA、FB、FC、FD、FE、FFそれぞれについて、候補画像部分RCが含まれているか否かを判定する。ここでは、図5(a)下段に示すように、フレームFA、FB、FC、FDは、候補画像部分RCが含まれていると判定され、フレームFE、FFは、候補画像部分RCが含まれていないと判定される。
次に、候補画像部分判定部114が、重み付け対象WTに設定されたフレームFA、FB、FC、FD、FE、FFそれぞれについて、候補画像部分RCが含まれているか否かを判定する。ここでは、図5(a)下段に示すように、フレームFA、FB、FC、FDは、候補画像部分RCが含まれていると判定され、フレームFE、FFは、候補画像部分RCが含まれていないと判定される。
(重みスコア算出処理)
続いて、重みスコア算出部115(図1参照)が、重み付け対象WTに設定されたフレームFA、FB、FC、FD、FE、FFそれぞれについて、重みスコアを算出する。
図6は、実施形態1における重みスコア算出処理の内容を示すフローチャートである。
まず、基準位置PAを距離関連情報取得部112(図1参照)から取得し、操作入力部103を介して検査者から受け付けた検出対象構造物サイズを、記憶部111(図1参照)から取得する(ステップS1)。
続いて、重みスコア算出部115(図1参照)が、重み付け対象WTに設定されたフレームFA、FB、FC、FD、FE、FFそれぞれについて、重みスコアを算出する。
図6は、実施形態1における重みスコア算出処理の内容を示すフローチャートである。
まず、基準位置PAを距離関連情報取得部112(図1参照)から取得し、操作入力部103を介して検査者から受け付けた検出対象構造物サイズを、記憶部111(図1参照)から取得する(ステップS1)。
次に、取得した検出対象構造物サイズを、設定距離SDに設定する(ステップS2)。
続いて、基準位置PAから設定距離離れた位置を算出する(ステップS3)
次に、ステップS2で算出された位置と基準位置PAとの間に位置する断面の超音波画像のフレームを重み付け対象WTに設定する(ステップS4)。
重み付け対象WTに設定された各フレームの基準位置からの距離を記憶部111(図1参照)から取得する(ステップS5)。
続いて、基準位置PAから設定距離離れた位置を算出する(ステップS3)
次に、ステップS2で算出された位置と基準位置PAとの間に位置する断面の超音波画像のフレームを重み付け対象WTに設定する(ステップS4)。
重み付け対象WTに設定された各フレームの基準位置からの距離を記憶部111(図1参照)から取得する(ステップS5)。
続いて、重み付け対象WTに設定された各フレームが候補画像部分を含むか否かの情報を候補画像部分判定部114から取得する(ステップS6)。
次に、フレームごとに重みスコアを算出する(ステップSS7)
ここで、重みスコアの具体的な算出方法について、図5(b)を参照しつつ説明する。図5(b)上段は、基準位置PAからの距離をX軸とし、重みスコアをY軸としたときの、重みスコアの値を示す曲線である重み付け曲線WCを示すグラフである。重み付け曲線WCは、三次曲線であり、基準位置PAからの距離が設定距離SDでX軸と交差しており、重みスコアWSが0となっている。そして、設置位置SDよりも基準位置PAに近い側では、重みスコアWSは正の値を示し、設置位置SDよりも基準位置PAから遠い側では、重みスコアWSは負の値を示す。
次に、フレームごとに重みスコアを算出する(ステップSS7)
ここで、重みスコアの具体的な算出方法について、図5(b)を参照しつつ説明する。図5(b)上段は、基準位置PAからの距離をX軸とし、重みスコアをY軸としたときの、重みスコアの値を示す曲線である重み付け曲線WCを示すグラフである。重み付け曲線WCは、三次曲線であり、基準位置PAからの距離が設定距離SDでX軸と交差しており、重みスコアWSが0となっている。そして、設置位置SDよりも基準位置PAに近い側では、重みスコアWSは正の値を示し、設置位置SDよりも基準位置PAから遠い側では、重みスコアWSは負の値を示す。
フレームFBの断面位置PBの基準位置PAからの距離はDBであり、距離DBに対する重みスコアWSは、0.9である。なお、図5(a)において、各フレームの重み付けスコアの値は、四角の枠内に表示している。
フレームFCの断面位置PCの基準位置PAからの距離はDCであり、距離DCに対する重みスコアWSは、0.8である。フレームFDの断面位置PDの基準位置PAからの距離はDDであり、距離DDに対する重みスコアWSは、−0.2である。
フレームFCの断面位置PCの基準位置PAからの距離はDCであり、距離DCに対する重みスコアWSは、0.8である。フレームFDの断面位置PDの基準位置PAからの距離はDDであり、距離DDに対する重みスコアWSは、−0.2である。
フレームFEの断面位置PEの基準位置PAからの距離はDEであり、距離DEに対する重みスコアWSは、−0.8であるが、フレームFEは候補画像部分RCを含まないので、重みスコアを0(ゼロ)とする。フレームFFの断面位置PFの基準位置PAからの距離はDFであり、距離DFに対する重みスコアWSは、−0.9であるが、フレームFFは候補画像部分RCを含まないので、重みスコアを0とする。このように、候補画像部分RCを含むフレームについては、該当する重みスコアをそのまま適用し、候補画像部分RCを含まないフレームについては、一律に重みスコアWCとして0とする。以上説明した方法により、重み付け対象WTに設定された各フレームについて重みスコアを算出する。
(図6のステップS7)。
(図6のステップS7)。
図6のフローチャートに戻って、続いて、重み付け対象WTに設定された全フレームの重みスコアの総和を算出し(ステップS8)、重みスコア算出処理のフローを終了する。
なお、図6のフローにおけるステップS6で、候補画像部分RCを含むと判定されたフレームには係数1を付与し、含まないと判定されたフレームには係数0を付与し、ステップS7で、候補画像部分を含むか否かにかかわらず、各フレームの基準位置PAからの距離に対応する重み曲線WCが示す値を重みスコアとして算出し、ステップS8において、各フレームの重みスコアに、付与された係数を乗じた値の総和を算出してもよい。
なお、図6のフローにおけるステップS6で、候補画像部分RCを含むと判定されたフレームには係数1を付与し、含まないと判定されたフレームには係数0を付与し、ステップS7で、候補画像部分を含むか否かにかかわらず、各フレームの基準位置PAからの距離に対応する重み曲線WCが示す値を重みスコアとして算出し、ステップS8において、各フレームの重みスコアに、付与された係数を乗じた値の総和を算出してもよい。
(粒状構造物判定処理)
続いて、構造物判定部116が、重み付け対象WTに設定されたフレームの超音波画像に含まれる候補画像部分RCが、粒状構造物を示すものであるか否かを判定する。図7は、構造物判定部116による粒状構造物判定処理の内容を示すフローチャートである。
先ず、重みスコアの総和を重みスコア算出部115から取得する(ステップS11).
次に、重みスコアの総和が所定の閾値以上であるかどうかを判定する。本実施形態においては、閾値は、1.5である。重みスコアの総和が閾値以上である場合は、粒状構造物であると判定し(ステップS12:YES、ステップS13)、粒状構造物判定処理のフローを終了する。重みスコアの総和が閾値以上でない場合、即ち、閾値未満である場合は、粒状構造物であると判定し(ステップS12:NO、ステップS14)、粒状構造物判定処理のフローを終了する。
続いて、構造物判定部116が、重み付け対象WTに設定されたフレームの超音波画像に含まれる候補画像部分RCが、粒状構造物を示すものであるか否かを判定する。図7は、構造物判定部116による粒状構造物判定処理の内容を示すフローチャートである。
先ず、重みスコアの総和を重みスコア算出部115から取得する(ステップS11).
次に、重みスコアの総和が所定の閾値以上であるかどうかを判定する。本実施形態においては、閾値は、1.5である。重みスコアの総和が閾値以上である場合は、粒状構造物であると判定し(ステップS12:YES、ステップS13)、粒状構造物判定処理のフローを終了する。重みスコアの総和が閾値以上でない場合、即ち、閾値未満である場合は、粒状構造物であると判定し(ステップS12:NO、ステップS14)、粒状構造物判定処理のフローを終了する。
図5に示す場合においては、重み付け対象WTに設定されたフレームFA、FB、FC、FD、FE、FFの重みスコアは、それぞれ、1、0.9、0.8、−0.2、0、0である。従って、重みスコアの総和は2.5であり、閾値1.5以上であるので、検出対象構造物Sは、粒状構造物であると判定される。
ここで、検出対象構造物が長尺な構造物である場合を図8に示す。検出対象構造物Sは、長尺な構造物であるので、重み付け対象WTに設定されたフレームFA、FB、FC、FD、FE、FF全てに、候補画像部分RCが含まれている。そして、フレームFA、FB、FC、FD、FE、FFの重みスコアは、それぞれ、1、0.9、0.8、−0.2、−0.8、−0.9である。従って、重みスコアの総和は、0.8であり、閾値1.5未満であるので、検出対象構造物Sは、粒状構造物ではないと判定される。
ここで、検出対象構造物が長尺な構造物である場合を図8に示す。検出対象構造物Sは、長尺な構造物であるので、重み付け対象WTに設定されたフレームFA、FB、FC、FD、FE、FF全てに、候補画像部分RCが含まれている。そして、フレームFA、FB、FC、FD、FE、FFの重みスコアは、それぞれ、1、0.9、0.8、−0.2、−0.8、−0.9である。従って、重みスコアの総和は、0.8であり、閾値1.5未満であるので、検出対象構造物Sは、粒状構造物ではないと判定される。
また、候補画像部分RCがスペックルノイズによるものである場合、重み付け対象に設定されたフレームのうち、スペックルノイズが表れるのは通常は1フレームのみである。従って、スペックルノイズが表れたフレームの重みスコアは1であるが、その他のフレームの重みスコアは0であるので、重みスコアの総和は1となり、閾値1.5以下であるので、粒状構造物ではないと判定される。
なお、本実施形態においては、設定距離SDには、検出したい構造物のサイズを設定する。例えば、直径0.2mmの粒状構造物を検出する場合には、設定距離SDを0.2に設定する。そして、検出対象距離TDは、設定距離SDの2倍の値に決定される。
なお、設定距離SDは、0.2mmに限定されるものではなく、検出対象構造物のサイズに応じて適宜設定可能である。また、設定距離SDは、検出対象構造物のサイズの値に限定されるものではない。例えば、検出したい構造物のサイズが0.2mmであって、それよりも多少サイズの大きな構造物も許容されるのであれば、その許容の幅に応じて、設定距離SDを0.2よりも大きな値としてもよい。
なお、設定距離SDは、0.2mmに限定されるものではなく、検出対象構造物のサイズに応じて適宜設定可能である。また、設定距離SDは、検出対象構造物のサイズの値に限定されるものではない。例えば、検出したい構造物のサイズが0.2mmであって、それよりも多少サイズの大きな構造物も許容されるのであれば、その許容の幅に応じて、設定距離SDを0.2よりも大きな値としてもよい。
また、検出対象距離TDは、設定距離SDの2倍の値に限定されるものではなく、設定距離SDよりも大きい値であれば、2倍よりも大きくてもよいし、小さくてもよい。ただし、2倍以上とする場合であっても、あまり大きすぎるのは好ましくない。それは次のような理由からである。複数の粒状構造物が互いに隣接して存在している場合に、基準位置に存在する粒状構造物に隣接する別の粒状構造物が、検出対象距離TD内に存在する場合には、当該隣接する粒状構造物に起因する候補画像部分が、基準フレームから遠いフレームに含まれることになる。そしてその結果、重み付けスコアの総和が閾値を下回り、基準位置に存在する粒状構造物が、粒状構造物ではないと誤判定されることになる。従って、検出対象距離TDが、設定距離SDの2倍程度であれば、隣接する複数の粒状構造物が検出対象距離TD内に存在する可能性を十分低くして、粒状構造物の検出確率を十分高くすることができると考えられる。
さらには、閾値も1.5に限定されるものではない。設定距離SDに対する検出対象距離TDの比率に応じて、適切な閾値を採用してもよい。
さらには、重み付け曲線の正負が、図5に示す重み付け曲線WCと逆であってもよい。即ち、設定距離SDよりも基準位置PAからの距離が小さい側が負で、大きい側が正であってもよい。当該場合は、閾値が負の値となり、当該閾値以下の場合に、粒状構造物であると判定され、閾値よりも大きい場合に、粒状構造物ではないと判定される。
さらには、重み付け曲線の正負が、図5に示す重み付け曲線WCと逆であってもよい。即ち、設定距離SDよりも基準位置PAからの距離が小さい側が負で、大きい側が正であってもよい。当該場合は、閾値が負の値となり、当該閾値以下の場合に、粒状構造物であると判定され、閾値よりも大きい場合に、粒状構造物ではないと判定される。
<診断画像生成表示処理>
次に、構造物判定部116により粒状構造物であると判定されると、表示制御部117(図1参照)は、当該判定された候補画像部分をわかりやすくハイライト処理を施して表示した診断画像を生成して、表示部104(図1参照)に表示させる。
図9に、診断画像の一例を示す。図9は、構造物判定部116により粒状構造物であると判定された候補画像部分RC1およびRC2を含むフレームの超音波画像を示す。そして、候補画像部分RC1、RC2それぞれについて、周囲を囲む矩形状の枠が重畳表示されている。本実施形態においては、表示制御部117は、ハイライト処理として、候補画像部分の周囲を囲む枠線を重畳表示する。本実施形態においては、枠線は何れも同じ太さの線であるが、重みスコアの値に応じて、枠線の太さを変えたり、色を変えたりしてもよい。
次に、構造物判定部116により粒状構造物であると判定されると、表示制御部117(図1参照)は、当該判定された候補画像部分をわかりやすくハイライト処理を施して表示した診断画像を生成して、表示部104(図1参照)に表示させる。
図9に、診断画像の一例を示す。図9は、構造物判定部116により粒状構造物であると判定された候補画像部分RC1およびRC2を含むフレームの超音波画像を示す。そして、候補画像部分RC1、RC2それぞれについて、周囲を囲む矩形状の枠が重畳表示されている。本実施形態においては、表示制御部117は、ハイライト処理として、候補画像部分の周囲を囲む枠線を重畳表示する。本実施形態においては、枠線は何れも同じ太さの線であるが、重みスコアの値に応じて、枠線の太さを変えたり、色を変えたりしてもよい。
なお、診断画像として表示する超音波画像は、重み付け対象WTに設定されたフレームのうち、候補画像部分RCを含むものであれば、何れの超音波画像を用いてもよい。本実施形態では、例えば、基準フレームFAの超音波画像を用いるが、重み付け対象WTに設定されたフレームのうち、候補画像部分RCの面積が最大のものを用いてもよい。
図10は、表示制御部117(図1参照)による診断画像生成表示処理の処理内容を示すフローチャートである。
図10は、表示制御部117(図1参照)による診断画像生成表示処理の処理内容を示すフローチャートである。
まず、構造物判定部116により粒状構造物であると判定されたか否かを判定し、粒状構造物であると判定されている場合(ステップS21:YES)、粒状構造物であると判定された候補画像部分RCを含むフレームの超音波画像を記憶部111(図1参照)から取得する(ステップS22)
次に、取得した超音波画像の候補画像部分RCにハイライト処理を行う(ステップS23)。本実施形態においては、候補画像部分RCを囲む矩形状の枠線を生成する。
次に、取得した超音波画像の候補画像部分RCにハイライト処理を行う(ステップS23)。本実施形態においては、候補画像部分RCを囲む矩形状の枠線を生成する。
そして、超音波画像に候補画像部分RCを囲む枠線を重畳表示させた診断画像を生成して表示部104に表示させ(ステップS24)、診断画像生成表示処理のフローを終了する。
ステップS21で粒状構造物であると判定されていない場合には、そのまま超音波画像を表示して(ステップS21:NO、ステップS25)、診断画像生成表示処理のフローを終了する。
ステップS21で粒状構造物であると判定されていない場合には、そのまま超音波画像を表示して(ステップS21:NO、ステップS25)、診断画像生成表示処理のフローを終了する。
以上説明したように、本実施形態に係る超音波画像処理装置を用いると、基準位置に粒状構造物が存在する場合に、超音波画像の粒状構造物の断面を示す部分である候補画像部分の周りを囲む枠線が超音波画像に重畳表示されるので、検査者は、超音波診断の際に、リアルタイムで粒状構造物を容易に検出することができる。
≪実施形態2≫
実施形態1では、カメラにより超音波プローブを撮影して超音波プローブの位置情報を直接取得していた。しかし、これに限られず、カメラを備えない構成としてもよい。
≪実施形態2≫
実施形態1では、カメラにより超音波プローブを撮影して超音波プローブの位置情報を直接取得していた。しかし、これに限られず、カメラを備えない構成としてもよい。
実施形態2では、操作入力部103(図1参照)を介して検査者から入力されたフレームレートとプローブ101の走査速度(スキャン速度)の情報を取得して、隣り合うフレーム同士の間隔(時間)に相当するプローブ101の移動距離を算出し、距離を時間の長さで代用する。そして、基準フレームの超音波画像信号が取得された時刻である基準時刻からの、重み付け対象WTに設定された各フレームの超音波画像信号が取得された時刻の遡り時間の長さ(即ち、各フレームの超音波画像信号が取得された時刻から基準時刻までの経過時間)に基づいて、重みスコアを算出する。
図11は、実施形態2に係る超音波画像処理装置200を含む超音波診断システム2000の機能ブロック図である。このうち、送信部105、受信部106、マルチプレクサ部107、Bモード画像生成部108、候補画像部分検出部109、位置関連情報検出部210、距離関連情報取得部212、重み付け対象設定部113、候補画像部分判定部114、重みスコア算出部115、および構造物判定部116は、超音波画像処理回路250を構成する。
図12(a)は、実施形態2に係る超音波画像処理装置を用いて連続的に取得された複数フレームの超音波画像のシーケンスのうちのいくつかのフレームにおいて、検出対象構造物Sの断面を示す候補画像部分が検出されている状態を模式的に示す図である。図5(a)に示す実施形態1の場合と同様に、図12(a)上段の連続する超音波画像のフレームのうちの右から6フレームFA、FB、FC、FD、FE、FFが重み付け対象WTに設定されたフレームであり、最も右のフレームFAが最も新しく取得された超音波画像のフレームであり、最も左が同図に示された中ではもっとも古く取得された超音波画像のフレームである。本実施形態においても、フレームFAが基準フレームである。
図12(b)に示すように、実施形態2では、重みスコアWSは、基準時刻をゼロとした過去に遡った時間(−t)の関数として表される。即ち、基準時刻から過去にさかのぼった時間を、実施形態1における基準位置からの距離に代用している。
図12(b)に示すように、フレームFA、FB、FC、FD、FE、FFの超音波画像信号取得時刻は、それぞれ、TA、TB、TC、TD、TE、TFである。基準時刻TAをゼロとしたときの、TB、TC、TD、TE、TFの基準時刻TAからの遡り時間の長さは、それぞれ、tb、tc、td、te、tfである。
図12(b)に示すように、フレームFA、FB、FC、FD、FE、FFの超音波画像信号取得時刻は、それぞれ、TA、TB、TC、TD、TE、TFである。基準時刻TAをゼロとしたときの、TB、TC、TD、TE、TFの基準時刻TAからの遡り時間の長さは、それぞれ、tb、tc、td、te、tfである。
ここで、本実施形態では、プローブ101の走査速度は一定であることを前提としている。従って、tb、tc、td、te、tfは、何れもその時間の長さは等しい。
また、設定時間STは、実施形態1における設定距離SDに相当するものであり、検出対象構造物のサイズ、フレームレート、及びプローブ101の走査速度に基づいて決定される。本実施例においては、例えば、フレームレートが20fps、プローブ101の走査速度が2cm/secであって、検出対象構造物のサイズが0.2mmであるので、設定時間STは、0.2秒である。また、検出対象時間TTは、実施形態1の検出対象距離TDに相当し、実施形態1と同様に、設定時間STの2倍程度とするのが好ましい。
また、設定時間STは、実施形態1における設定距離SDに相当するものであり、検出対象構造物のサイズ、フレームレート、及びプローブ101の走査速度に基づいて決定される。本実施例においては、例えば、フレームレートが20fps、プローブ101の走査速度が2cm/secであって、検出対象構造物のサイズが0.2mmであるので、設定時間STは、0.2秒である。また、検出対象時間TTは、実施形態1の検出対象距離TDに相当し、実施形態1と同様に、設定時間STの2倍程度とするのが好ましい。
図12(a)、(b)に示すように、本実施形態においても、フレームFB、FC、FD、FE、FFの重みスコアWSは、それぞれ、1、0.9、0.8、−0.2、0、0である。従って、重みスコアの総和は2.5となり、閾値1.5以上であるので、粒状構造物であると判定される。
図13は、実施形態2における重みスコア算出処理の内容を示すフローチャートである。
図13は、実施形態2における重みスコア算出処理の内容を示すフローチャートである。
まず、操作入力部103(図1参照)を介して検査者から設定入力され、記憶部111に記憶されている超音波プローブ101の設定走査速度、フレームレート、検出対象構造物サイズの情報を、記憶部111から取得する(ステップS31)。
次に、超音波プローブ101の設定走査速度、フレームレート、検出対象構造物サイズに基づいて、設定時間STおよび検出対象時間TTを算出する(ステップS32)。
次に、超音波プローブ101の設定走査速度、フレームレート、検出対象構造物サイズに基づいて、設定時間STおよび検出対象時間TTを算出する(ステップS32)。
続いて、基準時刻TAから検出対象時間TT遡った時刻を算出する(ステップS33)。
そして、ステップs33で算出された時刻と基準時刻TAとの間に取得された超音波画像信号のフレームを重み付け対象WTに設定する(ステップS34)。
次に、重み付け対象WTに設定された各フレームの基準時刻TAからの遡り時間を算出する(ステップS35)。
そして、ステップs33で算出された時刻と基準時刻TAとの間に取得された超音波画像信号のフレームを重み付け対象WTに設定する(ステップS34)。
次に、重み付け対象WTに設定された各フレームの基準時刻TAからの遡り時間を算出する(ステップS35)。
続いて、重み付け対象WTに設定された各フレームの超音波画像が、候補画像部分RCを含むか否かの情報を、候補画像部分判定部114(図1参照)から取得する(ステップS36)。
そして、重み付け対象WTに設定されたフレームごとに重み付スコアを算出する(ステップS37)。
そして、重み付け対象WTに設定されたフレームごとに重み付スコアを算出する(ステップS37)。
そして、重みスコアの総和を算出して(ステップS38)、重みスコア算出処理のフローを終了する。
以上説明したように、実施形態2に係る超音波画像処理装置によっても、フレームレートおよびプローブ101の走査速度に基づいて、粒状構造物であるか否かの判定を行うことができる。
以上説明したように、実施形態2に係る超音波画像処理装置によっても、フレームレートおよびプローブ101の走査速度に基づいて、粒状構造物であるか否かの判定を行うことができる。
<変形例>
以上、本発明を実施形態1および2に係る超音波画像処理装置に基づいて説明した。しかし、本発明は、上記実施形態に限定されるものではなく、以下のような変形例を実施することができる。
なお、説明の重複を避けるため、実施形態1および2と同じ構成要素については、同符号を付して、その説明を省略する。
以上、本発明を実施形態1および2に係る超音波画像処理装置に基づいて説明した。しかし、本発明は、上記実施形態に限定されるものではなく、以下のような変形例を実施することができる。
なお、説明の重複を避けるため、実施形態1および2と同じ構成要素については、同符号を付して、その説明を省略する。
(変形例1)
図14(a)は、変形例1に係る超音波画像処理装置において連続的に取得された複数フレームの超音波画像のシーケンスのうちのいくつかのフレームにおいて、検出対象構造物Sの断面を示す候補画像部分が検出されている状態を模式的に示す図である。
図14(b)は、図14(a)下段に示す6つのフレームFA、FB、FC、FD、FE、FFの超音波画像それぞれの断面位置PA、PB、PC、PD、PE、PFを示している。図14(b)上段は、基準位置PAからの距離をX軸とし、重みスコアをY軸としたときの、重みスコアの値を示す曲線である重み付け曲線WCを示すグラフである。本変形例においては、重み付け曲線WCは、ステップ状の折れ線曲線である。
図14(a)は、変形例1に係る超音波画像処理装置において連続的に取得された複数フレームの超音波画像のシーケンスのうちのいくつかのフレームにおいて、検出対象構造物Sの断面を示す候補画像部分が検出されている状態を模式的に示す図である。
図14(b)は、図14(a)下段に示す6つのフレームFA、FB、FC、FD、FE、FFの超音波画像それぞれの断面位置PA、PB、PC、PD、PE、PFを示している。図14(b)上段は、基準位置PAからの距離をX軸とし、重みスコアをY軸としたときの、重みスコアの値を示す曲線である重み付け曲線WCを示すグラフである。本変形例においては、重み付け曲線WCは、ステップ状の折れ線曲線である。
図14に示す例においては、フレームFA、FB、FC、FD、FE、FFの重みスコアは、それぞれ、1、1、1、−1、0、0である。従って、重みスコアの総和は2であり、閾値1.5以上であるので、粒状構造物であると判定される。
以上説明したように、変形例1の重み付け曲線WCを用いても、粒状構造物であるか否かの判定を行うことができる。
以上説明したように、変形例1の重み付け曲線WCを用いても、粒状構造物であるか否かの判定を行うことができる。
本変形例においても、重み付け曲線の正負が、図14に示す重み付け曲線WCと逆であってもよい。即ち、設定距離SDよりも基準位置PAからの距離が小さい側が負で、大きい側が正であってもよい。当該場合は、閾値が負の値となり、当該閾値以下の場合に、粒状構造物であると判定され、閾値よりも大きい場合に、粒状構造物ではないと判定されてもよい。
(変形例2)
実施形態1および2においては、検査の際に、プローブ101は被検体表面を直線的に動かされる場合を想定していた。しかし、これに限られず、プローブ101が被検体表面において回転運動(搖動を含む)される場合に適用してもよい。
図15は、プローブ101が被検体表面SFで回転運動しながらスキャンが行われている様子を模式的に示す図である。図16は、変形例2に係る超音波画像処理装置300を含む超音波診断システム3000の機能ブロック図である。このうち、送信部105、受信部106、マルチプレクサ部107、Bモード画像生成部108、候補画像部分検出部109、位置関連情報検出部310、距離関連情報取得部312、重み付け対象設定部113、候補画像部分判定部114、重みスコア算出部115、および構造物判定部116は、超音波画像処理回路350を構成する。
実施形態1および2においては、検査の際に、プローブ101は被検体表面を直線的に動かされる場合を想定していた。しかし、これに限られず、プローブ101が被検体表面において回転運動(搖動を含む)される場合に適用してもよい。
図15は、プローブ101が被検体表面SFで回転運動しながらスキャンが行われている様子を模式的に示す図である。図16は、変形例2に係る超音波画像処理装置300を含む超音波診断システム3000の機能ブロック図である。このうち、送信部105、受信部106、マルチプレクサ部107、Bモード画像生成部108、候補画像部分検出部109、位置関連情報検出部310、距離関連情報取得部312、重み付け対象設定部113、候補画像部分判定部114、重みスコア算出部115、および構造物判定部116は、超音波画像処理回路350を構成する。
本変形例に係るプローブ101には、角速度センサ302が一体に備えられており、位置関連情報検出部210は、角速度センサ302からプローブ101の角度情報を取得する。
本変形例に係る距離関連情報取得部212は、位置関連情報検出部210からプローブ101の角度情報を取得し、プローブ101の回転運動の中心からの検出対象構造物Sの距離(深さ)DPを半径としたときのプローブ101の角度範囲AAに対応する弧の長さASを算出し、算出された弧の長さASを距離情報として、重み付け対象設定部113および重みスコア算出部115に出力する。即ち、本変形例においては、距離関連情報取得部212が算出した弧の長さASを、実施形態1における距離に代用することにより、重みスコアを算出し、粒状構造物であるか否かの判定を行うことができる。
本変形例に係る距離関連情報取得部212は、位置関連情報検出部210からプローブ101の角度情報を取得し、プローブ101の回転運動の中心からの検出対象構造物Sの距離(深さ)DPを半径としたときのプローブ101の角度範囲AAに対応する弧の長さASを算出し、算出された弧の長さASを距離情報として、重み付け対象設定部113および重みスコア算出部115に出力する。即ち、本変形例においては、距離関連情報取得部212が算出した弧の長さASを、実施形態1における距離に代用することにより、重みスコアを算出し、粒状構造物であるか否かの判定を行うことができる。
なお、位置関連情報検出部210が角速度センサ302から取得するのは、プローブ101の角度情報であるが、角度情報に基づいて位置情報が得られることから、角度情報も位置情報に含まれるものとする。
(変形例3)
超音波画像において、候補画像部分RCの位置がフレームごとに若干ずれる場合がある。ここで、そのずれが大きい場合には、候補画像部分RCが粒状構造物の断面を示すものではなく、別の構造物の断面に存在する輝点やスペックルノイズが、偶然近い位置に連続して検出されたものである可能性が考えられる。そのような輝点の連続を、粒状構造物であるとの誤判定の可能性を低下させるために、以下のような変形例を実施することが可能である。
(変形例3)
超音波画像において、候補画像部分RCの位置がフレームごとに若干ずれる場合がある。ここで、そのずれが大きい場合には、候補画像部分RCが粒状構造物の断面を示すものではなく、別の構造物の断面に存在する輝点やスペックルノイズが、偶然近い位置に連続して検出されたものである可能性が考えられる。そのような輝点の連続を、粒状構造物であるとの誤判定の可能性を低下させるために、以下のような変形例を実施することが可能である。
図17(a)は、変形例3における重み付け対象に設定されたフレームFA、FB、FC、FD、FE、FFの超音波画像のうち、フレームFA、FB、FC、FDに、候補画像部分RCが検出された状態を模式的に示す図である。本変形例においては、図17(b)に示すように、候補画像部分RCが検出されたフレームFA、FB、FC、FDについて、それぞれの検出窓301に、それぞれの重みスコアの値を割り当てる。図17(b)においては、割り当てられた重みスコアの値によって検出窓のハッチングを変えて示している。フレームFAの検出窓301aには重みスコア1が割り当てられている。フレームFBの検出窓301bには重みスコア0.9が割り当てられている。フレームFCの検出窓301cには重みスコア0.8が割り当てられている。フレームFDの検出窓301dには重みスコア−0.2が割り当てられている。フレームFEおよびFFは、候補画像部分RCが検出されていないので、重みスコアを割り当てる検出窓が存在しない。
図17(c)は、図17(b)に示すフレームFA、FB、FC、FD、FE、FFを重ね合わせたものを示している。重ねあわされた検出窓301a〜301dを円で囲んで示しており、右側に拡大して示している。右側の拡大図に示すように、重ね合された検出窓301a〜301dは、部分によって重なっている検出窓が異なる。そして、本変形例においては、それぞれの部分について重なっている検出窓に割り当てられた重みスコアを合計し、合計された重みスコアの値が閾値以上である部分の面積が一定以上である場合に、粒状構造物であると判定する。
図17(c)の右側の拡大図に示すように、重ね合わせ部分401は、検出窓301aのみの部分であるので、重みスコアは1である。なお、各重ね合わせ部分の合計重みスコアを四角の枠内に示している。重ね合わせ部分402は、検出窓301aと301cとが重ね合された部分であるので、合計重みスコアは、1.8である。重ね合わせ部分403は、検出窓301cのみであるので、合計重みスコアは0.8である。重ね合わせ部分404は、検出窓301a、301b、301c、301dが重ね合された部分であるので、合計重みスコアは、2.5である。重ね合わせ部分405は、検出窓301a、301b、301cが重ね合された部分であるので、合計重みスコアは、2.7である。重ね合わせ部分406は、検出窓301bと301cとが重ね合された部分であるので、合計重みスコアは、1.7である。重ね合わせ部分407は、検出窓301bのみの部分であるので、重みスコアは0.9である。重ね合わせ部分408は、検出窓301aと301bとが重ね合された部分であるので、合計重みスコアは、1.9である。重ね合わせ部分409は、検出窓301bと301dとが重ね合された部分であるので、合計重みスコアは、0.7である。重ね合わせ部分410は、検出窓301a、301b、301dが重ね合された部分であるので、合計重みスコアは、1.7である。重ね合わせ部分411は、検出窓301a、301c、301dが重ね合された部分であるので、合計重みスコアは、1.6である。重ね合わせ部分412は、検出窓301aと301dとが重ね合された部分であるので、合計重みスコアは、0.8である。重ね合わせ部分413は、検出窓301dのみの部分であるので、重みスコアは−0.2である。
図17(c)に示す例では、合計重みスコアが1.5以上であるのは、重ね合わせ部分402、404、405、406、408、410、411であるので、これらの部分の面積の合計が所定面積以上ある場合に、粒状構造物であると判定する。なお、所定面積の値については、検出対象構造物のサイズや、それに応じて決定される検出窓の大きさによって適宜決定すればよい。
また、合計重みスコアが閾値以上である部分の面積の大きさによって、ハイライト処理の方法を変えてもよい。例えば、合計重みスコアが閾値以上である面積が大きいほど、枠線の太さを太くしてもよいし、色を濃くしてもよいし、異なる色にしてもよい。
(変形例4)
実施形態1および2では、基準フレームを、最も新しく超音波画像信号が取得されたフレームとし、基準フレームよりも過去側のフレームを重み付け対象に設定する場合について説明したが、これに限られない。変形例4では、超音波画像に候補画像部分RCが検出されたときに当該フレームを基準フレームとし、プローブ101の走査につれて、基準フレーム以降に超音波画像信号が取得されたフレームを対象に、重み付けを行う。
(変形例4)
実施形態1および2では、基準フレームを、最も新しく超音波画像信号が取得されたフレームとし、基準フレームよりも過去側のフレームを重み付け対象に設定する場合について説明したが、これに限られない。変形例4では、超音波画像に候補画像部分RCが検出されたときに当該フレームを基準フレームとし、プローブ101の走査につれて、基準フレーム以降に超音波画像信号が取得されたフレームを対象に、重み付けを行う。
図18(a)は、変形例4に係る超音波画像処理装置において連続的に取得された複数フレームの超音波画像のシーケンスのうちのいくつかのフレームにおいて、検出対象構造物Sの断面を示す候補画像部分が検出されている状態を模式的に示す図である。
図18(b)は、図18(a)下段に示す6つのフレームFA、FB、FC、FD、FE、FFの超音波画像それぞれの断面位置PA、PB、PC、PD、PE、PFを示している。図18(b)上段は、基準位置PAからの距離をX軸とし、重みスコアをY軸としたときの、重みスコアの値を示す曲線である重み付け曲線WCを示すグラフである。本変形例の重み付け曲線WCは、三次曲線であり、基準位置PAからの距離が設定距離SDでX軸と交差しており、重みスコアWSが0となっている。そして、設置位置SDよりも基準位置PAに近い側では、重みスコアWSは正の値を示し、設置位置SDよりも基準位置PAから遠い側では、重みスコアWSは負の値を示す。
図18(b)は、図18(a)下段に示す6つのフレームFA、FB、FC、FD、FE、FFの超音波画像それぞれの断面位置PA、PB、PC、PD、PE、PFを示している。図18(b)上段は、基準位置PAからの距離をX軸とし、重みスコアをY軸としたときの、重みスコアの値を示す曲線である重み付け曲線WCを示すグラフである。本変形例の重み付け曲線WCは、三次曲線であり、基準位置PAからの距離が設定距離SDでX軸と交差しており、重みスコアWSが0となっている。そして、設置位置SDよりも基準位置PAに近い側では、重みスコアWSは正の値を示し、設置位置SDよりも基準位置PAから遠い側では、重みスコアWSは負の値を示す。
図18(a)、(b)は、基本的に、図5(a)、(b)の左右を逆転させた図にそれぞれ相当する。本変形例では、6つのフレームFA、FB、FC、FD、FE、FFのうち、基準フレームFAが最も古く超音波画像信号が取得されたフレームである。本変形例においても、実施形態1と同様に、重み付け対象WTに設定された各フレームについて、基準位置からの距離を算出し、それぞれの距離に対応する重みスコアを重み曲線RCにより算出する。そして、重みスコアの総和と閾値とを比較し、総和が閾値以上である場合には、粒状構造物であると判定する。
図18(a)、(b)に示す例では、プローブ101がフレームFFの位置にきたときに、基準位置FAに粒状構造物Sが存在すると判定されることになる。しかし、粒状構造物は、直径が0.2mm程度の微小な構造物であるため、フレームFFの位置と実際の粒状構造物Sの位置との誤差は、無視できるほどの微小なものであると考えられる。また、粒状構造物Sであると判定された時点のプローブ101の位置に対応するフレームFFには、候補画像部分が含まれていない。従って、本変形例においては、表示制御部117(図1参照)が表示部104(図1参照)に表示させる診断画像に、候補画像部RCが含まれているフレームFA、FB、FC、FDの何れかの超音波画像を用いる。
(変形例4)
上記各実施形態および各変形例においては、構造物判定部で行われる粒状構造物判定処理において、重みスコアの総和と閾値とを比較する場合について説明した。しかし、これに限られず、重みスコアの平均値を閾値と比較してもよい。また、重み付け対象WTに設定された各フレームの重みスコアのうち、重みスコアが正の値であるものの平均値と閾値とを比較してもよいし、負の値であるものの平均値と閾値とを比較してもよい。
上記各実施形態および各変形例においては、構造物判定部で行われる粒状構造物判定処理において、重みスコアの総和と閾値とを比較する場合について説明した。しかし、これに限られず、重みスコアの平均値を閾値と比較してもよい。また、重み付け対象WTに設定された各フレームの重みスコアのうち、重みスコアが正の値であるものの平均値と閾値とを比較してもよいし、負の値であるものの平均値と閾値とを比較してもよい。
(変形例5)
さらには、粒状構造物判定処理において、フレーム順に並べた重みスコアの数列のパターンから識別器により粒状構造物であるか否かの判定を行ってもよい。例えば、図14(a)、(b)に示す変形例1の場合、フレームFA〜FFの重みスコアを順に並べた数列は、1、1、1、−1、0、0となる。識別器は、重みスコアの数列が、当該パターンと一致する場合に、粒状構造物であると判定することができる。
さらには、粒状構造物判定処理において、フレーム順に並べた重みスコアの数列のパターンから識別器により粒状構造物であるか否かの判定を行ってもよい。例えば、図14(a)、(b)に示す変形例1の場合、フレームFA〜FFの重みスコアを順に並べた数列は、1、1、1、−1、0、0となる。識別器は、重みスコアの数列が、当該パターンと一致する場合に、粒状構造物であると判定することができる。
(変形例6)
実施形態1、2及び変形例1〜3においては、基準フレームFAは、リアルタイムで最も新しく取得された超音波画像のフレームであるので、新しく超音波画像のフレームが取得されるごとに、一連の粒状構造物検出処理が実行される。このとき、候補画像部分が検出されたフレームとフレームの間に、何らかの要因で候補画像部分が検出されなかったフレームが存在する場合や、プローブ101(図1参照)の走査速度が速く、重み付け対象に設定されるフレーム数が少ない場合など、ハイライト処理の枠線が明滅して見づらくなることが考えられる。変形例6に係る超音波画像処理装置では、リアルタイムで表示されている現フレームのハイライト処理に加え、所定数の過去フレームのハイライト処理も重畳表示する。これにより、過去フレームのハイライト処理が残像のように重畳表示されるので、枠線の明滅を防ぐことができる。
実施形態1、2及び変形例1〜3においては、基準フレームFAは、リアルタイムで最も新しく取得された超音波画像のフレームであるので、新しく超音波画像のフレームが取得されるごとに、一連の粒状構造物検出処理が実行される。このとき、候補画像部分が検出されたフレームとフレームの間に、何らかの要因で候補画像部分が検出されなかったフレームが存在する場合や、プローブ101(図1参照)の走査速度が速く、重み付け対象に設定されるフレーム数が少ない場合など、ハイライト処理の枠線が明滅して見づらくなることが考えられる。変形例6に係る超音波画像処理装置では、リアルタイムで表示されている現フレームのハイライト処理に加え、所定数の過去フレームのハイライト処理も重畳表示する。これにより、過去フレームのハイライト処理が残像のように重畳表示されるので、枠線の明滅を防ぐことができる。
(変形例7)
上記各実施形態および各変形例においては、超音波診断を行いながらリアルタイムで粒状構造物を検出する場合について説明したが、これに限られない。過去の検査において取得した超音波診断画像を記憶部111(図1参照)から読み出し、粒状構造物検出対象のフレームとしてもよい。この場合、例えば、表示部104(図1参照)に表示されたスライダ等を操作して、表示させたいフレームを選択するようにしてもよい。そして、選択されたフレームを、基準フレームとすればよい。
上記各実施形態および各変形例においては、超音波診断を行いながらリアルタイムで粒状構造物を検出する場合について説明したが、これに限られない。過去の検査において取得した超音波診断画像を記憶部111(図1参照)から読み出し、粒状構造物検出対象のフレームとしてもよい。この場合、例えば、表示部104(図1参照)に表示されたスライダ等を操作して、表示させたいフレームを選択するようにしてもよい。そして、選択されたフレームを、基準フレームとすればよい。
また、各実施形態に係る超音波画像処理装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。更に上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
さらに、本実施形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
≪まとめ≫
以上、説明したとおり、本発明の一態様に係る超音波診断装置は、超音波プローブを介して被検体から複数フレームの超音波画像信号を取得し、取得した前記超音波画像信号に基づき生成された超音波画像を表示部に表示させる超音波画像処理装置であって、複数フレームの前記超音波画像のそれぞれについて、検出対象構造物を示す画像部分であると推定される候補画像部分が存在する場合に、前記候補画像部分を検出する候補画像部分検出部と、前記複数フレームのうちの1つを基準フレームとし、その超音波画像の断面位置を基準位置とすると、前記複数フレームそれぞれの超音波画像の断面位置の前記基準位置からの距離に関連する距離関連情報を取得する距離関連情報取得部と、前記基準位置からの距離が、検出目標とする前記検出対象構造物の大きさに基づいて決定される所定の検出対象距離内のフレームを、重み付け対象に設定する重み付け対象設定部と、前記重み付け対象に設定された複数のフレームについて、前記候補画像部分が含まれているか否かを判定する候補画像部分判定部と、前記重み付け対象に設定された複数のフレームそれぞれについて、前記基準位置からの距離に対する変数として表される重みスコアを算出する重みスコア算出部と、前記重み付け対象に設定された複数のフレームの前記重みスコアが、所定の条件を満たしている場合に、前記候補画像部分が前記検出対象構造物であると判定する構造物判定部とを備えることを特徴とする。
さらに、本実施形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
≪まとめ≫
以上、説明したとおり、本発明の一態様に係る超音波診断装置は、超音波プローブを介して被検体から複数フレームの超音波画像信号を取得し、取得した前記超音波画像信号に基づき生成された超音波画像を表示部に表示させる超音波画像処理装置であって、複数フレームの前記超音波画像のそれぞれについて、検出対象構造物を示す画像部分であると推定される候補画像部分が存在する場合に、前記候補画像部分を検出する候補画像部分検出部と、前記複数フレームのうちの1つを基準フレームとし、その超音波画像の断面位置を基準位置とすると、前記複数フレームそれぞれの超音波画像の断面位置の前記基準位置からの距離に関連する距離関連情報を取得する距離関連情報取得部と、前記基準位置からの距離が、検出目標とする前記検出対象構造物の大きさに基づいて決定される所定の検出対象距離内のフレームを、重み付け対象に設定する重み付け対象設定部と、前記重み付け対象に設定された複数のフレームについて、前記候補画像部分が含まれているか否かを判定する候補画像部分判定部と、前記重み付け対象に設定された複数のフレームそれぞれについて、前記基準位置からの距離に対する変数として表される重みスコアを算出する重みスコア算出部と、前記重み付け対象に設定された複数のフレームの前記重みスコアが、所定の条件を満たしている場合に、前記候補画像部分が前記検出対象構造物であると判定する構造物判定部とを備えることを特徴とする。
係る構成により、重み付け対象に設定されたフレームについて重みスコアを算出し、算出された重みスコアが所定の条件を満たすか否かによって、候補画像部分が検出対象構造物を示すものであるか否かを容易に判定することができる。
また、別の態様に係る超音波画像処理装置では、前記超音波プローブの前記被検体における位置に関連する情報を取得する位置関連情報取得部を有し、前記距離関連情報取得部は、前記位置に関連する情報に基づいて、前記基準位置からの距離に関連する情報を計算により取得してもよい。
また、別の態様に係る超音波画像処理装置では、前記超音波プローブの前記被検体における位置に関連する情報を取得する位置関連情報取得部を有し、前記距離関連情報取得部は、前記位置に関連する情報に基づいて、前記基準位置からの距離に関連する情報を計算により取得してもよい。
係る構成により、超音波プローブの被検体における位置に関連する情報を取得することにより、基準位置からの距離に関連する情報を計算により容易に取得することができる。
また、別の態様に係る超音波画像処理装置では、前記位置関連情報取得部は、前記位置に関連する情報として、前記超音波プローブと前記被検体とが一緒に撮影された撮像データを取得してもよい。
また、別の態様に係る超音波画像処理装置では、前記位置関連情報取得部は、前記位置に関連する情報として、前記超音波プローブと前記被検体とが一緒に撮影された撮像データを取得してもよい。
係る構成により、超音波プローブと被検体とを一緒にカメラで撮像することにより、超音波プローブの被検体に対する相対的な位置を容易に検出することができる。
また、別の態様では、前記超音波プローブは、一次元方向に配列された複数の振動子及び角速度センサを有し、前記被検体の表面において、前記複数の振動子の列に直交する仮想平面内で前記複数の振動子の列を中心として回転され、前記位置関連情報取得部は、前記被検体に対する前記超音波プローブの相対的な角度の情報を、前記位置に関連する情報として、前記角速度センサより取得し、前記距離関連情報取得部は、前記基準フレームの前記超音波画像信号が取得されたときの前記超音波プローブの角度と前記複数フレームそれぞれの超音波画像信号が取得されたときの前記超音波プローブの角度との角度差、および、前記候補画像部分の前記中心からの距離に基づいて、前記基準位置からの距離を計算により取得してもよい。
また、別の態様では、前記超音波プローブは、一次元方向に配列された複数の振動子及び角速度センサを有し、前記被検体の表面において、前記複数の振動子の列に直交する仮想平面内で前記複数の振動子の列を中心として回転され、前記位置関連情報取得部は、前記被検体に対する前記超音波プローブの相対的な角度の情報を、前記位置に関連する情報として、前記角速度センサより取得し、前記距離関連情報取得部は、前記基準フレームの前記超音波画像信号が取得されたときの前記超音波プローブの角度と前記複数フレームそれぞれの超音波画像信号が取得されたときの前記超音波プローブの角度との角度差、および、前記候補画像部分の前記中心からの距離に基づいて、前記基準位置からの距離を計算により取得してもよい。
係る構成により、角速度センサにより、基準位置からの距離を容易に取得することができる。
また、別の態様では、前記位置関連情報取得部は、前記超音波プローブの走査速度および前記超音波画像信号の取得におけるフレームレートを外部より取得し、前記距離関連情報取得部は、前記走査速度および前記フレームレートに基づいて、前記基準位置からの距離に相当する時間および前記検出対象距離に相当する時間を計算により取得し、前記重み付け対象設定部は、前記基準位置からの距離に代えて、前記基準位置からの距離に相当する時間を、前記検出対象距離に代えて、前記検出対象距離に相当する時間を用いて、重み付け対象に設定し、前記重みスコア算出部は、前記基準位置からの距離に代えて、前記基準位置からの距離に相当する時間を用いて、重みスコアを算出してもよい。
また、別の態様では、前記位置関連情報取得部は、前記超音波プローブの走査速度および前記超音波画像信号の取得におけるフレームレートを外部より取得し、前記距離関連情報取得部は、前記走査速度および前記フレームレートに基づいて、前記基準位置からの距離に相当する時間および前記検出対象距離に相当する時間を計算により取得し、前記重み付け対象設定部は、前記基準位置からの距離に代えて、前記基準位置からの距離に相当する時間を、前記検出対象距離に代えて、前記検出対象距離に相当する時間を用いて、重み付け対象に設定し、前記重みスコア算出部は、前記基準位置からの距離に代えて、前記基準位置からの距離に相当する時間を用いて、重みスコアを算出してもよい。
係る構成により、カメラや角速度センサを用いることなく、より簡便な方法で重みスコアを算出することができる。
また、別の態様では、前記前記基準位置からの距離と前記重みスコアとの関係は、三次曲線で表され、前記基準位置からの距離を横軸、前記重みスコアを縦軸にした場合に、前記重みスコアは、前記検出対象構造物のサイズに基づく設定距離を境に、正負が逆転していてもよい。
また、別の態様では、前記前記基準位置からの距離と前記重みスコアとの関係は、三次曲線で表され、前記基準位置からの距離を横軸、前記重みスコアを縦軸にした場合に、前記重みスコアは、前記検出対象構造物のサイズに基づく設定距離を境に、正負が逆転していてもよい。
係る構成により、ヘシアン行列を用いた計算のような複雑な計算を行わなくても、比較的簡単な計算で、検出対象構造物であると判定することができる。
また、別の態様では、前記前記基準位置からの距離と前記重みスコアとの関係は、ステップ状に増加又は減少する曲線で表され、前記基準位置からの距離を横軸、前記重みスコアを縦軸にした場合に、前記重みスコアは、前記検出対象構造物のサイズに基づく設定距離を境に、正負が逆転していてもよい。
また、別の態様では、前記前記基準位置からの距離と前記重みスコアとの関係は、ステップ状に増加又は減少する曲線で表され、前記基準位置からの距離を横軸、前記重みスコアを縦軸にした場合に、前記重みスコアは、前記検出対象構造物のサイズに基づく設定距離を境に、正負が逆転していてもよい。
係る構成により、ヘシアン行列を用いた計算のような複雑な計算を行わなくても、比較的簡単な計算で検出対象構造物であると判定することができる。
また、別の態様では、前記所定の条件は、前記基準位置からの距離が前記設定距離よりも小さい場合の前記重みスコアが、正の値である場合には、前記重み付け対象に設定されたフレームのうち、前記候補画像部分が含まれていると判定されたフレームの前記重みスコアの総和又は平均値が、所定の閾値以上であることであり、前記基準位置からの距離が前記設定距離よりも小さい場合の前記重みスコアが、負の値である場合には、前記重み付け対象に設定されたフレームのうち、前記候補画像部分が含まれていると判定されたフレームの前記重みスコアの総和又は平均値が、所定の閾値以下であることであってもよい。
また、別の態様では、前記所定の条件は、前記基準位置からの距離が前記設定距離よりも小さい場合の前記重みスコアが、正の値である場合には、前記重み付け対象に設定されたフレームのうち、前記候補画像部分が含まれていると判定されたフレームの前記重みスコアの総和又は平均値が、所定の閾値以上であることであり、前記基準位置からの距離が前記設定距離よりも小さい場合の前記重みスコアが、負の値である場合には、前記重み付け対象に設定されたフレームのうち、前記候補画像部分が含まれていると判定されたフレームの前記重みスコアの総和又は平均値が、所定の閾値以下であることであってもよい。
係る構成により、総和や平均といった比較的簡単な計算で検出対象構造物であると判定することができる。
また、別の態様では、前記重みスコア算出部は、前記重み付け対象に設定されたフレームのうち、前記候補画像部分が含まれていないと判定されたフレームの前記重みスコアをゼロとして、前記重み付け対象に設定されたフレームの前記重みスコアの総和又は平均を算出してもよい。
また、別の態様では、前記重みスコア算出部は、前記重み付け対象に設定されたフレームのうち、前記候補画像部分が含まれていないと判定されたフレームの前記重みスコアをゼロとして、前記重み付け対象に設定されたフレームの前記重みスコアの総和又は平均を算出してもよい。
係る構成により、比較的簡単な計算で検出対象構造物であると判定することができる。
また、別の態様では、前記所定の条件は、前記重み付け対象に設定された各フレームの前記重みスコアの時系列順の数列が、所定のパターンと一致していることであってもよい。
係る構成により、検出対象構造物であるか否かの判定に、識別器を用いることができる。
また、別の態様では、前記所定の条件は、前記重み付け対象に設定された各フレームの前記重みスコアの時系列順の数列が、所定のパターンと一致していることであってもよい。
係る構成により、検出対象構造物であるか否かの判定に、識別器を用いることができる。
また、別の態様では、前記検出対象構造物は、粒状構造物であってもよい。
係る構成により、乳管内の石灰化による微小な粒状構造物を検出することができる。
また、別の態様では、前記候補画像部分検出部は、前記超音波画像中の点状の高輝度領域を前記候補画像部分として検出してもよい。
係る構成により、粒状構造物を精度よく検出することができる。
係る構成により、乳管内の石灰化による微小な粒状構造物を検出することができる。
また、別の態様では、前記候補画像部分検出部は、前記超音波画像中の点状の高輝度領域を前記候補画像部分として検出してもよい。
係る構成により、粒状構造物を精度よく検出することができる。
また、別の態様では、前記構造物判定部は、前記重み付け対象に設定された複数のフレームの前記重みスコアが、所定の条件を満たしている場合に加え、前記重み付け対象に設定されたフレームのうち、前記候補画像部分が含まれていると判定された各フレームの前記候補画像部分に、それぞれの前記重みスコアを画素単位で割り当てて各フレームを重ね合わせ、前記候補画像部分の重なりに従って、割り当てられた前記重みスコアを画素単位で加算し、前記加算された重みスコアが前記所定の閾値以上である領域が所定面積以上である場合に、前記候補画像部分が前記検出対象構造物であると判定してもよい。
係る構成により、粒状構造物に起因しない輝点によって粒状構造物であると誤判定される確率を低減させることができる。
また、別の態様では、前記検出対象構造物であると判定された前記候補画像部分を含む前記超音波画像を、当該検出対象構造物であると判定された前記候補画像部分にハイライト処理を施して前記表示部に表示させる表示制御部を備えてもよい。
また、別の態様では、前記検出対象構造物であると判定された前記候補画像部分を含む前記超音波画像を、当該検出対象構造物であると判定された前記候補画像部分にハイライト処理を施して前記表示部に表示させる表示制御部を備えてもよい。
係る構成により、検出対象構造物と判定された候補画像部分を、検査者にわかりやすく表示することができる。
また、別の態様では、前記ハイライト処理は、前記候補画像部分を囲む線を表示する処理であってもよい。
係る構成により、検出対象構造物と判定された候補画像部分を、簡便な方法で検査者にわかりやすく表示することができる。
また、別の態様では、前記ハイライト処理は、前記候補画像部分を囲む線を表示する処理であってもよい。
係る構成により、検出対象構造物と判定された候補画像部分を、簡便な方法で検査者にわかりやすく表示することができる。
また、別の態様では、前記表示制御部は、前記対象フレーム範囲に属する各フレームの前記重みスコアの総和又は平均値の大きさによって、前記囲む線の太さ又は色を変えて前記表示部に表示させてもよい。
係る構成により、検出対象構造物と判定された候補画像部分を、簡便な方法で検査者にわかりやすく表示することができる。
係る構成により、検出対象構造物と判定された候補画像部分を、簡便な方法で検査者にわかりやすく表示することができる。
≪補足≫
以上で説明した実施形態は、いずれも本発明の好ましい一具体例を示すものである。実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、工程、工程の順序などは一例であり、本発明を限定する主旨ではない。また、実施形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない工程については、より好ましい形態を構成する任意の構成要素として説明される。
以上で説明した実施形態は、いずれも本発明の好ましい一具体例を示すものである。実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、工程、工程の順序などは一例であり、本発明を限定する主旨ではない。また、実施形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない工程については、より好ましい形態を構成する任意の構成要素として説明される。
また、発明の理解の容易のため、上記各実施形態で挙げた各図の構成要素の縮尺は実際のものと異なる場合がある。また本発明は上記各実施形態の記載によって限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
さらに、超音波画像処理装置においては基板上に回路部品、リード線等の部材も存在するが、電気的配線、電気回路について当該技術分野における通常の知識に基づいて様々な態様を実施可能であり、本発明の説明として直接的には無関係のため、説明を省略している。なお、上記示した各図は模式図であり、必ずしも厳密に図示したものではない。
さらに、超音波画像処理装置においては基板上に回路部品、リード線等の部材も存在するが、電気的配線、電気回路について当該技術分野における通常の知識に基づいて様々な態様を実施可能であり、本発明の説明として直接的には無関係のため、説明を省略している。なお、上記示した各図は模式図であり、必ずしも厳密に図示したものではない。
本開示にかかる超音波画像処理装置は、従来の超音波画像処理装置の性能向上、特に検査者の視認性の向上および検査効率の向上に有用である。
100、200、300 超音波画像処理装置
101 プローブ
101a 超音波振動子
102 カメラ
103 操作入力部
104 表示部
109 候補画像部分検出部
110、210、310 位置関連情報検出部
111 記憶部
112、212、312 距離関連情報取得部
113 重み付け対象設定部
114 候補画像部分判定部
115 重みスコア算出部
116 構造物判定部
117 表示制御部
301、301a、301b、301c、301d、301e、301f 検査窓
401、402、403、404、405、406、407、408、409、410、411、412、413 重ね合わせ部分
302 角速度センサ
1000、2000、3000 超音波診断システム
FA 基準フレーム
PA 基準位置
RC、RC1、RC2 候補画像部分
S 検出対象構造物
SD 設定距離
ST 設定時間
TA 基準時刻
TD 対象距離
TT 検出対象時間
WC 重み付け曲線
WS 重みスコア
WT 重み付け対象
101 プローブ
101a 超音波振動子
102 カメラ
103 操作入力部
104 表示部
109 候補画像部分検出部
110、210、310 位置関連情報検出部
111 記憶部
112、212、312 距離関連情報取得部
113 重み付け対象設定部
114 候補画像部分判定部
115 重みスコア算出部
116 構造物判定部
117 表示制御部
301、301a、301b、301c、301d、301e、301f 検査窓
401、402、403、404、405、406、407、408、409、410、411、412、413 重ね合わせ部分
302 角速度センサ
1000、2000、3000 超音波診断システム
FA 基準フレーム
PA 基準位置
RC、RC1、RC2 候補画像部分
S 検出対象構造物
SD 設定距離
ST 設定時間
TA 基準時刻
TD 対象距離
TT 検出対象時間
WC 重み付け曲線
WS 重みスコア
WT 重み付け対象
Claims (16)
- 超音波プローブを介して被検体から複数フレームの超音波画像信号を取得し、取得した前記超音波画像信号に基づき生成された超音波画像を表示部に表示させる超音波画像処理装置であって、
複数フレームの前記超音波画像のそれぞれについて、検出対象構造物を示す画像部分であると推定される候補画像部分が存在する場合に、前記候補画像部分を検出する候補画像部分検出部と、
前記複数フレームのうちの1つを基準フレームとし、その超音波画像の断面位置を基準位置とすると、前記複数フレームそれぞれの超音波画像の断面位置の前記基準位置からの距離に関連する距離関連情報を取得する距離関連情報取得部と、
前記基準位置からの距離が、検出目標とする前記検出対象構造物の大きさに基づいて決定される所定の検出対象距離内のフレームを、重み付け対象に設定する重み付け対象設定部と、
前記重み付け対象に設定された複数のフレームについて、前記候補画像部分が含まれているか否かを判定する候補画像部分判定部と、
前記重み付け対象に設定された複数のフレームそれぞれについて、前記基準位置からの距離に対する変数として表される重みスコアを算出する重みスコア算出部と、
前記重み付け対象に設定された複数のフレームの前記重みスコアが、所定の条件を満たしている場合に、前記候補画像部分が前記検出対象構造物であると判定する構造物判定部とを備える
超音波画像処理装置。 - 前記超音波プローブの前記被検体における位置に関連する情報を取得する位置関連情報取得部を有し、
前記距離関連情報取得部は、前記位置に関連する情報に基づいて、前記基準位置からの距離に関連する情報を計算により取得する
請求項1に記載の超音波画像処理装置。 - 前記位置関連情報取得部は、前記位置に関連する情報として、前記超音波プローブと前記被検体とが一緒に撮影された撮像データを取得する
請求項2に記載の超音波画像処理装置。 - 前記超音波プローブは、一次元方向に配列された複数の振動子及び角速度センサを有し、前記被検体の表面において、前記複数の振動子の列に直交する仮想平面内で前記複数の振動子の列を中心として回転され、
前記位置関連情報取得部は、前記被検体に対する前記超音波プローブの相対的な角度の情報を、前記位置に関連する情報として、前記角速度センサより取得し、
前記距離関連情報取得部は、前記基準フレームの前記超音波画像信号が取得されたときの前記超音波プローブの角度と前記複数フレームそれぞれの超音波画像信号が取得されたときの前記超音波プローブの角度との角度差、および、前記候補画像部分の前記中心からの距離に基づいて、前記基準位置からの距離を計算により取得する
請求項2又は3に記載の超音波画像処理装置。 - 前記位置関連情報取得部は、前記超音波プローブの走査速度および前記超音波画像信号の取得におけるフレームレートを外部より取得し、
前記距離関連情報取得部は、前記走査速度および前記フレームレートに基づいて、前記基準位置からの距離に相当する時間および前記検出対象距離に相当する時間を計算により取得し、
前記重み付け対象設定部は、前記基準位置からの距離に代えて、前記基準位置からの距離に相当する時間を、前記検出対象距離に代えて、前記検出対象距離に相当する時間を用いて、重み付け対象に設定し、
前記重みスコア算出部は、前記基準位置からの距離に代えて、前記基準位置からの距離に相当する時間を用いて、重みスコアを算出する
請求項2に記載の超音波画像処理装置。 - 前記前記基準位置からの距離と前記重みスコアとの関係は、三次曲線で表され、
前記基準位置からの距離を横軸、前記重みスコアを縦軸にした場合に、前記重みスコアは、前記検出対象構造物のサイズに基づく設定距離を境に、正負が逆転している
請求項1から5に記載の超音波画像処理装置。 - 前記前記基準位置からの距離と前記重みスコアとの関係は、ステップ状に増加又は減少する曲線で表され、
前記基準位置からの距離を横軸、前記重みスコアを縦軸にした場合に、前記重みスコアは、前記検出対象構造物のサイズに基づく設定距離を境に、正負が逆転している
請求項1から5に記載の超音波画像処理装置。 - 前記所定の条件は、
前記基準位置からの距離が前記設定距離よりも小さい場合の前記重みスコアが、正の値である場合には、前記重み付け対象に設定されたフレームのうち、前記候補画像部分が含まれていると判定されたフレームの前記重みスコアの総和又は平均値が、所定の閾値以上であることであり、
前記基準位置からの距離が前記設定距離よりも小さい場合の前記重みスコアが、負の値である場合には、前記重み付け対象に設定されたフレームのうち、前記候補画像部分が含まれていると判定されたフレームの前記重みスコアの総和又は平均値が、所定の閾値以下であることである
請求項6又は7に記載の超音波画像処理装置。 - 前記重みスコア算出部は、前記重み付け対象に設定されたフレームのうち、前記候補画像部分が含まれていないと判定されたフレームの前記重みスコアをゼロとして、前記重み付け対象に設定されたフレームの前記重みスコアの総和又は平均を算出する
請求項8に記載の超音波画像処理装置。 - 前記所定の条件は、前記重み付け対象に設定された各フレームの前記重みスコアの時系列順の数列が、所定のパターンと一致していることである
請求項6又は7に記載の超音波画像処理装置。 - 前記検出対象構造物は、粒状構造物である
請求項1から10の何れか1項に記載の超音波画像処理装置。 - 前記候補画像部分検出部は、前記超音波画像中の点状の高輝度領域を前記候補画像部分として検出する
請求項11に記載の超音波画像処理装置。 - 前記構造物判定部は、前記重み付け対象に設定された複数のフレームの前記重みスコアが、所定の条件を満たしている場合に加え、前記重み付け対象に設定されたフレームのうち、前記候補画像部分が含まれていると判定された各フレームの前記候補画像部分に、それぞれの前記重みスコアを画素単位で割り当てて各フレームを重ね合わせ、前記候補画像部分の重なりに従って、割り当てられた前記重みスコアを画素単位で加算し、前記加算された重みスコアが前記所定の閾値以上である領域が所定面積以上である場合に、前記候補画像部分が前記検出対象構造物であると判定する
請求項1から12の何れか1項に記載の超音波画像処理装置。 - 前記検出対象構造物であると判定された前記候補画像部分を含む前記超音波画像を、当該検出対象構造物であると判定された前記候補画像部分にハイライト処理を施して前記表示部に表示させる表示制御部を備える
請求項1から13の何れかに記載の超音波画像処理装置。 - 前記ハイライト処理は、前記候補画像部分を囲む線を表示する処理である
請求項14に記載の超音波画像処理装置。 - 前記表示制御部は、前記対象フレーム範囲に属する各フレームの前記重みスコアの総和又は平均値の大きさによって、前記囲む線の太さ又は色を変えて前記表示部に表示させる
請求項15に記載の超音波画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016128314A JP2018000339A (ja) | 2016-06-29 | 2016-06-29 | 超音波画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016128314A JP2018000339A (ja) | 2016-06-29 | 2016-06-29 | 超音波画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018000339A true JP2018000339A (ja) | 2018-01-11 |
Family
ID=60946724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016128314A Pending JP2018000339A (ja) | 2016-06-29 | 2016-06-29 | 超音波画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018000339A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020105822A1 (ko) * | 2018-11-21 | 2020-05-28 | 삼성메디슨 주식회사 | 초음파 영상 장치 및 초음파 영상 생성 방법 |
| CN111770730A (zh) * | 2018-02-23 | 2020-10-13 | 富士胶片株式会社 | 超声波诊断装置及超声波诊断装置的控制方法 |
| CN112545564A (zh) * | 2019-09-26 | 2021-03-26 | 通用电气公司 | 超声波诊断装置以及其控制程序 |
| CN113423344A (zh) * | 2019-02-15 | 2021-09-21 | 富士胶片株式会社 | 超声波诊断装置及超声波诊断装置的控制方法 |
| US11578591B2 (en) * | 2018-12-14 | 2023-02-14 | Darkvision Technologies Inc | Correcting for eccentricity of acoustic sensors in wells and pipes |
-
2016
- 2016-06-29 JP JP2016128314A patent/JP2018000339A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111770730A (zh) * | 2018-02-23 | 2020-10-13 | 富士胶片株式会社 | 超声波诊断装置及超声波诊断装置的控制方法 |
| CN111770730B (zh) * | 2018-02-23 | 2023-04-28 | 富士胶片株式会社 | 超声波诊断装置及超声波诊断装置的控制方法 |
| US11812920B2 (en) | 2018-02-23 | 2023-11-14 | Fujifilm Corporation | Ultrasound diagnostic apparatus and method for controlling ultrasound diagnostic apparatus |
| WO2020105822A1 (ko) * | 2018-11-21 | 2020-05-28 | 삼성메디슨 주식회사 | 초음파 영상 장치 및 초음파 영상 생성 방법 |
| US11578591B2 (en) * | 2018-12-14 | 2023-02-14 | Darkvision Technologies Inc | Correcting for eccentricity of acoustic sensors in wells and pipes |
| CN113423344A (zh) * | 2019-02-15 | 2021-09-21 | 富士胶片株式会社 | 超声波诊断装置及超声波诊断装置的控制方法 |
| CN112545564A (zh) * | 2019-09-26 | 2021-03-26 | 通用电气公司 | 超声波诊断装置以及其控制程序 |
| JP2021049211A (ja) * | 2019-09-26 | 2021-04-01 | ゼネラル・エレクトリック・カンパニイ | 超音波診断装置及びその制御プログラム |
| US11559286B2 (en) | 2019-09-26 | 2023-01-24 | General Electric Company | Ultrasound diagnostic apparatus and control program thereof for detecting the three dimensional size of a low echo region |
| CN112545564B (zh) * | 2019-09-26 | 2025-01-07 | 通用电气公司 | 超声波诊断装置以及其控制程序 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7462816B2 (ja) | ベクトルフローデータを使用する擾乱した血流の自動検出及び視覚化のためのシステム及び方法 | |
| JP6106190B2 (ja) | 血管画像における血液及び血液尤度の可視化方法 | |
| CN109846513B (zh) | 超声成像方法、系统和图像测量方法、处理系统及介质 | |
| JP6367425B2 (ja) | 超音波診断装置 | |
| US9801614B2 (en) | Ultrasound diagnostic apparatus, ultrasound image processing method, and non-transitory computer readable recording medium | |
| JP2017000364A (ja) | 超音波診断装置、及び超音波画像処理方法 | |
| JP5121389B2 (ja) | 対象体の大きさを測定するための超音波診断装置及び方法 | |
| JP2018000339A (ja) | 超音波画像処理装置 | |
| JP6648587B2 (ja) | 超音波診断装置 | |
| WO2019170573A1 (en) | A system and method of identifying characteristics of ultrasound images | |
| CN111227864A (zh) | 使用超声图像利用计算机视觉进行病灶检测的方法与装置 | |
| US11771324B1 (en) | System and method for residual cancer cell detection | |
| CN103917166A (zh) | 一种表征颈动脉斑块的方法和系统 | |
| JP7159025B2 (ja) | 診断装置及び診断方法 | |
| JP2020018694A (ja) | 超音波診断装置及び超音波画像処理方法 | |
| US20170024883A1 (en) | Ultrasound image processing apparatus and medium | |
| US20150164482A1 (en) | Ultrasound diagnostic apparatus, ultrasound image recording method, and non-transitory computer readable recording medium | |
| US20200202551A1 (en) | Fetal development monitoring | |
| JP2023160986A (ja) | 超音波診断装置及び解析装置 | |
| JP2020103883A (ja) | 超音波撮像システムおよび対象物体品質レベルを表示するための方法 | |
| CN1915178B (zh) | 超声波诊断装置和超声波图像处理方法 | |
| CN113040822A (zh) | 子宫内膜蠕动的测量方法、用于测量子宫内膜蠕动的设备 | |
| JP7631179B2 (ja) | 超音波診断装置及び超音波画像処理方法 | |
| JP7457571B2 (ja) | 超音波診断装置及び診断支援方法 | |
| WO2021120059A1 (zh) | 三维体数据的测量方法、测量系统、医疗器械及存储介质 |