JP7356369B2 - 超音波画像表示装置及び方法 - Google Patents

Description

本開示は、超音波画像表示装置及び方法に関し、特に、プレゼンテーション技術に関する。

超音波画像表示装置は、超音波画像を表示する機能を備えた装置であり、その概念には、超音波診断システム、超音波診断装置、情報処理装置、等が含まれる。被検者の超音波検査時には、超音波画像表示装置が利用される。以下、産科における超音波検査について説明する。

胎児を超音波診断する場合、妊婦の腹部表面に対してプローブが当接され、その状態において超音波が送受波される。これにより取得される受信信号に基づいて断層画像等の超音波画像が形成され、それが表示される。例えば、胎児の発育状態を妊婦に説明する場合、胎児の断層画像を表示している表示器が妊婦の方へ向けられ、あるいは、被検者観察用のサブ表示器に胎児の断層画像が表示される。

産科以外の診療科においても、超音波検査時に、被検者に対して超音波画像を見せる場合がある。なお、特許文献１には、体内から得た心音信号を解析する装置が開示されている。

特開２０１５－２２９０３０号公報

一般に、被検者は、超音波検査又は超音波診断に関する専門的な知識を有しておらず、また超音波画像を見慣れていない。このため、超音波画像を観察した被検者において、不安感が生じたり、不自然さを覚えたりすることも多い。例えば、胎児の超音波画像においては、胎児像が白黒表現されることから、胎児像を観察した妊婦において、人間味又は可愛らしさを感じ難いこともある。検査者（医師又は検査技師）と被検者との間でのコミュニケーションを促進する観点から、超音波画像に対する被検者の興味をより喚起することも大切である。

本開示の目的は、超音波画像を観察する被検者の心理的負担を軽減し又は同人の感情や興味を喚起できる技術を提供することにある。

本開示に係る超音波画像表示措置は、超音波画像の解析によりその特徴量を解析する解析手段と、前記特徴量に応じて効果音信号を生成する生成手段と、前記超音波画像の表示に際し、前記効果音信号に基づく効果音を出力する出力手段と、を含むことを特徴とするものである。

本開示に係る超音波画像表示方法は、超音波画像の解析によりその特徴量を解析する工程と、前記特徴量に応じて効果音信号を生成する工程と、前記超音波画像を被検者が観察する際に、前記効果音信号に基づく効果音を出力する工程と、を含むことを特徴とするものである。

本開示によれば、超音波画像を観察する被検者の心理的負担を軽減でき、又は、同人の感情や興味を喚起できる。

実施形態に係る超音波診断装置を示すブロック図である。 生成部の構成例を示すブロック図である。 テーブル等の構成例を示す図である。 第１のプレゼンテーション例を示す図である。 第２のプレゼンテーション例を示す図である。 第３のプレゼンテーション例を示す図である。 第４のプレゼンテーション例を示す図である。 第５のプレゼンテーション例を示す図である。 第６のプレゼンテーション例を示す図である。 第７のプレゼンテーション例を示す図である。 第８のプレゼンテーション例を示す図である。 動作例を示すフローチャートである。 他の実施形態に係る超音波診断システムを示す図である。

以下、実施形態を図面に基づいて説明する。

（１）実施形態の概要
実施形態に係る超音波画像表示装置は、解析手段、生成手段、及び、出力手段を有する。解析手段は、超音波画像の解析によりその特徴量を解析するものである。生成手段は、特徴量に応じて効果音信号を生成するものである。出力手段は、超音波画像の表示に際し、効果音信号に基づく効果音を出力するものである。

上記構成によれば、超音波画像の表示に際して、超音波画像に対応した効果音が出力される。被検者が超音波画像を観察している場合において被検者に効果音を提供できるので、被検者の不安感を軽減でき、あるいは、被検者の興味や感情を喚起できる。すなわち、視覚及び聴覚の両方に訴えるプレゼンテーションを実現できる。

超音波画像表示装置の概念には、超音波診断装置、超音波診断システム、情報処理機器等が含まれる。超音波診断装置から超音波画像データが転送されるタブレット端末において上記プレゼンテーションが実現されてもよい。解析手段として、機械学習モデルを利用した解析器、パターンマッチングを利用した解析器、等が用いられてもよい。解析対象となる超音波画像は、リアルタイムで表示される動画像、フリーズ時点の静止画像、過去の動画像、過去の静止画像、等である。三次元超音波画像としてのボリュームデータが解析の対象となってもよい。

実施形態において、解析手段は、特徴量として、超音波画像に含まれる組織像の種別を特定する。この構成によれば、科目、臓器、部位、組織の向き等に応じて、適切な効果音を自動的に選択することが可能となる。

実施形態において、解析手段は、特徴量として、組織像の種別及び組織像の時間的変化を特定する。この構成によれば、更に、組織の動きに応じて効果音の内容や出力条件を変更することが可能となる。

実施形態において、生成手段は、複数の効果音信号を格納したデータベースと、特徴量に応じてデータベース中から特定の効果音信号を選択する選択手段と、を含む。この構成によれば、簡易且つ迅速に特定の効果音を生成し得る。実施形態において、超音波画像は胎児像を含む。データベース内には、胎児の顔における複数の表情に対応した複数の効果音信号が含まれる。

実施形態において、生成手段は、設定されたインターバル条件に従って、効果音信号を繰り返し生成する。同じ効果音が頻繁に再生される場合、耳障りという問題が生じ得る。上記構成によれば、インターバル条件に従って間欠的に（つまり待ち時間を挟みながら）効果音信号を生じさせることが可能となる。

実施形態において、生成手段は、超音波画像の解析により得られた周期条件に従って、効果音信号を繰り返し生成する。この構成によれば、組織の周期的な動きに合わせて効果音信号を周期的に生じさせることが可能となる。例えば、心臓の拍動に同期させて効果音を繰り返し生じさせることが可能となる。

実施形態に係る超音波画像表示方法は、解析工程、生成工程、及び、出力工程、を含む。解析工程は、超音波画像の解析によりその特徴量を解析する工程である。生成工程は、特徴量に応じて効果音信号を生成する工程である。出力工程は、超音波画像を被検者が観察する際に、効果音信号に基づく効果音を出力する工程である。解析工程及び生成工程はプログラムに従って動作するプロセッサにより実行され得る。当該プログラムは、可搬型記憶媒体又はネットワークを介して、超音波画像表示装置としての情報処理装置へインストールされる。

（２）実施形態の詳細
図１には、実施形態に係る超音波診断装置１０が開示されている。超音波診断装置１０は、超音波画像表示装置として機能するものであり、あるいは、超音波画像表示装置を含むものである。超音波診断装置１０は、病院等の医療機関に設置され、被検者に対する超音波の送受波により得られた受信信号に基づいて超音波画像を形成及び表示する装置である。以下、産科における妊婦の超音波検査を前提として、超音波診断装置１０の構成及び動作について説明する。

プローブ１１は、可搬型の送受波器である。プローブ１１は、検査者（医師、検査技師等）によって保持される。その送受波面が妊婦の腹部表面上に当接される。プローブ１１には、振動素子アレイが含まれる。振動素子アレイは、一次元配列された複数の振動素子により構成される。振動素子アレイにより超音波ビームＢが形成され、それが電子走査される。これにより走査面Ｓが形成される。胎児における診断対象部位が走査面Ｓに含まれるように、プローブ１１の位置及び姿勢が調整される。

電子走査方式として、電子リニア走査方式、電子セクタ走査方式等があげられる。走査面Ｓは、深さ方向ｒ及び走査方向θによって特定される座標系を有する。プローブ１１に二次元振動素子アレイを設けてもよい。すなわち、超音波ビームの二次元走査により、三次元空間からボリュームデータが取得されてもよい。体腔内挿入型プローブが使用されてもよい。

送信部１２は、送信ビームフォーマーとして機能する電子回路である。受信部１４は、受信ビームフォーマーとして機能する電子回路である。送信時において送信部１２から振動素子アレイへ複数の送信信号が並列的に供給される。これにより送信ビームが形成される。受信時において、生体内からの反射波が振動素子アレイで受信されると、複数の振動素子から複数の受信信号が並列的に出力される。複数の受信信号は、受信部において、整相加算（遅延加算）され、これにより受信ビームに相当するビームデータが生成される。１つの走査面から１つの受信フレームデータが生成される。１つの受信フレームデータは、走査方向に並ぶ複数のビームデータにより構成される。１つのビームデータは深さ方向に並ぶ複数のエコーデータにより生成される。

受信部１４の後段にはビームデータ処理部が設けられているが、その図示が省略されている。画像形成部１６は、受信フレームデータ列から表示フレームデータ列を生成するモジュールである。画像形成部１６は、デジタルスキャンコンバータ（ＤＳＣ）を有している。ＤＳＣは、座標変換機能、補間機能、フレームレート調整機能、等を有している。生成された各表示フレームデータは、それぞれ断層画像に相当する。ドプラ画像、二次元血流画像、等の超音波画像が生成されてもよい。各表示フレームデータは、表示処理部２４及び画像解析部１８へ送られている。

画像解析部１８は、解析手段として機能するものであり、各表示フレームデータつまり各断層画像を解析するモジュールである。実施形態においては、各断層画像に含まれる組織像の内容、つまり種別が解析されており、また、その組織像の時間変化、つまり動きが解析されている。これにより、２つの特徴量が求められている。動きの解析を省略してもよく、動きに代わる他の特徴量が解析されてもよい。組織像の内容それ自体から複数の特徴量が抽出されてもよい。画像解析部１８の解析結果が表示処理部２４及び効果音選択部２０に送られている。

効果音選択部２０は、選択手段として機能するものであり、解析された複数の特徴量に基づいて、効果音ＤＢ（データベース）２２の中から特定の効果音信号を選択する。その際、断層画像の内容に相応しい効果音信号が選択される。効果音ＤＢ２２には複数の効果音信号（効果音データ）が格納されている。効果音選択部２０及び効果音ＤＢ２２により、生成手段としての生成部１９が構成される。

アンプ３０において、選択された効果音信号からオーディオ信号が生成され、オーディオ信号がスピーカに送られる。これによりスピーカ３２から効果音が出力される。スピーカ３２は出力手段として機能するものである。

表示処理部２４は、画像合成機能、カラー演算機能、等を有する。断層画像データは、表示処理部２４を介して、メイン表示器２６及びサブ表示器２８に送られている。メイン表示器２６は、検査者に向けて画像を提供する表示器であり、サブ表示器２８は、被検者つまり妊婦に向けて画像を提供する表示器である。メイン表示器２６及びサブ表示器２８は、それぞれ、ＬＣＤ、有機ＥＬデバイス、等により構成される。被検者に対して超音波画像の提供を行わない場合、サブ表示器２８は使用されない。メイン表示器２６を被検者に向けることにより被検者に対して超音波画像が提供されてもよい。

実施形態においては、被検者に対して断層画像を提供する場合、断層画像の内容に適した効果音が生じる。例えば、胎児の顔の表情に応じた効果音が出力される。断層画像は、白黒画像であり、そこに含まれる胎児像から親しみや温かみを感じ難い場合であっても、胎児像の表示と共に効果音が生成されれば、親しみや温かみを感じ易くなる。特に、非専門家である妊婦が同人にとって見慣れない断層画像を観察した場合、様々な不安感が生じ易いが、そのような不安感を効果音により解消又は緩和させることが可能となる。

メイン表示器２６には、必要に応じて、画像解析部１８の解析結果が表示される。プローブ１１を動かしながら複数の部位を順次、超音波診断する場合、複数の部位に対応した複数の効果音が順次生成される。実施形態によれば、同じ部位を観察している場合において、胎児が動いた場合、それに合わせて効果音を自動的に生じさせることが可能である。

制御部３４は、図１に示されている各構成の動作を制御する。制御部３４は、例えば、プログラムを実行するＣＰＵにより構成される。画像形成部１６、画像解析部１８、効果音選択部２０及び表示処理部２４は、1又は複数のプロセッサにより構成され得る。ＣＰＵの機能として、それらの手段が実現されてもよい。制御部３４には、操作パネル３６が接続されている。操作パネル３６は、複数のボタン、トラックボール、キーボード等を備える入力デバイスである。

図２には、画像解析部１８及び効果音選択部２０の構成例が示されている。画像解析部１８は、前処理器３９、種別解析器４０及び動き解析器４２が含まれる。前処理器３９は、画像解析に先立って、断層画像に対して必要な前処理を適用するものである。前処理には、平滑化、画像切り出し、等が含まれる。

種別解析器４０は、断層画像に含まれる組織像の種別を特定するモジュールである。例えば、機械学習済みモデルを利用して組織像の種別を識別し得る。組織像の種別は断層画像の特徴量の１つである。例えば、臓器種別、部位種別、向き種別等が識別され得る。組織像の種別は、カテゴリ、属性等を含む概念である。胎児の顔の表情の種別も特定し得る。パターンマッチング技術を利用して組織像の種別が特定されてもよい。

動き解析器４２は、組織像の動きの有無を特定するものである。動きの有無も断層画像の特徴量の１つである。例えば、動き解析器４２から動きの有無を示すフラグが出力される。動きの方向や動き量が特定されてもよい。例えば、フレーム相関値の時間的変化を表す相関値グラフを生成し、相関値グラフに基づいて動きの有無が判定されてもよい。プローブに設けられたセンサに基づいてプローブの静止状態を判定し、静止状態において組織像の動きが特定されてもよい。パターンマッチング技術を利用して組織像の動きの有無が識別されてもよい。動き解析器４２は、組織像の周期的な動きを特定する周期情報を生成する機能も備えている。

効果音選択部２０は、図示の構成例において、テーブル４４を有する。テーブル４４上において、複数の特徴量の組み合わせごとに、それに対応する効果音信号ＩＤが管理されている。画像解析部１８の解析結果として、複数の特徴量が求められた場合、テーブルの参照により、複数の特徴量に対応する効果音信号ＩＤが特定される。効果音ＤＢ２２には、複数の効果音信号ＩＤに対応付けられた複数の効果音信号が格納されている。効果音選択部２０は、それらの中から、テーブル４４の参照により求められた特定の効果音信号ＩＤに対応する特定の効果音信号を選択する。その特定の効果音信号がスピーカに向けて出力される（符号５２を参照）。ユーザー設定された周期条件に従って、上記周期情報に基づいて効果音が周期的に生成されてもよい。

効果音選択に際して、複数の特徴量と共に、妊娠週数、胎児サイズ、等が考慮されてもよい（符号４６を参照）。テーブル４４の内容が検査者等によって変更されてもよい（符号４８を参照）。後述するインターバル条件に従って特定の効果音が繰り返し出力されてもよい。効果音ＤＢ２２の内容が検査者等によって変更されてもよい（符号４９を参照）。

図３には、テーブル４４及び効果音ＤＢ２２の関係が示されている。テーブル４４は、複数のレコード５４により構成される。個々のレコード５４は、種別解析結果５６、動き解析結果（動きフラグ）５８、及び、それらの組み合わせに対応する効果音信号ＩＤ６０により構成される。効果音ＤＢ２２は、複数の効果音信号ＩＤ６０に対応する効果音信号５７により構成される。個々の効果音信号５７のデコードにより、オーディオ信号が生成されてもよい。３つ以上の特徴量の組み合わせにより効果音信号ＩＤが選択されてもよい。１つの特徴量から効果音信号ＩＤが選択されてもよい。

次に、図４～図１１を用いて、プレゼンテーション（効果音を伴う画像表示）例について説明する。

図４には第１例が示されている。胎児像６０の解析により効果音６２が生成されている。胎児像６０は目を開けている顔を含んでおり、それに対応する効果音６２として「じーっ」のような音声が生成されている。図５には第２例が示されている。胎児像６４の解析により効果音６６が生成されている。胎児像６４は口元笑いような顔を含んでおり、それに対応する効果音６６として「えへへへ」のような音声が生成されている。図６には第３例が示されている。胎児像６８の解析により効果音７０が生成されている。胎児像６８はしかめっ面のような顔を含んでおり、それに対応する効果音７０として「ふぁー」のような音声が生成されている。図７には第４例が示されている。胎児像７２の解析により効果音７４が生成されている。胎児像７２の顔はぴくっとした動きを伴っており、それに対応する効果音６２として「ピクッ」のような擬音が生成されている。

図８には第５例が示されている。胎児像７６の解析により効果音７８が生成されている。胎児像７６においては口に手が触れており、すなわち指しゃぶりに近い内容が認められる。それに対応する効果音７８として「ちゅぱちゅぱ」のような擬音が生成されている。図９には第６例が示されている。胎児像８０の解析により効果音８４が生成されている。胎児像８０においては飲み込み運動が認められる。それに対応する効果音８４として「ゴクッ」のような擬音が生成されている。図１０には第７例が示されている。胎児像８６の解析により効果音８８が生成されている。胎児像８６においては足を伸ばす動きが認められる。それに対応する効果音８８として「うーん」のような声が生成されている。図１１には第６例が示されている。胎児像９０の解析により効果音９２が生成されている。胎児像９０は胎児の心臓を表す像であり、それには拍動が認められる。それに対応する効果音９２として拍動に同期した「トクッ、トクッ、・・」のような擬音が周期的に生成されている。

図１２には、図１に示した構成、特に効果音出力に関する構成、の動作が示されている。図１２は実施形態に係る超音波画像表示方法を示すものでもある。

Ｓ１０では、断層画像が解析される。これにより１又は複数の特徴量が抽出される。Ｓ１２では、１又は複数の特徴量に基づいて効果音が選択される。その場合には上記テーブルが利用される。Ｓ１６では、選択された効果音が実際の音として再生される。

Ｓ１７においては、タイマーによる計時が開始される。Ｓ１８では、本処理を続行するか否かが判断され、続行しない場合には本処理は終了する。そうではない場合、Ｓ２０において、タイマーにより計時された時間が所定時間に到達したか否かが判断される。到達していない場合、Ｓ１８以降の工程が再び実行される。到達している阿合、Ｓ２１においてタイマーがリセットされた上で、Ｓ１０からの各工程が再び実行される。所定時間はインターバル時間である。組織の動きに合わせて効果音を出力させる場合には別のフローが実行される。

上記構成によれば、効果音の出力間隔をユーザーの好みに合わせることができる。音量、音程その他の条件がユーザーにより変更されてもよい。

図１３には、他の実施形態に係る超音波診断システムが示されている。図１３において、既に説明した要素には同一の符号を付し、その説明を省略する。

超音波診断システム１００は、超音波診断装置１０２と端末１０４とにより構成される。図示の構成例では、両者は、無線通信により相互に接続されている。超音波診断装置は、一般的な構成を有し、また、無線通信により超音波画像（断層画像）を転送する機能を備えている。

端末１０４は、タブレット型情報処理装置により構成される。通信部１０６は、超音波診断装置１０２との間で無線通信を行うモジュールである。通信部１０６を経由して、超音波診断装置１０２から転送された断層画像データが表示処理部２４及び画像解析部１８へ送られる。表示器２６Ａは、被検者によって観察されるものであり、そこには動画像又は静止画像としての断層画像が表示される。断層画像には胎児像が含まれる。

画像解析部１８により断層画像から１又は複数の特徴量が抽出される。効果音選択部２０は、１又は複数の特徴量に基づいて効果音を選択する。具体的には、選択された効果音信号が効果音ＤＢ２２から読み出され、それがアンプ３０において増幅された上で、スピーカ３２に送られる。スピーカ３２から効果音が出力される。

データ提供サービス実行部１０８は、被検者である妊婦に対してデータを提供するサービスを実行するモジュールである。断層画像データを記録した記憶媒体が妊婦に提供される場合、データ提供サービス実行部１０８は、記憶媒体に対して断層画像データ及びそれに対応する効果音データを記録する。その場合には汎用フォーマットが利用され得る。断層画像データが無線通信によりスマートフォン等の携帯端末に提供される場合、データ提供サービス実行部１０８は、断層画像データと共にそれに対応する効果音データを携帯端末へ無線で送信する。その場合にも汎用フォーマットが利用され得る。断層画像が写真として印刷される場合、効果音データが埋め込まれた又は効果音データのＵＲＬが埋め込まれたバーコードが同時に印刷されてもよい。

上記実施形態によれば、超音波画像の表示に際して超音波画像に対応した効果音が自動的に出力される。被検者が超音波画像を観察している場合において、被検者に効果音を提供できるので、被検者の心理的負担を軽減でき、あるいは、被検者の興味や感情を喚起できる。すなわち、視覚及び聴覚に訴えるプレゼンテーションを実現できる。これにより医療サービスの質を高められる。

上記実施形態においては座標変換後のデータに基づいて断層画像が解析されたが、座標変換前の断層画像に基づいて断層画像が解析されてもよい。上記実施形態においては操作パネルを利用して効果音出力機能のオンオフが切り替えられていたが、その切り替えが自動的になされてもよい。科目や臓器に応じて、上記テーブル及び上記効果音ＤＢを切り替える構成を採用するのが望ましい。

１０ 超音波診断装置、１６ 画像形成部、１８ 画像解析部、１９ 生成部、２０ 効果音選択部、２２ 効果音ＤＢ、３２ スピーカ。

Claims (8)

1. 胎児像を含む超音波画像の解析により、前記胎児像における顔、手及び足の少なくとも１つについての特徴量を解析する解析手段と、
   前記特徴量に応じて効果音信号を生成する生成手段と、
   前記超音波画像の表示に際し、前記効果音信号に基づく効果音を出力する出力手段と、
   を含むことを特徴とする超音波画像表示装置。
2. 請求項１記載の超音波画像表示装置において、
   前記解析手段は、前記特徴量として、前記胎児像における顔の表情を特定する、
   ことを特徴とする超音波画像表示装置。
3. 請求項１記載の超音波画像表示装置において、
   前記解析手段は、前記特徴量として、前記胎児像における顔の動き、手の動き及び足の動きの少なくとも１つを特定する、
   ことを特徴とする超音波画像表示装置。
4. 請求項１記載の超音波画像表示装置において、
   前記生成手段は、
   複数の効果音信号を格納したデータベースと、
   前記特徴量に応じて前記データベース中から特定の効果音信号を選択する選択手段と、
   を含むことを特徴とする超音波画像表示装置。
5. 胎児像を含む超音波画像の解析により前記胎児像における顔の特徴量を解析する解析手段と、
   前記特徴量に応じて効果音信号を生成する生成手段と、
   前記超音波画像の表示に際し、前記効果音信号に基づく効果音を出力する出力手段と、
   を含み、
   前記生成手段は、
   複数の効果音信号を格納したデータベースと、
   前記特徴量に応じて前記データベース中から特定の効果音信号を選択する選択手段と、
   を含み、
   前記複数の効果音信号には、胎児の顔における複数の表情に対応した複数の効果音信号が含まれる、
   ことを特徴とする超音波画像表示装置。
6. 請求項１記載の超音波画像表示装置において、
   前記生成手段は、設定されたインターバル条件に従って、前記効果音信号を繰り返し生成する、
   ことを特徴とする超音波画像表示装置。
7. 請求項１記載の超音波画像表示装置において、
   被検者である妊婦に対して前記超音波画像を表示する表示器を含み、
   前記妊婦に対して前記超音波画像及び前記効果音が提供される、
   ことを特徴とする超音波画像表示装置。
8. 胎児像を含む超音波画像の解析により、前記胎児像における顔、手及び足の少なくとも１つについての特徴量を解析する工程と、
   前記特徴量に応じて効果音信号を生成する工程と、
   前記超音波画像を被検者が観察する際に、前記効果音信号に基づく効果音を出力する工程と、
   を含むことを特徴とする超音波画像表示方法。