JP7684367B2 - 呼吸音解析装置、呼吸音解析方法、及びコンピュータプログラム - Google Patents

Description

本発明は、複数の音種を含む呼吸音を解析する呼吸音解析装置、呼吸音解析方法、及びコンピュータプログラムの技術分野に関する。

この種の装置として、電子聴診器等によって検出される生体の呼吸音について、正常呼吸音と異常呼吸音とを判別するものが知られている。例えば特許文献１では、異常音の分析結果を３次元表示装置で出力するという技術が提案されている。特許文献２では、呼吸音に含まれる異常音としてラ音を検出するという技術が提案されている。特許文献３では、音波形を複数の区分に分割して音種を判別するという技術が提案されている。

特開２００２－５３８９２１号公報 特開２００９－１０６５７４号公報 特開２０１３－１２３４９４号公報

しかしながら、上述した特許文献１から３に記載されているような技術では、呼吸音に含まれる複数の音種を任意に出力することができないという技術的問題点がある。

本発明が解決しようとする課題には、上記のようなものが一例として挙げられる。本発明は、呼吸音に含まれる複数の音種を分別して出力することが可能な呼吸音解析装置、呼吸音解析方法、及びコンピュータプログラムを提供することを課題とする。

上記課題を解決するための呼吸音解析装置は、呼吸音を複数の音種に分別する分別手段と、出力すべき呼吸音の種類を選択するための入力を受け付ける入力手段と、前記入力手段が受け付けた入力に応じて選択された音種の呼吸音をスペクトル画像として出力する出力手段と、前記入力手段が受け付けた入力に応じて選択された音種毎に、スペクトル画像の色を変更可能な変更手段と、を備える。

上記課題を解決するための呼吸音解析方法は、呼吸音を複数の音種に分別する分別工程と、出力すべき呼吸音の種類を選択するための入力を受け付ける入力工程と、前記入力手段が受け付けた入力に応じて選択された音種の呼吸音をスペクトル画像として出力する出力工程と、前記入力手段が受け付けた入力に応じて選択された音種毎に、スペクトル画像の色を変更可能な変更工程と、を含む。

上記課題を解決するためのコンピュータプログラムは、呼吸音を複数の音種に分別する分別工程と、出力すべき呼吸音の種類を選択するための入力を受け付ける入力工程と、前記入力手段が受け付けた入力に応じて選択された音種の呼吸音をスペクトル画像として出力する出力工程と、前記入力手段が受け付けた入力に応じて選択された音種毎に、スペクトル画像の色を変更可能な変更工程と、をコンピュータに実行させる。

本実施例に係る呼吸音解析装置の全体構成を示すブロック図である。 本実施例に係る呼吸音解析装置の動作を示すフローチャートである。 捻髪音を含む呼吸音の周波数解析結果を示すスペクトログラム図である。 笛声音を含む呼吸音の周波数解析結果を示すスペクトログラム図である。 捻髪音を含む呼吸音の所定タイミングにおけるスペクトルを示すグラフである。 捻髪音を含む呼吸音のスペクトルの近似方法を示す概念図である。 笛声音を含む呼吸音の所定タイミングにおけるスペクトルを示すグラフである。 笛声音を含む呼吸音のスペクトルの近似方法を示す概念図である。 周波数解析方法の一例を示すグラフである。 周波数解析結果の一例を示す図である。 スペクトルのピーク検出結果を示す概念図である。 正常肺胞呼吸音基底を示すグラフである。 捻髪音基底を示すグラフである。 連続性ラ音基底を示すグラフである。 ホワイトノイズ基底を示すグラフである。 周波数シフトされた連続性ラ音基底を示すグラフである。 スペクトルと、基底及び結合係数との関係を示す図である。 観測されたスペクトル及び近似に用いられる基底の一例を示す図である。 スペクトルを示す各基底及び結合係数を示す図である。 第１変形例に係る連続性ラ音の分別方法を示す概念図（その１）である。 第１変形例に係る連続性ラ音の分別方法を示す概念図（その２）である。 第２変形例に係る笛声音と類鼾音との分別に用いる閾値を示すグラフである。 第３変形例に係る笛声音と類鼾音との分別に用いる閾値の初期値を示すグラフである。 第３変形例に係る笛声音と類鼾音との分別に用いる閾値の調整後の値を示すグラフ（その１）である。 第３変形例に係る笛声音と類鼾音との分別に用いる閾値の調整後の値を示すグラフ（その２）である。 笛声音を含む呼吸音のスペクトログラム図である。 笛声音のピーク周波数及びピーク数を示すグラフである。 類鼾音を含む呼吸音のスペクトログラム図である。 類鼾音のピーク周波数及びピーク数を示すグラフである。 表示部における表示例を示す平面図である。 音種毎の抽出結果を示すスペクトログラム図である。 分別された音種毎の音声出力の一例を示す概念図（その１）である。 分別された音種毎の音声出力の一例を示す概念図（その２）である。 分別された音種毎の音量調整方法を示す概念図である。 周波数帯域毎の音量調整方法を示す概念図である。 音種毎に実行される画像処理の一例を示す概念図である。 音種毎に画像処理した画像を重ね合わせて生成した画像の一例を示す平面図である。 分別された音種毎の表示色調整方法を示す概念図である。

＜１＞
本実施形態に係る呼吸音解析装置は、呼吸音を正常音及び異常音に分別する分別手段と、前記分別した呼吸音のうち任意の呼吸音を出力する出力手段とを備える。

本実施形態に係る呼吸音解析装置によれば、その動作時には、先ず呼吸音が正常音と異常音とに分別される。分別手段によって分別される呼吸音は、正常音及び異常音の２音でなくともよく、正常音及び異常音の各々が更に複数の音種に分別されてもよい。例えば、異常音を、笛声音、類鼾音及び捻髪音等に夫々分別してもよい。なお、具体的な分別手法については特に限定されるものではなく、後述する任意の呼吸音の出力が可能となるような状態で分別できればよい。

呼吸音が分別されると、分別された呼吸音のうち任意の呼吸音が出力される。即ち、分別された複数の呼吸音が選択的に出力される。これにより、例えばユーザが所望する呼吸音のみを出力することが可能である。より具体的には、例えば呼吸音に含まれる笛声音のみを出力したり、笛声音及び類鼾音のみを出力したりできる。なお、出力態様については特に限定されず、音声又は画像として出力されてもよいし、他の態様で出力されてもよい。

上述したように呼吸音を分別して出力することで、例えば健康状態の診断等が容易に行える。具体的には、例えば複数の呼吸音が混ざった状態で聞こえるような場合には、熟練した医師でも各音種を区別して聴きとることが難しいが、任意の呼吸音を出力できれば、呼吸音に含まれる音種を容易に判別することが可能となる。このように、呼吸音に含まれる特定の音種だけを聴きとり易くすることができれば、医師の教育や研究においても活用することができる。

以上説明したように、本実施形態に係る呼吸音解析装置によれば、呼吸音を分別して任意の呼吸音を出力できるため、複数の音種を含んでいる呼吸音を好適に解析することが可能である。

＜２＞
本実施形態に係る呼吸音解析装置の一態様では、前記出力手段は、前記分別した呼吸音のうち複数の呼吸音を同時に出力する。

この態様によれば、任意の呼吸音として複数の呼吸音を同時に（言い換えれば、重畳した状態で）出力することができるため、所望の呼吸音を適宜組み合わせて出力させることができる。

＜３＞
本実施形態に係る呼吸音解析装置の他の態様では、前記出力手段は、前記任意の呼吸音を音声又はスペクトル画像として出力する。

この態様によれば、分別された呼吸音のうち任意の呼吸音は、例えばスピーカーやヘッドフォンを用いて音声として出力される。或いは、任意の呼吸音は、液晶モニタ等のディスプレイを用いてスペクトル画像として出力される。よって、出力された任意の呼吸音を好適に利用できる。

＜４＞
本実施形態に係る呼吸音解析装置の他の態様では、前記任意の呼吸音の出力状態を音種毎に変更可能な変更手段を更に備える。

この態様によれば、任意の呼吸音の出力状態（例えば、出力音量や画像の表示態様等）を音種毎に変更できるため、出力された任意の呼吸音をより好適に利用できる。例えば、呼吸音に含まれる特定の異常音だけ音量を大きくして出力することで、複数の呼吸音が混ざった状態でも、特定の異常音を聴き易い状態にできる。また、一度聴き易い状態にしてから再び通常の音量に戻しても、以降は聴きとり易い状態になるものと考えられる。よって、経験の浅い医師のトレーニング等にも有効に活用することができる。

＜５＞
上述した変更手段を更に備える態様では、前記変更手段は、前記任意の呼吸音の出力音量を音種毎に変更可能であってもよい。

この場合、出力音量を音種毎に変更できるため、所望の呼吸音のみを聴き易い状態にするなどして、利便性を向上させることができる。

＜６＞
上述した出力音量を音種毎に変更可能な態様では、前記変更手段は、前記任意の呼吸音の出力音量を所定の周波数帯域毎に変更可能であってもよい。

この場合、音種毎の出力音量の変更をより詳細に行えるため、例えば所定の周波数帯域の出力音量だけを大きくして、所望の呼吸音を更に聴き易い状態にすることができる。なお、所定の周波数帯域は、分別される音種の特性等に応じて設定されればよい。

＜７＞
或いは変更手段を更に備える態様では、前記変更手段は、前記任意の呼吸音を示す画像に対して音種毎に所定の画像処理を実行可能であってもよい。

この場合、任意の呼吸音を示す画像（例えば、一種の呼吸音のみを抽出したスペクトログラム等）について、所定の画像処理を施し、視覚的に認識し易い状態を実現できる。所定の画像処理としては、例えば、色の変更（例えば、ＲＧＢ調整）、二値化、エッジ検出等が挙げられる。

＜８＞
上述した画像処理を音種毎に実行可能な態様では、前記変更手段は、音種毎に前記所定の画像処理を実行した画像を、複数の音種で重ね合わせて出力可能であってもよい。

この場合、別々に画像処理が施された音種毎の画像を複数重ね合わせて表示できるため、画像処理によって適切な態様で表示された複数の音種を１つの画像でまとめて認識でき、例えば複数の音種間での比較等を好適に行うことができる。

＜９＞
本実施形態に係る呼吸音解析装置の他の態様では、前記分別手段は、呼吸音のスペクトルの所定の特徴に対応する周波数に関する情報を取得する取得手段と、前記呼吸音を分類する基準となる複数の基準スペクトルを、前記周波数に関する情報に応じてシフトさせ、周波数シフト基準スペクトルを取得するシフト手段と、前記呼吸音と前記周波数シフト基準スペクトルとに基づいて、前記呼吸音に含まれる前記複数の基準スペクトルの割合を出力する割合出力手段とを有する。

この態様によれば、分別手段において、先ず呼吸音のスペクトルの所定の特徴に対応する周波数に関する情報が取得される。なお、ここでの「所定の特徴」とは、生体音のスペクトルに含まれる音種に応じて特定の周波数に発生する特徴を意味しており、例えば周波数解析された信号に現れるピーク等である。更に、「周波数に関する情報」とは、周波数を直接的に示す情報に限定されず、その周波数を間接的に導き出すことができるような情報を含む趣旨である。

周波数に関する情報が取得されると、呼吸音を分類する基準となる複数の基準スペクトルが、周波数に関する情報に応じてシフトされ、周波数シフト基準スペクトルが取得される。なお、ここでの「基準スペクトル」とは、呼吸音に含まれる複数の音種（例えば、正常呼吸音や連続性ラ音、捻髪音等）を分類するために、各音種に応じて予め設定されたスペクトルである。基準スペクトルは、例えば呼吸音から取得された所定の特徴であるピーク位置等に応じて周波数シフトされ、周波数シフト基準スペクトルとされる。

周波数シフト基準スペクトルが取得されると、呼吸音と周波数シフト基準スペクトルとに基づいて、呼吸音に含まれる複数の基準スペクトルの割合が出力される。具体的には、解析対象である呼吸音に、複数の基準スペクトルに対応する音種がどのような割合で含まれているのかが算出され、その結果が出力される。より具体的には、例えば呼吸音のスペクトルに対して、複数の基準スペクトルを基底とする演算が実行されることで、基準スペクトルの割合が結合係数として算出される。

以上の結果、本実施形態に係る分別手段によれば、複数の音種を含む呼吸音を好適に分別できる。本実施形態では特に、複数の呼吸音が同一の周波数軸上で混じり合っている場合においても、各音種の割合を好適に分別できる。

＜１０＞
上述した周波数シフト基準スペクトルを用いる態様では、前記所定の特徴は、極大値であってもよい。

この場合、例えば呼吸音を示す信号に対して、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）等による周波数解析が実行され、解析結果の極大値（即ち、ピーク）に対応する周波数に関する情報が取得される。なお、周波数に関する情報は、極大値の位置に対応するものとして取得されるが、極大値の位置と完全に一致する周波数でなくとも、極大値の近傍位置に対応する周波数に関する情報として取得されてもよい。

上述したように、呼吸音のスペクトルの所定の特徴として極大値を利用することで、より容易且つ的確に周波数に関する情報を取得できる。

＜１１＞
本実施形態に係る呼吸音解析方法は、呼吸音を正常音及び異常音に分別する分別工程と、前記分別した呼吸音のうち任意の呼吸音を出力する出力工程とを備える。

本実施形態に係る呼吸音解析方法によれば、上述した本実施形態に係る呼吸音解析装置と同様に、複数の音種を含む呼吸音を好適に解析できる。

なお、本実施形態に係る呼吸音解析方法においても、上述した本実施形態に係る呼吸音解析装置における各種態様と同様の各種態様を採ることが可能である。

＜１２＞
本実施形態に係るコンピュータプログラムは、呼吸音を正常音及び異常音に分別する分別工程と、前記分別した呼吸音のうち任意の呼吸音を出力する出力工程とをコンピュータに実行させる。

本実施形態に係るコンピュータプログラムによれば、上述した本実施形態に係る呼吸音解析方法と同様の処理をコンピュータに実行させることができるため、複数の音種を含む呼吸音を好適に解析できる。

なお、本実施形態に係るコンピュータプログラムにおいても、上述した本実施形態に係る呼吸音解析装置における各種態様と同様の各種態様を採ることが可能である。

＜１３＞
本実施形態に係る記録媒体は、上述したコンピュータプログラムが記録されている。

本実施形態に係る記録媒体によれば、上述したコンピュータプログラムをコンピュータにより実行させることにより、複数の音種を含む呼吸音を好適に解析することが可能となる。

本実施形態に係る呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体の作用及び他の利得については、以下に示す実施例において、より詳細に説明する。

以下では、図面を参照して呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体の実施例について詳細に説明する。

＜全体構成＞
先ず、本実施例に係る呼吸音解析装置の全体構成について、図１を参照して説明する。ここに図１は、本実施例に係る呼吸音解析装置の全体構成を示すブロック図である。

図１において、本実施例に係る呼吸音解析装置は、主な構成要素として、生体音センサ１１０と、信号記憶部１２０と、信号処理部１２５と、音声出力部１３０と、基底保持部１４０と、表示部１５０と、入力部１６０と、処理部２００とを備えて構成されている。

生体音センサ１１０は、生体の呼吸音を検出可能に構成されたセンサである。生体音センサ１１０は、例えばＥＣＭ（Electret Condenser Microphone）やピエゾを利用したマイク、振動センサ等で構成されている。

信号記憶部１２０は、例えばＲＡＭ（Random Access Memory）等のバッファとして構成されており、生体音センサ１１０で検出された呼吸音を示す信号（以下、適宜「呼吸音信号」と称する）を一時的に記憶する。信号記憶部１２０は、記憶した信号を、音声出力部１３０及び処理部２００に夫々出力可能に構成されている。

信号処理部１２５は、生体音センサ１１０で取得した音を加工して音声出力部１３０に出力する。信号処理部１２５は、例えばイコライザーやフィルターとして機能し、取得した音を人が聴き易い状態に加工する。

音声出力部１３０は、例えばスピーカーやヘッドフォンとして構成されており、生体音センサ１１０で検出され、信号処理部１２５で加工された呼吸音を出力する。

基底保持部１４０は、例えばＲＯＭ（Read Only Memory）等として構成されており、呼吸音に含まれ得る所定の音種に対応する基底を記憶している。なお、本実施例に係る基底は、本発明の「基準スペクトル」の一例である。

表示部１５０は、例えば液晶モニタ等のディスプレイとして構成されており、処理部２００から出力される画像データを表示する。

入力部１６０は、ユーザによる入力を受け付けるデバイスであり、例えばキーボード、マウス、タッチパネル、各種スイッチ等として構成されている。入力部１６０は、少なくとも出力すべき呼吸音を選択するための入力操作が可能なものとして構成されている。

処理部２００は、複数の演算回路やメモリ等を含んで構成されている。処理部２００は、周波数解析部２１０、周波数ピーク検出部２２０、基底集合生成部２３０、結合係数算出部２４０、信号強度算出部２５０、画像生成部２６０、及び呼吸音選択部２７０を備えている。

処理部２００の各部の動作については後に詳述する。

＜動作説明＞
次に、本実施例に係る呼吸音解析装置の動作について、図２を参照して説明する。ここに図２は、本実施例に係る呼吸音解析装置の動作を示すフローチャートである。ここでは、本実施例に係る呼吸音解析装置が実行する処理の全体的な流れを把握するための簡単な説明を行う。各処理の詳細については、後述する。

図２において、本実施例に係る呼吸音解析装置の動作時には、先ず生体音センサ１１０において呼吸音が検出され、処理部２００による呼吸音信号の取得が行われる（ステップＳ１０１）。

呼吸音信号が取得されると、周波数解析部２１０において周波数解析（例えば、高速フーリエ変換）が実行される（ステップＳ１０２）。また、周波数ピーク検出部２２０において、周波数解析結果を用いてピーク（極大値）の検出が実行される。

続いて、基底集合生成部２３０において基底集合が生成される（ステップＳ１０３）。具体的には、基底集合生成部２３０は、基底保持部１４０に記憶されている基底を用いて基底集合を生成する。この際、基底集合生成部２３０は、周波数解析結果から得られたピーク位置（即ち、対応する周波数）に基づいて、基底をシフトさせる。

基底集合が生成されると、結合係数算出部２４０において、周波数解析結果及び基底集合に基づく結合係数の算出が実行される（ステップＳ１０４）。

結合係数が算出されると、信号強度算出部２５０において、結合係数に応じた信号強度が算出される（ステップＳ１０５）。言い換えれば、呼吸音信号に含まれる各音種の割合が算出される。

信号強度が算出されると、画像生成部２６０において、信号強度を示す画像データが生成される。生成された画像データは、表示部１５０において解析結果として表示される（ステップＳ１０６）。

解析結果表示後は、ユーザによって出力すべき音種が入力されると（ステップＳ１０７：ＹＥＳ）、呼吸音選択部２７０により出力すべき呼吸音が選択され、選択された音種が音声出力部１３０又は表示部１５０に出力される（ステップＳ１０８）。

その後、解析処理を継続するか否かの判定が実行される（ステップＳ１０９）。解析処理を継続すると判定された場合（ステップＳ１０９：ＹＥＳ）、ステップＳ１０１からの処理が再び実行される。解析処理を継続しないと判定された場合（ステップＳ１０９：ＮＯ）、一連の処理は終了する。

＜呼吸音信号の具体例＞
次に、本実施例に係る呼吸音解析装置で解析される呼吸音信号の具体例について、図３及び図４を参照して説明する。ここに図３は、捻髪音を含む呼吸音の周波数解析結果を示すスペクトログラム図であり、図４は、笛声音を含む呼吸音の周波数解析結果を示すスペクトログラム図である。

図３に示す例では、正常呼吸音に対応するスペクトログラムパターンに加えて、異常呼吸音の１つである捻髪音に対応するスペクトログラムパターンが観測されている。捻髪音に対応するスペクトログラムパターンは、図中の拡大部分に示すように、菱形に近い形状である。

図４に示す例では、正常呼吸音に対応するスペクトログラムパターンに加えて、異常呼吸音の１つである笛声音に対応するスペクトログラムパターンが観測されている。笛声音に対応するスペクトログラムパターンは、図中の拡大部分に示すように、白鳥の首のような形状である。

このように、異常呼吸音には複数の音種が存在し、その音種によって異なる形状のスペクトログラムパターンとして観測される。ただし、図を見ても分かるように、正常呼吸音及び異常呼吸音は互いに混じり合った状態で検出される。本実施例に係る呼吸音解析装置は、このように混じり合った複数の音種を分離するための解析を実行する。

＜呼吸音信号の近似方法＞
次に、本実施例に係る呼吸音解析装置による解析方法について、図５から図８を参照して簡単に説明する。ここに図５は、捻髪音を含む呼吸音の所定タイミングにおけるスペクトルを示すグラフであり、図６は、捻髪音を含む呼吸音のスペクトルの近似方法を示す概念図である。また図７は、笛声音を含む呼吸音の所定タイミングにおけるスペクトルを示すグラフであり、図８は、笛声音を含む呼吸音のスペクトルの近似方法を示す概念図である。

図５において、捻髪音を含む呼吸音信号（図３参照）について、捻髪音に対応するスペクトログラムパターンが強く現れているタイミングでスペクトルを抽出すると、図に示すような結果が得られる。このスペクトルは、正常呼吸音と捻髪音とを含んでいると考えられる。

図６において、正常呼吸音に対応するスペクトル及び捻髪音に対応するスペクトルは、予め実験等により推定できる。このため、予め推定したパターンを利用すれば、上述したスペクトルについて、正常呼吸音に対応する成分と捻髪音に対応する成分とがどのような割合で含まれているかを知ることができる。

図７において、笛声音を含む呼吸音信号（図４参照）について、笛声音に対応するスペクトログラムパターンが強く現れているタイミングでスペクトルを抽出すると、図に示すような結果が得られる。このスペクトルは、正常呼吸音と笛声音とを含んでいると考えられる。

図８において、上述した正常呼吸音及び捻髪音と同様に、笛声音に対応するスペクトルについても、予め実験等により推定できる。このため、予め推定したパターンを利用すれば、上述したスペクトルについて、正常呼吸音に対応する成分と笛声音に対応する成分とがどのような割合で含まれているかを知ることができる。

以下では、このような解析を実現するための各処理について、より具体的に説明する。

＜周波数解析＞
呼吸音信号の周波数解析及び解析結果におけるピークの検出について、図９から図１１を参照して詳細に説明する。ここに図９は、周波数解析方法の一例を示すグラフであり、図１０は、周波数解析結果の一例を示す図である。また図１１は、スペクトルのピーク検出結果を示す概念図である。

図９において、取得された呼吸音信号に対しては、先ず周波数解析が実行される。周波数は、高速フーリエ変換等の既存の技術を利用して行うことができる。本実施例では、周波数毎の振幅値（即ち、振幅スペクトル）を周波数解析結果として用いている。なお、データ取得時のサンプリング周波数、窓サイズ、窓関数（例えば、ハニング窓等）については、適宜決定すればよい。

図１０に示すように、周波数解析結果は、ｎ個の値で構成されるものとして得られる。なお、「ｎ」は、周波数解析における窓サイズ等によって決まる値である。

図１１において、周波数解析によって得られたスペクトルについては、ピークの検出が実行される。図に示す例では、１００Ｈｚ、１３０Ｈｚ、１８０Ｈｚ，及び３２０Ｈｚの位置にピークｐ１～ｐ４が検出されている。なお、ピークの検出処理については、どの周波数にピークが存在するかだけわかればよいため、簡易的な処理でも構わない。ただし、小さなピークでも取りこぼしがないよう、ピーク検出のパラメータ設定されていることが好ましい。

本実施例では、極大値を取る点を求め、更にその点の２階微分値の小さいもの（即ち、絶対値が大きいもの）から順に最大Ｎ個（Ｎは所定の値）を検出している。極大値は、差分の符号が正から負に切り替わる点から求められる。２階微分値は差分の差分で近似する。この値が所定の閾値（負の値）より小さいものを、小さいものから順に最大Ｎ個選び、その位置を記憶する。

＜基底集合の生成＞
次に、基底集合の生成について、図１２から図１６を参照して詳細に説明する。ここに図１２は、正常肺胞呼吸音基底を示すグラフである。また図１３は、捻髪音基底を示すグラフであり、図１４は、連続性ラ音基底を示すグラフであり、図１５は、ホワイトノイズ基底を示すグラフである。図１６は、周波数シフトされた連続性ラ音基底を示すグラフである。

図１２から図１５に示すように、各音種に対応する基底は、特有の形状を有している。なお、各基底は周波数解析結果と同じｎ個の数値（即ち、周波数ごとの振幅値）で構成されている。なお、各基底は、周波数毎の振幅値を示す線と周波数軸とで囲まれた面積が所定の値（例えば１）になるように正規化されている。

ちなみに、ここでは正常肺胞呼吸音基底、捻髪音基底、連続性ラ音基底、ホワイトノイズ基底の４つの基底を示しているが、１つの基底しかない場合でも解析を実行することができる。また、ここで挙げた基底以外の基底を用いることもできる。なお、ここで挙げた呼吸音に対応する基底に代えて、例えば心拍音や腸音に対応する基底を用いれば、心拍音や腸音の解析を実行することが可能となる。

図１６において、上述した基底のうち連続性ラ音に対応する基底は、周波数解析の結果から検出されたピーク位置に合わせて周波数シフトされる。ここでは、図１１で示したピークｐ１～ｐ４の各々に合わせて、連続性ラ音基底を周波数シフトさせた例を示している。なお、連続性ラ音に対応する基底以外の基底を周波数シフトさせてもよい。

以上の結果、基底集合は、正常肺胞呼吸音基底、捻髪音基底、ピーク検出個数分の連続性ラ音基底、及びホワイトノイズ基底の集合として生成される。

＜結合係数の算出＞
次に、結合係数の算出について、図１７から図１９を参照して詳細に説明する。ここに図１７は、スペクトルと、基底及び結合係数との関係を示す図であり、図１８は、観測されたスペクトル及び近似に用いられる基底の一例を示す図である。また図１９は、非負値行列因子分解による近似結果を示す図である。

解析対象であるスペクトルｙ、基底ｈ（ｆ）、及び結合係数ｕの関係は、以下の数式（１）で表すことができる。

図１７に示すように、スペクトルｙ及び各基底ｈ（ｆ）は、ｎ個の値を有している。他方、結合係数は、ｍ個の値を有している。なお、「ｍ」は、基底集合に含まれる基底の数である。

本実施例に係る呼吸音解析装置では、非負値行列因子分解を利用して基底集合に含まれる各基底の結合係数を算出する。具体的には、以下の数式（２）で示される最適化基準関数Ｄを最小化するｕ（ただし、ｕの各成分値は非負）を求めればよい。

なお、一般的な非負値行列因子分解は、基底スペクトルの集合を表す基底行列と、結合係数を表すアクティベーション行列を共に算出する手法であるが、本実施例においては、基底行列を固定して結合係数のみを算出している。

ちなみに、結合係数を算出するための手段として、非負値行列因子分解以外の近似法を用いてもよい。ただし、この場合においても非負であるという条件が望まれる。以下では、非負の近似法を用いる理由について、具体例を挙げて説明する
図１８に示すように、観測されたスペクトルを、基底Ａ～Ｄの４つの基底で近似して結合係数を算出する場合を考える。なお、非負であることを条件とした場合の期待する結合係数ｕは、基底Ａに対応するものが１、基底Ｂに対応するものが１、基底Ｃに対応するものが０、基底Ｄに対応するもの０である。即ち、非負であることを条件とした場合、観測されたスペクトルは、基底Ａに１を乗じたものと、基底Ｂに１を乗じたものとを足し合わせたスペクトルとして近似される。

一方、非負であることを条件としない場合の期待する結合係数ｕは、基底Ａに対応するものが０、基底Ｂに対応するものが０、基底Ｃに対応するものが１、基底Ｄに対応するものが－０．５である。即ち、非負であることを条件としない場合、観測されたスペクトルは、基底Ｃに１を乗じたものと、基底Ｄに－０．５を乗じたものとを足し合わせたスペクトルとして近似される。

上述した２つの例を比較した場合、非負であることを条件とする場合よりも、非負であることを条件としない場合の方が高い近似精度を得られることがある。しかしながら、ここでの結合係数ｕはスペクトルごとの成分量を表すものであるため、非負の値として得られなければならない。言い換えれば、結合係数ｕが負の値で得られた場合には、成分量としての解釈ができない。これに対し、非負の条件を課して近似を行えば、成分量に対応する結合係数ｕを算出することができる。

図１９において、本実施例に係る生体解析装置では、上述したように、正常肺胞呼吸音基底、捻髪音基底、４つの連続性ラ音基底、及びホワイトノイズ基底からなる基底集合を用いて結合係数ｕを算出するため、結合係数ｕは、ｕ_１からｕ_７の７個の値を有するものとして算出される。

ここで、正常肺胞呼吸音基底に対応する結合係数ｕ_１は、呼吸音に対する正常肺胞呼吸音の割合を示す値であると言える。同様に、捻髪音基底に対応する結合係数ｕ_２、ホワイトノイズ基底に対応する結合係数ｕ_３、１００Ｈｚにシフトした連続性ラ音基底に対応する結合係数ｕ_４、１３０Ｈｚにシフトした連続性ラ音基底に対応する結合係数ｕ_５、１８０Ｈｚにシフトした連続性ラ音基底に対応する結合係数ｕ_６、及び３２０Ｈｚにシフトした連続性ラ音基底に対応する結合係数ｕ_７の各々についても、呼吸音に対する各音種の割合を示す値であると言える。従って、結合係数ｕから各音種の信号強度を算出することができる。

以上のように、本実施例では、各音種に対応する複数の基底を利用して呼吸音に含まれる複数の音種を分別する。ただし、上述した分別方法はあくまで一例であり、他の分別方法を用いて複数の音種を分別しても構わない。

＜分別方法の変形例＞
以下では、既に説明した複数の基底を利用する分別方法以外の分別方法について、いくつか例を挙げて説明する。

＜第１変形例＞
先ず、第１変形例に係る分別方法について、図２０及び図２１を参照して説明する。ここに図２０及び図２１は夫々、第１変形例に係る連続性ラ音の分別方法を示す概念図である。

第１変形例に係る分別方法では、呼吸音を連続性ラ音とそれ以外の音に分別する。具体的には、呼吸音信号の周波数解析結果から検出されるピーク周波数が、所定の範囲内で変動している場合に連続性ラ音であると判定する。

図２０に示すように、連続性ラ音である笛声音や類鼾音は、時間軸上で連続して検出されるピークの位置が所定の範囲内に収まるように変動する。言い換えれば、ピーク周波数が時間的に連続性を有するように変化する。よって、連続するピーク位置が所定の範囲内にある場合には、その音が連続性ラ音であると判別できる。

他方、図２１に示すように、連続性ラ音以外の音は、時間軸上で連続して検出されるピークの位置が所定の範囲内に収まらないように変動する。言い換えれば、ピーク周波数が時間的な連続性を有さず離散的に変化する。よって、連続するピーク位置が所定の範囲内でない場合には、その音が連続性ラ音でないと判別できる。

なお、連続性ラ音の判定には、複数回の判定結果を用いることもできる。具体的には、時間軸上で連続して検出されるピークの位置が所定の範囲内に収まるように変動している回数が所定回数以上継続した場合に、その音が連続性ラ音であると判定するようにしてもよい。

＜第２変形例＞
次に、第２変形例に係る分別方法について、図２２を参照して説明する。ここに図２２は、第２変形例に係る笛声音と類鼾音との分別に用いる閾値を示すグラフである。

第２変形例に係る分別方法では、連続性ラ音を笛声音と類鼾音とに分別する。ここで、笛声音は高音性連続性ラ音、類鼾音は低音性連続性ラ音と呼ばれるように、笛声音と類鼾音とは音の高さ（即ち、周波数）で判別することが可能である。しかしながら、笛声音及び類鼾音は、ピーク周波数が時間的に変化する。このため、ピーク周波数に対する単一の閾値（即ち、値が変動しない一つの閾値）を利用して笛声音及び類鼾音を判定しようとすると、時間の経過により、判定結果が変化してしまうことがある。例えば、ピーク周波数が判定閾値を跨ぐように変化してしまうと、それまでは正確に判定されていたものが、誤った音種として判定されることになってしまう。このため第２変形例では、ピーク周波数に応じて判定閾値を変動させる。

図２２に示すように、第２変形例に係る分別方法では、笛声音と判定する割合及び類鼾音と判定する割合がピーク周波数に応じてなめらかに変化するように閾値が変動する。例えば、ピーク周波数が２００Ｈｚの場合には、笛声音が７％含まれ、類鼾音が９３％含まれると判定する。ピーク周波数が２５０Ｈｚの場合には、笛声音が５０％含まれ、類鼾音が５０％含まれると判定する。ピーク周波数が２８０Ｈｚの場合には、笛声音が７８％含まれ、類鼾音が２２％含まれると判定する。なお、ここでの具体的な数値はあくまで一例であり、異なる値を設定してもよい。また、測定対象である生体の性別、年齢、身長、体重等によって異なる変動特性を有するようにしてもよい。

上述した変動する閾値を利用することで、ピーク周波数の変動に起因する誤判定を好適に防止することができる。即ち、第２変形例に係る分別方法では、笛声音及び類鼾音を判定するための閾値がピーク周波数に応じて適切な値にとなるよう変動するため、例えば変動しない単一の閾値を用いる場合と比較して、より正確な分別が行える。

＜第３変形例＞
次に、第３変形例に係る分別方法について、図２３から図２５を参照して説明する。ここに図２３は、第３変形例に係る笛声音と類鼾音との分別に用いる閾値の初期値を示すグラフである。また図２４及び図２５は夫々、第３変形例に係る笛声音と類鼾音との分別に用いる閾値の調整後の値を示すグラフである。

第３変形例に係る分別方法も、既に説明した第２変形例と同様に、連続性ラ音を笛声音と類鼾音とに分別する方法である。また、周波数解析結果から得られたピーク周波数に対する閾値を用いて判定する点についても、第２変形例と同様である。

図２３に示すように、第３変形例に係る分別方法では、閾値である２５０Ｈｚを境にして判定結果が変化するものとして設定されている。具体的には、ピーク周波数が２５０Ｈｚ以上である場合には、連続性ラ音は笛声音成分を１００％含んでおり、類鼾音は含んでいないと判定される。一方、ピーク周波数が２５０Ｈｚ未満である場合には、連続性ラ音は類鼾音成分を１００％含んでおり、笛声音は含んでいないと判定される。

図２４に示すように、第３変形例に係る分別方法では、直前の判定において笛声音成分を１００％含むものであると判定された場合、閾値が２５０Ｈｚから２２０Ｈｚへと低くされる。よって、笛声音成分を１００％含むものとして判定され易くなる。具体的には、ピーク周波数が２３０Ｈｚの場合を考えると、初期の閾値（図２３参照）によれば類鼾音と判定されることになるが、調整後の閾値（図２４参照）によれば笛声音と判定される。

図２５に示すように、第３変形例に係る分別方法では、直前の判定において類鼾音成分を１００％含むものであると判定された場合、閾値が２５０Ｈｚから２８０Ｈｚへと高くされる。よって、類鼾音成分を１００％含むものとして判定され易くなる。具体的には、ピーク周波数が２７０Ｈｚの場合を考えると、初期の閾値（図２３参照）によれば笛声音と判定されることになるが、調整後の閾値（図２５参照）によれば類鼾音と判定される。

上述したように閾値を調整すれば、ピーク周波数の変動に起因する誤判定を好適に防止することができる。即ち、第３変形例に係る分別方法では、笛声音及び類鼾音を判定するための閾値が過去の判定結果に基づいて適切なものへと調整されるため、例えば調整されない単一の閾値を用いる場合と比較して、より正確な判定が行える。

なお、閾値の調整は、直前の判定結果だけによらず、複数回の過去の判定結果に基づいて行われてもよい。また、複数回の過去の判定結果を利用する場合は、各判定結果に対して重み付けを行ってもよい。例えば、過去の判定結果であるほど影響が小さくなるように重み付けをおこなってもよい。また、調整する閾値の初期値として、第２変形例のなめらかな閾値を用いてもよい（図２２参照）。

＜第４変形例＞
次に、第３変形例に係る分別方法について、図２６から図２６を参照して説明する。ここに図２６は、笛声音を含む呼吸音のスペクトログラム図であり、図２７は、笛声音のピーク周波数及びピーク数を示すグラフである。また図２８は、類鼾音を含む呼吸音のスペクトログラム図であり、図２９は、類鼾音のピーク周波数及びピーク数を示すグラフである。

第４変形例に係る分別方法も、既に説明した第２及び第３変形例と同様に、連続性ラ音を笛声音と類鼾音とに分別する方法である。

図２６において、笛声音を含む呼吸音は、所定のピークを有するスペクトラム波形として検出される。ここからピーク周波数Ｆ及びピーク数Ｎを検出するには、先ずスペクトラム波形の単一時間（即ち、図中の白枠で囲った領域）に対応する周波数－振幅グラフを作成する。

図２７に示すグラフから、笛声音のピーク周波数Ｆ１及びピーク数Ｎ１が検出できる。なお、笛声音のピーク周波数の分布は、１８０～９００Ｈｚ程度であることが分かっている。また、図を見ても分かるように、笛声音のピーク数Ｎ１は１個である。

図２８において、類鼾音を含む呼吸音は、笛声音とは異なる所定のピークを有するスペクトラム波形として検出される。ここからピーク周波数Ｆ及びピーク数Ｎを検出するには、同様にスペクトラム波形の単一時間に対応する周波数－振幅グラフを作成する。

図２９に示すグラフから、類鼾音のピーク周波数Ｆ２及びピーク数Ｎ２が検出できる。なお、類鼾音のピーク周波数の分布は、１００～２６０Ｈｚ程度であることが分かっている。即ち、類鼾音のピーク周波数Ｆ２は、笛声音のピーク周波数Ｆ１よりも低い領域に分布していることになる。また、図を見ても分かるように、類鼾音のピーク数Ｎ２は例えば、３個である。即ち、類鼾音のピーク数Ｎ２は、笛声音のピーク数Ｎ１のように１つでなく、複数である。

第４変形例に係る分別方法では、上述した笛声音及び類鼾音の特性の違いを利用して判定が行われる。具体的には、ピーク周波数Ｆ及びピーク数Ｎの各々に基づいて、笛声音と類鼾音とが分別される。このようにすれば、例えばピーク周波数Ｆだけを利用して笛声音と類鼾音とを分別する場合と比べて、より正確な分別が行える。

＜解析結果の表示＞
次に、解析結果の表示について、図３０を参照して詳細に説明する。ここに図３０は、表示部における表示例を示す平面図である。

図３０に示すように、表示部１５０の表示領域１５５には、解析結果が複数の画像として表示される。具体的には、領域１５５ａには、取得された呼吸音の波形が表示されている。領域１５５ｂには、取得された呼吸音のスペクトルが表示されている。領域１５５ｃには、取得された呼吸音のスペクトログラムが表示されている。領域１５５ｄには、分別された各音種（ここでは、正常呼吸音、類鼾音、笛声音、捻髪音、水泡音の５音種）の成分量の時系列変化を表すグラフが表示されている。領域１５５ｅには、分別された各音種の割合がレーダーチャートとして表示されている。

なお、このような解析結果の表示態様はあくまで一例であり、他の表示態様で解析結果が表示されてもよい。例えば、分別された各音種の割合は、棒グラフや円グラフとして表示されてもよいし、数値化して表示されてもよい。

＜音種の選択及び出力＞
次に、ユーザによる音種の選択、及び選択された音種毎の出力について、図３１から図３３を参照して説明する。ここに図３１は、音種毎の抽出結果を示すスペクトログラム図である。また図３２及び図３３は夫々、分別された音種毎の音声出力の一例を示す概念図である。

図３１に示すように、表示部１５０の領域１５５ｃに表示されるスペクトログラムは、ユーザによって選択された音種毎に表示してもよい。即ち、図３１（ａ）に示すオリジナル（取得された元の呼吸音）のスペクトログラムに代えて、図３１（ｂ）に示す正常呼吸音のスペクトログラム、図３１（ｃ）に示す類鼾音のスペクトログラム、図３１（ｄ）に示す笛声音のスペクトログラム、図３１（ｅ）に示す捻髪音のスペクトログラム、及び図３１（ｆ）に示す水泡音のスペクトログラムを表示するようにしてもよい。また、これらの音種毎のスペクトログラムを複数並べて表示するようにしてもよい。

図３２及び図３３に示すように、表示部１５０の領域１５５ｄに表示される音種毎のグラフを選択して、選択された音種のみを音量出力するようにしてもよい。例えば図３２の例では、正常呼吸音だけが選択されており、その他の類鼾音、笛声音、捻髪音及び水泡音はいずれも選択されていない。このため、音声出力部１３０からは、正常呼吸音のみが音声出力される。また図３３の例では、正常呼吸音だけが選択されておらず、その他の類鼾音、笛声音、捻髪音及び水泡音がいずれも選択されている。このため、音声出力部１３０からは、類鼾音、笛声音、捻髪音及び水泡音を合成した音声が出力される。

＜出力態様の変更＞
次に、音種毎の出力態様の変更方法について、図３４から図３８を参照して具体的に説明する。ここに図３４は、分別された音種毎の音量調整方法を示す概念図であり、図３５は、周波数帯域毎の音量調整方法を示す概念図である。また図３６は、音種毎に実行される画像処理の一例を示す概念図であり、図３７は、音種毎に画像処理した画像を重ね合わせて生成した画像の一例を示す平面図である。図３８は、分別された音種毎の表示色調整方法を示す概念図である。

図３４に示すように、分別された各音種の出力音量を音種毎に調整可能としてもよい。図に示す操作画面では、音種毎のＯＮ／ＯＦＦがチェックボックスにより切替え可能とされており、音種毎の音量がスライダーによって調整可能とされている。図に示す例では、類鼾音及び笛声音が夫々出力されており、笛声音が類鼾音より大きい音量で出力されている。

図３５に示すように、音種毎の出力音量の調整に加えて、周波数帯域毎の出力音量の調整が可能とされてもよい。図に示す例では、１２５Ｈｚ、２５０Ｈｚ、５００Ｈｚ、１ｋＨｚ、２ｋＨｚの各周波数帯域でゲインが調整可能とされている。

図３６に示すように、音種毎に抽出されたスペクトログラムに対して、画像処理（例えば、二値化やエッジ検出等）を実行するようにしてもよい。このようにすれば、抽出しただけの状態では認識しにくかったものを、より視覚的に分かりやすい状態で表示させることができる。なお、画像処理は複数の処理を組み合わせたものであってもよい。また、音種によって異なる画像処理を施すようにしても構わない。

図３７に示すように、画像処理が施された音種毎の画像（図３６参照）を、重ね合わせて表示するようにしてもよい。このようにすれば、音種毎のスペクトログラムを１つの画像でまとめて認識できるため、視覚的な把握が好適に行える。なお、ここでは正常呼吸音及び笛声音の画像を重ねて表示した例を示したが、重ねて表示する音種は選択可能とされており、所望の音種のみを適宜選択して表示させることができる。

図３８に示すように、音種毎に画像の色を調整可能としてもよい。図に示す例では、Ｒ（赤）、Ｇ（緑）、Ｂ（青）に対応するスライダーを夫々調整することで、音種毎にＲＧＢ値を調整することが可能である。このようにすれば、複数の音種を互いに異なる色で表示させることが可能となり、より視覚的に把握し易い状態での表示が実現できる。

以上説明したように、本実施例に係る呼吸音解析装置によれば、呼吸音を分別した後、適宜選択して出力することができる。また、出力態様を音種毎に変更することができるため、分別した音種毎のデータを好適に利用することができる。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体もまた本発明の技術的範囲に含まれるものである。

１１０ 生体音センサ
１２０ 信号記憶部
１２５ 信号処理部
１３０ 音声出力部
１４０ 基底保持部
１５０ 表示部
１５５ 表示領域
１６０ 入力部
２００ 処理部
２１０ 周波数解析部
２２０ 周波数ピーク検出部
２３０ 基底集合生成部
２４０ 結合係数算出部
２５０ 信号強度算出部
２６０ 画像生成部
２７０ 呼吸音選択部
ｙ スペクトル
ｈ（ｆ） 基底
ｕ 結合係数

Claims (2)

1. 呼吸音を複数の音種に分別する分別手段と、
   出力すべき呼吸音の種類を選択するための入力を受け付ける入力手段と、
   前記入力手段が受け付けた入力に応じて選択された音種であって、前記呼吸音を分類する基準となる複数の基準スペクトルに対応する音種の呼吸音をスペクトル画像として出力する出力手段と、
   前記入力手段が受け付けた入力に応じて選択された音種であって、前記複数の基準スペクトルに対応する音種毎に、スペクトル画像の色を変更可能な変更手段と、
   を備え、
   前記分別手段は、
   呼吸音のスペクトルの所定の特徴に対応する周波数に関する情報を取得する取得手段と、
   前記複数の基準スペクトルを、前記周波数に関する情報に応じてシフトさせ、周波数シフト基準スペクトルを取得するシフト手段と、
   前記呼吸音と前記周波数シフト基準スペクトルとに基づいて、前記呼吸音に含まれる前記複数の基準スペクトルの割合を出力する割合出力手段とを有する
   ことを特徴とする呼吸音解析装置。
2. 呼吸音のスペクトルの所定の特徴に対応する周波数に関する情報を取得し、
   前記呼吸音を分類する基準となる複数の基準スペクトルを、前記周波数に関する情報に応じてシフトさせ、周波数シフト基準スペクトルを取得し、
   前記呼吸音と前記周波数シフト基準スペクトルとに基づいて、前記呼吸音に含まれる前記複数の基準スペクトルの割合を出力する
   ことで前記呼吸音を複数の音種に分別する分別工程と、
   出力すべき呼吸音の種類を選択するための入力を受け付ける入力工程と、
   前記入力工程において受け付けた入力に応じて選択された音種であって、前記複数の基準スペクトルに対応する音種の呼吸音をスペクトル画像として出力する出力工程と、
   前記入力工程において受け付けた入力に応じて選択された音種であって、前記複数の基準スペクトルに対応する音種毎に、スペクトル画像の色を変更可能な変更工程と、
   をコンピュータに実行させることを特徴とするコンピュータプログラム。