JP6693340B2 - 音声処理プログラム、音声処理装置、及び音声処理方法 - Google Patents

Description

本発明は、音声処理プログラム、音声処理装置、及び音声処理方法に関する。

収音装置で収音した音声信号に対する音声処理技術の１つとして、伝達特性を利用して音源を分離する技術が知られている。この種の技術では、収音目的である音源のみが音を発している状態の音声信号に基づいて伝達特性を推定し、推定した伝達特性に基づいて、処理対象の音声信号に含まれる、収音目的である音源とは別の音源の成分を抑圧する（例えば、特許文献１を参照）。

特開２００６−１９７５５２号公報

伝達特性に基づいて音声信号を抑圧する際には、ある時点で推定した伝達特性の値に基づいて、音声信号に付加するゲインを決定している。しかしながら、収音目的である音源が人物などである場合、音声の伝達特性は常に一定の値であるわけではなく、伝達特性の時間変化はピーク値の前後に広がりを持った分布となる。そのため、ある時点で推定した伝達特性の値に基づいて音声信号に付加するゲインを決定する場合、実際の伝達特性と、推定した伝達特性との違いにより、音声信号に対し誤った抑圧をしてしまうことがある。

１つの側面において、本発明は、伝達特性に基づいて音声信号を適切に抑圧することを目的とする。

１つの態様の音声処理プログラムは、下記の第１の処理〜第４の処理をコンピュータに実行させる。第１の処理は、第１の音声信号に対応する第１の周波数スペクトルと、第２の音声信号に対応する周波数スペクトルとを取得する処理である。第２の処理は、第１の周波数スペクトルにおける各周波数成分のレベルと、第２の周波数スペクトルにおける各周波数成分のレベルとのレベル差を算出する処理である。第３の処理は、周波数成分毎に、所定期間内におけるレベル差の分布の広がりを算出する処理である。第４の処理は、レベル差の分布の広がりに基づいて、第１の周波数スペクトルの周波数成分に付加するゲインと、第２の周波数スペクトルの周波数成分に付加するゲインとを決定する処理である。

上記の態様によれば、伝達特性に基づいて音声信号を適切に抑圧することが可能となる。

第１の実施形態に係る音声処理装置の機能的構成を示す図である。 第１の実施形態に係る音声処理装置におけるゲイン決定部の構成を示す図である。 第１の実施形態に係る音声処理装置の適用例を示す図である。 第１の実施形態に係る音声処理装置が行う処理を説明するフローチャートである。 第１の実施形態に係るゲイン決定処理の内容を説明するフローチャートである。 伝達特性の分布の例を示す図である。 伝達特性の分布と時系列変化との関係を説明する図である。 伝達特性が抑圧範囲内である場合の処理結果の例を示す図である。 伝達特性が抑圧範囲外となる期間がある場合の処理結果の例を示す図である。 伝達特性のばらつきの度合いと抑圧閾値との関係の変形例を説明する図である。 第２の実施形態に係る音声処理装置の適用例を示す図である。 第２の実施形態に係る音声処理装置の機能的構成を示す図である。 第２の実施形態に係る音声処理装置におけるゲイン決定部の構成を示す図である。 第２の実施形態に係るゲイン決定処理の内容を説明するフローチャート（その１）である。 第２の実施形態に係るゲイン決定処理の内容を説明するフローチャート（その２）である。 第２の実施形態における抑圧閾値の算出方法を説明する図である。 抑圧範囲が重なっている場合の修正方法を説明する図である。 コンピュータのハードウェア構成を示す図である。

［第１の実施形態］
図１は、第１の実施形態に係る音声処理装置の機能的構成を示す図である。

図１に示すように、本実施形態に係る音声処理装置１は、入力受付部１１０と、周波数変換部１２０と、発話状態推定部１３０と、ゲイン決定部１４０と、ゲイン付加部１５０と、逆変換部１６０と、を備える。また、音声処理装置１は、ファイル化部１７１と、表示信号出力部１７２と、を備える。更に、音声処理装置１は、伝達特性情報保持部１９１と、音声ファイル記憶部１９２と、を備える。

入力受付部１１０は、第１の収音装置２（２Ａ）及び第２の収音装置２（２Ｂ）を含む複数の収音装置で収音した音声信号の入力を受け付ける。入力受付部１１０は、例えば、第１の収音装置２Ａ及び第２の収音装置２Ｂから入力されたアナログ音声信号をデジタル音声信号に変換する。第１の収音装置２Ａ及び第２の収音装置２Ｂは、それぞれ、収音部２０１と、表示部２０２とを含む。収音部２０１は、マイクロフォンであり、当該収音部２０１の周囲の音を収音する。表示部２０２は、例えばLight Emitting Diode（ＬＥＤ）ランプであり、音声処理装置１等の外部装置から入力される表示信号に基づいて、点灯、消灯、或いは点滅する。

周波数変換部１２０は、複数の収音装置２のそれぞれから入力された音声信号を周波数スペクトルに変換する。周波数変換部１２０は、入力された時間領域の音声信号を所定の時間長Ｔ毎のフレームに分割し、例えば短時間離散フーリエ変換（Short-Time Discrete Fourier Transform；ＳＴＤＦＴ）により、各フレームの音声信号を周波数スペクトルに変換する。以下の説明では、第１の収音装置２Ａから入力された音声信号を第１の音声信号といい、第２の収音装置２Ｂから入力された音声信号を第２の音声信号という。また、以下の説明では、第１の音声信号についての周波数スペクトルを第１の周波数スペクトルといい、第２の音声信号についての周波数スペクトルを第２の周波数スペクトルという。

発話状態推定部１３０は、第１の周波数スペクトルと、第２の周波数スペクトルとに基づいて、処理対象のフレームにおける人物の発話状態を推定する。発話状態推定部１３０は、例えば、発話ダイアライゼーション技術における既知の推定方法に従って、処理対象のフレームにおける人物の発話状態を推定する。例えば、二人の人物のうちの一方の人物の近傍に第１の収音装置２Ａを設置し、他方の人物の近傍に第２の収音装置２Ｂを設置している場合、発話状態推定部１３０は、人物の発話状態が下記の４通りの状態のいずれの状態であるかを推定する。
（状態１）発話している人物がいない状態。
（状態２）第１の収音装置２Ａの近傍にいる人物のみが発話している状態。
（状態３）第２の収音装置２Ｂの近傍にいる人物のみが発話している状態。
（状態４）第１の収音装置２Ａの近傍にいる人物と第２の収音装置２Ｂの近傍にいる人物とが発話している状態。

ゲイン決定部１４０は、各周波数スペクトルに付加するゲインを決定する。処理対象のフレームの発話状態が、一人の人物のみが発話している状態である場合、ゲイン決定部１４０は、周波数スペクトルと発話状態とに基づいて伝達特性を推定し、所定期間内における伝達特性のばらつきの度合いを算出する。所定期間内における伝達特性のばらつきの度合いを算出する際、ゲイン決定部１４０は、伝達特性情報保持部１９１で保持している伝達特性や伝達特性の分布のピーク値を表す情報を参照する。また、ゲイン決定部１４０は、所定期間内における伝達特性の分布のピーク値と、伝達特性のばらつきの度合いとに基づいて、抑圧範囲の閾値を設定する。更に、ゲイン決定部１４０は、周波数スペクトルと、抑圧範囲の閾値と、背景雑音スペクトルとに基づいて、周波数スペクトルに付加するゲインを算出する。ゲイン決定部１４０は、スペクトルサプレッション法等の既知の推定方法に従って、周波数スペクトルにおける背景雑音スペクトルを推定する。

ゲイン付加部１５０は、ゲイン決定部１４０において算出したゲインを周波数スペクトルに付加する。

逆変換部１６０は、周波数スペクトルを時間領域の音声信号に変換する。逆変換部１６０は、ゲインを付加した周波数スペクトルを、例えば短時間離散フーリエ逆変換（Inverse STDFT）により、時間領域の音声信号に変換する。

ファイル化部１７１は、逆変換部１６０で周波数スペクトルを変換して得た時間領域の音声信号を、所定のファイルフォーマットに従って音声ファイルにし、当該音声ファイルを音声ファイル記憶部１９２に格納する。

表示信号出力部１７２は、収音装置２の表示部２０２の表示を制御する表示信号を生成して出力する。表示信号出力部１７２は、入力された音声信号と、逆変換部１６０で周波数スペクトルを変換して得た時間領域の音声信号とに基づいて、第１の収音装置２Ａの表示部２０２に出力する表示信号と、第２の収音装置２Ｂの表示部２０２に出力する表示信号とを生成する。

図２は、第１の実施形態に係る音声処理装置におけるゲイン決定部の構成を示す図である。

図２に示すように、本実施形態におけるゲイン決定部１４０は、伝達特性推定部１４１と、伝達特性分布算出部１４２と、収束判定部１４３と、背景雑音推定部１４４と、ゲイン算出部１４５と、を含む。

伝達特性推定部１４１は、処理対象のフレームの発話状態が、一人の人物のみが発話している状態である場合に、周波数スペクトルと発話状態とに基づいて伝達特性を推定する（算出する）。伝達特性推定部１４１は、発話状態を示す情報に基づいて発話している人物の近傍に設置されている収音装置２を特定し、特定した収音装置２の近傍にいる話者が発話しているときの伝達特性を推定する。伝達特性推定部１４１は、周波数スペクトルの帯域毎に、発話している人物の近傍に設置されている収音装置２から入力された音声信号の周波数スペクトルと、他の収音装置から入力された音声信号の周波数スペクトルとに基づいて伝達特性を推定する。伝達特性推定部１４１は、推定した伝達特性を伝達特性情報保持部１９１に保持させる。

例えば、入力音声信号が第１の音声信号及び第２の音声信号の２個の音声信号である場合、伝達特性推定部１４１は、第１の収音装置２Ａの近傍にいる人物のみが発話しているとき、或いは第２の収音装置２Ｂの近傍にいる人物のみが発話しているときの伝達特性を推定する（算出する）。この際、伝達特性推定部１４１は、伝達特性として、第１の収音装置２Ａから入力された音声信号の周波数スペクトルと、第２の収音装置２Ｂから入力された音声信号の周波数スペクトルとの差を算出する
伝達特性分布算出部１４２は、処理対象のフレームについての伝達特性と、伝達特性情報保持部１９１で保持している所定期間内の伝達特性とに基づいて、伝達特性の分布を算出し、伝達特性のばらつきの度合いを算出する。伝達特性分布算出部１４２は、例えば、所定期間内における伝達特性の平均を伝達特性の分布のピーク値とし、当該ピーク値からのばらつきの度合いを算出する。伝達特性分布算出部１４２は、算出した伝達特性の分布とばらつきの度合いを、伝達特性情報保持部１９１に格納する。

収束判定部１４３は、伝達特性の分布のピーク値と、伝達特性のばらつきの度合いとが収束しているか否かを判定する。例えば、収束判定部１４３は、所定期間（所定のフレーム数）における伝達特性の分布のピーク値から回帰直線の傾きを算出し、当該回帰直線の傾きが閾値よりも小さくなった場合に、伝達特性の分布のピーク値が収束していると判定する。

背景雑音推定部１４４は、既知の推定方法に従って、入力音声信号の周波数スペクトルに対する背景雑音スペクトルを推定する。

ゲイン算出部１４５は、伝達特性の分布のピーク値と、伝達特性のばらつきの度合いとに基づいて抑圧範囲の閾値を算出し、抑圧範囲の閾値と、周波数スペクトル間のレベル差とに基づいて、周波数スペクトルに付加するゲインを算出する。

本実施形態に係る音声処理装置１は、複数の収音装置で収音した複数の人物による会話（対話）の録音に利用可能である。

図３は、第１の実施形態に係る音声処理装置の適用例を示す図である。
図３には、本実施形態に係る音声処理装置１の適用例として、テーブル３を挟んで向かい合う２人の人物４Ａ，４Ｂによる会話を録音する場合の収音装置２Ａ，２Ｂと人物４Ａ．４Ｂとの位置関係を示している。２人の人物４Ａ，４Ｂによる会話は、音声処理装置１に接続された第１の収音装置２Ａと、第２の収音装置２Ｂとにより収音する。この際、第１の収音装置２Ａは、第１の人物４Ａの近傍に設置し、第２の人物４Ｂから第１の収音装置２Ａまでの距離が、第１の人物４Ａから第１の収音装置２Ａまでの距離よりも長くなるようにする。これに対し、第２の収音装置２Ｂは、第２の人物４Ｂの近傍に設置し、第１の人物４Ａから第２の収音装置２Ｂまでの距離が、第２の人物４Ｂから第２の収音装置２Ｂまでの距離よりも長くなるように設置する。すなわち、第１の収音装置２Ａは第１の人物４Ａが発した音声の収音を目的として第１の人物４Ｂの近傍に設置され、第２の収音装置２Ｂは第２の人物４Ｂが発した音声の収音を目的として設置される。

ところが、２人の人物４Ａ，４Ｂが会話をしている場合、第１の収音装置２Ａで収音した音声信号には、収音目的である第１の人物４Ａの音声の他に、第２の人物４Ｂの音声が含まれる。一方、第２の収音装置２Ｂで収音した音声信号には、収音目的である第２の人物４Ｂの音声の他に、第１の人物４Ａの音声が含まれる。本実施形態に係る音声処理装置１は、収音目的である人物の音声と、収音目的である人物とは別の人物の音声とを含む音声信号における、当該別の人物の音声を抑圧する。すなわち、音声処理装置１は、第１の収音装置２Ａで収音した音声信号に含まれる第２の人物４Ｂの音声を抑圧するとともに、第２の収音装置２Ｂで収音した音声信号に含まれる第１の人物４Ａの音声を抑圧する。

本実施形態に係る音声処理装置１は、会話を録音する処理を開始すると、まず、複数の収音装置２のそれぞれから音声信号を取得する処理を開始する。会話の録音に用いる収音装置が第１の収音装置２Ａ及び第２の収音装置２Ｂの２個の収音装置である場合、音声処理装置１は、第１の収音装置２Ａから第１の音声信号を取得するとともに、第２の収音装置から第２の音声信号２Ｂを取得する。複数の収音装置のそれぞれで収音した音声信号の取得を開始した後、本実施形態に係る音声処理装置１は、図４に示す処理を行う。

図４は、第１の実施形態に係る音声処理装置が行う処理を説明するフローチャートである。

本実施形態に係る音声処理装置１は、入力された音声信号を所定の時間長Ｔの区間（フレーム）に分割し、フレーム単位でゲインを付加する処理を行う。このため、音声処理装置１は、まず、入力音声信号における分析開始点を指定する変数ｐを０にするとともに、フレーム番号を指定する変数ｍを０にする（ステップＳ１）。ステップＳ１の処理は、周波数変換部１２０が行う。ここで、分析開始点ｐは、入力音声信号における処理対象のフレームの開始時刻を表す。

次に、音声処理装置１は、複数の入力音声信号のそれぞれにおけるｍ番目のフレームを抽出し、当該フレームの音声信号を周波数スペクトルに変換する（ステップＳ２）。ステップＳ２の処理は、周波数変換部１２０が行う。周波数変換部１２０は、分析開始点ｐと１フレームの時間長Ｔとに基づいて、入力音声信号ｘ_ｎ（ｔ）における時刻ｐから時刻ｐ＋Ｔの区間を、処理対象のフレームとして抽出する。この際、周波数変換部１２０は、抽出したフレームに対して時系列順を表すフレーム番号ｍを付与する。入力音声信号がＮ個である場合、周波数変換部１２０は、Ｎ個の入力信号ｘ_ｎ（ｔ）（ｎ＝１，２，・・・，Ｎ）のそれぞれから、処理対象のフレームＦ_ｎ，ｍ（ｔ）を抽出する。

また、周波数変換部１２０は、抽出したフレームＦ_ｎ，ｍ（ｔ）の音声信号を、それぞれ、周波数スペクトルＸ_ｎ（ｍ，ｋ）（ｋ＝０，１，・・・，Ｔ−１）に変換する。周波数変換部１２０は、既知の変換方法に従って、各入力音声信号ｘ_ｎ（ｔ）から抽出したフレームＦ_ｎ，ｍ（ｔ）のそれぞれを、時間領域の音声信号から周波数スペクトルＸ_ｎ（ｍ，ｋ）に変換する。例えば、周波数変換部１２０は、短時間離散フーリエ変換により、各フレームＦ_ｎ，ｍ（ｔ）を周波数スペクトルＸ_ｎ（ｍ，ｋ）に変換する。

次に、音声処理装置１は、周波数スペクトルＸ_ｎ（ｍ，ｋ）に基づいて、処理対象のフレームにおける発話状態を推定する（ステップＳ３）。ステップＳ３の処理は、発話状態推定部１３０が行う。発話状態推定部１３０は、例えば、発話ダイアライゼーション技術等の既知の推定方法に従って、処理対象のフレームにおいて発話している人物の数や位置を推定する。

また、処理対象のフレームにおける発話状態の推定した後、発話状態推定部１３０は、推定結果を示す変数Ｃ（ｍ）を生成する。処理対象のフレームにおける発話状態が、一人の人物のみが発話している状態である場合、発話状態推定部１３０は、発話状態の推定結果Ｃ（ｍ）を、発話している人物の近傍に設置された収音装置２から入力された音声信号を示す値ｎ（≠０）にする。一方、処理対象のフレームにおける発話状態が、一人の人物のみが発話している状態ではない場合、発話状態推定部１３０は、発話状態の推定結果Ｃ（ｍ）を「０」にする。発話状態推定部１３０は、発話状態の推定結果Ｃ（ｍ）をゲイン決定部１４０に通知する。

次に、音声処理装置１は、発話状態の推定結果Ｃ（ｍ）等に基づいて、各入力音声信号についての周波数スペクトルに付加するゲインを決定するゲイン決定処理（ステップＳ４）を行う。ステップＳ４の処理は、ゲイン決定部１４０が行う。

発話している人物が一人である場合（Ｃ（ｍ）＝ｎ）、ゲイン決定部１４０は、発話状態の推定結果Ｃ（ｍ）に基づいて伝達特性ｄ_ｎ（ｍ，ｋ）を推定し、例えば、伝達特性の分布のピーク値Ｄ_ｎ（ｍ，ｋ）と、ばらつきの度合いσ_ｎ（ｍ，ｋ）とを算出する。この際、ゲイン決定部１４０は、伝達特性情報保持部１９１で保持している過去のフレームの伝達特性に関する情報を参照し、伝達特性の分布のピーク値Ｄ_ｎ（ｍ，ｋ）と、ばらつきの度合いσ_ｎ（ｍ，ｋ）とを算出する。

また、本実施形態に係るゲイン決定部１４０は、伝達特性の分布のピーク値Ｄ_ｎ（ｍ，ｋ）の時間変化と、ばらつきの度合いσ_ｎ（ｍ，ｋ）の時間変化とが収束しているか否かを判定する。そして、ピーク値Ｄ_ｎ（ｍ，ｋ）及びばらつきの度合いσ_ｎ（ｍ，ｋ）が収束している場合にのみ、ゲイン決定部１４０は、ピーク値Ｄ_ｎ（ｍ，ｋ）及びばらつきの度合いσ_ｎ（ｍ，ｋ）に基づいてゲインＧ_ｎ（ｍ，ｋ）を算出する。

この際、ゲイン決定部１４０は、ピーク値Ｄ_ｎ（ｍ，ｋ）及びばらつきの度合いσ_ｎ（ｍ，ｋ）に基づいて、抑圧範囲の閾値ＴＨ_ｎ（ｍ，ｋ）を算出し、伝達特性の絶対値が抑圧範囲内である帯域ｋに対するゲインＧ_ｎ（ｍ，ｋ）を算出する。なお、本実施形態に係るゲイン決定部１４０は、入力音声信号についての周波数スペクトルＸ_ｎ（ｍ，ｋ）に対する背景雑音スペクトルＢＮ_ｎ（ｍ，ｋ）を推定する。そして、ゲイン決定部１４０は、周波数スペクトルＸ_ｎ（ｍ，ｋ）と、背景雑音スペクトルＢＮ_ｎ（ｍ，ｋ）とに基づいて、ゲインＧ_ｎ（ｍ，ｋ）を算出する。一方、ピーク値Ｄ_ｎ（ｍ，ｋ）及びばらつきの度合いσ_ｎ（ｍ，ｋ）のいずれか（或いは両方）が収束していない帯域ｋの周波数スペクトルＸ_ｎ（ｍ，ｋ）に対するゲインＧ_ｎ（ｍ，ｋ）の値を、周波数スペクトルＸ_ｎ（ｍ，ｋ）を変化させない値にする。

上記のゲイン決定処理が終了すると、音声処理装置１は、次に、周波数スペクトルに算出したゲインを付加する（ステップＳ５）。ステップＳ５の処理はゲイン付加部１５０が行う。ゲイン付加部１５０は、例えば、周波数スペクトルＸ_ｎ（ｍ，ｋ）にゲインＧ_ｎ（ｍ，ｋ）を乗じた値Ｓ_ｎ（ｍ，ｋ）＝Ｇ_ｎ（ｍ，ｋ）・Ｘ_ｎ（ｍ，ｋ）を、ゲイン付加後の周波数スペクトルとする。

ステップＳ４及びＳ５の処理を終えると、音声処理装置１は、次に、ゲイン付加後の周波数スペクトルを時間領域の音声信号に変換する（ステップＳ６）。ステップＳ６の処理は、逆変換部１６０が行う。逆変換部１６０は、周波数変換部１２０で時間領域の音声信号を周波数スペクトルに変換する際の変換方法に対する逆変換により、周波数スペクトルを時間領域の音声信号に変換する。例えば、周波数変換部１２０において短時間離散フーリエ変換により時間領域の音声信号を周波数スペクトルに変換する場合、逆変換部１６０では、短時間離散フーリエ逆変換により周波数スペクトルを時間領域の音声信号に変換する。

次に、音声処理装置１は、音声信号及び表示信号を出力する（ステップＳ７）。ステップＳ７の処理は、ファイル化部１７１と、表示信号出力部１７２とが行う。ファイル化部１７１は、逆変換部１６０で得た音声信号に基づいて所定のファイルフォーマットの音声ファイルを生成し、音声ファイル記憶部１９２に格納する。表示信号出力部１７２は、収音装置２から入力された音声信号と、逆変換部１６０で得た音声信号とに基づいて、話者の近傍に設置された収音装置２を特定し、特定した収音装置２の表示部２０２を点灯させる表示信号を生成する。また、表示信号出力部１７２は、話者の近傍に設置された収音装置を除く他の収音装置２の表示部２０２を消灯させる表示信号を生成する。表示信号出力部１７２は、生成した表示信号を各収音装置２の表示部２０２に出力する。なお、発話している人物がいない場合、或いは二人以上の人物が発話している場合には、表示信号出力部１７２は、全ての収音装置２の表示部２０２を消灯させる生成信号を生成し、各収音装置２の表示部２０２に出力する。

ステップＳ７の処理を終えると、音声処理装置１は、ステップＳ２〜Ｓ７の処理を終了するか否かを判定する（ステップＳ８）。ステップＳ８の判定は、例えば、周波数変換部１２０が行う。録音を終了し入力音声信号における全フレームに対するステップＳ２〜Ｓ８の処理を行った場合、或いは処理の途中で外部装置等から処理を終了する命令が入力された場合、周波数変換部１２０は、上記の処理を終了する（ステップＳ８；ＹＥＳ）と判定する。一方、終了条件を満たしていない場合（ステップＳ８；ＮＯ）、周波数変換部１２０は、分析開始点ｐをｐ＋Ｔに更新するとともに、フレーム番号ｍをｍ＋１に更新し（ステップＳ９）、ステップＳ２の処理を行う。

次に、図５を参照して、本実施形態に係るゲイン決定処理（ステップＳ４）について詳細に説明する。

図５は、第１の実施形態に係るゲイン決定処理の内容を説明するフローチャートである。

本実施形態に係るゲイン決定処理において、ゲイン決定部１４０は、まず、図５に示すように、発話状態推定部１３０から受信した発話状態の推定結果Ｃ（ｍ）に基づいて、発話している人物が一人であるか否かを判定する（ステップＳ４０１）。ステップＳ４０１は、伝達特性推定部１４１が行う。

発話している人物が一人である場合（ステップＳ４０１；ＹＥＳ）、伝達特性推定部１４１は、続けて、発話状態の推定結果Ｃ（ｍ）と、周波数スペクトルＸ_ｎ（ｍ，ｋ）とに基づいて、伝達特性ｄ_ｎ（ｍ，ｋ）を推定する処理（ステップＳ４０２）を行う。ステップＳ４０２において、伝達特性推定部１４１は、発話状態の推定結果Ｃ（ｍ）の値に基づいて、発話している人物の近傍に設置されている収音装置を特定する。その後、伝達特性推定部１４１は、特定した収音装置の近傍にいる人物が発話しているときの伝達特性ｄ_ｎ（ｍ，ｋ）を推定する。伝達特性推定部１４１は、ｎ＝Ｃ（ｍ）の周波数スペクトルＸ_ｎ（ｍ，ｋ）と、周波数スペクトルＸ_ｎ（ｍ、ｋ）と対応付けられた他の周波数スペクトルＸ_ｎ’（ｍ，ｋ）とのレベル差を、伝達特性ｄ_ｎ（ｍ，ｋ）として算出する。例えば、入力音声信号が２個（ｘ_１（ｔ）及びｘ_２（ｔ））であり、発話状態の推定結果Ｃ（ｍ）＝１である場合、伝達特性推定部１４１は、下記式（２−１）及び式（２−２）により、各帯域ｋの伝達特性ｄ_１（ｍ，ｋ），ｄ_２（ｍ，ｋ）を算出する。

ｄ_１（ｍ，ｋ）＝Ｘ_１（ｍ，ｋ）−Ｘ_２（ｍ，ｋ） ・・・（２−１）
ｄ_２（ｍ，ｋ）＝none ・・・（２−２）

また、例えば、入力音声信号が２個（ｘ_１（ｔ）及びｘ_２（ｔ））であり、発話状態の推定結果Ｃ（ｍ）＝２である場合、伝達特性推定部１４１は、下記式（２−３）及び式（２−４）により、各帯域ｋの伝達特性ｄ_１（ｍ，ｋ），ｄ_２（ｍ，ｋ）を算出する。

ｄ_１（ｍ，ｋ）＝none ・・・（２−３）
ｄ_２（ｍ，ｋ）＝Ｘ_１（ｍ，ｋ）−Ｘ_２（ｍ，ｋ） ・・・（２−４）

式（２−２）及び式（２−３）におけるnoneは、それぞれ、伝達特性ｄ_２（ｍ，ｋ）及び伝達特性ｄ_１（ｍ，ｋ）を以後の処理対象から除外することを意味する。

伝達特性推定部１４１は、推定した伝達特性ｄ_ｎ（ｍ，ｋ）（ｎ＝０，１，・・・，Ｎ，ｋ＝０，１，・・・，Ｔ−１）を伝達特性情報保持部１９１に格納する。

次に、ゲイン決定部１４０は、伝達特性ｄ_ｎ（ｍ，ｋ）を含む所定期間内における伝達特性の分布のピーク値Ｄ_ｎ（ｍ，ｋ）と、伝達特性のばらつきの度合いσ_ｎ（ｍ，ｋ）とを算出する（ステップＳ４０３）。ステップＳ４０３の処理は、伝達特性分布算出部１４２が行う。

伝達特性分布算出部１４２は、例えば、十数秒から数十秒分の伝達特性ｄ_ｎ（ｍ−ｈ０，ｋ）〜ｄ_ｎ（ｍ，ｋ）に基づいて、伝達特性の分布のピーク値Ｄ_ｎ（ｍ，ｋ）とばらつきの度合いσ_ｎ（ｍ，ｋ）を算出する。伝達特性分布算出部１４２は、例えば、変数ｎ毎、及び変数ｋ毎に、下記式（３−１）により分布のピーク値Ｄ_ｎ（ｍ，ｋ）を算出し、式（３−２）によりばらつきの度合いσ_ｎ（ｍ，ｋ）を算出する。

式（３−１）におけるαは重み係数である。また、式（３−２）のｈ０は、ばらつきの度合いσ_ｎ（ｍ，ｋ）を算出する際に参照するフレーム数である。

次に、ゲイン決定部１４０は、伝達特性の分布のピーク値Ｄ_ｎ（ｍ，ｋ）の時間変化と、伝達特性ｄ_ｎ（ｍ，ｋ）の時間変化とが収束したか否かを判定する処理（ステップＳ４０４）を行う。また、発話している人物が一人ではない場合（ステップＳ４０１；ＮＯ）、伝達特性推定部１４１は、ステップＳ４０２及びＳ４０３の処理をスキップして、ステップＳ４０４の処理を行う。ステップＳ４０４の処理は、収束判定部１４３が行う。

収束判定部１４３は、フレーム番号ｍ−ｈ１からフレーム番号ｍまでの分布のピーク値Ｄ_ｎ（ｍ，ｋ）における回帰直線の傾きを最小二乗法により算出する。そして、当該回帰直線の傾きが所定の閾値ＴＨＡ以上である帯域ｋについて、収束判定部１４３は、ピーク値Ｄ_ｎ（ｍ，ｋ）が収束していないと判定し、収束判定結果Ｄｃｏｎｖ_ｎ（ｋ）を「０」にする。一方、回帰直線の傾きが所定の閾値ＴＨＡよりも小さい帯域ｋについて、収束判定部１４３は、ピーク値Ｄ_ｎ（ｍ，ｋ）が収束したと判定し、収束判定結果Ｄｃｏｎｖ_ｎ（ｋ）を「１」にする。

同様に、収束判定部１４３は、帯域ｋ毎に、フレーム番号ｍ−ｈ１からフレーム番号ｍまでの伝達特性ｄ_ｎ（ｍ，ｋ）における回帰直線の傾きを最小二乗法により算出する。そして、当該回帰直線の傾きが所定の閾値ＴＨＢ以上である帯域ｋについて、収束判定部１４３は、伝達特性ｄ_ｎ（ｍ，ｋ）が収束していないと判定し、収束判定結果ｄｃｏｎｖ_ｎ（ｋ）を「０」にする。一方、回帰直線の傾きが所定の閾値ＴＨＢよりも小さい帯域ｋについて、収束判定部１４３は、伝達特性ｄ_ｎ（ｍ，ｋ）が収束したと判定し、収束判定結果ｄｃｏｎｖ_ｎ（ｋ）を「１」にする。

収束判定部１４３は、収束判定結果Ｄｃｏｎｖ_ｎ（ｋ），ｄｃｏｎｖ_ｎ（ｋ）をゲイン算出部１４５に渡す。

次に、ゲイン決定部１４０は、周波数スペクトルＸ_ｎ（ｍ，ｋ）に基づいて、背景雑音スペクトルＢＮ_ｎ（ｍ，ｋ）を推定する（ステップＳ４０５）。ステップＳ４０５の処理は、背景雑音推定部１４４が行う。背景雑音推定部１４４は、既知の推定方法に従って、周波数スペクトルＸ_ｎ（ｍ，ｋ）における背景雑音スペクトルＢＮ_ｎ（ｍ，ｋ）を推定する。背景雑音推定部１４４は、推定した背景雑音スペクトルＢＮ_ｎ（ｍ，ｋ）をゲイン算出部１４５に渡す。

次に、ゲイン決定部１４０は、伝達特性の分布のピーク値Ｄ_ｎ（ｍ，ｋ）と、ばらつきの度合いσ_ｎ（ｍ，ｋ）とに基づいて、抑圧閾値ＴＨ_ｎ（ｍ，ｋ）を算出する（ステップＳ４０６）。ステップＳ４０６の処理は、ゲイン算出部１４５が行う。ゲイン算出部１４５は、下記式（４）により抑圧閾値ＴＨ_ｎ（ｍ，ｋ）を算出する。

ＴＨ_ｎ（ｍ，ｋ）＝Ｄ_ｎ（ｍ，ｋ）＋β・σ_ｎ（ｍ，ｋ） ・・・（４）

式（４）のβは重み係数である。

次に、ゲイン算出部１４５は、収束判定結果Ｄｃｏｎｖ_ｎ（ｋ），ｄｃｏｎｖ_ｎ（ｋ）と、周波数スペクトルＸ_ｎ（ｍ，ｋ）と、背景雑音スペクトルＢＮ_ｎ（ｍ，ｋ）と、抑圧閾値ＴＨ_ｎ（ｍ、ｋ）とに基づいて、ゲインＧ_ｎ（ｍ，ｋ）を算出する（ステップＳ４０７）。

ゲイン算出部１４５は、全ての周波数スペクトルＸ_ｎ（ｍ，ｋ）のうちの、収束判定結果がＤｃｏｎｖ_ｎ（ｋ）＝０、又はｄｃｏｎｖ_ｎ（ｋ）＝０である帯域ｋの周波数スペクトルＸ_ｎ（ｍ，ｋ）に付加するゲインＧ_ｎ（ｍ，ｋ）を全て「１」にする。

一方、ゲイン算出部１４５は、全ての周波数スペクトルＸ_ｎ（ｍ，ｋ）のうちの、収束判定結果がＤｃｏｎｖ_ｎ（ｋ）＝ｄｃｏｎｖ_ｎ（ｋ）＝１である帯域ｋのスペクトルＸ_ｎ（ｍ，ｋ）に付加するゲインＧ_ｎ（ｍ，ｋ）を、次のように算出する。

まず、ゲイン算出部１４５は、帯域ｋのスペクトルＸ_ｎ（ｍ，ｋ）と、当該スペクトルＸ_ｎ（ｍ，ｋ）と対応付けられた他のスペクトルＸ_ｎ’（ｍ，ｋ）とのレベル差の絶対値と、抑圧閾値ＴＨ_ｎ（ｍ，ｋ）とを比較する。ここで、帯域ｋのスペクトルＸ_ｎ（ｍ，ｋ）と他のスペクトルＸ_ｎ’（ｍ，ｋ）との対応関係は、伝達特性を算出する際の対応関係と同じ対応関係とする。スペクトルのレベル差の絶対値が抑圧閾値ＴＨ_ｎ（ｍ，ｋ）よりも小さい場合、ゲイン算出部１４５は、式（５−１）及び式（５−２）により、帯域ｋのスペクトルＸ_ｎ（ｍ，ｋ）及びスペクトルＸ_ｎ’（ｍ、ｋ）のそれぞれに付加するゲインＧ_ｎ（ｍ，ｋ）及びＧ_ｎ’（ｍ，ｋ）を算出する。

Ｇ_ｎ（ｍ，ｋ）＝１ ・・・（５−１）
Ｇ_ｎ’（ｍ，ｋ）＝ＢＮ_ｎ’（ｍ，ｋ）／Ｘ_ｎ’（ｍ，ｋ） ・・・（５−２）

一方、スペクトルのレベル差の絶対値が抑圧閾値ＴＨ_ｎ（ｍ，ｋ）よりも小さい場合、ゲイン算出部１４５は、式（５−３）及び式（５−４）により、帯域ｋのスペクトルＸ_ｎ（ｍ，ｋ）及びＸ_ｎ’（ｍ、ｋ）のそれぞれに付加するゲインＧ_ｎ（ｍ，ｋ）及びゲインＧ_ｎ’（ｍ，ｋ）を算出する。

Ｇ_ｎ（ｍ，ｋ）＝ＢＮ_ｎ（ｍ，ｋ）／Ｘ_ｎ（ｍ，ｋ） ・・・（５−３）
Ｇ_ｎ’（ｍ，ｋ）＝１ ・・・（５−４）

すなわち、帯域ｋの伝達特性ｄ_ｎ（ｍ，ｋ）に相当する、第１のスペクトルＸ_ｎ（ｍ，ｋ）と第２のスペクトルＸ_ｎ’（ｍ，ｋ）とのレベル差の絶対値が抑圧閾値ＴＨ_ｎ（ｍ，ｋ）よりも小さい場合、ゲイン算出部１４５は、第スペクトルＸ_ｎ’（ｍ，ｋ）を抑圧する。一方、帯域ｋの伝達特性ｄ_ｎ’（ｍ，ｋ）に相当する、第１のスペクトルＸ_ｎ（ｍ，ｋ）と第２のスペクトルＸ_ｎ’（ｍ，ｋ）とのレベル差の絶対値が抑圧閾値ＴＨ_ｎ’（ｍ，ｋ）よりも小さい場合、ゲイン算出部１４５は、第２のスペクトルＸ_ｎ（ｍ，ｋ）を抑圧する。

ゲイン算出部１４５が処理対象である全ての変数ｎ，ｋについてのゲインＧ_ｎ（ｍ，ｋ）を算出し、算出したゲインＧ_ｎ（ｍ，ｋ）をゲイン付加部１５０に渡すと、ゲイン決定処理が終了する。

ゲイン決定処理が終了した後、音声処理装置１は、既知の抑圧方法に従って、ゲインＧ_ｎ（ｍ，ｋ）を付加した周波数スペクトルＳ_ｎ（ｍ，ｋ）を算出し、周波数スペクトルＳ_ｎ（ｍ，ｋ）を時間領域の音声信号ｓｘ_ｎ（ｍ，ｋ）に変換する。

このように、本実施形態に係るゲイン決定処理では、帯域ｋ毎に、所定期間内における伝達特性の分布のピーク値Ｄ_ｎ（ｍ，ｋ）と、伝達特性のばらつきの度合いσ_ｎ（ｍ，ｋ）とに基づいて、抑圧閾値ＴＨ_ｎ（ｍ，ｋ）を算出する。この際、ゲイン決定部１４０は、ばらつきの度合いσ_ｎ（ｍ，ｋ）が大きい帯域の抑圧範囲が、ばらつきの度合いσ_ｎ（ｍ，ｋ）が小さい帯域の抑圧範囲よりも広くなるよう抑圧閾値ＴＨ_ｎ（ｍ，ｋ）を算出する。そのため、伝達特性が抑圧範囲内である場合に入力信号についての周波数スペクトルＸ_ｎ（ｍ，ｋ）を抑圧する音声処理における抑圧不足を防ぐことが可能となる。よって、本実施形態によれば、複数の人物による会話を収音した音声信号における各人物の音声を精度良く分離することが可能となる。

図６は、伝達特性の分布の例を示す図である。
音声信号を周波数スペクトルに変換して伝達特性を算出した場合、伝達特性の分布のピーク値及び伝達特性のばらつきの度合いは、帯域毎に異なる。ある音声信号の所定期間における周波数スペクトルＸ_１（ｍ，ｋ）の帯域ｋ＝ｋ１についての伝達特性の分布は、例えば、図６の（ａ）に示すように、伝達特性のばらつきの度合いが小さく、ピークの鋭い分布となる。このとき、当該周波数スペクトルＸ_１（ｍ，ｋ）の別の帯域ｋ＝ｋ２についての伝達特性の分布は、例えば、図６の（ｂ）に示すように、帯域ｋ１の伝達特性の分布と比べてばらつきの度合いが大きく、ピークの鈍い分布となることがある。このため、例えば、伝達特性の分布のピーク値と、ある一定の抑圧閾値ＴＨとに基づいて抑圧範囲を設定した場合、帯域ｋ２の周波数スペクトルＸ_ｎ（ｍ，ｋ２）の抑圧が不十分になることがある。

図７は、伝達特性の分布と時系列変化との関係を説明する図である。
図７の（ａ）には、帯域ｋ１についての伝達特性の分布のばらつきの度合いσ（ｋ１）に基づいて抑圧範囲を設定した場合の、伝達特性ｄ（ｋ１）の時系列変化の例を示している。この場合、各時間における帯域ｋ１の伝達特性ｄ（ｋ１）は、例えば、伝達特性の分布のピーク値Ｄ（ｋ１）を中心とする上限値Ｄ（ｋ１）＋σ（ｋ１）と下限値Ｄ（ｋ１）−σ（ｋ１）との間で推移する。このように、伝達特性ｄ（ｋ１）がばらつきの度合いσ（ｋ１）に基づいて設定される抑圧範囲内である場合、上記のように、対応する周波数スペクトルは適切なゲインにより抑圧される。

図７の（ｂ）には、帯域ｋ２についての伝達特性の分布のばらつきの度合いσ（ｋ２）に基づいて抑圧範囲を設定した場合の、伝達特性ｄ（ｋ２）の時系列変化の例を示している。また、図７の（ｂ）には、帯域ｋ１についての伝達特性の分布のばらつきの度合いσ（ｋ１）に基づいて設定した抑圧範囲も示している。

帯域ｋ２についての伝達特性の分布のばらつきの度合いσ（ｋ２）は、帯域ｋ１についての伝達特性の分布のばらつきの度合いσ（ｋ１）よりも大きい。そのため、帯域ｋ２についての伝達特性ｄ（ｋ２）の時系列変化は、帯域ｋ１についての伝達特性ｄ（ｋ１）の時系列変化と比べて、伝達特性の振れ幅が大きくなる。ここで、帯域ｋ１におけるばらつきの度合いσ（ｋ１）に基づいて、帯域ｋ２についての抑圧範囲を設定すると、伝達特性の分布のピーク値Ｄ（ｋ２）を中心とする上限値Ｄ（ｋ２）＋σ（ｋ１）から下限値Ｄ（ｋ２）−σ（ｋ１）までが抑圧範囲となる。この場合、図７の（ｂ）に示したように、伝達特性ｄ（ｋ２）が抑圧範囲を超えてしまうことがある。伝達特性ｄ（ｋ２）が抑圧範囲を超えた場合、帯域ｋ２のスペクトルは抑圧の対象から除外されるため、抑圧後の音声信号に抑圧不足が生じる。

これに対し、本実施形態では、帯域ｋ２の伝達特性の分布のばらつきの度合いσ（ｋ２）に応じて、伝達特性の分布のピーク値Ｄ（ｋ２）を中心とする上限値Ｄ（ｋ２）＋σ（ｋ２）から下限値Ｄ（ｋ２）−σ（ｋ２）までの範囲を抑圧範囲とする。これにより、帯域ｋ_２の伝達特性ｄ（ｋ２）が抑圧範囲を超えることを防ぐことが可能となる。

図８は、伝達特性が抑圧範囲内である場合の処理結果の例を示す図である。
図８には、第１の収音装置２Ａから入力された第１の音声信号ｘ_１と、第２の収音信号２Ｂから入力された第２の音声信号ｘ_２とを示している。ここで、第１の収音装置２Ａと第２の収音装置２Ｂとは、それぞれ、図３に示したように、第１の収音装置２Ａが第１の人物４Ａの近傍に設置され、第２の収音装置２Ｂが第２の人物４Ｂの近傍に設置されているとする。

図８に示した第１の音声信号ｘ_１と第２の音声信号ｘ_２とでは、第１の音声信号ｘ_１の方が同一時刻における振幅が大きい。このため、図８に示した時刻ｔ０から時刻ｔ１の区間は、第１の収音装置２Ａの近傍にいる第１の人物２Ａが発話していると考えられる。この場合、第２の音声信号ｘ２には、収音目的ではない第１の人物２Ａの音声が含まれる。したがって、音声処理装置１では、第２の音声信号ｘ_２に含まれる第１の人物２Ａの音声成分を抑圧する処理を行う。この場合、音声処理装置１は、図８に示したように、第２の音声信号ｘ_２の周波数スペクトルＸ_２（ｍ，ｋ２）についての伝達特性の分布のピーク値Ｄ_２（ｋ２）と、ばらつきの度合いσ_２（ｋ２）とに基づいて、抑圧範囲（抑圧閾値）を設定する。ここで、図８に示した帯域ｋ２を含む全ての帯域ｋで、第２の音声信号ｘ_２についての伝達特性ｄ_２が抑圧範囲内で推移していれば、図８に示したように、ゲインを付加した周波数スペクトルから得られる音声信号ｓｘ_２は、振幅がほぼ０となる。このように、第２の音声信号ｘ_２についての周波数スペクトルＸ_２（ｍ，ｋ２）が抑圧範囲内で推移していれば、第２の音声信号ｘ_２に含まれる第１の人物２Ａの音声成分を適切に抑圧し、音源（発話している人物）を分離することが可能となる。

図９は、伝達特性が抑圧範囲外となる期間がある場合の処理結果の例を示す図である。
図９には、第１の収音装置２Ａから入力された第１の音声信号ｘ_１と、第２の収音信号２Ｂから入力された第２の音声信号ｘ_２とを示している。ここで、第１の収音装置２Ａと第２の収音装置２Ｂとは、それぞれ、図３に示したように、第１の収音装置２Ａが第１の人物４Ａの近傍に設置され、第２の収音装置２Ｂが第２の人物４Ｂの近傍に設置されているとする。

図９に示した第１の音声信号ｘ_１と第２の音声信号ｘ_２とは、それぞれ、図８に示した音声信号ｘ_１，ｘ_２と同じパターンであり、第１の音声信号ｘ_１のほうが同一時刻における振幅が大きい。このため、図９に示した時刻ｔ０から時刻ｔ１の区間は、第１の収音装置２Ａの近傍にいる第１の人物２Ａが発話していると考えられる。したがって、音声処理装置１では、第２の音声信号ｘ_２に含まれる第１の人物２Ａの音声成分を抑圧する処理を行う。この場合、音声処理装置１は、図９に示したように、第２の音声信号ｘ_２の周波数スペクトルＸ_２（ｍ，ｋ２）についての伝達特性の分布のピーク値Ｄ_２（ｋ２）と、ばらつきの度合いσとに基づいて、抑圧範囲（抑圧閾値）を設定する。ここで、帯域ｋ２を含む全ての帯域ｋで、第２の音声信号ｘ_２についての伝達特性ｄ_２が抑圧範囲内となる区間では、上記のように、ゲインを付加した周波数スペクトルから得られる音声信号ｓｘ_２の振幅がほぼ０となる。これに対し、帯域ｋ２を含む１つ以上の帯域における伝達特性ｄ_２が抑圧範囲を超えている区間では、当該帯域のスペクトルに付加するゲインが「１」となり、スペクトルが抑圧されない。よって、伝達特性ｄ_２が抑圧範囲を超えている区間（帯域）がある場合、図９に示した音声信号ｓｘ_２のように、抑圧が不十分な区間が生じ、音源（発話している人物）を適切に分離することが困難となることがある。

これに対し、本実施形態に係るゲイン決定処理では、上記のように、帯域ｋ毎に、所定期間内における伝達特性のばらつきの度合いσ_ｎ（ｍ，ｋ）に基づいて、抑圧範囲（抑圧閾値ＴＨ_ｎ（ｍ，ｋ））を制御する。この際、伝達特性のばらつきの度合いσ_ｎ（ｍ，ｋ）が大きい帯域の抑圧範囲は、ばらつきの度合いσ_ｎ（ｍ，ｋ）が小さい帯域の抑圧範囲よりも広くなる。よって、本実施形態によれば、伝達特性のばらつきの度合いσ_ｎ（ｍ，ｋ）が大きい帯域における伝達特性が抑圧範囲を超えてしまうことによる抑圧不足を防ぐことが可能となる。

なお、図４及び図５のフローチャートは、それぞれ、音声処理装置１が行う処理の一例に過ぎない。本実施形態に係る音声処理装置１が行う処理の内容は、図４及び図５の内容に限らず、本実施形態の要旨を逸脱しない範囲において適宜変更可能である。

また、伝達特性のばらつきの度合いσ_ｎ（ｍ，ｋ）は、上記の式（３）により算出される値に限らず、平均偏差、標準偏差、絶対偏差、分散、最大値と最小値との差等の各種散布度であってもよい。すなわち、本実施形態に係る伝達特性分布算出部１４０が行う処理は、伝達特性（周波数スペクトルのレベル差）の分布の広がりを示す値を算出する処理であればよい。この際、周波数スペクトルのレベル差の分布の広がりを示す値を算出する処理は、レベル差の分布のピーク値の時間変化及び前記レベル差のいずれか１つに基づいて算出する処理であってもよい。例えば、レベル差の分布の広がりを示す値は、過去数秒間のレベル差における最大値と最小値の差等でもよい。

また、例えば、抑圧閾値ＴＨ_ｎ（ｍ，ｋ）を算出する処理（ステップＳ４０６）では、図１０に示すように、伝達特性のばらつきの度合いが所定の閾値以下である場合には抑圧閾値ＴＨ_ｎ（ｍ，ｋ）を一定の値にしてもよい。

図１０は、伝達特性のばらつきの度合いと抑圧閾値との関係の変形例を説明する図である。

上記の式（４）により抑圧閾値ＴＨ_ｎ（ｍ，ｋ）を算出する場合、伝達特性のばらつきの度合いσ_ｎ（ｍ，ｋ）が小さくなると抑圧閾値ＴＨ_ｎ（ｍ，ｋ）も小さくなる。そのため、伝達特性のばらつきの度合いσ_ｎ（ｍ，ｋ）が小さい帯域ｋでは、抑圧範囲が狭くなり、伝達特性が抑圧範囲を超えてしまう可能性がある。よって、抑圧閾値ＴＨ_ｎ（ｍ，ｋ）を算出する場合、図１０に示すように、伝達特性のばらつきの度合いσ_ｎ（ｍ，ｋ）が閾値σａ以下である場合には、抑圧閾値ＴＨ_ｎ（ｍ，ｋ）を一定の値ＴＨａとしてもよい。これにより、伝達特性のばらつきの度合いσ_ｎ（ｍ，ｋ）が小さい帯域ｋにおける抑圧範囲が狭くなりすぎて伝達特性が抑圧範囲を超えてしまうことによる抑圧不足を防ぐことが可能となる。

［第２の実施形態］
本実施形態では、インターネット等の通信ネットワークを利用して、収音装置で収音した音声信号を音声処理装置１に送信し、音声信号を抑圧する例を説明する。

図１１は、第２の実施形態に係る音声処理装置の適用例を示す図である。
図１１に示すように、本実施形態に係る音声処理装置１は、サーバ装置５に内蔵されている。サーバ装置５は、音声処理装置１の他、分析装置５１０と、記憶部５２０とを含む。分析装置５１０は、例えば、音声処理装置１で抑圧処理をした音声信号に対する音声分析を行いパラメータ化する。記憶部５２０は、音声処理装置１で抑圧処理をした音声信号や、分析装置５１０で行った分析処理の結果等を記憶する。サーバ装置５は、インターネット等のネットワーク６と通信可能に接続される。

音声処理装置１に送信する音声信号は、３個の収音装置２Ａ，２Ｂ，２Ｃで収音する。３個の収音装置２Ａ，２Ｂ，２Ｃは、テーブル３を囲む３人の人物４Ａ，４Ｂ，４Ｃの音声を収音する。ここで、第１の収音装置２Ａは、第１の人物４Ａの音声を収音目的としており、第１の人物４Ａの近傍に設置されている。第２の収音装置２Ｂは、第２の人物４Ｂの音声を収音目的としており、第２の人物４Ｂの近傍に設置されている。第３の収音装置２Ｃは、第３の人物４Ｃの音声を収音目的としており、第３の人物４Ｃの近傍に設置されている。第１の収音装置２Ａ、第２の収音装置２Ｂ、及び第３の収音装置２Ｃは、通信端末７に接続されている。通信端末７は、収音装置から入力された音声信号を所定のファイルフォーマットでファイル化し、ネットワーク６を介してサーバ装置５に送信する。

図１２は、第２の実施形態に係る音声処理装置の機能的構成を示す図である。
図１２に示すように、本実施形態に係る音声処理装置１は、通信部１８０と、周波数変換部１２０と、発話状態推定部１３０と、ゲイン決定部１４０と、ゲイン付加部１５０と、表示信号出力部１７２と、を備える。更に、音声処理装置１は、伝達特性情報保持部１９１を備える。

本実施形態における周波数変換部１２０、発話状態推定部１３０、ゲイン付加部１５０、及び表示信号出力部１７２は、それぞれ、第１の実施形態で説明した機能を有する。なお、ゲイン付加部１５０は、ゲインを付加した周波数スペクトルを、表示信号出力部１７２と、サーバ５の分析装置５１０とに出力する。すなわち、本実施形態に係る音声処理装置１は、ゲインを付加した周波数スペクトルを、周波数スペクトルのまま分析装置５１０に出力する。

通信部１８０は、音声処理装置１をネットワーク６と通信可能に接続し、ネットワーク６を介して通信端末７を含む各種通信機器との通信を行う。通信部１８０は、通信端末７の通信部７０１との間で音声ファイル及び表示信号の送受信を行う。

通信端末７は、収音装置２の収音部２０１で収音した音声信号を取得し、ファイル化部７０２で取得した音声信号をファイル化する。通信端末７の通信部７０１は、ファイル化した音声信号（音声ファイル）を音声処理装置１の通信部１８０に向けて送信する。また、通信端末７の通信部７０１は、音声処理装置１の通信部１８０が収音装置２の表示部２０２に向けて送信する表示信号を受信し、各収音装置２に転送する。

図１３は、第２の実施形態に係る音声処理装置におけるゲイン決定部の構成を示す図である。

図１３に示すように、本実施形態におけるゲイン決定部１４０は、伝達特性推定部１４１と、伝達特性分布算出部１４２と、背景雑音推定部１４４と、ゲイン算出部１４５と、を含む。本実施形態における伝達特性推定部１４１、伝達特性分布算出部１４２、背景雑音推定部１４４、及びゲイン算出部１４５は、それぞれ、第１の実施形態で説明した機能を有する。すなわち、本実施形態に係る音声処理装置１では、収束判定部１４３が省略されている。

本実施形態に係る音声処理装置１は、通信端末７から音声信号を取得する処理を開始した後、図４に示したステップＳ１〜Ｓ５，及びＳ７〜Ｓ９の処理を行う。なお、本実施形態に係る音声処理装置１が行うステップＳ７の処理のうちの、音声信号を出力する処理は、ゲイン付加部１５０が行う。ゲイン付加部１５０は、ゲインを付加した周波数スペクトルＳ_ｎ（ｍ，ｋ）＝Ｇ_ｎ（ｍ，ｋ）・Ｘ_ｎ（ｍ，ｋ）を、表示信号出力部１７２と、分析装置５１０とに出力する。

また、本実施形態に係る音声処理装置１のゲイン決定部１４０は、ステップＳ４のゲイン決定処理として、図１４Ａ及び図１４Ｂに示す処理を行う。

図１４Ａは、第２の実施形態に係るゲイン決定処理の内容を説明するフローチャート（その１）である。図１４Ｂは、第２の実施形態に係るゲイン決定処理の内容を説明するフローチャート（その２）である。

本実施形態に係るゲイン決定処理において、ゲイン決定部１４０は、まず、図１４Ａに示すように、発話状態推定部１３０から受信した発話状態の推定結果Ｃ（ｍ）に基づいて、発話している人物が一人であるか否かを判定する（ステップＳ４２１）。ステップＳ４２１は、伝達特性推定部１４１が行う。

発話している人物が一人である場合（ステップＳ４２１；ＹＥＳ）、伝達特性推定部１４１は、続けて、発話状態の推定結果Ｃ（ｍ）と、周波数スペクトルＸ_ｎ（ｍ，ｋ）とに基づいて、伝達特性ｄ_ｎ（ｍ、ｋ）を推定する処理（ステップＳ４２２）を行う。伝達特性推定部１４１が行うステップＳ４２２の処理は、第１の実施形態で説明したステップＳ４０２の処理と同じでよい。例えば、入力音声信号が３個であり、発話状態の推定結果Ｃ（ｍ）＝１である場合、伝達特性推定部１４１は、下記式（６−１）及び式（６−２）により、伝達特性ｄ_１（ｍ，ｋ），ｄ_２（ｍ、ｋ），及びｄ_３（ｍ，ｋ）を算出する。

ｄ_１（ｍ，ｋ）＝Ｘ_１（ｍ，ｋ）−Ｘ_２（ｍ，ｋ） ・・・（６−１）
ｄ_２（ｍ，ｋ）＝ｄ_３（ｍ，ｋ）＝none ・・・（６−２）

また、例えば、入力音声信号が３個であり、発話状態の推定結果Ｃ（ｍ）＝２である場合、伝達特性推定部１４１は、下記式（６−３）及び式（６−４）により、伝達特性ｄ_１（ｍ，ｋ），ｄ_２（ｍ，ｋ），及びｄ_３（ｍ，ｋ）を算出する。

ｄ_１（ｍ，ｋ）＝ｄ_３（ｍ，ｋ）＝none ・・・（６−３）
ｄ_２（ｍ，ｋ）＝Ｘ_１（ｍ，ｋ）−Ｘ_２（ｍ，ｋ） ・・・（６−４）

また、例えば、入力音声信号が３個であり、発話状態の推定結果Ｃ（ｍ）＝３である場合、伝達特性推定部１４１は、下記式（６−５）及び式（６−６）により、伝達特性ｄ_１（ｍ，ｋ），ｄ_２（ｍ，ｋ），及びｄ_３（ｍ，ｋ）を算出する。

ｄ_１（ｍ，ｋ）＝ｄ_２（ｍ，ｋ）＝none ・・・（６−５）
ｄ_３（ｍ，ｋ）＝Ｘ_１（ｍ，ｋ）−Ｘ_３（ｍ，ｋ） ・・・（６−６）

式（６−２）、式（６−３）、及び式（６−５）におけるnoneは、それぞれ、伝達特性ｄ_ｎ（ｍ，ｋ）を以後の処理対象から除外することを意味する。

伝達特性推定部１４１は、推定した伝達特性ｄ_ｎ（ｍ，ｋ）（ｎ＝０，１，・・・，Ｎ，ｋ＝０，１，・・・，Ｔ−１）を伝達特性情報保持部１９１に格納する。

次に、ゲイン決定部１４０は、伝達特性ｄ_ｎ（ｍ，ｋ）を含む所定期間内における伝達特性の分布のピーク値Ｄ_ｎ（ｍ，ｋ）を算出する（ステップＳ４２３）。ステップＳ４２３の処理は、伝達特性分布算出部１４２が行う。伝達特性分布算出部１４２は、例えば、上記式（３−１）により分布のピーク値Ｄ_ｎ（ｍ，ｋ）を算出する。

分布のピーク値Ｄ_ｎ（ｍ，ｋ）を算出した後、伝達特性分布算出部１４２は、続けて、伝達特性ｄ_ｎ（ｍ，ｋ）がピーク値Ｄ_ｎ（ｍ，ｋ）よりも大きいフレームにおける伝達特性のばらつきの度合いφ_ｎ（ｍ，ｋ）を算出する（ステップＳ４２４）。更に続けて、伝達特性分布算出部１４２は、伝達特性ｄ_ｎ（ｍ，ｋ）がピーク値Ｄ_ｎ（ｍ，ｋ）よりも小さいフレームにおける伝達特性のばらつきの度合いψ_ｎ（ｍ，ｋ）を算出する（ステップＳ４２５）。伝達特性分布算出部１４２は、下記式（３−３）により伝達特性のばらつきの度合いφ_ｎ（ｍ，ｋ）を算出し、下記式（３−４）により伝達特性のばらつきの度合いψ_ｎ（ｍ，ｋ）を算出する。

次に、ゲイン決定部１４０は、図１４Ｂに示すように、周波数スペクトルＸ_ｎ（ｍ，ｋ）に基づいて、背景雑音スペクトルＢＮ_ｎ（ｍ，ｋ）を推定する（ステップＳ４２６）。また、発話している人物が一人ではない場合（ステップＳ４２１；ＮＯ）、ゲイン決定部１４０は、ステップＳ４２２〜Ｓ４２５の処理をスキップして、ステップＳ４２６の処理を行う。ステップＳ４２６の処理は、背景雑音推定部１４４が行う。背景雑音推定部１４４は、既知の推定方法に従って、周波数スペクトルＸ_ｎ（ｍ，ｋ）における背景雑音スペクトルＢＮ_ｎ（ｍ，ｋ）を推定する。背景雑音推定部１４４は、推定した背景雑音スペクトルＢＮ_ｎ（ｍ，ｋ）をゲイン算出部１４５に渡す。

次に、ゲイン決定部１４０は、伝達特性の分布のピーク値Ｄ_ｎ（ｍ，ｋ）と、ばらつきの度合いσ_ｎ（ｍ，ｋ）とに基づいて、抑圧閾値ＴＨ_ｎ（ｍ，ｋ）を算出する（ステップＳ４２７）。ステップＳ４２７の処理は、ゲイン算出部１４５が行う。ゲイン算出部１４５は、下記式（７−１）及び式（７−２）により抑圧閾値ＴＨφ_ｎ（ｍ，ｋ），ＴＨψ_ｎ（ｍ，ｋ）を算出する。

ＴＨφ_ｎ（ｍ，ｋ）＝Ｄ_ｎ（ｍ，ｋ）＋ｃ（ｋ）・σ_ｎ（ｍ，ｋ） ・・・（７−１）
ＴＨψ_ｎ（ｍ，ｋ）＝Ｄ_ｎ（ｍ，ｋ）−ｄ（ｋ）・σ_ｎ（ｍ，ｋ） ・・・（７−２）

式（７−１）のｃ（ｋ）及び式（７−２）のｄ（ｋ）は、それぞれ帯域ｋ毎に定めた係数である。なお、係数ｃ（ｋ），ｄ（ｋ）は、全ての帯域ｋで共通の値であってもよい。

次に、ゲイン算出部１４５は、算出した抑圧閾値ＴＨ_ｎ（ｍ，ｋ）により特定される抑圧範囲に重なりがあるか否かを判定する（ステップＳ４２８）。重なりがある場合（ステップＳ４２８）、ゲイン算出部１４５は、重なりがなくなるよう抑圧閾値の係数ｃ（ｋ），ｄ（ｋ）を修正する（ステップＳ４２９）。

ステップＳ４２９で抑圧閾値ＴＨ_ｎ（ｍ，ｋ）を修正した後、ゲイン算出部１４０は、続けて、間隙が閾値以上の抑圧閾値の組があるか否かを判定する（ステップＳ４３０）。また、抑圧範囲に重なりがない場合（ステップＳ４２８；ＮＯ）、ゲイン算出部１４５は、ステップＳ４２９をスキップしてステップＳ４３０の判定を行う。ステップＳ４３０において、ゲイン算出部１４０は、例えば、帯域ｋの抑圧閾値ＴＨφ_ｎ（ｍ，ｋ），ＴＨψ_ｎ（ｍ，ｋ）に基づいて、抑圧範囲に含まれない伝達特性の区間の幅を算出する。算出した幅が閾値以上である区間を検出した場合（ステップＳ４３０；ＹＥＳ）、ゲイン算出部１４０は、間隙が狭くなるよう抑圧閾値を修正する（ステップＳ４３１）。

ステップＳ４３１で抑圧閾値ＴＨ_ｎ（ｍ，ｋ）を修正した後、ゲイン算出部１４０は、周波数スペクトルＸ_ｎ（ｍ，ｋ）と、背景雑音スペクトルＢＮ_ｎ（ｍ，ｋ）と、抑圧閾値ＴＨφ_ｎ, ＴＨψ_ｎとに基づいて、ゲインＧ_ｎ（ｍ，ｋ）を算出する（ステップＳ４３２）。

ゲイン算出部１４５は、帯域ｋ毎に、スペクトルＸ_ｎ（ｍ，ｋ）と、当該スペクトルＸ_ｎ（ｍ，ｋ）と対応付けられた他のスペクトルＸ_ｎ’（ｍ，ｋ）とのレベル差の絶対値と、抑圧閾値ＴＨφ_ｎ（ｍ，ｋ），ＴＨψ_ｎ（ｍ，ｋ）により定まる抑圧範囲を比較する。ここで、スペクトルＸ_ｎ（ｍ，ｋ）と他のスペクトルＸ_ｎ’（ｍ，ｋ）との対応関係は、伝達特性を算出する際の対応関係と同じ対応関係とする。スペクトルのレベル差の絶対値が抑圧閾値ＴＨ_ｎ（ｍ，ｋ）よりも小さい場合、ゲイン算出部１４５は、スペクトルＸ_ｎ（ｍ、ｋ）に付加するゲインＧ_ｎ（ｍ，ｋ）と、スペクトルＸ_ｎ’（ｍ、ｋ）に付加するゲインＧ_ｎ’（ｍ，ｋ）とを算出する。

例えば、入力音声信号が３個である場合、ゲイン算出部１４５は、まず、帯域ｋ毎に、スペクトルＸ_１（ｍ，ｋ）とスペクトルＸ_２（ｍ，ｋ）とのレベル差が、抑圧閾値ＴＨφ_１（ｍ，ｋ），ＴＨψ_１（ｍ，ｋ）とにより定まる抑圧範囲内であるか否かを判定する。スペクトルＸ_１（ｍ，ｋ）とスペクトルＸ_２（ｍ，ｋ）とのレベル差が、抑圧範囲内である場合、ゲイン算出部１４５は、下記式（８−１）〜式（８−３）により、ゲインＧ_ｎ（ｍ，ｋ）を決定する。

Ｇ_１（ｍ，ｋ）＝１ ・・・（８−１）
Ｇ_２（ｍ，ｋ）＝ＢＮ_２（ｍ，ｋ）／Ｘ_２（ｍ，ｋ） ・・・（８−２）
Ｇ_３（ｍ，ｋ）＝ＢＮ_３（ｍ，ｋ）／Ｘ_３（ｍ，ｋ） ・・・（８−３）

また、スペクトルＸ_１（ｍ，ｋ）とスペクトルＸ_２（ｍ，ｋ）とのレベル差が、抑圧閾値ＴＨφ_２（ｍ，ｋ），ＴＨψ_２（ｍ，ｋ）とにより定まる抑圧範囲内である場合、ゲイン算出部１４５は、下記式（８−４）及び（８−６）により、ゲインＧ_ｎ（ｍ，ｋ）を決定する。

Ｇ_１（ｍ，ｋ）＝ＢＮ_１（ｍ，ｋ）／Ｘ_１（ｍ，ｋ） ・・・（８−４）
Ｇ_２（ｍ，ｋ）＝１ ・・・（８−５）
Ｇ_３（ｍ，ｋ）＝ＢＮ_３（ｍ，ｋ）／Ｘ_３（ｍ，ｋ） ・・・（８−６）

また、スペクトルＸ_１（ｍ，ｋ）とスペクトルＸ_３（ｍ，ｋ）との差が、抑圧閾値ＴＨφ_３（ｍ，ｋ），ＴＨψ_３（ｍ，ｋ）とにより定まる抑圧範囲内である場合、ゲイン算出部１４５は、下記式（８−７）及び（８−９）により、ゲインＧ_ｎ（ｍ，ｋ）を決定する。

Ｇ_１（ｍ，ｋ）＝ＢＮ_１（ｍ，ｋ）／Ｘ_１（ｍ，ｋ） ・・・（８−７）
Ｇ_２（ｍ，ｋ）＝ＢＮ_２（ｍ，ｋ）／Ｘ_２（ｍ，ｋ） ・・・（８−８）
Ｇ_３（ｍ，ｋ）＝１ ・・・（８−９）

ゲイン算出部１４５が全てのゲインＧ_ｎ（ｍ，ｋ）を算出し、算出したゲインＧ_ｎ（ｍ，ｋ）をゲイン付加部１５０に渡すと、ゲイン決定処理が終了する。

ゲイン決定処理が終了した後、音声処理装置１は、ゲイン付加部１５０において、既知の抑圧方法に従って、ゲインＧ_ｎ（ｍ，ｋ）を付加した周波数スペクトルＳ_ｎ（ｍ，ｋ）を算出する。ゲイン付加部１５０は、算出した周波数スペクトルＳ_ｎ（ｍ，ｋ）を表示信号出力部１７２と、分析装置５１０に出力する。表示信号出力部１７２は、発話状態の推定結果Ｃ（ｍ）と、周波数スペクトルＸ_ｎ（ｍ，ｋ）に適用したゲインＧ_ｎ（ｍ，ｋ）とに基づいて、発話している人物の近傍に設置された収音装置２を特定し、特定した収音装置２の表示部２０２を表示させる信号を出力する。表示信号出力部１７２が出力した表示信号は、通信部１８０から、ネットワーク６を介して通信端末７に送信される。通信端末７は、受信した表示信号を所定の収音装置２に転送して表示部２０２を表示させる。

このように、本実施形態に係るゲイン決定処理では、帯域ｋ毎に、所定期間内における伝達特性の分布のピーク値Ｄ_ｎ（ｍ，ｋ）と、伝達特性のばらつきの度合いσ_ｎ（ｍ，ｋ）とに基づいて、抑圧閾値ＴＨ_ｎ（ｍ，ｋ）を算出する。この際、ゲイン決定部１４０は、ばらつきの度合いσ_ｎ（ｍ，ｋ）が大きい帯域の抑圧範囲が、ばらつきの度合いσ_ｎ（ｍ，ｋ）が小さい帯域の抑圧範囲よりも広くなるよう抑圧閾値ＴＨ_ｎ（ｍ，ｋ）を算出する。そのため、伝達特性が抑圧範囲内である場合に入力信号スペクトルＸ_ｎ（ｍ，ｋ）を抑圧する音声処理における抑圧不足を防ぐことが可能となる。よって、本実施形態によれば、複数の人物による会話を収音した音声信号における各人物の音声を精度良く分離することが可能となる。

また、本実施形態に係るゲイン決定処理では、伝達特性が分布のピーク値Ｄ_ｎ（ｍ，ｋ）よりも大きい区間でのばらつきの度合いφ_ｎ（ｍ，ｋ）と、ピーク値Ｄ_ｎ（ｍ，ｋ）よりも小さい区間でのばらつきの度合いψ_ｎ（ｍ，ｋ）と、別個に算出する。そして、それぞれのばらつきの度合いφ_ｎ（ｍ，ｋ），ψ_ｎ（ｍ，ｋ）に基づいて算出した抑圧閾値により抑圧範囲を設定する。

図１５は、第２の実施形態における抑圧閾値の算出方法を説明する図である。
図１５の（ａ）には、図６のような伝達特性の分布のヒストグラムを簡略化した伝達特性の分布を示している。伝達特性の分布は、例えば、図１５の（ａ）に示すように、伝達特性がピーク値Ｄ_ｎ（ｍ，ｋ）よりも大きい区間におけるばらつきの度合いφと、ピーク値Ｄ_ｎ（ｍ，ｋ）よりも小さい区間におけるばらつきの度合いψとが異なる場合がある。図１５の（ａ）に示した伝達特性の分布では、伝達特性がピーク値Ｄ_ｎ（ｍ，ｋ）よりも大きくなる場合が、伝達特性がピーク値Ｄ_ｎ（ｍ，ｋ）よりも小さくなる場合よりも多い。そのため、抑圧閾値ＴＨ_ｎ（ｍ，ｋ）を算出する際には、図１５の（ｂ）に示すように、ピーク値Ｄ_２（ｍ，ｋ２）よりも大きい伝達特性に対する抑圧範囲が、ピーク値Ｄ_２（ｍ，ｋ）よりも小さい伝達特性に対する抑圧範囲よりも広くなるようにすることが好ましい。これにより、伝達特性の分布に応じたより適切な抑圧範囲を設定することが可能となる。なお、図１５の（ｂ）には、帯域ｋ＝ｋ２の場合の抑圧閾値を例示しているが、他の帯域ｋについても、同様に、伝達特性の分布に基づいて抑圧閾値を設定する。この際、各帯域における抑圧範囲は、ピーク値Ｄ_ｎ（ｍ，ｋ）よりも大きい区間のほうが広くなる帯域と、ピーク値Ｄ_ｎ（ｍ，ｋ）よりも小さい区間のほうが広くなる帯域と、が混在していてもよいことはもちろんである。

更に、本実施形態に係るゲイン決定処理では、抑圧閾値ＴＨφ_ｎ（ｍ，ｋ），ＴＨψ_ｎ（ｍ，ｋ）により定まる抑圧範囲に重なりがある場合には、重なりがなくなるよう抑圧閾値ＴＨφ_ｎ（ｍ，ｋ），ＴＨψ_ｎ（ｍ，ｋ）の値を修正する。

図１６は、抑圧範囲が重なっている場合の修正方法を説明する図である。
図１６の（ａ）には、ある帯域における、周波数スペクトルＸ_１（ｍ，ｋ）についての伝達特性のピーク値Ｄ_１及び抑圧閾値ＴＨφ_１と、周波数スペクトルＸ_２（ｍ，ｋ）についての伝達特性のピーク値Ｄ_２及び抑圧閾値ＴＨφ_２，ＴＨψ_２とを示している。図１６の（ａ）では、周波数スペクトルＸ_１（ｍ，ｋ）についての上限側の抑圧閾値ＴＨφ_１（ｍ，ｋ）と、周波数スペクトルＸ_２（ｍ，ｋ）についての下限側の抑圧閾値ＴＨψ_２（ｍ，ｋ）との大小関係が、ＴＨφ_１（ｍ，ｋ）＞ＴＨψ_２（ｍ，ｋ）となっている。すなわち、周波数スペクトルＸ_１（ｍ，ｋ）に対する抑圧範囲と、周波数スペクトルＸ_２（ｍ，ｋ）に対する抑圧範囲とに重なりがある。このように抑圧範囲に重なりがあると、例えば、付加するゲインＧ_１（ｍ，ｋ），Ｇ_２（ｍ，ｋ）を算出する際に誤った判定をし、誤った抑圧をしてしまう可能性がある。

このため、本実施形態のゲイン決定処理では、抑圧範囲に重なりがある場合、重なりがなくなるよう抑圧閾値を修正する。すなわち、図１６の（ｂ）に示すように、周波数スペクトルＸ_１（ｍ，ｋ）についての上限側の抑圧閾値ＴＨφ_１（ｍ，ｋ）と、周波数スペクトルＸ_２（ｍ，ｋ）についての下限側の抑圧閾値ＴＨψ_２（ｍ，ｋ）との大小関係が、ＴＨφ_１（ｍ，ｋ）＜ＴＨψ_２（ｍ，ｋ）となるように修正する。これにより、抑圧範囲の重なりによる不適切な抑圧を防止することが可能となる。なお、抑圧閾値ＴＨφ_１（ｍ，ｋ），ＴＨψ_２（ｍ，ｋ）を修正方法は適宜設定可能であり、抑圧閾値ＴＨφ_１（ｍ，ｋ）及びＴＨψ_２（ｍ，ｋ）のいずれか一方のみを修正してもよいし、抑圧閾値ＴＨφ_１（ｍ，ｋ）及びＴＨψ_２（ｍ，ｋ）の両方を修正してもよい。

また、本実施形態に係るゲイン決定処理では、抑圧閾値ＴＨφ_ｎ（ｍ，ｋ），ＴＨψ_ｎ（ｍ，ｋ）により定まる抑圧範囲の間隙が閾値以上である場合には、間隙が狭くなるように抑圧閾値ＴＨφ_ｎ（ｍ，ｋ），ＴＨψ_ｎ（ｍ，ｋ）の値を修正する。これにより、抑圧範囲に設定されていない伝達特性の存在による抑圧不足を防止することが可能となる。

なお、図１４Ａ及び図１４Ｂのフローチャートは、それぞれ、本実施形態に係る音声処理装置１が行うゲイン決定処理の一例に過ぎない。本実施形態に係る音声処理装置１が行うゲイン決定処理の内容は、図１４Ａ及び図１４Ｂの内容に限らず、本実施形態の要旨を逸脱しない範囲において適宜変更可能である。

上記の実施形態で説明した、音声処理装置１は、例えば、コンピュータと、当該コンピュータに実行させるプログラムとにより実現可能である。以下、図１７を参照して、コンピュータとプログラムとにより実現される音声処理装置１について説明する。

図１７は、コンピュータのハードウェア構成を示す図である。
図１７に示すように、コンピュータ１５は、プロセッサ１５０１と、主記憶装置１５０２と、補助記憶装置１５０３と、入力装置１５０４と、出力装置１５０５と、入出力インタフェース１５０６と、通信制御装置１５０７と、媒体駆動装置１５０８と、を備える。コンピュータ１５におけるこれらの要素１５０１〜１５０８は、バス１５１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。

プロセッサ１５０１は、Central Processing Unit（ＣＰＵ）やMicro Processing Unit（ＭＰＵ）等である。プロセッサ１５０１は、オペレーティングシステムを含む各種のプログラムを実行することにより、コンピュータ１５の全体の動作を制御する。また、プロセッサ１５０１は、例えば、図４及び図５に示した各処理を行う。また、プロセッサ１５０１は、図５に示した各処理の代わりに、図１４Ａ及び図１４Ｂに示した各処理を行うことも可能である。

主記憶装置１５０２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。主記憶装置１５０２のＲＯＭには、例えば、コンピュータ１５の起動時にプロセッサ１５０１が読み出す所定の基本制御プログラム等が予め記録されている。また、主記憶装置１５０２のＲＡＭは、プロセッサ１５０１が、各種のプログラムを実行する際に必要に応じて作業用記憶領域として使用する。主記憶装置１５０２のＲＡＭは、例えば、図１の音声処理装置１における伝達特性情報保持部１９１として利用可能である。また、主記憶装置１５０２のＲＡＭは、伝達特性情報保持部１９１として利用可能である他、入力音声信号、周波数スペクトル、ゲインを決定する過程で算出する各種情報等の記憶に利用可能である。

補助記憶装置１５０３は、例えば、Hard Disk Drive（ＨＤＤ）や、フラッシュメモリ等の不揮発性メモリ（Solid State Drive（ＳＳＤ）を含む）等、主記憶装置１５０２のＲＡＭと比べて容量の大きい記憶装置である。補助記憶装置１５０３は、プロセッサ１５０１によって実行される各種のプログラムや各種のデータ等の記憶に利用可能である。補助記憶装置１５０３は、例えば、図４及び図５に示した各処理を含むプログラム等の記憶に利用可能である。また、補助記憶装置１５０３は、例えば、音声ファイル記憶部１９２として利用可能である他、入力音声信号、周波数スペクトル等の記憶に利用可能である。

入力装置１５０４は、例えば、キーボード装置やタッチパネル装置等である。コンピュータ１５のオペレータ（利用者）が入力装置１５０４に対して所定の操作を行うと、入力装置１５０４は、その操作内容に対応付けられている入力情報をプロセッサ１５０１に送信する。入力装置１５０４は、例えば、会話の録音を開始させる命令、コンピュータ１５が実行可能な他の処理に関する命令等の入力や、各種設定値の入力等に利用可能である。

出力装置１５０５は、例えば、液晶表示装置等の装置、スピーカ等の音声再生装置を含む。

入出力インタフェース１５０６は、コンピュータ１５と、他の電子機器とを接続する。入出力インタフェース１５０６は、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタ等を備える。入出力インタフェース１５０６は、例えば、コンピュータ１５と、収音装置２との接続に利用可能である。

通信制御装置１５０７は、コンピュータ１５をインターネット等のネットワークに接続し、ネットワークを介したコンピュータ１５と他の電子機器との各種通信を制御する装置である。通信制御装置１５０７は、例えば、コンピュータ１５と、収音装置で収音した音声信号を音声ファイルにしてコンピュータ１５に送信する通信端末７との通信に利用可能である。

媒体駆動装置１５０８は、可搬型記憶媒体１６に記録されているプログラムやデータの読み出し、補助記憶装置１５０３に記憶されたデータ等の可搬型記憶媒体１６への書き込みを行う。媒体駆動装置１５０８には、例えば、１種類又は複数種類の規格に対応したメモリカード用リーダ／ライタが利用可能である。媒体駆動装置１５０８としてメモリカード用リーダ／ライタを用いる場合、可搬型記憶媒体１６としては、メモリカード用リーダ／ライタが対応している規格、例えば、Secure Digital（ＳＤ）規格のメモリカード（フラッシュメモリ）等を利用可能である。また、可搬型記録媒体１６としては、例えば、ＵＳＢ規格のコネクタを備えたフラッシュメモリが利用可能である。更に、コンピュータ１５が媒体駆動装置１５０８として利用可能な光ディスクドライブを搭載している場合、当該光ディスクドライブで認識可能な各種の光ディスクを可搬型記録媒体１６として利用可能である。可搬型記録媒体１６として利用可能な光ディスクには、例えば、Compact Disc（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等がある。可搬型記録媒体１６は、図４及び図５に示した処理を含むプログラム、入力音声信号、ゲインを付加して抑圧した音声信号等の記憶に利用可能である。

オペレータが入力装置１５０４等を利用して会話の録音を開始する命令をコンピュータ１５に入力すると、プロセッサ１５０１が、補助記憶装置１５０３等の非一時的な記録媒体に記憶させた音声処理プログラムを読み出して実行する。この処理において、プロセッサ１５０１は、音声処理装置１の入力受付部１１０、周波数変換部１２０、発話状態推定部１３０、ゲイン決定部１４０、ゲイン付加部１５０、逆変換部１６０等として機能する（動作する）。また、主記憶装置１５０２のＲＡＭや補助記憶装置１５０３等は、音声処理装置１における伝達特性情報保持部１９１、音声データ記憶部１９２の他、入力音声信号や周波数スペクトル等を記憶する記憶部として機能する。

なお、音声処理装置１として動作させるコンピュータ１５は、図１７に示した全ての要素１５０１〜１５０８を含む必要はなく、用途や条件に応じて一部の要素を省略することも可能である。例えば、コンピュータ１５は、媒体駆動装置１５０８が省略されたものであってもよい。

以上記載した各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
第１の音声信号に対応する第１の周波数スペクトルと、第２の音声信号に対応する第２の周波数スペクトルとを取得し、
前記第１の周波数スペクトルにおける各周波数成分のレベルと、前記第２の周波数スペクトルにおける各周波数成分のレベルとのレベル差を算出し、
前記周波数成分毎に、所定期間内における前記レベル差の分布の広がりを算出し、
前記レベル差の分布の広がりに基づいて、前記第１の周波数スペクトルの前記周波数成分に付加するゲインと、前記第２の周波数スペクトルの前記周波数成分に付加するゲインとを決定する、
処理をコンピュータに実行させることを特徴とする音声処理プログラム。
（付記２）
前記ゲインを決定する処理は、
前記第１の周波数スペクトルの前記周波数成分毎に、前記レベル差の分布の広がりに基づいて、前記ゲインを付加する範囲を示す抑圧閾値を設定するとともに、
前記第２の周波数スペクトルの前記周波数成分毎に、前記レベル差の分布の広がりに基づいて、前記ゲインを付加する範囲を示す抑圧閾値を設定する処理である、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記３）
前記レベル差の分布の広がりを算出する処理は、
前記レベル差のばらつきの度合いを算出する処理である、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記４）
前記レベル差のばらつきの度合いを算出させる処理は、
前記レベル差の分布についての散布度を算出する処理である、
ことを特徴とする付記３に記載の音声処理プログラム。
（付記５）
前記レベル差の分布の広がりを算出する処理は、
前記所定期間内における前記レベル差の分布のピーク値を算出し、
前記ピーク値の時間変化及び前記レベル差の少なくともいずれか１つに基づいて、前記レベル差の分布の広がりを算出する処理である、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記６）
前記レベル差の分布の広がりを算出する処理は、
前記所定期間内における前記レベル差の分布のピーク値を算出し、
前記ピーク値よりも大きい前記レベル差の分布に基づいて第１の広がりを算出するとともに、前記ピーク値よりも小さい前記レベル差の分布に基づいて第２の広がりを算出する処理である、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記７）
前記ゲインを決定する処理は、
前記所定期間内における前記レベル差の分布のピーク値と、前記レベル差の分布の広がりを示す値を定数倍した値との和及び差のいずれかに基づいて抑圧閾値を算出し、
前記レベル差が前記抑圧閾値により特定される範囲内であるか否かに基づいて、前記第１の周波数スペクトルの前記周波数成分に付加する前記ゲインと、前記第２の周波数スペクトルの前記周波数成分に付加する前記ゲインとを決定する処理である、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記８）
前記ゲインを決定する処理は、
１つの周波数成分における、前記第１の周波数スペクトルについての前記抑圧閾値に基づいて特定される前記ゲインを付加する範囲と、前記第２の周波数スペクトルについての前記抑圧閾値に基づいて特定される前記ゲインを付加する範囲とに重なりが生じる場合に、前記抑圧閾値を修正する処理を含む、
ことを特徴とする付記２に記載の音声処理プログラム。
（付記９）
前記ゲインを決定する処理は、
１つの周波数成分における、前記第１の周波数スペクトルについての前記抑圧閾値に基づいて特定される前記ゲインを付加する範囲と、前記第２の周波数スペクトルについての前記抑圧閾値に基づいて特定される前記ゲインを付加する範囲との間隙が閾値以上である場合に、前記抑圧閾値を修正する処理を含む、
ことを特徴とする付記２に記載の音声処理プログラム。
（付記１０）
前記音声処理プログラムは、前記所定期間内における前記レベル差の分布のピーク値の時間変化と、前記レベル差の分布の広がりの時間変化とが収束しているか否かを判定する処理を更に含み、
前記ゲインを決定する処理は、前記レベル差の分布のピーク値の時間変化と、前記レベル差の分布の広がりの時間変化とが収束している場合に、前記第１の周波数スペクトルの前記周波数成分に付加するゲインと、前記第２の周波数スペクトルの前記周波数成分に付加するゲインとを決定する処理である、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記１１）
前記音声処理プログラムは、前記第１の周波数スペクトルと、前記第２の周波数スペクトルとに基づいて、前記音声信号における発話状態を推定する処理を更に含み、
前記レベル差の広がりを算出する処理は、前記発話状態の推定結果が、一人の人物が発話している状態である場合に、前記レベル差の広がりを算出する処理である、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記１２）
前記音声処理プログラムは、前記第１の周波数スペクトルの前記周波数成分と、前記第２の周波数スペクトルの前記周波数成分のそれぞれに決定した前記ゲインを付加し、
前記ゲインを付加した前記第１の周波数スペクトルと、前記第２の周波数スペクトルとを時間領域の音声信号に変換させる処理、を更に含む、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記１３）
前記音声処理プログラムは、前記第１の周波数スペクトルについての第１の背景雑音スペクトルと、前記第２の周波数スペクトルについての第２の背景雑音スペクトルとを算出させる処理を更に含み、
前記ゲインを決定する処理は、前記第１の周波数スペクトルと前記第１の背景雑音スペクトルとに基づいて前記第１の周波数スペクトルに付加する前記ゲインを算出し、前記第２の周波数スペクトルと前記第２の背景雑音スペクトルとに基づいて前記第２の周波数スペクトルに付加する前記ゲインを算出する処理である、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記１４）
前記周波数スペクトルを取得する処理は、前記第１の音声信号及び前記第２の音声信号を含む３以上の音声信号のそれぞれに対応する３以上の周波数スペクトルを取得し、
前記ゲインを決定する処理は、前記３以上の周波数スペクトルの中から選択した前記第１の周波数スペクトルと、前記前記第２の周波数スペクトルとの組みについての前記レベル差の分布の広がりと、前記第１の周波数スペクトルと、前記前記第２の周波数スペクトルとの組みについての前記レベル差と、に基づいて、前記３以上の周波数スペクトルの各周波数成分に付加するゲインを決定する処理である、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記１５）
第１の音声信号に対応する第１の周波数スペクトルと、第２の音声信号に対応する周波数スペクトルとを取得する周波数変換部と、
前記第１の周波数スペクトルにおける各周波数成分のレベルと、前記第２の周波数スペクトルにおける各周波数成分のレベルとのレベル差を算出する伝達特性推定部と、
前記周波数成分毎に、所定期間内における前記レベル差の分布の広がりを算出する伝達特性分布算出部と、
前記レベル差の分布の広がりに基づいて、前記第１の周波数スペクトルの前記周波数成分に付加するゲインと、前記第２の周波数スペクトルの前記周波数成分に付加するゲインとを算出するゲイン算出部と、
を備えることを特徴とする音声処理装置。
（付記１６）
前記第１の周波数スペクトルと、前記第２の周波数スペクトルとに基づいて前記第１の音声信号及び前記第２の音声信号の発話状態を推定する発話状態推定部、を更に備え、
前記伝達特性推定部は、前記発話状態が一人の人物が発話している状態である場合に前記レベル差の広がりを算出する、
ことを特徴とする付記１５に記載の音声処理装置。
（付記１７）
前記第１の周波数スペクトルについての第１の背景雑音スペクトルと、前記第２の周波数スペクトルについての第２の背景雑音スペクトルとを算出する背景雑音推定部、を更に備え、
前記ゲイン算出部は、前記第１の周波数スペクトルと前記第１の背景雑音スペクトルとに基づいて前記第１の周波数スペクトルに付加する前記ゲインを算出し、前記第２の周波数スペクトルと第２の背景雑音スペクトルとに基づいて前記第２の周波数スペクトルに付加する前記ゲインを算出する、
ことを特徴とする付記１５に記載の音声処理装置。
（付記１８）
前記所定期間内における前記レベル差の分布のピーク値の時間変化と、前記レベル差の分布の広がりの時間変化とが収束しているか否かを判定する収束判定部、を更に備え、
前記ゲイン算出部は、前記レベル差の分布のピーク値の時間変化と、前記レベル差の分布の広がりの時間変化とが収束している場合に、前記第１の周波数スペクトルに付加する前記ゲインと、前記第２の周波数スペクトルに付加する前記ゲインとを算出する
ことを特徴とする付記１５に記載の音声処理装置。
（付記１９）
コンピュータが、
第１の音声信号に対応する第１の周波数スペクトルと、第２の音声信号に対応する周波数スペクトルとを取得し、
前記第１の周波数スペクトルにおける各周波数成分のレベルと、前記第２の周波数スペクトルにおける各周波数成分のレベルとのレベル差を算出し、
前記周波数成分毎に、所定期間内における前記レベル差の分布の広がりを算出し、
前記レベル差の分布の広がりに基づいて、前記第１の周波数スペクトルの前記周波数成分に付加するゲインと、前記第２の周波数スペクトルの前記周波数成分に付加するゲインとを決定する、
ことを特徴とする音声処理方法。

１ 音声処理装置
１１０ 入力受付部
１２０ 周波数変換部
１３０ 発話状態推定部
１４０ ゲイン決定部
１４１ 伝達特性推定部
１４２ 伝達特性分布算出部
１４３ 収束判定部
１４４ 背景雑音推定部
１４５ ゲイン算出部
１５０ ゲイン付加部
１６０ 逆変換部
１７１ ファイル化部
１７２ 表示信号出力部
１８０ 通信部
１９１ 伝達特性情報保持部
１９２ 音声ファイル記憶部
２，２Ａ，２Ｂ，２Ｃ 収音装置
２０１ 収音部
２０２ 表示部
４Ａ，４Ｂ，４Ｃ 人物
５ サーバ装置
５０１ 分析装置
５０２ 記憶部
６ ネットワーク
７ 通信端末
７０１ 通信部
７０２ ファイル化部
１５ コンピュータ
１５０１ プロセッサ
１５０２ 主記憶装置
１５０３ 補助記憶装置
１５０４ 入力装置
１５０５ 出力装置
１５０６ 入出力インタフェース
１５０７ 通信制御装置
１５０８ 媒体駆動装置
１６ 可搬型記録媒体

Claims (13)

1. 第１の音声信号に対応する第１の周波数スペクトルと、第２の音声信号に対応する第２の周波数スペクトルとを取得し、
   前記第１の周波数スペクトルにおける各周波数成分のレベルと、前記第２の周波数スペクトルにおける各周波数成分のレベルとのレベル差を算出し、
   前記周波数成分毎に、所定期間内における前記レベル差の分布の広がりを算出し、
   前記レベル差の分布の広がりに基づいて、前記第１の周波数スペクトルの前記周波数成分に付加するゲインと、前記第２の周波数スペクトルの前記周波数成分に付加するゲインとを決定する、
   処理をコンピュータに実行させることを特徴とする音声処理プログラム。
2. 前記ゲインを決定する処理は、
   前記第１の周波数スペクトルの前記周波数成分毎に、前記レベル差の分布の広がりに基づいて、前記ゲインを付加する範囲を示す抑圧閾値を設定するとともに、
   前記第２の周波数スペクトルの前記周波数成分毎に、前記レベル差の分布の広がりに基づいて、前記ゲインを付加する範囲を示す抑圧閾値を設定する処理である、
   ことを特徴とする請求項１に記載の音声処理プログラム。
3. 前記レベル差の分布の広がりを算出する処理は、前記コンピュータに、
   前記レベル差のばらつきの度合いを算出する処理である、
   ことを特徴とする請求項１に記載の音声処理プログラム。
4. 前記レベル差の分布の広がりを算出する処理は、
   前記所定期間内における前記レベル差の分布のピーク値を算出し、
   前記ピーク値の時間変化及び前記レベル差の少なくともいずれか１つに基づいて、前記レベル差の分布の広がりを算出する処理である、
   ことを特徴とする請求項１に記載の音声処理プログラム。
5. 前記レベル差の分布の広がりを算出する処理は、
   前記所定期間内における前記レベル差の分布のピーク値を算出し、
   前記ピーク値よりも大きい前記レベル差の分布に基づいて第１の広がりを算出するとともに、前記ピーク値よりも小さい前記レベル差の分布に基づいて第２の広がりを算出する処理である、
   ことを特徴とする請求項１に記載の音声処理プログラム。
6. 前記ゲインを決定する処理は、
   前記所定期間内における前記レベル差の分布のピーク値と、前記レベル差の分布の広がりを示す値を定数倍した値との和及び差のいずれかに基づいて抑圧閾値を算出し、
   前記レベル差が前記抑圧閾値により特定される範囲内であるか否かに基づいて、前記第１の周波数スペクトルの前記周波数成分に付加する前記ゲインと、前記第２の周波数スペクトルの前記周波数成分に付加する前記ゲインとを決定する処理である、
   ことを特徴とする請求項１に記載の音声処理プログラム。
7. 前記ゲインを決定する処理は、
   １つの周波数成分における、前記第１の周波数スペクトルについての前記抑圧閾値に基づいて特定される前記ゲインを付加する範囲と、前記第２の周波数スペクトルについての前記抑圧閾値に基づいて特定される前記ゲインを付加する範囲とに重なりが生じる場合に、前記抑圧閾値を修正する処理を含む、
   ことを特徴とする請求項２に記載の音声処理プログラム。
8. 前記ゲインを決定する処理は、
   １つの周波数成分における、前記第１の周波数スペクトルについての前記抑圧閾値に基づいて特定される前記ゲインを付加する範囲と、前記第２の周波数スペクトルについての前記抑圧閾値に基づいて特定される前記ゲインを付加する範囲との間隙が閾値以上である場合に、前記抑圧閾値を修正する処理を含む、
   ことを特徴とする請求項２に記載の音声処理プログラム。
9. 前記音声処理プログラムは、前記所定期間内における前記レベル差の分布のピーク値の時間変化と、前記レベル差の分布の広がりの時間変化とが収束しているか否かを判定する処理を更に含み、
   前記ゲインを決定する処理は、前記レベル差の分布のピーク値の時間変化と、前記レベル差の分布の広がりの時間変化とが収束している場合に、前記コンピュータに、前記第１の周波数スペクトルの前記周波数成分に付加するゲインと、前記第２の周波数スペクトルの前記周波数成分に付加するゲインとを決定する処理である、
   ことを特徴とする請求項１に記載の音声処理プログラム。
10. 前記音声処理プログラムは、前記第１の周波数スペクトルと、前記第２の周波数スペクトルとに基づいて、前記音声信号における発話状態を推定する処理を更に含み、
    前記レベル差の広がりを算出する処理は、前記発話状態の推定結果が、一人の人物が発話している状態である場合に、前記コンピュータに、前記レベル差の広がりを算出する処理である、
    ことを特徴とする請求項１に記載の音声処理プログラム。
11. 前記周波数スペクトルを取得する処理は、前記第１の音声信号及び前記第２の音声信号を含む３以上の音声信号のそれぞれに対応する３以上の周波数スペクトルを取得し、
    前記ゲインを決定する処理は、前記３以上の周波数スペクトルの中から選択した前記第１の周波数スペクトルと、前記前記第２の周波数スペクトルとの組みについての前記レベル差の分布の広がりと、前記第１の周波数スペクトルと、前記前記第２の周波数スペクトルとの組みについての前記レベル差と、に基づいて、前記３以上の周波数スペクトルの各周波数成分に付加するゲインを決定する処理である、
    ことを特徴とする請求項１に記載の音声処理プログラム。
12. 第１の音声信号に対応する第１の周波数スペクトルと、第２の音声信号に対応する周波数スペクトルとを取得する周波数変換部と、
    前記第１の周波数スペクトルにおける各周波数成分のレベルと、前記第２の周波数スペクトルにおける各周波数成分のレベルとのレベル差を算出する伝達特性推定部と、
    前記周波数成分毎に、所定期間内における前記レベル差の分布の広がりを算出する伝達特性分布算出部と、
    前記レベル差の分布の広がりに基づいて、前記第１の周波数スペクトルの前記周波数成分に付加するゲインと、前記第２の周波数スペクトルの前記周波数成分に付加するゲインとを算出するゲイン算出部と、
    を備えることを特徴とする音声処理装置。
13. コンピュータが、
    第１の音声信号に対応する第１の周波数スペクトルと、第２の音声信号に対応する周波数スペクトルとを取得し、
    前記第１の周波数スペクトルにおける各周波数成分のレベルと、前記第２の周波数スペクトルにおける各周波数成分のレベルとのレベル差を算出し、
    前記周波数成分毎に、所定期間内における前記レベル差の分布の広がりを算出し、
    前記レベル差の分布の広がりに基づいて、前記第１の周波数スペクトルの前記周波数成分に付加するゲインと、前記第２の周波数スペクトルの前記周波数成分に付加するゲインとを決定する、
    ことを特徴とする音声処理方法。

Images