JP7013789B2 - 音声処理用コンピュータプログラム、音声処理装置及び音声処理方法 - Google Patents

Description

本発明は、例えば、複数のマイクロホンを用いて集音された音声を含む音声信号を処理する音声処理用コンピュータプログラム、音声処理装置及び音声処理方法に関する。

近年、複数のマイクロホンにより音声を集音することで得られた音声信号を処理する音声処理装置が開発されている。このような音声処理装置において、音声信号に含まれる特定方向からの音声を聞き取り易くするために、その音声信号においてその特定方向以外からの音声を抑圧する技術が研究されている（例えば、特許文献１を参照）。

特開２００７－３１８５２８号公報

特許文献１に記載された技術では、周波数ごとに、音声信号に含まれるその周波数の成分が特定方向から到来した音声に含まれる成分か否かが判定される。そのため、この技術では、周波数ごとに、その周波数の成分を抑圧するか否かが制御可能となっている。

しかしながら、音声に含まれる周波数成分の強さは、一般に、周波数ごとに異なっている。そのため、周波数によっては、特定方向から到来する音声に含まれる、その周波数の成分よりも、他の方向から到来する雑音に含まれるその周波数の成分の方が大きいことがある。このような場合、上記の技術では、特定方向から到来する音声に含まれる成分よりも、雑音に含まれる成分の方が大きい周波数については、特定方向から到来する音声の成分が抑圧されてしまうことがある。その結果として、抑圧後の音声信号において、特定方向から到来する音声が歪むことがある。

一つの側面では、本発明は、特定方向から到来する音声が過度に抑圧されることを防止できる音声処理用コンピュータプログラムを提供することを目的とする。

一つの実施形態によれば、音声処理用コンピュータプログラムが提供される。この音声処理用コンピュータプログラムは、第１の音声入力部により生成された第１の音声信号、及び、第１の音声入力部と異なる位置に配置された第２の音声入力部により生成された第２の音声信号を、それぞれ、所定の時間長を持つフレームごとに周波数領域の第１の周波数スペクトル及び第２の周波数スペクトルに変換し、フレームごとに、第１の周波数スペクトル及び第２の周波数スペクトルの一方に基づいて雑音のパワー及び信号対雑音比のうちの一方を算出し、フレームごとに、雑音のパワー及び信号対雑音比のうちの一方に応じて、周波数帯域の幅を設定し、フレームごとに、かつ、設定された幅を持つ周波数帯域ごとに、第１の周波数スペクトル及び第２の周波数スペクトルの何れかのうちのその周波数帯域に含まれる、第１の方向から到来する音声の周波数成分の第１のパワーと第１の周波数スペクトル及び第２の周波数スペクトルの何れかのうちのその周波数帯域に含まれる、第１の方向と異なる第２の方向から到来する音声の周波数成分の第２のパワーとを比較し、フレームごとに、かつ、周波数帯域ごとに、比較結果に応じたゲインを設定し、フレームごとに、かつ、周波数帯域ごとに、第１の周波数スペクトル及び第２の周波数スペクトルの何れかのうちのその周波数帯域に含まれる周波数成分にその周波数帯域について設定されたゲインを乗じることで補正された周波数スペクトルを算出し、フレームごとに、補正された周波数スペクトルを周波数時間変換することで、指向音声信号を生成する、ことをコンピュータに実行させるための命令を含む。

一つの側面では、特定方向から到来する音声が過度に抑圧されることを防止できる。

特定方向から到来する音声に含まれる周波数ごとの成分と、雑音に含まれる周波数ごとの成分の大小関係の一例を示す図である。 一つの実施形態による音声処理装置が実装された音声入力装置の概略構成図である。 一つの実施形態による音声処理装置の概略構成図である。 雑音のパワーと周波数帯域の幅の関係の一例を示す図である。 音声の到来方向と位相スペクトル差の関係の一例を示す図である。 指向音声パワー比とゲインの関係の一例を示す図である。 本実施形態による音声処理の概要を説明する図である。 音声処理の動作フローチャートである。 変形例による音声処理装置の概略構成図である。 信号対雑音比と周波数帯域の幅の関係の一例を示す図である。 変形例による周波数帯域幅制御の概要についての説明図である。 雑音パワーの平均値と、雑音のパワーと、周波数帯域の幅との関係の一例を示す図である。 実施形態またはその変形例による音声処理装置の各部の機能を実現するコンピュータプログラムが動作することにより、音声処理装置として動作するコンピュータの構成図である。

以下、図を参照しつつ、音声処理装置について説明する。この音声処理装置は、複数の音声入力部により得られた音声信号において、着目する音源が位置する特定の方向以外から到来する音声を、周波数ごとに解析して抑圧する。しかし、上記のように、音声に含まれる周波数成分の強さは、一般に、周波数ごとに異なっている。そのため、周波数によっては、特定方向から到来する音声に含まれる、その周波数の成分よりも、他の方向から到来する雑音に含まれるその周波数の成分の方が大きいことがある。

図１は、特定方向から到来する音声に含まれる周波数ごとの成分と、雑音に含まれる周波数ごとの成分の大小関係の一例を示す図である。図１において、横軸は周波数を表し、縦軸は周波数成分のパワーを表す。そして棒グラフの集合として表されるプロファイル１０１は、特定方向から到来する音声に含まれる周波数成分ごとのパワーを表す。また、点線で表されるプロファイル１０２は、雑音に含まれる周波数成分ごとのパワーを表す。プロファイル１０１に示されるように、特定方向から到来する音声に含まれる周波数成分ごとのパワーは互いに異なっている。例えば、人の声は、周波数領域において、声道（声帯から口まで）の周波数特性に基づいて強弱が繰り返されることが知られている。そのため、周波数によっては、周波数成分のパワーは小さくなる。その結果、例えば、図１における周波数f1のように、特定方向から音声が到来しているときでも、その音声に含まれる周波数成分のパワーよりも、雑音に含まれる周波数成分のパワーの方が大きい周波数が存在することがある。特に、雑音のパワーが大きいほど、特定方向から到来する音声に含まれる周波数成分のパワーよりも、雑音に含まれる周波数成分のパワーの方が大きい周波数の数が増えることが想定される。

そこで、この音声処理装置は、雑音レベルが高くなるほど、音声の到来方向を判定し、かつ、ゲインを設定する単位となる周波数帯域の幅を広くする。これにより、周波数帯域内に、特定方向から到来する音声よりも、雑音の方が周波数成分のパワーが大きくなる周波数が含まれていても、その周波数帯域全体において、特定方向から到来する音声のパワーが雑音のパワーよりも大きければ、音声信号は抑圧されない。そのため、この音声処理装置は、特定方向から到来する音声が過度に抑圧されることを防止できる。

図２は、一つの実施形態による音声処理装置が実装された音声入力装置の概略構成図である。音声入力装置１は、二つのマイクロホン１１－１、１１－２と、二つのアナログ／デジタル変換器１２－１、１２－２と、音声処理装置１３と、通信インターフェース部１４とを有する。音声入力装置１は、例えば、車両（図示せず）に搭載される。

マイクロホン１１－１、１１－２は、それぞれ、音声入力部の一例である。マイクロホン１１－１及びマイクロホン１１－２は、例えば、集音対象とする音源であるドライバ２０１と、他の音源である、助手席にいる同乗者２０２との間において、例えば、インストルメントパネル、あるいは、車室内の天井付近に配置される。なお、以下では、助手席にいる同乗者を、単に同乗者と呼ぶ。この例では、マイクロホン１１－１の方がマイクロホン１１－２よりも同乗者２０２に近く、かつ、マイクロホン１１－２の方がマイクロホン１１－１よりもドライバ２０１の近くに位置するように、マイクロホン１１－１及びマイクロホン１１－２は配置される。そしてマイクロホン１１－１が周囲の音声を集音することにより生成したアナログの入力音声信号はアナログ／デジタル変換器１２－１に入力される。同様に、マイクロホン１１－２が周囲の音声を集音することにより生成したアナログの入力音声信号はアナログ／デジタル変換器１２－２に入力される。

アナログ／デジタル変換器１２－１は、マイクロホン１１－１から受け取ったアナログの入力音声信号を所定のサンプリング周波数でサンプリングすることによりデジタル化された入力音声信号を生成する。同様に、アナログ／デジタル変換器１２－２は、マイクロホン１１－２から受け取ったアナログの入力音声信号を所定のサンプリング周波数でサンプリングすることによりデジタル化された入力音声信号を生成する。

なお、以下では、説明の便宜上、マイクロホン１１－１が集音することで生成され、アナログ／デジタル変換器１２－１によりデジタル化された入力音声信号を第１の入力音声信号と呼ぶ。また、マイクロホン１１－２が集音することで生成され、アナログ／デジタル変換器１２－２によりデジタル化された入力音声信号を第２の入力音声信号と呼ぶ。
アナログ／デジタル変換器１２－１は、第１の入力音声信号を音声処理装置１３へ出力する。同様に、アナログ／デジタル変換器１２－２は、第２の入力音声信号を音声処理装置１３へ出力する。

音声処理装置１３は、例えば、一つまたは複数のプロセッサと、メモリとを有する。音声処理装置１３は、受信した第１の入力音声信号と第２の入力音声信号とから、第１の方向（本実施形態では、ドライバ２０１が位置する方向）以外の方向から到来した雑音を抑圧した指向音声信号を生成する。そして音声処理装置１３は、通信インターフェース部１４を介して、その指向音声信号をナビゲーションシステム（図示せず）あるいはハンズフリーホン（図示せず）といった他の機器へ出力する。

通信インターフェース部１４は、所定の通信規格に従って音声入力装置１を他の機器と接続するための通信インターフェース回路などを含む。例えば、通信インターフェース回路は、例えば、Bluetooth(登録商標)といった、音声信号の通信に利用可能な近距離無線通信規格に従って動作する回路、あるいは、universal serial bus(USB)といったシリアルバス規格に従って動作する回路とすることができる。そして通信インターフェース部１４は、音声処理装置１３から受け取った指向音声信号を他の機器へ出力する。

図３は、一つの実施形態による音声処理装置１３の概略構成図である。音声処理装置１３は、時間周波数変換部２１と、雑音パワー算出部２２と、帯域幅制御部２３と、音源方向判定部２４と、ゲイン設定部２５と、補正部２６と、周波数時間変換部２７とを有する。音声処理装置１３が有するこれらの各部は、例えば、音声処理装置１３が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいは、音声処理装置１３が有するこれらの各部は、音声処理装置１３が有するプロセッサとは別個に、それらの各部の機能を実現する一つまたは複数の集積回路として音声処理装置１３に実装されてもよい。

時間周波数変換部２１は、第１の入力音声信号及び第２の入力音声信号のそれぞれについて、フレーム単位で時間領域から周波数領域へ変換することにより、複数の周波数のそれぞれについての振幅成分と位相成分とを含む周波数スペクトルを算出する。なお、時間周波数変換部２１は、第１の入力音声信号と第２の入力音声信号のそれぞれに対して同じ処理を行えばよいので、以下では、第１の入力音声信号についての処理について説明する。

本実施形態では、時間周波数変換部２１は、第１の入力音声信号を、所定のフレーム長（例えば、数10msec）を持つフレームごとに分割する。その際、時間周波数変換部２１は、例えば、連続する二つのフレームがフレーム長の1/2だけずれるように各フレームを設定する。

時間周波数変換部２１は、各フレームに対して窓処理を実行する。すなわち、時間周波数変換部２１は、各フレームに所定の窓関数を乗じる。例えば、時間周波数変換部２１は、窓関数としてハニング窓を用いることができる。

時間周波数変換部２１は、窓処理が施されたフレームを受け取る度に、そのフレームを時間領域から周波数領域へ変換することにより、複数の周波数のそれぞれについての振幅成分と位相成分とを含む周波数スペクトルを算出する。時間周波数変換部２１は、例えば、フレームに対して、高速フーリエ変換(Fast Fourier Transform, FFT)といった時間周波数変換を実行することにより周波数スペクトルを算出すればよい。なお、以下では、便宜上、第１の入力音声信号について得られた周波数スペクトルを第１の周波数スペクトルと呼び、第２の入力音声信号について得られた周波数スペクトルを第２の周波数スペクトルと呼ぶ。

時間周波数変換部２１は、フレームごとに、第１の周波数スペクトルを雑音パワー算出部２２及び音源方向判定部２４へ出力する。また時間周波数変換部２１は、フレームごとに、第２の周波数スペクトルを音源方向判定部２４及び補正部２６へ出力する。

雑音パワー算出部２２は、雑音レベル評価部の一例であり、フレームごとに、第１の周波数スペクトルに基づいて、雑音のパワーを算出する。雑音成分のパワーの時間変動は比較的少ないと想定される。そこで、雑音パワー算出部２２は、直前のフレームにおける雑音のパワーと、現フレームの第１の音声信号のパワーとの差が所定の範囲内に含まれる場合に、直前のフレームにおける雑音のパワーを現フレームの第１の音声信号のパワーに基づいて更新する。

雑音パワー算出部２２は、現フレームの第１の音声信号のパワーP1(t)を次式に従って算出する。

ここで、I1(f)は、第１の周波数スペクトルに含まれる、周波数fにおける周波数成分を表す。またRe{I1(f)}は、I1(f)の実数成分を表し、Im{I1(f)}は、I1(f)の虚数成分を表す。

また、雑音パワー算出部２２は、次式に従って、現フレームの雑音のパワーを算出する。

ここで、NP(t-1)は、直前のフレームにおける雑音のパワーを表し、NP(t)は、現フレームの雑音のパワーを表す。また、係数αは、忘却係数であり、例えば、0.9～0.99に設定される。またP1(t-1)は、直前のフレームにおける第１の音声信号のパワーを表す。

雑音パワー算出部２２は、フレームごとに、算出した雑音のパワーを帯域幅制御部２３へ出力する。

帯域幅制御部２３は、フレームごとに、雑音のパワーに従って、音声の到来方向を判定し、かつ、ゲインを設定する単位となる周波数帯域の幅を制御する。本実施形態では、帯域幅制御部２３は、雑音のパワーが大きくなるほど、周波数帯域の幅を広くする。

図４は、雑音のパワーと周波数帯域の幅の関係の一例を示す図である。図４において、横軸は雑音のパワーを表し、縦軸は周波数帯域の幅を表す。そしてグラフ４００は、雑音のパワーと周波数帯域の幅FBWとの関係を表す。なお、この例では、周波数帯域の幅FBWは、時間周波数変換が行われる単位となるフレームに含まれるサンプリング点数に応じた周波数の幅（すなわち、周波数帯域の幅FBWの最大値はフレームのサンプリング点数/2に相当）で表される。グラフ４００に示されるように、雑音のパワーが下限閾値γ1以下である場合には、周波数帯域の幅FBWは、一つの周波数のサンプリング点に設定される。そして雑音のパワーが下限閾値γ1より大きく、かつ、上限閾値γ2未満である場合、雑音のパワーが大きくなるほど、周波数帯域の幅FBWは広くなる。そして雑音のパワーが上限閾値γ2以上であれば、周波数帯域の幅FBWはフレームのサンプリング点数/2となるように設定される。なお、下限閾値γ1、上限閾値γ2は、例えば、60dbA、66dbAに設定される。

帯域幅制御部２３は、例えば、帯域幅制御部２３が有するメモリに予め記憶される、雑音のパワーと周波数帯域の幅との関係を表す参照テーブルを参照することで、フレームごとに、そのフレームの雑音のパワーに応じた周波数帯域の幅を設定する。なお、参照テーブルが表す雑音のパワーと周波数帯域の幅との関係は、例えば、図４のグラフ４００に示される関係とすることができる。そして帯域幅制御部２３は、フレームごとに、設定した周波数帯域の幅を音源方向判定部２４へ通知する。

音源方向判定部２４は、フレームごとに、第１の周波数スペクトルと第２の周波数スペクトルとを、通知された幅を持つ周波数帯域ごとに分割する。そして音源方向判定部２４は、周波数帯域ごとに、第１の方向から到来する音声のパワーと第２の方向から到来する音声のパワーとを比較する。

先ず、音源方向判定部２４は、例えば、フレームごとに、第１の周波数スペクトルと第２の周波数スペクトル間の周波数ごとの位相差を表す位相スペクトル差を求める。この位相スペクトル差は、そのフレームにおいて音声が到来した方向に応じて変化するので、この位相スペクトル差は、音声が到来した方向を特定するために利用できる。例えば、音源方向判定部２４は、次式に従って位相スペクトル差Δθ(f)を求める。

ここで、IN1(f)は、第１の周波数スペクトルに含まれる、周波数fにおける周波数成分を表し、IN2(f)は、第２の周波数スペクトルに含まれる、周波数fにおける周波数成分を表す。またFsは、アナログ／デジタル変換器１２－１及び１２－２におけるサンプリング周波数を表す。なお、図２に示される、マイクロホン１１－１と１１－２の間隔は、音速/Fs未満である。

図５は、音声の到来方向と位相スペクトル差Δθ(f)の関係の一例を示す図である。図５において、横軸は周波数を表し、縦軸は位相スペクトル差を表す。そして位相スペクトル差の範囲５０１は、第１の方向（本実施形態では、ドライバが位置する方向）から到来する音声が第１の入力音声信号及び第２の入力音声信号に含まれる場合の周波数ごとの位相差の取り得る範囲を表す。一方、位相スペクトル差の範囲５０２は、第２の方向（本実施形態では、同乗者が位置する方向）から到来する音声が第１の入力音声信号及び第２の入力音声信号に含まれる場合の周波数ごとの位相差の取り得る範囲を表す。

ドライバに対して、マイクロホン１１－２の方がマイクロホン１１－１よりも近い。そのため、ドライバが発した音声がマイクロホン１１－１に到達するタイミングがマイクロホン１１－２に到達するタイミングよりも遅くなる。その結果として、第１の周波数スペクトルに表されるドライバが発した音声の位相は、第２の周波数スペクトルに表されるドライバが発した音声の位相よりも遅れる。そのため、位相スペクトル差の範囲５０１は、負側に位置する。そしてその遅れによる位相差の範囲は、周波数が高いほど広くなる。逆に、同乗者に対して、マイクロホン１１－１の方がマイクロホン１１－２よりも近い。そのため、同乗者が発した音声がマイクロホン１１－２に到達するタイミングがマイクロホン１１－１に到達するタイミングよりも遅くなる。その結果として、第１の周波数スペクトルに表される同乗者が発した音声の位相は、第２の周波数スペクトルに表される同乗者が発した音声の位相よりも進む。そのため、位相スペクトル差の範囲５０２は、正側に位置する。そして位相差の範囲は、周波数が高いほど広くなる。

そこで、音源方向判定部２４は、位相スペクトル差Δθ(f)を参照して、周波数ごとに位相差が位相スペクトル差の範囲５０１に含まれるか、位相スペクトル差の範囲５０２に含まれるかを判定する。そして音源方向判定部２４は、周波数ごとに、第１及び第２の周波数スペクトルのうち、位相差が位相スペクトル差の範囲５０１に含まれる周波数成分は、第１の方向から到来した音声に含まれる成分であると判定する。そして音源方向判定部２４は、周波数帯域ごとに、その周波数帯域に含まれる各周波数のうち、位相差が位相スペクトル差の範囲５０１に含まれる周波数について、第２の周波数スペクトルの周波数成分を抽出して第１の指向音声スペクトルとする。また音源方向判定部２４は、周波数帯域ごとに、その周波数帯域に含まれる各周波数のうち、位相差が位相スペクトル差の範囲５０２に含まれる周波数について、第２の周波数スペクトルの周波数成分を抽出して第２の指向音声スペクトルとする。なお、音源方向判定部２４は、位相差が位相スペクトル差の範囲５０２に含まれる周波数について、第１の周波数スペクトルの周波数成分を抽出して第２の指向音声スペクトルとしてもよい。さらに、音源方向判定部２４は、位相差が位相スペクトル差の範囲５０１に含まれる周波数についても、第１の周波数スペクトルの周波数成分を抽出して第１の指向音声スペクトルとしてもよい。さらにまた、音源方向判定部２４は、周波数帯域ごとに、その周波数帯域に含まれる各周波数のうち、位相差が位相スペクトル差の範囲５０１から外れる周波数について、第１または第２の周波数スペクトルの周波数成分を抽出して第２の指向音声スペクトルとしてもよい。この場合、第１の方向以外が第２の方向となる。

音源方向判定部２４は、周波数帯域ごとに、第１及び第２の指向音声スペクトルのそれぞれについて、その指向音声スペクトルに含まれる各周波数成分のパワーの和を、その周波数帯域におけるその指向音声のパワーとして算出する。そして音源方向判定部２４は、周波数帯域fbごとに、第２の指向音声のパワーPD2(fb)に対する、第１の指向音声のパワーPD1(fb)の比である指向音声パワー比(D(fb)=PD1(fb)/PD2(fb))を算出する。指向音声パワー比D(fb)は、第１の指向音声のパワーと第２の指向音声のパワーとの比較結果の一例である。また指向音声パワー比D(fb)は、対応する周波数帯域に関して音声が到来している方向を表す指標であり、指向音声パワー比D(fb)が高いほど、第１の方向から到来する音声に含まれる周波数成分のパワーが大きいことを表す。

音源方向判定部２４は、フレームごとに、各周波数帯域の指向音声パワー比をゲイン設定部２５へ通知する。

ゲイン設定部２５は、フレームごとに、各周波数帯域のゲインを算出する。本実施形態では、指向音声パワー比が低いほど、すなわち、第１の方向以外から到来する音の周波数成分のパワーが大きいほど、ゲインを小さくする。これにより、指向音声パワー比が低い周波数帯域ほど、その周波数帯域に含まれる各周波数における周波数成分は抑圧される。

図６は、指向音声パワー比とゲインの関係の一例を示す図である。図６において、横軸は指向音声パワー比D(fb)を表し、縦軸はゲインG(fb)を表す。そしてグラフ６００は、指向音声パワー比D(fb)とゲインG(fb)との関係を表す。グラフ６００に示されるように、指向音声パワー比D(fb)が下限閾値β1以下である場合には、ゲインG(fb)は、ゲインの最小値Gmin（例えば、0.1）に設定される。そして指向音声パワー比D(fb)が下限閾値β1より大きく、かつ、上限閾値β2未満である場合、指向音声パワー比D(fb)が大きくなるほど、ゲインG(fb)は大きくなる。そして指向音声パワー比D(fb)が上限閾値β2以上であれば、ゲインG(fb)はその最大値Gmax(例えば、1.0、すなわち、抑圧無し)となるように設定される。なお、下限閾値β1、上限閾値β2は、それぞれ、例えば、0.7、1.4に設定される。

ゲイン設定部２５は、各フレームについて、例えば、ゲイン設定部２５が有するメモリに予め記憶される、指向音声パワー比とゲインとの関係を表す参照テーブルを参照することで、周波数帯域ごとに、その周波数帯域の指向音声パワー比に応じたゲインを設定する。なお、参照テーブルが表す指向音声パワー比とゲインとの関係は、例えば、図６のグラフ６００に示されるような関係とすることができる。そしてゲイン設定部２５は、フレームごとに、各周波数帯域のゲインを補正部２６へ通知する。

補正部２６は、各フレームについて、周波数帯域ごとに、その周波数帯域について設定されたゲインを、その周波数帯域に含まれる、第２の周波数スペクトルの各周波数成分に乗じることで、第２の周波数スペクトルを補正する。

図７は、本実施形態による音声処理の概要を説明する図である。図７の上段の左側に示されるグラフにおいて、横軸は周波数を表し、縦軸は周波数成分のパワーを表す。棒グラフの集合で表されるプロファイル７０１は、第１の周波数スペクトルに含まれる、ドライバからの音声の周波数スペクトルの一例を示す。また点線の棒グラフ７０２は、雑音成分の周波数スペクトルを表す。この例では、周波数f1において、ドライバからの音声の周波数成分よりも、雑音の周波数成分の方が大きくなっている。

図７の上段の中央のグラフは、第１の周波数スペクトルと第２の周波数スペクトル間の周波数ごとの位相差を表す。このグラフにおいて、横軸は周波数を表し、縦軸は位相差を表す。そして個々の棒グラフ７１１は、対応する周波数における位相差を表す。この例では、周波数f1において、ドライバからの音声の周波数成分よりも、雑音の周波数成分の方が大きいため、周波数f1における位相差が正となっており、周波数f1についての音声の到来方向は第２の方向（すなわち、助手席側方向）と判断される。一方、周波数f1以外の周波数では、位相差は負となっており、音声の到来方向は第１の方向（すなわち、ドライバ側方向）と判断される。

図７の上段の右側のグラフは、従来技術による、周波数ごとに位相差に基づいてゲインが設定される場合の補正された第２の周波数スペクトルを表す。このグラフにおいて、横軸は周波数を表し、縦軸は周波数成分のパワーを表す。棒グラフの集合で表されるプロファイル７２１は、補正された第２の周波数スペクトルに含まれる、ドライバからの音声の周波数スペクトルの一例を示す。周波数ごとに位相差に基づいてゲインが制御される場合には、第１の方向以外から到来する音声に含まれる周波数成分と判定される周波数f1についてのゲインは小さな値となる。その結果、プロファイル７２１に示されるように、周波数f1における周波数成分は過度に抑圧されることになる。

図７の下段の左側のグラフは、周波数帯域ごとの指向音声パワー比を表す。このグラフにおいて、横軸は周波数を表し、縦軸は指向音声パワー比D(fb)を表す。各棒グラフ７３１は、周波数帯域ごとの指向音声パワー比D(fb)を表す。本実施形態では、上記のように、雑音パワーに応じて設定された幅FBWを持つ周波数帯域ごとに、第１及び第２の指向音声パワーが算出され、第１及び第２の指向音声パワーに基づいて、周波数帯域ごとに指向音声パワー比D(fb)が算出される。そのため、棒グラフ７３１に示されるように、周波数f1を含む周波数帯域についても、他の周波数帯域と同様に、指向音声パワー比D(fb)は、1.0以上の値となっている。そのため、雑音の影響が抑制されている。

図７の下段の右側のグラフは、ゲイン乗算後の補正された第２の周波数スペクトルの一例を表す。このグラフにおいて、横軸は周波数を表し、縦軸は周波数成分のパワーを表す。棒グラフの集合で表されるプロファイル７４１は、補正された第２の周波数スペクトルに含まれる、ドライバからの音声の周波数スペクトルの一例を示す。

本実施形態では、周波数帯域ごとに、指向音声パワー比D(fb)に基づいてゲインが設定されるため、周波数f1を含む周波数帯域のゲインと、他の周波数帯域のゲインとの差は小さい。そのため、周波数f1においても、ドライバからの音声の周波数成分はあまり抑圧されない。そのため、ドライバからの音声が過度に抑圧されることが防止されていることが分かる。

なお、本実施形態でも、ドライバが発声せず、かつ、同乗者が発声する場合のように、第１の方向以外から音声が到来する場合には、各周波数帯域について指向音声パワー比D(fb)が1.0未満となる。その結果、各周波数帯域についてゲインG(fb)は相対的に小さな値となる。したがって、第１の方向以外から到来する音声は抑圧される。

補正部２６は、フレームごとに、補正された第２の周波数スペクトルを周波数時間変換部２７へ出力する。

周波数時間変換部２７は、フレームごとに、補正部２６から出力された、補正後の第２の周波数スペクトルを、周波数時間変換して時間領域の信号に変換することにより、フレームごとの指向音声信号を得る。なお、この周波数時間変換は、時間周波数変換部２１により行われる時間周波数変換の逆変換である。

周波数時間変換部２７は、時間順（すなわち、再生順）に連続するフレームごとの指向音声信号を、フレーム長の1/2ずつずらして加算することにより、指向音声信号を算出する。そして周波数時間変換部２７は、指向音声信号を、通信インターフェース部１４を介して他の機器へ出力する。

図８は、音声処理装置１３により実行される音声処理の動作フローチャートである。音声処理装置１３は、フレームごとに、下記のフローチャートに従って音声処理を実行する。

時間周波数変換部２１は、時間周波数変換を行うフレーム単位に分割された第１の入力音声信号及び第２の入力音声信号にハニング窓関数を乗じる（ステップＳ１０１）。そして、時間周波数変換部２１は、第１の入力音声信号及び第２の入力音声信号を時間周波数変換して第１の周波数スペクトル及び第２の周波数スペクトルを算出する（ステップＳ１０２）。

雑音パワー算出部２２は、第１の周波数スペクトルのパワー及び直前のフレームの雑音のパワーに基づいて、現フレームの雑音のパワーを算出する（ステップＳ１０３）。そして帯域幅制御部２３は、雑音のパワーが大きくなるほど、周波数帯域の幅を広くするように、音声の到来方向を判定し、かつ、ゲインを設定する単位となる周波数帯域の幅を設定する（ステップＳ１０４）。

音源方向判定部２４は、第１の周波数スペクトルと第２の周波数スペクトル間の周波数ごとの位相差を求める（ステップＳ１０５）。音源方向判定部２４は、各周波数の位相差に基づいて第１の方向から到来する音声に含まれる周波数成分と第２の方向から到来する音声に含まれる周波数成分とをそれぞれ抽出する（ステップＳ１０６）。音源方向判定部２４は、設定された幅を持つ周波数帯域ごとに、その周波数帯域に含まれる第１の方向から到来する音声に含まれる各周波数成分から第１の指向音声のパワーを算出する。同様に、音源方向判定部２４は、その周波数帯域に含まれる第２の方向から到来する音声に含まれる各周波数成分から第２の指向音声のパワーを算出する。そして音源方向判定部２４は、設定された幅を持つ周波数帯域ごとに、第２の指向音声パワーに対する第１の指向音声パワーの比である指向音声パワー比D(fb)を算出する（ステップＳ１０７）。

ゲイン設定部２５は、周波数帯域ごとに、その周波数帯域の指向音声パワー比D(fb)
が低いほどゲインG(fb)が小さくするなるように、ゲインG(fb)を設定する（ステップＳ１０８）。そして補正部２６は、周波数帯域ごとに、その周波数帯域について設定されたゲインを、その周波数帯域に含まれる、第２の周波数スペクトルのその周波数の成分に乗じることで、第２の周波数スペクトルを補正する（ステップＳ１０９）。

周波数時間変換部２７は、補正された第２の周波数スペクトルを周波数時間変換して指向音声信号を算出する（ステップＳ１１０）。そして周波数時間変換部２７は、前フレームまでの指向音声信号に対して半フレーム長ずらして現フレームの指向音声信号を合成する（ステップＳ１１１）。そして音声処理装置１３は、音声処理を終了する。

以上に説明してきたように、この音声処理装置は、周波数帯域ごとに、第１の方向から到来する音声のパワーとそれ以外の方向から到来する雑音のパワーを比較し、その比較結果に応じてゲインを設定する。そのため、この音声処理装置は、第１の方向から到来した音声の周波数成分よりも雑音の周波数成分の方が大きい周波数についても、ゲインが過度に小さくなることを防止できる。さらに、この音声処理装置は、雑音のレベルが高いほど、音声の到来方向を判定し、かつ、ゲインを設定する単位となる周波数帯域の幅を広くする。そのため、第１の方向から到来する音声の周波数成分よりも雑音の周波数成分の方が大きくなる周波数が増えても、ゲインが過度に小さくなることが防止される。その結果として、この音声処理装置は、第１の方向から到来する音声が過度に抑圧されることを防止できる。

なお、変形例によれば、音声処理装置は、雑音のレベルの代わりに、信号対雑音比に基づいて、音声の到来方向を判定し、かつ、ゲインを設定する単位となる周波数帯域の幅を制御してもよい。

図９は、この変形例による音声処理装置３１の概略構成図である。音声処理装置３１は、時間周波数変換部２１と、信号対雑音比算出部２８と、帯域幅制御部２３と、音源方向判定部２４と、ゲイン設定部２５と、補正部２６と、周波数時間変換部２７とを有する。音声処理装置３１は、図３に示される音声処理装置１３と比較して、雑音パワー算出部２２の代わりに信号対雑音比算出部２８を有する点と、帯域幅制御部２３の処理が異なる。そこで以下では、信号対雑音比算出部２８及び帯域幅制御部２３について説明する。音声処理装置３１の他の構成要素については、音声処理装置１３の対応する構成要素の説明を参照されたい。

信号対雑音比算出部２８は、雑音レベル評価部の他の一例であり、フレームごとに、第１の周波数スペクトルにおける信号対雑音比を算出する。信号対雑音比算出部２８は、雑音パワー算出部２２と同様に、（１）式に従って第１の音声信号のパワーを算出し、かつ、（２）式に従って、現フレームの雑音のパワーを算出すればよい。また、信号成分のパワーの時間変動は比較的大きいと想定される。そこで、信号対雑音比算出部２８は、直前のフレームにおける信号成分のパワーと、現フレームの第１の音声信号のパワーとの差が所定の範囲から外れる場合に、直前のフレームにおける信号成分を現フレームの第１の音声信号のパワーに基づいて更新する。

例えば、信号対雑音比算出部２８は、次式に従って、現フレームの信号成分のパワーを算出する。

ここで、SP(t-1)は、直前のフレームにおける信号成分のパワーを表し、SP(t)は、現フレームの信号成分のパワーを表す。また、係数αは、忘却係数であり、例えば、0.9～0.99に設定される。

信号対雑音比算出部２８は、さらに、次式に従って、現フレームにおける信号対雑音比SNRを算出する。

信号対雑音比算出部２８は、フレームごとに、算出した信号対雑音比を帯域幅制御部２３へ出力する。

帯域幅制御部２３は、フレームごとに、信号対雑音比に従って、音声の到来方向を判定し、かつ、ゲインを設定する単位となる周波数帯域の幅を制御する。本実施形態では、帯域幅制御部２３は、信号対雑音比が小さくなるほど、周波数帯域の幅を広くする。

図１０は、信号対雑音比と周波数帯域の幅の関係の一例を示す図である。図１０において、横軸は信号対雑音比を表し、縦軸は周波数帯域の幅を表す。そしてグラフ１０００は、信号対雑音比と周波数帯域の幅FBWとの関係を表す。なお、この例では、周波数帯域の幅FBWは、フレームに含まれるサンプリング点数に応じた周波数の幅（すなわち、周波数帯域の幅FBWの最大値はフレームのサンプリング点数/2に相当）で表される。グラフ１０００に示されるように、信号対雑音比が下限閾値γ1以下である場合には、周波数帯域の幅FBWは、フレームのサンプリング点数/2となるように設定される。そして信号対雑音比が下限閾値γ1より大きく、かつ、上限閾値γ2未満である場合、信号対雑音比が高くなるほど、周波数帯域の幅FBWは狭くなる。そして信号対雑音比が上限閾値γ2以上であれば、周波数帯域の幅FBWは一つの周波数のサンプリング点に設定される。なお、下限閾値γ1、上限閾値γ2は、それぞれ、例えば、10db、13dbに設定される。

帯域幅制御部２３は、例えば、帯域幅制御部２３が有するメモリに予め記憶される、信号対雑音比と周波数帯域の幅との関係を表す参照テーブルを参照することで、フレームごとに、そのフレームの信号対雑音比に応じた周波数帯域の幅を設定する。なお、参照テーブルが表す雑音のパワーと周波数帯域の幅との関係は、例えば、図１０のグラフ１０００に示される関係とすることができる。そして帯域幅制御部２３は、フレームごとに、設定した周波数帯域の幅を音源方向判定部２４へ通知する。

この変形例による音声処理装置も、上記の実施形態と同様に、周波数帯域ごとに、第１の方向から到来する音声のパワーとそれ以外の方向から到来する音声のパワーを比較し、その比較結果に応じてゲインを設定する。そのため、この音声処理装置は、第１の方向から到来した音声の周波数成分よりも雑音の周波数成分の方が大きい周波数についても、ゲインが過度に小さくなることを防止できる。また、この変形例による音声処理装置は、信号対雑音比が低いほど、音声の到来方向を判定し、かつ、ゲインを設定する単位となる周波数帯域の幅を広くする。そのため、第１の方向から到来する音声の周波数成分よりも雑音の周波数成分の方が大きくなる周波数が増えても、ゲインが過度に小さくなることが防止される。その結果として、この変形例によるこの音声処理装置も、第１の方向から到来する音声が過度に抑圧されることを防止できる。

また他の変形例によれば、音声処理装置は、予め設定された固定の幅を持つ複数の固定周波数帯域のそれぞれについて雑音のレベルを算出してもよい。そして音声処理装置は、固定周波数帯域ごとに、雑音レベルに応じて、音声の到来方向を判定し、かつ、ゲインを設定する単位となる周波数帯域（この変形例では、固定周波数帯域との区別を容易にするために、部分周波数帯域と呼ぶ）の幅を制御してもよい。

図１１は、この変形例による周波数帯域幅制御の概要についての説明図である。図１１の左側に示されるグラフにおいて、横軸は周波数を表し、縦軸は周波数成分のパワーを表す。棒グラフの集合で表されるプロファイル１１０１は、第１の周波数スペクトルに含まれる、ドライバからの音声の周波数スペクトルの一例を示す。また点線の棒グラフの集合で表されるプロファイル１１０２は、第１の周波数スペクトルに含まれる、雑音成分の周波数スペクトルを表す。この例では、固定の幅WIDEを持つ固定周波数帯域１１０３－１、１１０３－２、・・・、１１０３－ｎ(nは2以上の整数)のそれぞれごとに、雑音のパワーが算出される。そしてこの例では、周波数f1において、雑音のパワーがドライバからの音声の周波数成分のパワーよりも大きくなっている。そのため、周波数f1を含む固定周波数帯域１１０３－２では、部分周波数帯域の幅が広く設定される。一方、固定周波数帯域１１０３－１、１１０３－２、・・・、１１０３－ｎのうちの固定周波数帯域１１０３－２以外の固定周波数帯域では、雑音のパワーが小さいため、部分周波数帯域の幅は狭く設定される。例えば、周波数ごとに、音声の到来方向が判定される。

図１１の中央のグラフは、第１の周波数スペクトルと第２の周波数スペクトル間の周波数ごとの位相差を表す。このグラフにおいて、横軸は周波数を表し、縦軸は位相差を表す。そして個々の棒グラフ１１１１は、対応する周波数における位相差を表す。この例では、固定周波数帯域１１０３－１、１１０３－２、・・・、１１０３－ｎのうちの周波数f1を含む固定周波数帯域１１０３－２以外の固定周波数帯域では、周波数ごとに、その周波数における位相差に基づいて音声の到来方向が判定される。したがって、例えば、位相差が正となる周波数f2では、音声は第２の方向（すなわち、助手席側の方向）から到来すると判定され、一方、位相差が負となる周波数f3では、音声は第１の方向（すなわち、ドライバの方向）から到来すると判定される。そして位相差が正となる各周波数について、ゲインは相対的に低い値に設定され、一方、位相差が負となる各周波数について、ゲインは相対的に高い値に設定される。このように、固定周波数帯域１１０３－２以外の固定周波数帯域では、周波数ごとに、ゲインが制御される。

図１１の右側のグラフは、周波数f1を含む固定周波数帯域１１０３－２における指向音声パワー比を表す。このグラフにおいて、横軸は周波数を表し、縦軸は指向音声パワー比D(fb)を表す。棒グラフ１１２１は、固定周波数帯域１１０３－２の指向音声パワー比D(fb)を表す。この例では、固定周波数帯域１１０３－２については、その固定周波数帯域全体が一つの部分周波数帯域に設定される。そのため、固定周波数帯域１１０３－２の各周波数の成分に基づいて、一つの指向音声パワー比D(fb)が算出される。そのため、棒グラフ１１２１に示されるように、固定周波数帯域１１０３－２についても、指向音声パワー比D(fb)は1.0以上となるので、固定周波数帯域１１０３－２のゲインはある程度大きな値となる。そのため、周波数f1においても、ドライバの音声の周波数成分が過度に抑制されることが防止される。

この変形例では、図３に示される音声処理装置１３と比較して、雑音パワー算出部２２及び帯域幅制御部２３のそれぞれの処理が異なる。そこで以下では、雑音パワー算出部２２及び帯域幅制御部２３について説明する。

雑音パワー算出部２２は、フレームごとに、予め設定された複数の固定周波数帯域のそれぞれにおける雑音のパワーを算出する。そのために、例えば、雑音パワー算出部２２は、次式に従って、個々の周波数の雑音のパワーを算出する。

ここで、NP(f,t)は、現フレームにおける、周波数fについての雑音のパワーを表す。またNP(f,t-1)は、直前のフレームにおける、周波数fについての雑音のパワーを表す。そしてI1P(f,t-1)は、現フレームにおける、第１の周波数スペクトルの周波数fについての周波数成分のパワーを表す。またαは、忘却係数である。
そして雑音パワー算出部２２は、個々の固定周波数帯域ごとに、その固定周波数帯域に含まれる各周波数の雑音のパワーの和を、その固定周波数帯域の雑音のパワーとして算出すればよい。

雑音パワー算出部２２は、フレームごとに、各固定周波数帯域の雑音のパワーを帯域幅制御部２３へ出力する。

帯域幅制御部２３は、各フレームについて、固定周波数帯域ごとに、雑音のパワーに従って、音声の到来方向を判定し、かつ、ゲインを設定する単位となる部分周波数帯域の幅を制御する。この変形例においても、上記の実施形態と同様に、帯域幅制御部２３は、個々の固定周波数帯域の雑音のパワーが大きくなるほど、部分周波数帯域の幅を広くする。ただしこの例では、部分周波数帯域の幅の最大値は、その部分周波数帯域が属する固定周波数帯域の幅となる。

帯域幅制御部２３は、各フレームについて、固定周波数帯域ごとに、その固定周波数帯域について設定された部分周波数帯域の幅を音源方向判定部２４へ通知する。音源方向判定部２４は、上記の実施形態と同様に、各フレームについて、固定周波数帯域ごとに、その固定周波数帯域について設定された幅を持つ部分周波数帯域ごとに指向音声パワー比を算出すればよい。そしてゲイン設定部２５は、各フレームについて、個々の周波数帯域の部分周波数帯域ごとに、その部分周波数帯域の指向音声パワー比に基づいて、上記の実施形態と同様にゲインを設定すればよい。

この変形例による音声処理装置も、上記の実施形態と同様に、雑音のレベルが高い固定周波数帯域についてはある程度広い幅を持つ部分周波数帯域単位でゲインを設定する。そのため、この音声処理装置も、何れかの周波数にて着目する方向から到来した音声の周波数成分よりも雑音の周波数成分の方が大きい場合でも、ゲインが過度に小さくなることを防止できる。一方、雑音のレベルが低い固定周波数帯域については、音声処理装置は、周波数ごとにゲインを設定することができる。このように、音声処理装置は、雑音のレベルが低い固定周波数帯域については個々の周波数ごとにゲインを制御し、一方、雑音のレベルが高い固定周波数帯域についてはある程度の幅を持つ部分周波数帯域ごとにゲインを制御できる。そのため、この音声処理装置は、特定方向から到来する音声が過度に抑制されることを防止しつつ、指向音声信号の音質をより向上できる。

なお、この変形例において、音声処理装置は、各固定周波数帯域について、雑音のパワーを所定の雑音レベル閾値と比較し、雑音のパワーが雑音レベル閾値以上となる固定周波数帯域について、その固定周波数帯域全体を一つの部分周波数帯域としてもよい。一方、音声処理装置は、雑音のパワーが雑音レベル閾値未満となる固定周波数帯域について、個々の周波数を一つの部分周波数帯域としてもよい。あるいは、音声処理装置は、固定周波数帯域ごとに、雑音のパワーの代わりに信号対雑音比を算出し、信号対雑音比が低いほど、部分周波数帯域の幅を広くしてもよい。

さらに、上記の実施形態または各変形例において、帯域幅制御部２３が、音声の到来方向を判定し、かつ、ゲインを設定する単位となる周波数帯域または部分周波数帯域の幅を、一つの周波数サンプリング点に相当する幅に設定することがある。この場合には、音源方向判定部２４は、その周波数帯域または部分周波数帯域において、指向音声パワー比を算出せず、図５に示されるように、第１の周波数スペクトルと第２の周波数スペクトル間の各周波数の位相差を算出してもよい。またこの場合、ゲイン設定部２５は、その周波数帯域または部分周波数帯域のゲインを、第１の周波数スペクトルと第２の周波数スペクトル間の各周波数の位相差に基づいて決定してもよい。例えば、ゲイン設定部２５は、第１の周波数スペクトルと第２の周波数スペクトル間の位相差が、図５に示される範囲５０１から遠くなるほど、ゲインを小さな値に設定してもよい。

さらに他の変形例によれば、音声処理装置は、雑音のパワーの平均値に応じて、音声の到来方向を判定する周波数帯域の幅の決定に利用される下限閾値γ1及び上限閾値γ2を制御してもよい。一般に、周囲の雑音が大きいほど、人は大きな声で発声する。そのため、周囲の雑音が平均的に大きい状態が継続しているときに、雑音のレベルが急激に低下すると、雑音に対してドライバの声が相対的に大きくなる。その結果として、第１の周波数スペクトルにおける、信号成分よりも雑音成分の方が高くなることが少なくなる。そこで、帯域幅制御部２３は、雑音のパワーの平均値が大きいほど、音声の到来方向を判定する周波数帯域の幅の決定に利用される、雑音のパワーに対する下限閾値γ1及び上限閾値γ2を高くしてもよい。すなわち、帯域幅制御部２３は、雑音のパワーの平均値が大きいほど、同一の雑音のパワーに対して周波数帯域の幅を狭く設定する。これにより、雑音のパワーが急激に低下したときに、音声の到来方向を判定する周波数帯域の幅が狭くなり易くなる。その結果として、音声処理装置は、そのような場合において、より精密にゲインを設定できるので、指向音声信号の品質をより向上できる。

この場合、雑音パワー算出部２２は、フレームごとに、例えば、次式に従って雑音パワーの平均値を算出すればよい。

ここで、NPAVG(t-1)は、直前のフレームにおける雑音のパワーの平均値を表し、NPAVG(t)は、現フレームの雑音のパワーの平均値を表す。また、係数αは、忘却係数であり、例えば、0.9～0.99に設定される。

雑音パワー算出部２２は、フレームごとに、雑音のパワーとともに、雑音のパワーの平均値を帯域幅制御部２３へ通知すればよい。

図１２は、雑音パワーの平均値と、雑音のパワーと、周波数帯域の幅との関係の一例を示す図である。図１２において、横軸は雑音のパワーを表し、縦軸は周波数帯域の幅を表す。この例でも、上記の実施形態と同様に、周波数帯域の幅FBWは、フレームに含まれるサンプリング点数に応じた周波数の幅（すなわち、周波数帯域の幅FBWの最大値はフレームのサンプリング点数/2に相当）で表される。グラフ１２００は、雑音パワーの平均値が基準値（例えば、70dbA）を中心とする所定の範囲（例えば、±5dbA）内に含まれる場合における、雑音のパワーと周波数帯域の幅FBWとの関係を表す。グラフ１２００に示されるように、雑音のパワーが下限閾値γ1以下である場合には、周波数帯域の幅FBWは、一つの周波数サンプリング点に設定される。そして雑音のパワーが下限閾値γ1より大きく、かつ、上限閾値γ2未満である場合、雑音のパワーが大きくなるほど、周波数帯域の幅FBWは広くなる。そして雑音のパワーが上限閾値γ2以上であれば、周波数帯域の幅FBWはフレームのサンプリング点数/2となるように設定される。なお、下限閾値γ1、上限閾値γ2は、例えば、60dbA、66dbAに設定される。

グラフ１２０１は、雑音パワーの平均値が基準値を中心とする所定の範囲よりも高い場合における、雑音のパワーと周波数帯域の幅FBWとの関係を表す。グラフ１２０１に示されるように、雑音パワーの平均値が所定の範囲内に含まれる場合と比較して、下限閾値はγ1からγ1+（例えば、65dbA）に変更される。同様に、上限閾値は、γ2からγ2+(例えば、71dbA)に変更される。したがって、雑音パワーの平均値が高いほど、周波数帯域の幅FBWは狭く設定され易くなる。

グラフ１２０２は、雑音パワーの平均値が基準値を中心とする所定の範囲よりも低い場合における、雑音のパワーと周波数帯域の幅FBWとの関係を表す。グラフ１２０２に示されるように、雑音パワーの平均値が所定の範囲内に含まれる場合と比較して、下限閾値はγ1からγ1-（例えば、55dbA）に変更される。同様に、上限閾値は、γ2からγ2-(例えば、61dbA)に変更される。したがって、雑音パワーの平均値が低いほど、周波数帯域の幅FBWは広く設定され易くなる。

この変形例によれば、音声処理装置は、各マイクロホンの周囲の雑音の状況に応じて、周波数帯域の幅をより適切に設定できる。

なお、上記の実施形態または変形例において、雑音パワー算出部２２は、第２の周波数スペクトルに基づいて雑音のパワーを算出してもよい。同様に、信号対雑音比算出部２８は、第２の周波数スペクトルに基づいて信号対雑音比を算出してもよい。また、補正部２６は、第２の周波数スペクトルの代わりに第１の周波数スペクトルを補正してもよい。この場合、周波数時間変換部２７は、補正された第１の周波数スペクトルに対して上記の実施形態と同様の処理を行って、指向音声信号を生成すればよい。

また、上記の実施形態または変形例において、音源方向判定部２４は、各周波数帯域について、指向音声パワー比を算出する代わりに、第１の指向音声スペクトルのパワーから第２の指向音声スペクトルのパワーを減じた差を算出してもよい。あるいは、音源方向判定部２４は、各周波数帯域について、その差を第１または第２の指向音声スペクトルのパワーで正規化した値を算出してもよい。この場合、ゲイン設定部２５は、算出された差または差の正規化値が負の値となるときに、ゲインを1よりも小さな値とし、算出された差または差の正規化値が0以上の値となるときに、ゲインを1に設定してもよい。

上記の実施形態または変形例による音声処理装置は、上記のような音声入力装置以外の装置、例えば、電話会議システムなどに実装されてもよい。

上記の実施形態または変形例による音声処理装置が有する各機能をコンピュータに実現させるコンピュータプログラムは、磁気記録媒体あるいは光記録媒体といった、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。

図１３は、上記の実施形態またはその変形例による音声処理装置の各部の機能を実現するコンピュータプログラムが動作することにより、音声処理装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース１０１と、オーディオインターフェース１０２と、通信インターフェース１０３と、メモリ１０４と、記憶媒体アクセス装置１０５と、プロセッサ１０６とを有する。プロセッサ１０６は、ユーザインターフェース１０１、オーディオインターフェース１０２、通信インターフェース１０３、メモリ１０４及び記憶媒体アクセス装置１０５と、例えば、バスを介して接続される。

ユーザインターフェース１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース１０１は、例えば、ユーザの操作に応じて、音声処理を開始させる操作信号をプロセッサ１０６へ出力する。

オーディオインターフェース１０２は、コンピュータ１００を、マイクロホン（図示せず）と接続するためのインターフェース回路を有する。そしてオーディオインターフェース１０２は、２以上のマイクロホンのそれぞれから受け取った入力音声信号をプロセッサ１０６へ渡す。

通信インターフェース１０３は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース１０３は、例えば、プロセッサ１０６から受け取った、指向音声信号を通信ネットワークを介して他の機器へ出力する。あるいは、通信インターフェース１０３は、指向音声信号に対して音声認識処理を適用することで得られた音声認識結果を、通信ネットワークを介して他の機器へ出力してもよい。あるいはまた、通信インターフェース１０３は、音声認識結果に応じて実行されたアプリケーションにより生成された信号を、通信ネットワークを介して他の機器へ出力してもよい。

メモリ１０４は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そしてメモリ１０４は、プロセッサ１０６上で実行される、音声処理を実行するためのコンピュータプログラム、及び音声処理で利用される様々なデータまたは音声処理の途中で生成される各種の信号などを記憶する。

記憶媒体アクセス装置１０５は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０７にアクセスする装置である。記憶媒体アクセス装置１０５は、例えば、記憶媒体１０７に記憶された、プロセッサ１０６上で実行される音声処理用のコンピュータプログラムを読み込み、プロセッサ１０６に渡す。

プロセッサ１０６は、例えば、Central Processing Unit(CPU)及びその周辺回路を有する。さらにプロセッサ１０６は、数値演算用のプロセッサを有していてもよい。プロセッサ１０６は、上記の実施形態または変形例による音声処理用コンピュータプログラムを実行することにより、各入力音声信号から指向音声信号を生成する。そしてプロセッサ１０６は、指向音声信号を通信インターフェース１０３へ出力する。

さらに、プロセッサ１０６は、指向音声信号に対して音声認識処理を実行することで、第１の方向に位置する話者が発した音声を認識してもよい。そしてプロセッサ１０６は、それぞれの音声認識結果に応じて所定のアプリケーションを実行してもよい。この場合、上記の実施形態または変形例による音声処理により生成される指向音声信号では、第１の方向に位置する話者が発した音声の歪みが抑制されるので、プロセッサ１０６は、音声認識の精度を向上できる。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
第１の音声入力部により生成された第１の音声信号、及び、前記第１の音声入力部と異なる位置に配置された第２の音声入力部により生成された第２の音声信号を、それぞれ、所定の時間長を持つフレームごとに周波数領域の第１の周波数スペクトル及び第２の周波数スペクトルに変換し、
前記フレームごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの一方に基づいて雑音のパワー及び信号対雑音比のうちの一方を算出し、
前記フレームごとに、前記雑音のパワー及び信号対雑音比のうちの前記一方に応じて、周波数帯域の幅を設定し、
前記フレームごとに、かつ、前記幅を持つ周波数帯域ごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる、第１の方向から到来する音声の周波数成分の第１のパワーと前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる、前記第１の方向と異なる第２の方向から到来する音声の周波数成分の第２のパワーとを比較し、
前記フレームごとに、かつ、前記周波数帯域ごとに、前記比較の結果に応じたゲインを設定し、
前記フレームごとに、かつ、前記周波数帯域ごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる周波数成分に当該周波数帯域について設定された前記ゲインを乗じることで補正された周波数スペクトルを算出し、
前記フレームごとに、前記補正された周波数スペクトルを周波数時間変換することで、指向音声信号を生成する、
ことをコンピュータに実行させるための音声処理用コンピュータプログラム。
（付記２）
前記周波数帯域の幅を設定することは、前記雑音のパワーが大きくなるほど前記周波数帯域の幅を広くする、付記１に記載の音声処理用コンピュータプログラム。
（付記３）
前記周波数帯域の幅を設定することは、前記信号対雑音比が低くなるほど前記周波数帯域の幅を広くする、付記１に記載の音声処理用コンピュータプログラム。
（付記４）
前記雑音のパワー及び信号対雑音比のうちの前記一方を算出することは、前記フレームごとに、予め設定された固定幅を持つ複数の固定周波数帯域のそれぞれについて、前記雑音のパワー及び信号対雑音比のうちの前記一方を算出し、
前記周波数帯域の幅を設定することは、前記固定周波数帯域のそれぞれについて、前記雑音のパワー及び信号対雑音比のうちの前記一方に応じて、前記幅が前記固定幅以下となるよう、前記幅を設定する、付記１～３の何れかに記載の音声処理用コンピュータプログラム。
（付記５）
前記雑音のパワー及び信号対雑音比のうちの前記一方を算出することは、前記一方として前記雑音のパワーを算出し、かつ、複数の前記フレームにわたって前記雑音のパワーの平均値を算出することを含み、
前記周波数帯域の幅を設定することは、前記雑音のパワーの平均値が大きいほど、同一の前記雑音のパワーに対して前記幅を狭く設定することを含む、付記１～３の何れかに記載の音声処理用コンピュータプログラム。
（付記６）
前記ゲインを設定することは、前記周波数帯域ごとに、当該周波数帯域における前記第２のパワーに対する前記第１のパワーの比が小さくなるほど、当該周波数帯域のゲインを小さくする、付記１～５の何れかに記載の音声処理用コンピュータプログラム。
（付記７）
第１の音声入力部により生成された第１の音声信号、及び、前記第１の音声入力部と異なる位置に配置された第２の音声入力部により生成された第２の音声信号を、それぞれ、所定の時間長を持つフレームごとに周波数領域の第１の周波数スペクトル及び第２の周波数スペクトルに変換する時間周波数変換部と、
前記フレームごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの一方に基づいて雑音のパワー及び信号対雑音比のうちの一方を算出する雑音レベル評価部と、
前記フレームごとに、前記雑音のパワー及び信号対雑音比のうちの前記一方に応じて、周波数帯域の幅を設定する帯域幅制御部と、
前記フレームごとに、かつ、前記幅を持つ周波数帯域ごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる、第１の方向から到来する音声の周波数成分の第１のパワーと前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる、前記第１の方向と異なる第２の方向から到来する音声の周波数成分の第２のパワーとを比較する音源方向判定部と、
前記フレームごとに、かつ、前記周波数帯域ごとに、前記比較の結果に応じたゲインを設定するゲイン設定部と、
前記フレームごとに、かつ、前記周波数帯域ごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる周波数成分に当該周波数帯域について設定された前記ゲインを乗じることで補正された周波数スペクトルを算出する補正部と、
前記フレームごとに、前記補正された周波数スペクトルを周波数時間変換することで、指向音声信号を生成する周波数時間変換部と、
を有する音声処理装置。
（付記８）
第１の音声入力部により生成された第１の音声信号、及び、前記第１の音声入力部と異なる位置に配置された第２の音声入力部により生成された第２の音声信号を、それぞれ、所定の時間長を持つフレームごとに周波数領域の第１の周波数スペクトル及び第２の周波数スペクトルに変換し、
前記フレームごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの一方に基づいて雑音のパワー及び信号対雑音比のうちの一方を算出し、
前記フレームごとに、前記雑音のパワー及び信号対雑音比のうちの前記一方に応じて、周波数帯域の幅を設定し、
前記フレームごとに、かつ、前記幅を持つ周波数帯域ごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる、第１の方向から到来する音声の周波数成分の第１のパワーと前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる、前記第１の方向と異なる第２の方向から到来する音声の周波数成分の第２のパワーとを比較し、
前記フレームごとに、かつ、前記周波数帯域ごとに、前記比較の結果に応じたゲインを設定し、
前記フレームごとに、かつ、前記周波数帯域ごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる周波数成分に当該周波数帯域について設定された前記ゲインを乗じることで補正された周波数スペクトルを算出し、
前記フレームごとに、前記補正された周波数スペクトルを周波数時間変換することで、指向音声信号を生成する、
ことを含む音声処理方法。

１ 音声入力装置
１１－１、１１－２ マイクロホン
１２－１、１２－２ アナログ／デジタル変換器
１３ 音声処理装置
１４ 通信インターフェース部
２１ 時間周波数変換部
２２ 雑音パワー算出部
２３ 帯域幅制御部
２４ 音源方向判定部
２５ ゲイン設定部
２６ 補正部
２７ 周波数時間変換部
２８ 信号対雑音比算出部
１００ コンピュータ
１０１ ユーザインターフェース
１０２ オーディオインターフェース
１０３ 通信インターフェース
１０４ メモリ
１０５ 記憶媒体アクセス装置
１０６ プロセッサ
１０７ 記憶媒体

Claims (7)

1. 第１の音声入力部により生成された第１の音声信号、及び、前記第１の音声入力部と異なる位置に配置された第２の音声入力部により生成された第２の音声信号を、それぞれ、所定の時間長を持つフレームごとに周波数領域の第１の周波数スペクトル及び第２の周波数スペクトルに変換し、
   前記フレームごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの一方に基づいて雑音のパワー及び信号対雑音比のうちの一方を算出し、
   前記フレームごとに、前記雑音のパワー及び信号対雑音比のうちの前記一方に応じて、周波数帯域の幅を設定し、
   前記フレームごとに、かつ、前記幅を持つ周波数帯域ごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる、第１の方向から到来する音声の周波数成分の第１のパワーと前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる、前記第１の方向と異なる第２の方向から到来する音声の周波数成分の第２のパワーとを比較し、
   前記フレームごとに、かつ、前記周波数帯域ごとに、前記比較の結果に基づいて、前記第１のパワーに対する第２のパワーの比率が大きいほどゲインが小さくなるように、ゲインを設定し、
   前記フレームごとに、かつ、前記周波数帯域ごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる周波数成分に当該周波数帯域について設定された前記ゲインを乗じることで補正された周波数スペクトルを算出し、
   前記フレームごとに、前記補正された周波数スペクトルを周波数時間変換することで、指向音声信号を生成する、
   ことをコンピュータに実行させるための音声処理用コンピュータプログラム。
2. 前記周波数帯域の幅を設定することは、前記雑音のパワーが大きくなるほど前記周波数帯域の幅を広くする、請求項１に記載の音声処理用コンピュータプログラム。
3. 前記周波数帯域の幅を設定することは、前記信号対雑音比が低くなるほど前記周波数帯域の幅を広くする、請求項１に記載の音声処理用コンピュータプログラム。
4. 前記雑音のパワー及び信号対雑音比のうちの前記一方を算出することは、前記フレームごとに、予め設定された固定幅を持つ複数の固定周波数帯域のそれぞれについて、前記雑音のパワー及び信号対雑音比のうちの前記一方を算出し、
   前記周波数帯域の幅を設定することは、前記固定周波数帯域のそれぞれについて、前記雑音のパワー及び信号対雑音比のうちの前記一方に応じて、前記幅が前記固定幅以下となるよう、前記幅を設定する、請求項１～３の何れか一項に記載の音声処理用コンピュータプログラム。
5. 前記雑音のパワー及び信号対雑音比のうちの前記一方を算出することは、前記一方として前記雑音のパワーを算出し、かつ、複数の前記フレームにわたって前記雑音のパワーの平均値を算出することを含み、
   前記周波数帯域の幅を設定することは、前記雑音のパワーの平均値が大きいほど、同一の前記雑音のパワーに対して前記幅を狭く設定することを含む、請求項１～３の何れか一項に記載の音声処理用コンピュータプログラム。
6. 第１の音声入力部により生成された第１の音声信号、及び、前記第１の音声入力部と異なる位置に配置された第２の音声入力部により生成された第２の音声信号を、それぞれ、所定の時間長を持つフレームごとに周波数領域の第１の周波数スペクトル及び第２の周波数スペクトルに変換する時間周波数変換部と、
   前記フレームごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの一方に基づいて雑音のパワー及び信号対雑音比のうちの一方を算出する雑音レベル評価部と、
   前記フレームごとに、前記雑音のパワー及び信号対雑音比のうちの前記一方に応じて、周波数帯域の幅を設定する帯域幅制御部と、
   前記フレームごとに、かつ、前記幅を持つ周波数帯域ごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる、第１の方向から到来する音声の周波数成分の第１のパワーと前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる、前記第１の方向と異なる第２の方向から到来する音声の周波数成分の第２のパワーとを比較する音源方向判定部と、
   前記フレームごとに、かつ、前記周波数帯域ごとに、前記比較の結果に基づいて、前記第１のパワーに対する第２のパワーの比率が大きいほどゲインが小さくなるように、ゲインを設定するゲイン設定部と、
   前記フレームごとに、かつ、前記周波数帯域ごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる周波数成分に当該周波数帯域について設定された前記ゲインを乗じることで補正された周波数スペクトルを算出する補正部と、
   前記フレームごとに、前記補正された周波数スペクトルを周波数時間変換することで、指向音声信号を生成する周波数時間変換部と、
   を有する音声処理装置。
7. 第１の音声入力部により生成された第１の音声信号、及び、前記第１の音声入力部と異なる位置に配置された第２の音声入力部により生成された第２の音声信号を、それぞれ、所定の時間長を持つフレームごとに周波数領域の第１の周波数スペクトル及び第２の周波数スペクトルに変換し、
   前記フレームごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの一方に基づいて雑音のパワー及び信号対雑音比のうちの一方を算出し、
   前記フレームごとに、前記雑音のパワー及び信号対雑音比のうちの前記一方に応じて、周波数帯域の幅を設定し、
   前記フレームごとに、かつ、前記幅を持つ周波数帯域ごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる、第１の方向から到来する音声の周波数成分の第１のパワーと前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる、前記第１の方向と異なる第２の方向から到来する音声の周波数成分の第２のパワーとを比較し、
   前記フレームごとに、かつ、前記周波数帯域ごとに、前記比較の結果に基づいて、前記第１のパワーに対する第２のパワーの比率が大きいほどゲインが小さくなるように、ゲインを設定し、
   前記フレームごとに、かつ、前記周波数帯域ごとに、前記第１の周波数スペクトル及び前記第２の周波数スペクトルの何れかのうちの当該周波数帯域に含まれる周波数成分に当該周波数帯域について設定された前記ゲインを乗じることで補正された周波数スペクトルを算出し、
   前記フレームごとに、前記補正された周波数スペクトルを周波数時間変換することで、指向音声信号を生成する、
   ことを含む音声処理方法。

Images