JP4365653B2 - 音声信号送信装置、音声信号伝送システム及び音声信号送信方法 - Google Patents

Description

本発明は、符号化した音声情報を伝送する通信システム、特にＣＥＬＰ型音声符号化を用いて符号化したパラメータをパケット化して伝送するような音声信号伝送システムに関する。

従来、インターネット通信に代表されるパケット通信においては、伝送路においてパケットが消失するなどして復号器側で符号化情報を受信できない場合、消失補償（隠蔽）処理を行うのが一般的である。このようなパケット消失に対応する手法の１つとして図１１に示すような方式が知られている。

送信側では、入力されるデジタル音声信号に対して数十ｍｓのフレーム単位で処理が行われる。図１１において、Ｆ（ｎ）は第ｎフレームの符号化データ、Ｐ（ｎ）はｎ番目のペイロードパケット、をそれぞれ表す。

図１１では、連続する２フレームの符号化データが１つのパケットに多重化されて送信側から受信側へ伝送される様子を示している。同じパケットに多重化される２フレームは１フレームずつシフトするので、各フレームの符号化データは別々のパケットを用いて２度送信側から受信側へ伝送される。

受信側ではパケット・多重化分離後、受信した２フレームの符号化データの一方（図ではフレーム番号が若い方）を用いて復号化処理を行う。パケット消失がない場合は、重複して伝送された符号化データは全て無駄になり、２フレームをまとめて多重化するため１フレームずつ伝送する場合に比べて１フレームだけ伝送遅延が余計に増えてしまう。

しかしながら、パケット消失があった場合でも、図１２に示すように、１パケットの消失であれば、直前に受信したパケットに入っている符号化データを利用できるので、誤り（パケット消失）の影響を全く受けない。

このような伝送方法は例えば非特許文献１などで開示されている。但し、２パケット以上連続して消失した場合は、符号化データが消失するフレームが発生するため、フレーム消失隠蔽処理を復号器で行う必要がある。フレーム消失隠蔽処理の例としては、非特許文献２に示される方法などが挙げられる。
ＩＥＴＦ標準ＲＦＣ３２６７ ３ＧＰＰ３ＧＴＳ２６−０９１

しかしながら、パケット（またはフレーム）消失隠蔽処理は、過去に受信済みの符号化情報を用いて復号器側で独立的に処理が行われるため、符号器側で過去の符号化情報を利用した符号化処理が行われている場合は、消失部分のみならず消失部以降の区間にパケット消失の影響が伝播し、復号音声の品質を大きく劣化させる場合がある。

例えば、音声符号化方式としてＣＥＬＰ（Code Excited Linear Prediction）方式を用いる場合、過去の復号駆動音源信号を用いて音声の符号化・復号化処理が行われるため、フレーム消失処理によって符号器と復号器とで異なる駆動音源信号が合成されてしまうと、その後しばらくの間は、符号器と復号器の内部状態が一致せず、復号音声の品質が大きく劣化してしまう場合がある。

したがって、従来の音声符号化方法では、連続したパケット消失が発生すると復号音声の品質が大きく劣化する場合があるという問題がある。また、前記従来の方法では１フレーム分伝送遅延が余計にかかってしまうという問題もある。

本発明はかかる点に鑑みてなされたものであり、連続したフレーム消失後であっても誤りの影響が伝播せず、追加の伝送遅延も必要としない音声信号送信装置、音声信号伝送システム及び音声信号送信方法を提供することを目的とする。

本発明の第１の態様に係る音声信号伝送システムは、通常状態で符号化した第１の符号化情報と、音声符号化装置の内部状態をリセットして符号化した第２の符号化情報と、を多重化およびパケット化し、パケット化された情報を音声信号受信装置に送信する音声信号送信装置と、前記パケット化された情報を前記音声信号送信装置から受信し、そのパケット化された情報を前記第１の符号化情報と前記第２の符号化情報とにパケット分離および多重化分離し、パケット損失があった場合は、損失パケットに対して隠蔽処理を行い、前記損失パケットの直後に受信したパケットに対して前記第２の符号化情報を用いて復号化処理を行う音声信号受信装置と、を具備する構成を採る。

また、本発明の第２の態様に係る音声信号伝送システムは、前記音声符号化装置が、適応符号帳と固定符号帳とを備えるＣＥＬＰ型音声符号化装置である構成を採る。

これらの発明によれば、追加伝送遅延なしにパケット損失によって生じる誤り伝播を抑えることが可能な音声伝送システムを構築することができる。

本発明の第３の態様に係る音声信号受信装置は、損失パケットの直後に受信した正常パケットに対して隠蔽処理を行って第１の合成信号を生成する第１の生成手段と、受信した符号化情報を復号して第２の合成信号を生成する第２の生成手段と、前記第１の合成信号と前記第２の合成信号とを重ね合わせた信号を復号信号として出力する復号手段と、を具備する構成を採る。

この発明によれば、パケット損失によって生じる誤り伝播を損失パケット直後の１パケットで収束させるとともに、損失パケットで生成された復号音声信号と損失パケット直後の正常フレームで復号生成された復号音声信号とを滑らかに接続し、音声の主観的な品質劣化を抑えることができる。

本発明の第４の態様に係る音声信号送信装置は、目標信号と適応符号帳によって生成される合成信号との第１の誤差信号を算出する第１の誤差算出手段と、前記目標信号と固定符号帳によって生成される合成信号との第２の誤差信号を算出する第２の誤差算出手段と、前記第１の誤差信号と前記第２の誤差信号との比を算出する誤差信号比算出手段と、前記比の大きさによって音声フレームを分類する音声フレーム分類手段と、前記音声フレーム分類手段での分類結果に基づいて、前記第２の符号化情報を多重化するか否かを判定する多重化判定手段と、を具備する構成を採る。

この発明によれば、パケット損失により誤り伝播による品質劣化を招き易い音声フレームに対してのみ第２の符号化情報を追加して伝送するため、低い平均伝送ビットレートで誤り伝播による音声の品質劣化を抑えることができ、効率的で高品質な音声信号の伝送が可能となる。

本発明の第５の態様に係る移動局装置は、上記音声信号受信装置を具備する構成を採る。また、本発明の第６の態様に係る基地局装置は、上記音声信号送信装置を具備する構成を採る。

これらの発明によれば、追加伝送遅延なしにパケット損失によって生じる誤り伝播を抑えることが可能な移動局装置および基地局装置を提供することができる。

本発明の第７の態様に係る音声信号伝送方法は、符号化した音声情報を伝送するための音声信号伝送方法において、通常状態で符号化した第１の符号化情報と、音声符号化装置の内部状態をリセットして符号化した第２の符号化情報と、を多重化およびパケット化し、パケット化された情報を送信する送信工程と、前記パケット化された情報を受信し、そのパケット化された情報を前記第１の符号化情報と前記第２の符号化情報とにパケット分離および多重化分離する受信工程と、パケット損失があった場合は、損失パケットに対して隠蔽処理を行い、前記損失パケットの直後に受信したパケットに対して前記第２の符号化情報を用いて復号化処理を行う復号化工程と、を具備するようにした。

この発明によれば、追加伝送遅延なしにパケット損失によって生じる誤り伝播を抑えることが可能な音声伝送システムを構築することができる。

本発明によれば、追加伝送遅延なしにパケット損失によって生じる誤り伝播を抑えることが可能な音声伝送システムを構築することができる。

本発明の骨子は、リセット状態で符号化した符号化データを冗長情報として追加伝送する事によって、フレーム消失直後の符号化装置と復号化装置の内部状態を同期させ、消失フレーム後の正常フレームにフレーム消失の影響が伝播することを防ぎ、フレーム消失条件化の復号化音声信号の主観品質を、追加の伝送遅延なしに改善することである。また、前記冗長情報を追加伝送するフレームを効果的に選択し、追加伝送情報をなるべく少なくすることである。

以下、本発明の一実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態に係る音声信号伝送システムの構成を示すブロック図である。

図１において、音声信号伝送システムは、本発明の音声信号送信装置としての機能を搭載した基地局１００と、本発明の音声信号受信装置としての機能を搭載した移動局装置１１０を具備している。

基地局１００は、入力装置１０１、Ａ／Ｄ変換装置１０２、音声符号化装置１０３、信号処理装置１０４、ＲＦ変調装置１０５、送信装置１０６及びアンテナ１０７を有している。

Ａ／Ｄ変換装置１０２の入力端子は、入力装置１０１に接続されている。音声符号化装置１０３の入力端子は、Ａ／Ｄ変換装置１０２の出力端子に接続されている。信号処理装置１０４の入力端子は、音声符号化装置１０３の出力端子に接続されている。ＲＦ変調装置１０５の入力端子は、信号処理装置１０４の出力端子に接続されている。送信装置１０６の入力端子は、ＲＦ変調装置１０５の出力端子に接続されている。アンテナ１０７は、送信装置１０６の出力端子に接続されている。

入力装置１０１は、マイクなどにより構成され、ユーザの音声を受けてこれを電気信号であるアナログ音声信号に変換してＡ／Ｄ変換装置１０２に出力する。Ａ／Ｄ変換装置１０２は、入力装置１０１から入力されるアナログ音声信号をデジタル音声信号に変換して音声符号化装置１０３に出力する。

音声符号化装置１０３は、Ａ／Ｄ変換装置１０２から入力されるデジタル音声信号を符号化して音声符号化ビット列を生成して信号処理装置１０４に出力する。信号処理装置１０４は、音声符号化装置１０３から入力された音声符号化ビット列にチャネル符号化処理やパケット化処理及び送信バッファ処理等を行った後、その音声符号化ビット列をＲＦ変調装置１０５に出力する。

ＲＦ変調装置１０５は、信号処理装置１０４から入力されたチャネル符号化処理等が行われた音声符号化ビット列の信号を変調して送信装置１０６に出力する。送信装置１０６は、ＲＦ変調装置１０５から入力された変調された音声符号化信号をアンテナ１０７を介して電波（ＲＦ信号）として移動局装置１１０に送信する。

基地局１００においては、Ａ／Ｄ変換装置１０２を介して得られるデジタル音声信号に対して数十ｍｓのフレーム単位で処理が行われる。システムを構成するネットワークがパケット網である場合には、１フレーム又は数フレームの符号化データを１つのパケットに入れこのパケットをパケット網に送出する。なお、前記ネットワークが回線交換網の場合には、パケット化処理や送信バッファ処理は不要である。

移動局装置１１０は、アンテナ１１１、受信装置１１２、ＲＦ復調装置１１３、信号処理装置１１４、音声復号化装置１１５、Ｄ／Ａ変換装置１１６及び出力装置１１７を有している。

受信装置１１２の入力端子は、アンテナ１１１に接続されている。ＲＦ復調装置１１３の入力端子は、受信装置１１２の出力端子に接続されている。信号処理装置１１４の入力端子は、ＲＦ復調装置１１３の出力端子に接続されている。音声復号化装置１１５の入力端子は、信号処理装置１１４の出力端子に接続されている。Ｄ／Ａ変換装置１１６の入力端子は、音声復号化装置１１５の出力端子に接続されている。出力装置１１７の入力端子は、Ｄ／Ａ変換装置１１６の出力端子に接続されている。

受信装置１１２は、アンテナ１１１を介して、基地局１００から送信される音声符号化情報を含んでいる電波（ＲＦ信号）を受信してアナログの電気信号である受信音声符号化信号を生成し、これをＲＦ復調装置１１３に出力する。アンテナ１１１を介して受信した電波（ＲＦ信号）は、伝送路において信号の減衰や雑音の重畳がなければ、基地局１００において送出された電波（ＲＦ信号）と全く同じものになる。

ＲＦ復調装置１１３は、受信装置１１２から入力された受信音声符号化信号を復調して信号処理装置１１４に出力する。信号処理装置１１４は、ＲＦ復調装置１１３から入力された受信音声符号化信号のジッタ吸収バッファリング処理、パケット組みたて処理およびチャネル復号化処理等を行い、受信音声符号化ビット列を音声復号化装置１１５に出力する。

音声復号化装置１１５は、信号処理装置１１４から入力された受信音声符号化ビット列の復号化処理を行って復号音声信号を生成してＤ／Ａ変換装置１１６に出力する。Ｄ／Ａ変換装置１１６は、音声復号化装置１１５から入力されたデジタル復号音声信号をアナログ復号音声信号に変換して出力装置１１７に出力する。出力装置１１７は、スピーカなどにより構成され、Ｄ／Ａ変換装置１１６から入力されたアナログ復号音声信号を空気の振動に変換し音波として人間の耳に聞こえる様に出力する。

次に、本実施の形態の音声信号伝送システムにおける符号化データの流れについて、図２を参照して説明する。図２は、伝送路誤りがない場合を示している。

図２において、送信側では２種類のフレームデータが、図には示されていない音声符号化装置によって符号化される。１つは通常状態で符号化された第１の符号化情報（フレームデータ１）であり、第ｎフレームにおける第１の符号化情報をＦ（ｎ）と表す。もう１つは音声符号化装置の内部状態をリセットして符号化した第２の符号化情報（フレームデータ２）であり、第ｎフレームにおける第２の符号化情報をｆ（ｎ）と表す。

図２に示すように、第１の符号化情報Ｆ（ｎ）と第２の符号化情報ｆ（ｎ）は１つのペイロードパケットＰ（ｎ）に多重化・パケット化されて送信側から受信側へパケット網を介して伝送される。受信側では、ペイロードパケットＰ（ｎ）のパケットから第１の符号化情報Ｆ（ｎ）を取りだして、図には示していない音声復号化装置へ渡す。伝送路誤りがなければ第２の符号化情報ｆ（ｎ）は音声復号化処理に用いられる事はない。

図３は、本実施の形態の音声信号伝送システムにおけるフレーム消失が発生する符号化データの流れを示す図であり、第ｎフレームのデータを伝送している第ｎパケットが伝送途中で消失した場合を示したものである。

受信側ではペイロードパケットＰ（ｎ）を受信できないので、第ｎフレームの復号に用いるべき符号化情報は得られない。このため、第ｎフレームについては、音声復号化装置は公知のフレーム消失隠蔽（補償）処理を行って復号音声信号を生成し、内部状態を更新する。

続く第ｎ＋１フレームでは、ペイロードパケットＰ（ｎ＋１）から第２の符号化情報ｆ（ｎ＋１）が取り出されて音声復号化装置へ渡される。音声復号化装置は、フレーム消失直後の正常フレームでは内部状態をリセットして復号化処理を行う。続く第ｎ＋２フレーム以降ではペイロードパケットから第１の符号化情報が取り出されて音声復号化装置へ渡される。

但し、後述するように、スペクトルパラメータや利得パラメータの符号化にＭＡ予測を用いているような場合は、第ｎ＋２フレームにおいてその予測器の状態を第ｎ＋１フレームで受信した第１の符号化情報Ｆ（ｎ＋１）を用いて更新した方が良い。

このような更新ができない場合、例えばパケットの情報を多重化分離する装置と音声復号化装置との間の伝送レートが１種類の符号化データの伝送しか許容しない場合や音声復号化装置への入力データが１種類に限られている場合、ＭＡ予測器の状態が一致しない可能性のあるフレームでは復号信号が局所的に大きくなる事を避けるために利得のクリッピング処理を行う必要がある。このような利得のクリッピング処理は従来のフレーム消失隠蔽処理においても一般的に行われている。

図４は、予測器の更新を行う場合の復号化処理方法について示した図である。ペイロードパケットは図３と同じであり、第ｎパケットが消失した場合を示している。パケット内に多重化された第１の符号化情報と第２の符号化情報がどのように利用されて復号化信号が生成されるのかを示されている。復号化処理は４種類（Ｄｅｃ０，Ｄｅｃ１，Ｄｅｃ２，Ｄｅｃ３）あり、符号化情報の受信状況に応じて切替えられる。

Ｄｅｃ０は、通常の復号化処理であり、ペイロードパケットＰ（ｉ）から多重化分離して得られた第１の符号化情報Ｆ（ｉ）を用いて通常の復号化処理が行われる。Ｄｅｃ１は、フレーム消失時の隠蔽処理で、非特許文献２に示されるような一般的な処理である。

Ｄｅｃ２は、消失フレーム直後の通常フレームｎ＋１で行われる復号化処理で、まずＤｅｃ１と同じフレーム消失補償処理を行って復号化信号Ａを合成し、続いて復号化装置の内部状態をリセットして第２の符号化情報ｆ（ｎ＋１）を用いて復号化処理を行って復号化信号Ｂを合成し、復号化信号ＡとＢを重ね合わせ加算処理で重ね合わせて最終的な復号化信号を生成する処理を行う。また、同時に、第１の符号化情報Ｆ（ｎ＋１）を保持する処理を行う。

Ｄｅｃ３は、Ｄｅｃ２の処理を行った次のフレームｎ＋２で行われる復号化処理で、Ｄｅｃ２で保持された第１の符号化情報Ｆ（ｎ＋１）を用いて復号化装置の内部状態を更新してから、第１の符号化情報Ｆ（ｎ＋２）を用いて通常の復号化処理を行う。Ｄｅｃ３で行われる内部状態の更新とは、復号化装置においてＭＡ予測器が用いられている場合、第ｎ＋１フレームでＭＡ予測器の状態がｆ（ｎ＋１）によって生成されているため、第ｎ＋２フレームでＦ（ｎ＋１）によって生成しなおし、第ｎ＋２フレームでの復号化処理が正しく行われるようにする処理のことである。ＭＡ予測の次数が高く、ＭＡ予測器の状態が２フレーム以上の符号化情報から生成される場合は、Ｄｅｃ３の復号化処理を２フレーム以上続ける必要もあるが、図４ではＭＡ予測器の状態が１フレーム以内で生成されることを想定している。

次に、上記Ｄｅｃ０，１，２，３の各復号化処理を実現する音声復号化装置のブロック図を図５〜図９に示し、その構成及び動作について説明する。

図５は、音声復号化装置の構成を示すブロック図である。音声復号化装置は、パケット分離部４０１、フレーム分類部４０２、切替スイッチ４０３，４０４，４０５，４０６，４０７，４０８、通常復号化処理部４０９、フレーム消失補償処理部４１０、窓掛け部４１１，４１２、加算器４１３、及びパラメータ保持部４１４を備える。

パケット分離部４０１は、パケットペイロード（パケットデータ）から第１の符号化情報Ｆと第２の符号化情報ｆとフレームタイプ情報ＦＴを取り出し、第１の符号化情報Ｆと第２の符号化情報ｆを切替スイッチ４０３，４０４に出力し、フレームタイプ情報ＦＴをフレーム分類部４０２に出力する。

フレーム分類部４０２は、パケット分離部４０１から入力されたフレームタイプ情報ＦＴに基づいて、復号化処理Ｄｅｃ０〜Ｄｅｃ３のうちいずれの処理を行うかを判別し、その判別結果として復号化処理Ｄｅｃ０〜Ｄｅｃ３を示すフレーム分類情報ＦＩを生成し、切替スイッチ４０３〜４０８に出力する。

切替スイッチ４０３〜４０８は、フレーム分類部４０２から入力されるフレーム分類情報ＦＩにより、復号化処理Ｄｅｃ０〜Ｄｅｃ３に応じた切替位置に切り替えられる。

通常復号化処理部４０９は、復号化装置の内部状態をリセット後、切替スイッチ４０３を介してパケット分離部４０１から入力された第２の符号化情報ｆの復号化処理を行って第２の復号信号Ｓ_o（ｎ）を生成し、切替スイッチ４０５を介して窓掛け部４１２に出力する。

フレーム消失補償処理部４１０は、第１の復号信号Ｓｆ（ｎ）（ｎはサンプル番号）を生成し、切替スイッチ４０６を介して窓掛け部４１１に出力する。

窓掛け部４１１は、フレーム消失補償処理部４１０から入力された第１の復号信号Ｓｆ（ｎ）に、時間とともに振幅が減衰する窓（例えば、ｗｆ（ｎ）＝１−ｎ／Ｌ，但し、Ｌは窓長、で示されるような三角窓）を乗じて加算器４１３に出力する。

窓掛け部４１２は、通常復号化処理部４０９から入力される第２の復号信号Ｓ_o（ｎ）に、時間とともに振幅が増大する窓（例えば、ｗ_o（ｎ）＝ｎ／Ｌ で示されるような三角窓）を乗じて加算器４１３に出力する。

加算器４１３は、窓掛け部４１１および４１２から入力された２つの信号を加算し、その加算結果を切替スイッチ４０８を介して最終復号信号として出力する。

パラメータ保持部４１４は、メモリを内蔵し、切替スイッチ４０４を介してパケット分離部４０１から入力された第１の符号化情報Ｆをメモリに保持する。

なお、図５に示す各切替スイッチ４０３〜４０８の切り替え状態は、復号化処理Ｄｅｃ０〜Ｄｅｃ３に応じたものではない。各復号化処理Ｄｅｃ０〜Ｄｅｃ３に応じた各切替スイッチ４０３〜４０８の切り替え状態は、以下の図６〜図９において示す。

図６は、Ｄｅｃ０の復号化処理を実行する際の切替スイッチ４０３〜４０８の動作を示しており、図５の中でＤｅｃ０の復号化処理時に使用されない部分（窓掛け部４１１，４１２）を薄く表示したものである。

パケット分離部４０１は、パケットペイロード（パケットデータ）から第１の符号化情報Ｆと第２の符号化情報ｆとフレームタイプ情報ＦＴを取り出す。フレームタイプ情報ＦＴは、符号化情報を生成した符号化装置の情報（アルゴリズムやビットレートなどを特定する）やパケット消失が発生したことを示す情報などを示すもので、符号化情報とは別の情報としてペイロードパケットに多重化されている。フレームタイプ情報ＦＴは、フレーム分類部４０２に入力され、フレーム分類部４０２は、フレームタイプ情報ＦＴに基づいて、復号化処理Ｄｅｃ０〜Ｄｅｃ３のうちいずれの処理を行うかを判別し、その判別結果として復号化処理Ｄｅｃ０〜Ｄｅｃ３を示すフレーム分類情報ＦＩを生成し、切替スイッチ４０３〜４０８に出力する。

次に、図６では、フレーム分類情報ＦＩは、Ｄｅｃ０の処理を行うことを示すので、通常復号化処理部４０９の入力端子に接続された切替スイッチ４０３は、パケット分離部４０１の第１の符号化情報Ｆの出力端子に接続され、通常復号化処理部４０９の出力端子に接続された切替スイッチ４０５は切替スイッチ４０８に接続され、最終出力端子に接続された切替スイッチ４０８は切替スイッチ４０５に接続され、切替スイッチ４０４，４０７は開放される。パケット分離部４０１から出力された第１の符号化情報Ｆは、通常復号化処理部４０９によって復号化されて、その復号信号が最終復号信号として出力される。

次に、図７では、フレーム分類情報ＦＩは、Ｄｅｃ１の処理を行うことを示すので、フレーム消失補償処理部４１０の出力端子に接続された切替スイッチ４０６は切替えスイッチ４０８に接続され、最終出力端子に接続された切替スイッチ４０８は切替スイッチ４０６に接続され、切替スイッチ４０４，４０７は開放となる。フレーム消失補償処理部４１０によって生成された復号信号が最終復号信号として出力される。

次に、図８では、フレーム分類情報ＦＩは、Ｄｅｃ２の処理を行うことを示すので、フレーム消失補償処理部４１０の出力端子に接続された切替スイッチ４０６は窓掛け部４１１に接続され、通常復号化処理部４０９の入力端子に接続された切替スイッチ４０３はパケット分離部４０１の第２の符号化情報ｆの出力端子に接続され、通常復号化処理部４０９の出力端子に接続された切替スイッチ４０５は窓掛け部４１２に接続され、パラメータ保持部４１４の入力端子に接続された切替えスイッチ４０４は閉じられ、パラメータ保持部４１４の出力端子に接続された切替えスイッチ４０７は開放される。

図８の場合、処理手順としては、以下のような流れとなる。

まず、フレーム消失補償処理部４１０によって第１の復号信号Ｓｆが生成される。次に、通常復号化処理部４０９の内部状態がリセットされ、パラメータ保持部４１４が第１の符号化情報Ｆを保持する。次に、通常復号化処理部４０９が第２の符号化情報ｆを用いて第２の復号信号Ｓo を生成する。次に、窓掛け部４１１，４１２と加算器４１３によって数式（１）のような重ね合わせ加算処理が行われて最終出力信号Ｓが生成される。

次に、図９では、フレーム分類情報ＦＩはＤｅｃ３の処理を行うことを示すので、通常復号化処理部４０９の入力端子に接続された切替スイッチ４０３はパケット分離部４０１の第一の符号化情報Ｆの出力端子に接続され、パラメータ保持部４１４の出力端子に接続された切替スイッチ４０７は通常復号化処理部４０９のもうひとつの入力端子に接続され、通常復号化処理部４０９の出力端子に接続された切替スイッチ４０５は切替えスイッチ４０８に接続され、最終出力端子に接続された切替スイッチ４０８は切替スイッチ４０５に接続される。

なお、図９の中でＤｅｃ３の復号化処理時に使用されない部分（窓掛け部４１１，４１２）を薄く表示している。

この場合、通常復号化処理部４０９は、切替スイッチ４０７を介してパラメータ保持部４１４から入力された１フレーム前の第１の符号化情報Ｆ（ｎ＋１）を用いて復号化装置の内部状態の少なくとも一部を更新し、切替スイッチ４０３を介してパケット分離部４０１から入力された第１の符号化情報Ｆ（ｎ＋２）の復号化処理を行い、その復号信号を切替スイッチ４０５，４０８を介して最終復号信号として出力する。

図９の場合、処理手順としては以下のような流れとなる。

まず、通常復号化処理部４０９において、復号化装置の内部状態の一部をパラメータ保持部４１４のメモリに保持されている直前フレームの第１の符号化情報Ｆ（ｎ＋１）を用いて生成し直す。次に、現フレームの第１の符号化情報Ｆ（ｎ＋２）を用いて通常の音声復号化処理を行い、その復号信号を最終出力とする。

次に、基地局１００内の音声符号化装置１０３内の内部構成について図１０に示すブロック図を参照して説明する。

図１０において、９０１は入力音声信号の線形予測分析を行う線形予測分析部、９０２は聴覚的な重みづけを行う重みづけ部、９０３はＣＥＬＰモデルで合成される信号の目標信号を生成する目標ベクトル生成部、９０４は線形予測係数を量子化するＬＰＣ量子化部、９０５は量子化された線形予測係数によって構成される合成フィルタと聴覚的な重みづけを行うフィルタを従属接続したフィルタのインパルス応答を算出するインパルス応答算出部、９０６は適応符号帳探索部、９０７は固定符号帳探索部、９０８は利得符号帳探索部、９０９は適応符号帳のみから生成される信号を算出する適応符号帳成分合成部、９１０は固定符号帳のみから生成される信号を算出する固定符号帳成分合成部、９１１は適応符号帳成分と固定符号帳成分とを加算する加算器、９１２は量子化パラメータを用いて復号音声信号を生成する局部復号部、９１３は符号化パラメータを多重化する多重化部、９１４は適応符号帳成分と目標信号との誤差を算出する加算器、９１５は固定符号帳成分と目標信号との誤差を算出する加算器、９１６は加算器９１４と９１５で算出された誤差信号の比を算出する雑音比計算部、９１７はエンコーダの状態（例えば、適応符号帳の内容、ＬＰＣ量子化器の予測器の状態、利得量子化器の予測器状態など）をリセットした状態で９０４〜９１３の各部処理を行うリセット符号化部、９１８は通常状態で符号化されたビットストリームとリセット状態で符号化されたビットストリームをパケット化するパケット化部、をそれぞれ示している。

符号化対象となる入力音声信号は、線形予測分析部９０１と目標ベクトル生成部９０３とリセット符号化部９１７に入力される。線形予測分析部９０１は、線形予測分析を行い、線形予測係数を重みづけ部９０２とＬＰＣ量子化部９０４とリセット符号化部９１７に出力する。

重みづけ部９０２は、不図示の聴覚重みづけフィルタの係数を算出し、目標ベクトル生成部９０３とインパルス応答算出部９０５とリセット符号化部９１７に出力する。聴覚重みづけフィルタは、以下の数式（２）のような伝達関数で表される公知の極零型フィルタである。

この数式（２）において、Ｐは線形予測分析の次数、a_iは_i次の線形予測係数である。γ₁とγ₂は重みづけ係数であり、定数でも良いし、入力音声信号の特徴に応じて適応的に制御されても良い。重みづけ部９０２では、γ₁ ⁱ×a_iおよびγ₂ ⁱ×a_iが算出される。

目標ベクトル生成部９０３は、入力音声信号に数式（２）の聴覚重みづけフィルタをかけたものから、合成フィルタ（量子化線形予測係数で構築）の零入力応答に聴覚重みづけフィルタをかけたものを差し引いた信号を算出し、適応符号帳探索部９０６と固定符号帳探索部９０７と利得符号帳探索部９０８と加算器９１４と加算器９１５とリセット符号化部９１７に出力する。

目標ベクトルは前述の様に零入力応答を減じる方法で求める事ができるが、一般的には以下のステップで生成される。まず、入力音声信号に逆フィルタＡ（ｚ）をかけて線形予測残差信号を得る。次に、この線形予測残差信号を量子化線形予測係数で構成される合成フィルタ１／Ａ´（ｚ）にかける。但し、このときのフィルタ状態は入力音声信号から合成音声信号（局部復号部９１２で生成される）を減じた信号とする。これにより、合成フィルタ１／Ａ´（ｚ）の零入力応答除去後の入力音声信号が得られる。

次に、この零入力応答除去後の入力音声信号を聴覚重みづけフィルタＷ（ｚ）にかける。但し、このときのフィルタ状態（ＡＲ側）は重みづけ入力音声信号から重みづけ合成音声信号を減じた信号とする。ここで、この信号（重みづけ入力音声信号から重みづけ合成音声信号を減じた信号）は、目標ベクトルから適応符号帳成分（適応符号ベクトルを零状態の合成フィルタ１／Ａ´（ｚ）と聴覚重みづけフィルタＷ（ｚ）に通して生成される信号）と固定符号帳成分（固定符号ベクトルを零状態の合成フィルタ１／Ａ´（ｚ）と聴覚重みづけフィルタＷ（ｚ）に通して生成される信号）のそれぞれに量子化利得を乗じて加算して得られる信号を減じたものと等価であるので、そのようにして算出するのが一般的である。（数式（３）参照。数式（３）において、ｘは目標ベクトル、ｇ_aは適応符号帳利得、Ｈは重みづけ合成フィルタインパルス応答畳込み行列、ｙは適応符号ベクトル、g_fは固定符号帳利得、zは固定符号ベクトル、をそれぞれ示す）

ＬＰＣ量子化部９０４は、線形予測分析部９０１から入力された線形予測係数（ＬＰＣ）の量子化・符号化を行い、量子化ＬＰＣをインパルス応答算出部９０５と局部復号部９１２に出力し、符号化情報を多重化部９１３に出力する。ＬＰＣはＬＳＰなどに変換され、ＬＳＰの量子化・符号化が行われるのが一般的である。

インパルス応答算出部９０５は、合成フィルタ１／Ａ´（ｚ）と聴覚重みづけフィルタＷ（ｚ）を従属接続したフィルタのインパルス応答を算出し、適応符号帳探索部９０６と固定符号帳探索部９０７と利得符号帳探索部９０８に出力される。

適応符号帳探索部９０６は、インパルス応答算出部９０５から聴覚重みづけ合成フィルタのインパルス応答を、目標ベクトル生成部９０３から目標ベクトルを、それぞれ入力し、適応符号帳探索を行って、適応符号ベクトルを局部復号部９１２に、ピッチラグに対応するインデックスを多重化部９１３に、適応符号ベクトルにインパルス応答（インパルス応答算出部９０５より入力）を畳みこんだ信号を固定符号帳探索部９０７と利得符号帳探索部９０８と適応符号帳成分合成部９０９にそれぞれ出力する。

適応符号帳探索は、目標ベクトルと適応符号ベクトルから合成される信号との自乗誤差（数式（４））を最小化する適応符号ベクトルｙを決定することによって行われる。

固定符号帳探索部９０７は、インパルス応答算出部９０５から聴覚重みづけ合成フィルタのインパルス応答を、目標ベクトル生成部９０３から目標ベクトルを、適応符号帳探索部９０６から適応符号ベクトルに聴覚重みづけ合成フィルタインパルス応答を畳みこんだベクトルを、それぞれ入力し、固定符号帳探索を行って、固定符号ベクトルを局部復号部９１２に、固定符号帳インデックスを多重化部９１３に、固定符号ベクトルにインパルス応答（インパルス応答算出部９０５より入力）を畳みこんだ信号を利得符号帳探索部９０８と固定符号帳成分合成部９１０にそれぞれ出力する。

固定符号帳探索は、数式（３）のエネルギ（２乗和）を最小とする固定符号ベクトルｚをみつける事である。既に決定している適応符号ベクトルｙに最適適応符号帳利得（ピッチゲイン）ｇ_a（固定符号帳探索前に利得量子化が行われる構成の場合は量子化された適応符号帳利得）を乗じてインパルス応答を畳みこんだ信号を適応符号帳探索時の目標信号から減じた信号（即ち、ｘ‐ｇ_aＨｙ）を固定符号帳探索用目標信号ｘ’として、|x’−ｇ_cＨｚ|² を最小化する固定符号ベクトルｚを決定することが一般的である。

利得符号帳探索部９０８は、インパルス応答算出部９０５から聴覚重みづけ合成フィルタのインパルス応答を、目標ベクトル生成部９０３から目標ベクトルを、適応符号帳探索部９０６から適応符号ベクトルに聴覚重みづけ合成フィルタのインパルス応答を畳みこんだベクトルを、固定符号帳探索部９０７から固定符号ベクトルに聴覚重みづけ合成フィルタのインパルス応答を畳みこんだベクトルを、それぞれ入力し、利得符号帳探索を行って、量子化適応符号帳利得を適応符号帳成分合成部９０９と局部復号部９１２へ、量子化固定符号帳利得を固定符号帳成分合成部９１０と局部復号部９１２へ、利得符号帳インデックスを多重化部９１３へ、それぞれ出力する。

利得符号帳探索は、数式（３）のエネルギ（２乗和）を最小とする量子化適応符号帳利得（ｇ_a ）と量子化固定符号帳利得（ｇ_f ）を生成する符号を利得符号帳のなかから選び出すことである。

適応符号帳成分合成部９０９は、適応符号帳探索部９０６から適応符号ベクトルに聴覚重みづけ合成フィルタのインパルス応答を畳みこんだベクトルを、利得符号帳探索部９０８から量子化適応符号帳利得を、それぞれ入力し、両者を乗じて聴覚重みづけ合成信号の適応符号帳成分として加算器９１１および加算器９１４に出力する。

固定符号帳成分合成部９１０は、固定符号帳探索部９０７から固定符号ベクトルに聴覚重みづけ合成フィルタのインパルス応答を畳みこんだベクトルを、利得符号帳探索部９０８から量子化固定符号帳利得を、それぞれ入力し、両者を乗じて聴覚重みづけ合成信号の固定符号帳成分として加算器９１１および加算器９１５に出力する。

加算器９１１は、適応符号帳成分合成部９０９から聴覚重みづけ合成音声信号の適応符号帳成分を、固定符号帳成分合成部９１０から聴覚重みづけ合成音声信号の固定符号帳成分を、それぞれ入力し、両者を加算して聴覚重み付け合成音声信号（零入力応答は除去されている）として目標ベクトル生成部９０３に出力する。目標ベクトル生成部９０３へ入力された前記聴覚重みづけ合成音声信号は、次の目標ベクトルを生成する際の聴覚重みづけフィルタのフィルタ状態を生成するのに用いられる。

局部復号部９１２は、ＬＰＣ量子化部９０４から量子化線形予測係数を、適応符号帳探索部９０６から適応符号ベクトルを、固定符号帳探索部９０７から固定符号ベクトルを、利得符号帳探索部９０８から適応符号帳利得と固定符号帳利得を、それぞれ入力し、量子化線形予測係数で構成した合成フィルタを、適応符号ベクトルと固定符号ベクトルのそれぞれに適応符号帳利得と固定符号帳利得をそれぞれ乗じて加算して得られる音源ベクトルで駆動し、合成音声信号を生成して目標ベクトル生成部９０３に出力する。目標ベクトル生成部９０３に出力された合成音声信号は、次の目標ベクトルを生成する際の零入力応答除去後の合成音声信号を生成するためのフィルタ状態を生成するのに用いられる。

多重化部９１３は、ＬＰＣ量子化部９０４から量子化ＬＰＣの符号化情報を、適応符号帳探索部９０６から適応符号帳インデックス（ピッチラグ符号）を、固定符号帳探索部９０７から固定符号帳インデックスを、利得符号帳探索部９０８から利得符号帳インデックスを、それぞれ入力し、多重化して１つのビットストリームにしてパケット化部９１８に出力する。

加算器９１４は、適応符号帳成分合成部９０９から聴覚重みづけ合成音声信号の適応符号帳成分を、目標ベクトル生成部９０３から目標ベクトルを、それぞれ入力し、両者の差分信号のエネルギを算出して雑音比計算部９１６に出力する。

加算器９１５は、固定符号帳成分合成部９１０から聴覚重みづけ合成音声信号の固定符号帳成分を、目標ベクトル生成部９０３から目標ベクトルを、それぞれ入力し、両者の差分信号のエネルギ（２乗和）を算出して雑音比計算部９１６に出力する。

雑音比計算部９１６は、加算器９１４と加算器９１５とから入力したエネルギの比を算出し、比が予め設定した閾値を超えているかどうかに基づいて、リセット符号化部９１７とパケット化部９１８とに制御信号を送る。即ち、前記比が前記閾値を超えた時のみリセット符号化部９１７の符号化処理を行い、得られる符号化ビットストリームをパケット化するように制御を行う。前記比の算出は、例えば、以下の数式（５）で得られる。ここで、Ｎａは加算器９１４から入力されたエネルギ値、Ｎｆは加算器９１５から入力されたエネルギ値をそれぞれ示す。

数式（５）は、目標ベクトルに対する適応符号帳成分のＳ／Ｎ比と、目標ベクトルに対する固定符号帳成分のＳ／Ｎ比との差に相当する。なお、閾値としては、例えば、３ＧＰＰ標準方式であるＡＭＲ方式の１２．２ｋｂｉｔ／ｓモードの場合、３[ｄＢ]程度が好適である。

また、リセット符号化部９１７の符号化データを伝送することによって主観品質が大きく改善されるのは、音声の立ち上がり部でフレーム消失が発生した場合であるため、立ち上がり部付近のフレームでのみ選択的にリセット符号化部９１７を動作させるのが効率的である。具体的には、前フレームの平均振幅と現フレームの平均振幅の比を計算し、現フレームの振幅が前フレームの平均振幅のＴｈＡ（閾値：例えば２．０）倍を超えている場合をオンセット（立ち上がり）フレームと定義し、リセット符号化部９１７を動作させるフレームを以下２種類のフレーム（１）、（２）にのみ限定することにより、さらに効果的かつ効率的な音声信号伝送システムを実現することも可能である（本構成は図１０には示していないが、目標ベクトル生成部９０３から出力される目標ベクトルの二乗平均平方根（ＲＭＳ）を算出し、現フレームでの算出結果と前フレームでの算出結果との比を計算し、その値が閾値ThA を超えているかどうかでオンセットフレームの判定を行う機能ブロックを追加することで実現可能である（下記（１）のフレーム）。下記（２）のフレームの判定には、下記（１）のフレームにおいて常にリセットされる専用のフレームカウンタを備えるようにすれば良い。なお、平均振幅の代わりにフレームエネルギを用いても良く、その場合は二乗平方根（ＲＭＳ）の算出はせずに単に１フレームの信号の二乗和を算出すれば良い）。
（１）前記オンセットフレーム
（２）雑音比計算部９１６において数式（５）の結果が閾値を超えたフレームでかつ前記オンセットフレーム直後の数フレーム（１〜３フレーム程度）であるフレーム

このような選択を行うことにより、全フレームの８０％以上はリセット符号化部９１７の符号化情報を伝送せずに、全フレームでリセット符号化部９１７の符号化情報を伝送するのと同程度の主観品質を実現する事も可能である。

リセット符号化部９１７は、入力音声信号と、線形予測分析部９０１から線形予測係数を、重みづけ部９０２から重みづけ線形予測係数を、目標ベクトル生成部９０３から目標ベクトルを、雑音比計算部９１６から制御信号を、それぞれ入力し、制御信号がリセット符号器９１７で符号化を行うことを示している場合に、内部状態をリセット（適応符号帳バッファのゼロクリア、合成フィルタ状態のゼロクリア、聴覚重みづけフィルタ状態のゼロクリア、ＬＳＰ予測器の初期化、固定符号帳利得予測器の初期化、など）した状態で９０４〜９１３と全く同じ処理を行い、符号化ビットストリームをパケット化部９１８に出力する。

パケット化部９１８は、多重化部９１３から通常の符号化ビットストリームを、リセット符号化部９１７からリセット状態で符号化した符号化ビットストリームを、それぞれ入力し、ペイロードパケットに詰めてパケット伝送路に出力する。

次に、上記音声符号化装置１０３で符号化されたパケットデータを受信した音声復号化装置１１５の動作は、図５〜図９で説明したものと同様であるが、以下の点が異なる。

構成的には、受信パケットに符号ｆが含まれているかどうかを判断するリセット符号検出手段（不図示）を更に備える。リセット符号検出手段は、パケット分離部４０１からパケットのヘッダ情報を入力し、リセット符号ｆがパケットに含まれているかどうかを確認し、その確認結果の結果情報Ｍをフレーム分類部４０２に出力する。

動作的には、上記Ｄｅｃ２の処理が結果情報Ｍによって２種類に別れる。一方は、既に説明したＤｅｃ２と同じ処理であり、もう一方は既に説明したＤｅｃ０と同じ処理である。すなわち、結果情報Ｍが「符号ｆがパケットに含まれている」ことを示す場合は、Ｄｅｃ２と同じ処理（図８）を行い、結果情報Ｍが「符号ｆがパケットに含まれていない」ことを示す場合は、Ｄｅｃ０と同じ処理（図６）を行う。

なお、Ｄｅｃ０と同じ処理を行う際、通常復号化処理部４０９では適応符号帳利得を０として復号信号を生成すると、直前フレームのフレーム消失補償処理によって生成された適応符号帳の誤り伝播をリセットする効果も得られる。また、フレーム消失直後の正常フレームで上述したようなＤｅｃ０の処理を行った場合、後続するフレームではＤｅｃ３の処理ではなくＤｅｃ０の処理を行う。

以上説明したように、本発明によれば、通常の符号化情報とともに符号化装置の内部状態をリセットして符号化した符号化情報も伝送するので、フレーム消失後の正常フレームにおける誤り伝播による復号音声信号の品質劣化を大幅に軽減することが可能となる。本発明は、連続したフレーム消失の後でも改善効果は変わらず、追加遅延も不要である。

なお、音声コーデックとして１２．２ｋｂｉｔ／ｓのＡＭＲ方式を用いた場合、図１２に示した従来方法と比較して、２連続以上の連続パケット消失を想定した場合、本発明を適用することにより０．６ｄＢ〜１ｄＢ程度のセグメンタルＳＮ比の改善が得られる（パケット消失率５％〜２０％における結果の一例）ことを確認しており、特にバースト的にパケット消失が発生した場合に効果がある。

本発明にかかる音声信号伝送システム、及び音声信号伝送方法は、追加伝送遅延なしにパケット損失によって生じる誤り伝播を抑えることが可能な音声信号伝送システムを可能にすることである。

本発明を適用した一実施の形態に係る音声信号伝送システムにおける基地局と移動局装置の各構成を示すブロック図 本実施の形態に係る音声信号伝送システムにおいて、パケット消失がない場合の送受信符号化情報とペイロードパケットの関係を示す図 本実施の形態に係る音声信号伝送システムにおいて、第ｎパケットが消失した場合の送受信符号化情報とペイロードパケットの関係を示す図 本実施の形態に係る音声信号伝送システムにおいて、第ｎパケットが消失した場合のペイロードパケットと復号化処理の関係を示す図 本発明の実施の形態に係る音声信号伝送システムに用いられる音声復号化装置のブロック図 本実施の形態に係る音声信号伝送システムに用いられる音声復号化装置において、Ｄｅｃ０を処理する際のブロック図 本実施の形態に係る音声信号伝送システムに用いられる音声復号化装置において、Ｄｅｃ１を処理する際のブロック図 本実施の形態に係る音声信号伝送システムに用いられる音声復号化装置において、Ｄｅｃ２を処理する際のブロック図 本実施の形態に係る音声信号伝送システムに用いられる音声復号化装置において、Ｄｅｃ３を処理する際のブロック図 本実施の形態に係る音声信号伝送システムに用いられる音声符号化装置のブロック図 従来の音声信号伝送システムにおいて、パケット消失がない場合の送受信符号化情報とペイロードパケットの関係を示す図 従来の音声信号伝送システムにおいて、第ｎパケットが消失した場合の送受信符号化情報とペイロードパケットの関係を示す図

符号の説明

１００ 基地局
１０３ 音声符号化装置
１１０ 移動局装置
１１５ 音声復号化装置
４０１ パケット分離部
４０２ フレーム分類部
４０３〜４０８ 切替スイッチ
４０９ 通常復号化処理部
４１０ フレーム消失補償処理部
４１１，４１２ 窓掛け部
４１３ 加算器
４１４ パラメータ保持部
９０１ 線形予測分析部
９０２ 重みづけ部
９０３ 目標ベクトル生成部
９０４ ＬＰＣ量子化部
９０５ インパルス応答算出部
９０６ 適応符号帳探索部
９０７ 固定符号帳探索部
９０８ 利得符号帳探索部
９０９ 適応符号帳成分合成部
９１０ 固定符号帳成分合成部
９１１，９１４，９１５ 加算器
９１２ 局部復号部
９１３ 多重化部
９１６ 雑音比計算部
９１７ リセット符号化部
９１８ パケット化部

Claims (4)

1. 通常状態で符号化した第１の符号化情報と、音声符号化装置の内部状態をリセットして符号化した第２の符号化情報と、を多重化およびパケット化し、パケット化された情報を送信する音声信号送信装置であって、
   適応符号帳と固定符号帳とを備えるＣＥＬＰ型音源生成手段と、
   目標信号と、前記適応符号帳によって生成される合成信号との第１の誤差信号を算出する第１の誤差算出手段と、
   前記目標信号と、前記固定符号帳によって生成される合成信号との第２の誤差信号を算出する第２の誤差算出手段と、
   前記第１の誤差信号と前記第２の誤差信号との比を算出する誤差信号比算出手段と、
   前記比の大きさによって音声フレームを分類する音声フレーム分類手段と、
   前記音声フレーム分類手段での分類結果に基づいて、前記第２の符号化情報を多重化するか否かを判定する多重化判定手段と、
   を具備する音声信号送信装置。
2. 請求項１記載の音声信号送信装置と、
   前記パケット化された情報を前記音声信号送信装置から受信し、前記パケット化された情報を前記第１の符号化情報と前記第２の符号化情報とにパケット分離および多重化分離し、パケット損失があった場合は、損失パケットに対して隠蔽処理を行い、前記損失パケットの直後に受信したパケットに対して前記第２の符号化情報を用いて復号化処理を行う音声信号受信装置と、
   を具備する音声信号伝送システム。
3. 請求項１記載の音声信号送信装置を具備する基地局装置。
4. 通常状態で符号化した第１の符号化情報と、音声符号化装置の内部状態をリセットして符号化した第２の符号化情報と、を多重化およびパケット化し、パケット化された情報を送信する音声信号送信方法であって、
   適応符号帳によって生成される合成信号と固定符号帳によって生成される合成信号とを用いて、ＣＥＬＰ型音声符号化処理における音源信号を生成する音源生成工程と、
   目標信号と、前記適応符号帳によって生成される合成信号との第１の誤差信号を算出する第１の誤差算出工程と、
   前記目標信号と、前記固定符号帳によって生成される合成信号との第２の誤差信号を算出する第２の誤差算出工程と、
   前記第１の誤差信号と前記第２の誤差信号との比を算出する誤差信号比算出工程と、
   前記比の大きさによって音声フレームを分類する音声フレーム分類工程と、
   前記音声フレーム分類工程での分類結果に基づいて、前記第２の符号化情報を多重化するか否かを判定する多重化判定工程と、
   を具備する音声信号送信方法。

Images