WO2005112002A1

WO2005112002A1 - オーディオ信号符号化装置及びオーディオ信号復号化装置

Info

Publication number: WO2005112002A1
Application number: PCT/JP2005/008997
Authority: WO
Inventors: Mineo Tsushima
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-05-19
Filing date: 2005-05-17
Publication date: 2005-11-24
Anticipated expiration: 2006-11-19
Also published as: US8078475B2; KR101117336B1; CA2566366A1; EP1758100A1; JP4939933B2; DE602005022235D1; EP1758100A4; EP1914723A3; EP1914723A2; EP1914723B1; DE602005024548D1; CA2566366C; JPWO2005112002A1; CN1954362A; KR20070019718A; US20070244706A1; CN1954362B; EP1758100B1

Abstract

　ポータブルプレーヤ（７１０）又はマルチチャネルホームプレーヤ（７３０）は、マルチチャネルオーディオ信号が混入された、ダウンミクス信号を表す符号列と、ダウンミクス信号をダウンミクスされる前のマルチチャネルオーディオ信号に戻すための補助情報とを、入力された符号列から抽出するとともに、ダウンミクス信号を表す符号列を復号化する混入信号復号化部（７１１）と、抽出された補助情報に基づいて、復号化により得られたダウンミクス信号を分離して、ダウンミクスされる前のマルチチャネルオーディオ信号と聴覚的に近似するオーディオ信号を生成する信号分離処理部（７３１）と、復号化されたダウンミクス信号を再生するヘッドホン又はスピーカ（７２０）又はダウンミクス信号から分離されたマルチチャネルオーディオ信号を再生するスピーカ（７４０）を備える。

Description

明細書

オーディオ信号符号化装置及びオーディオ信号復号化装置

技術分野

[0001] 本発明は、オーディオ信号を符号化する符号化装置、及び符号化されたオーディォ信号を復号ィ匕する復号ィ匕装置に関するものである。

背景技術

[0002] 従来のオーディオ信号復号化方法、および、符号化方法としては、公知なものとして ISOZIECの国際標準方式、通称 MPEG方式などが挙げられる。現在、幅広い応用を持ち、低ビットレート時でも高音質な符号ィ匕方式として、 ISOZIEC 13818- 7 、通称 MPEG2 AAC (Advanced Audio Coding)などがあげられる。本方式の拡張規格も複数規格化が現在なされてヽる (非特許文献 1参照。 )。

非特許文献 1 : ISOZIEC 13818— 7 (MPEG2 AAC)

発明の開示

発明が解決しょうとする課題

[0003] しかしながら、従来のオーディオ信号符号化方法、および、復号化方法では、例えば背景技術に記載の AACなどでは、マルチチャネルの信号を符号ィ匕する際に、チャネル間の相関を十分に生力しきれていないため、低ビットレートイ匕することが困難であった。図 1は、マルチチャネルの信号を符号ィ匕したものを復号ィ匕する際の従来の方法を示す図である。図 1に示すように、例えば、従来のマルチチャネル AAC符号ィ匕装置 600では、 5. 1チャネルのオーディオ信号を符号ィ匕し、多重化して、放送などにより従来のプレーヤ 610に送信している。このような符号ィ匕データを受信する従来のプレーヤ 610では、出力が 2チャネルのスピーカやヘッドホンの場合、マルチチヤネル AAC復号ィ匕部 611及びダウンミックス部 612を備え、受信した符号ィ匕信号力ゝら生成したダウンミクス信号を 2チャネルのスピーカ又はヘッドホン 613に出力して!/、る。

[0004] しかしながら、従来のプレーヤ 610では、原音のマルチチャネル信号を符号化したものを復号ィ匕する際に、 2つのスピーカやヘッドホンなどだけで再生する場合、一度、すべてのチャネルを復号ィ匕する。その後、ダウンミクス部 612が、復号化されたすべてのチャネルから前記 2つのスピーカやヘッドホンで再生すべきダウンミクス信号（右 ) DR、（左） DLを、ダウンミクスなどの方法を用いて生成する。例えば、 5. 1チャネルのマルチチャネル信号は、聴視者の前方正面 Center,前方右 FR、前方左 FL、後方右 BR、及び後方左 BLに配置される音源からの 5チャネルのオーディオ信号と、ォーディォ信号の超低域を表す 0. 1チャネルの信号 LFEとカゝら構成される。ダウンミクス部 612は、復号ィ匕されたそれぞれのチャネルの信号を、複数チャネル信号を重み付け加算し、ダウンミクス信号 DR、 DLを生成している。このことは 2つのスピーカやへッドホンで再生する場合であっても、多くの計算量や計算用のバッファを要し、ひいては、それを実装する DSP (Digital Signal Processor)などの計算手段の消費電力やコストを高める原因となって、る。課題を解決するための手段

[0005] 上記課題を解決するため、本発明のオーディオ信号復号化装置は、符号列を復号化してオーディオ信号を出力するオーディオ信号復号ィ匕装置であって、複数のォーディォ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出する抽出手段と、前記混入信号を表す前記符号列を復号化する復号化手段と、抽出された前記補助情報に基づ！/ヽて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成する信号分離手段と、復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する再生手段とを備える。

[0006] なお、本発明は、このようなオーディオ信号符号化装置及びオーディオ信号復号化装置として実現することができるだけでなぐオーディオ信号符号ィ匕方法及びォーディォ信号復号ィ匕方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。さらに、これらのステップを集積回路などに糸且み込んだオーディオ信号符号化装置およびオーディオ信号復号化装置として実現することもできる。そして、そのようなプログラムは、 CD— ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。発明の効果 [0007] 以上説明したように、本発明のオーディオ信号符号化装置では、混入された複数の信号列力符号列を生成し、生成された符号列から複数の信号列に分離するにおいて、信号間の類似性に着目し、非常に小さな補助情報を符号列中に含ませることで、聴感上、違和感がない程度に信号の分離を達成することが可能となる。また、あらカじめ混入された信号力マルチチャンネル信号のダウンミクス信号であるように構成しておけば、復号時においては、補助情報を読み取って信号処理することなぐダゥンミタス信号部だけを復号すれば、 2チャンネル信号の再生系を有するスピーカやヘッドホンにおいても、低演算量で高音質な再生が可能となる。

図面の簡単な説明

[0008] [図 1]図 1は、従来のマルチチャネル信号の符号化方法及び復号化方法の一例を示す図である。

[図 2]図 2は、本発明のオーディオ信号符号ィ匕装置の主要部を概略的に示す図である。

[図 3]図 3は、本発明のオーディオ信号復号ィ匕装置の主要部を概略的に示す図である。

[図 4]図 4は、本実施の形態のオーディオ信号復号化装置において、 2つの信号が混入された混入信号 mXから、原信号に聴覚上近似する信号 XIと信号 X2とが分離される様子を示す図である。

[図 5]図 5は、本実施の形態のオーディオ信号復号化装置のより具体的な構成の一例を示す図である。

[図 6]図 6 (a)は、図 5に示した混入信号復号ィ匕部力もの出力であるサブバンド信号を示す図である。図 6 (b)は、図 7に示した時間周波数空間の分割方法を図 6 (a)に示したサブバンド信号に適用した例を示している。

[図 7]図 7は、混入信号復号ィ匕部力ゝらの出力信号が表される空間の分割方法の一例を示す図である。

[図 8]図 8は、符号ィヒ装置からの符号列を 2チャネルのポータブルプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。

[図 9]図 9は、符号化装置からの符号列をマルチチャネルのオーディオ再生可能なホームプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。

[図 10]図 10は、本実施の形態のオーディオ信号復号化装置において、さらに位相制御を行なう場合の構成の一例を示す図である。

[図 11]図 11は、本実施の形態のオーディオ信号復号化装置において、入力信号同士の相関が小さい場合に、線形予測フィルタを用いる場合の構成の一例を示す図である。

符号の説明

101 混入信号情報

102 混入信号復号化部

103 信号分離処理部

104 補助情報

105 出力信号 (1)

106 出力信号 (2)

201 入力信号 (1)

202 入力信号 (2)

203 混入信号符号化部

204 補助情報生成部

205 補助情報

206 混入信号情報

211 ゲイン算出部

212 位相算出部

213 係数算出部

301 混入信号情報

302 混入信号復号化部

303 信号分離部

304 ゲイン制御部

305 出力信号 (1)

306 出力信号 (2) 307 補助情報

308 時間周波数マトリクス生成部

401 混入信号情報

402 混入信号復号化部

403 信号分離部

404 ゲイン制御部

405 出力信号 (1)

406 出力信号 (2)

407 補助情報

408 時間周波数マトリクス生成部

409 位相制御部

501 混入信号情報

502 混入信号復号化部

503 信号分離部

504 ゲイン制御部

505 出力信号 (1)

506 出力信号 (2)

507 補助情報

508 時間周波数マトリクス生成部

509 位相制御部

510 線形予測フィルタ適応部

600 従来のマルチチャネル AAC符号化装置

610 従来のプレーヤ

611 マルチチャネル AAC復号化部

612 ダウンミクス咅

613 スピーカ又はヘッドホン

700 符号化装置

701 ダウンミックス部 702 補助情報生成部

703 符号化部

710 ポータブノレプレーヤ

711 混入信号復号化部

720 ヘッドホンまたはスピーカ

730 マノレチチヤネノレホームプレーヤ

740 スピーカ

発明を実施するための最良の形態

[0010] 以下、本発明の実施の形態を、図面を参照しながら説明する。

[0011] (実施の形態 1)

図 2は、本発明のオーディオ信号復号装置で復号可能な符号列を生成するオーディォ信号符号ィ匕装置 200の構成を示すブロック図である。このオーディオ信号符号化装置 200は、少なくとも 2つの信号を入力し、入力された信号から、より少数の混入信号を生成して、混入信号を表す 1つの符号ィ匕データとその符号ィ匕データよりも少ないビット数で表される補助情報とを含む符号列を生成するオーディオ信号符号化装置であって、混入信号符号ィ匕部 203および補助情報生成部 204を備える。補助情報生成部 204は、内部に、ゲイン算出部 211、位相算出部 212及び係数算出部 213 を備える。以下では、説明を簡単にするために入力信号が 2つの場合について説明する。混入信号符号化部 203及び補助情報生成部 204は、いずれも入力信号（1) 2 01と、入力信号 (2) 202とを入力とし、混入信号符号化部 203は混入信号及び混入信号情報 206を生成する。ここで、混入信号は、入力信号 (1) 201及び入力信号 (2 ) 202を、所定の方法で重畳して得られる信号である。補助情報生成部 204は、入力された入力信号（1) 201、入力信号（2) 202および混入信号符号ィ匕部 203の出力である混入信号から、補助情報 205を生成する。

[0012] より具体的には、混入信号符号ィ匕部 203では、入力信号（1) 201及び入力信号 (2 ) 202を、ある一定の予め定められた方法によって加算して混入信号を生成し、その混入信号を符号化し、混入信号情報 206を出力する。ここで、混入信号符号化部 20 3の符号ィ匕方法としては、 AACなどの方法を用いてもよいが、特に問わない。 [0013] 補助情報生成部 204では、入力信号（1) 201、入力信号 (2) 202及び混入信号符号ィ匕部 203で作られた混入信号と混入信号情報 206を用いて補助情報 205を生成する。ここで補助情報 205は、混入信号から、混入前の信号である入力信号（1) 201 と、入力信号 (2) 202とに、聴感上できるだけ同じように聞こえる信号を分離するための情報となるようにする。よって、混入信号から混入前の入力信号（1) 201と、入力信号（2) 202とが完全に同じように分離できても、、し、聞、たところ差がな、ような程度に分離できるのでもよい。聞いて差があつたとしても、その補助情報は本発明の範疇であり、このように分離するための情報が含まれていることが重要である。補助情報生成部においては、入力される信号に対して、例えば、 QMF (Quadrature Mirro r Filter)フィルタバンクを用いる符号化方法で符号化してもよいし、 FFT (Fast Fo urier Transform)などを用いる符号化方法で符号化してもよ！、。

[0014] ゲイン算出部 211は、入力信号（1) 201及び入力信号 (2) 202と混入信号とを比較して、混入信号から入力信号 (1) 201及び入力信号 (2) 202とよく似た信号を生成するためのゲインを算出する。より具体的には、ゲイン算出部 211は、まず、入力信号（1) 201及び入力信号（2) 202と混入信号とに対して、フレームごとにそれぞれ Q MFフィルタ処理を施すことによって、入力信号（1) 201、入力信号（2) 202及び混入信号を時間周波数空間上のサブバンド信号に変換する。次いで、時間周波数空間を時間方向及び周波数方向に分割した上、分割された各領域内で、入力信号 (1 ) 201及び入力信号 (2) 202から変換されたそれぞれのサブバンド信号と、混入信号カゝら変換されたサブバンド信号とを比較する。そして、分割された領域ごとに、混入信号力も変換されたサブバンド信号を用いて、入力信号 (1) 201及び入力信号 (2) 20 2から変換されたそれぞれのサブバンド信号を表すためのゲインを算出する。さらに、分割された各領域に対して算出されたゲインの分布を示す時間周波数マトリクスを生成し、時間周波数空間の分割方法を示した情報とともに補助情報 205として出力する。なお、ここで求めるゲインの分布は、入力信号（1) 201及び入力信号（2) 202から変換されたサブバンド信号の一方に対してだけ算出されるとしても良い。混入信号力も入力信号（1) 201及び入力信号 (2) 202の一方が生成されると、生成された入力信号（1) 201又は入力信号 (2) 202を混入信号力も減算することによって他方の入力信号（1) 201又は入力信号（2) 202が得られるからである。

[0015] また、例えば、近接するマイクロホンなどで集音される音声等は、スペクトルにおいても互いに相関性が高いと予想される。このような場合、位相算出部 212は、ゲイン算出部 211と同様、入力信号 (1) 201及び入力信号 (2) 202と混入信号とに対して、フレームごとにそれぞれ QMFフィルタ処理を施す。さらに位相算出部 212は、サブバンドごとに、入力信号（1) 201から得られたサブバンド信号と、入力信号 (2) 202から得られたサブバンド信号との位相差 (遅延量)を算出し、算出された位相差と、この場合のゲインとを補助情報として出力する。なお、入力信号 (1) 201と入力信号 (2) 2 02との位相差は、低周波では聴覚的に感知されやすいが、高周波では感知されにくいという性質がある。このため、サブバンド信号が高周波である場合には、この位相差の算出を省略するとしても良い。また、位相算出部 212は、入力信号（1) 201と入力信号 (2) 202との相関性が低い場合には、位相差を算出しても、その算出値を補助情報に含めない。

[0016] さらに、入力信号 (1) 201と入力信号 (2) 202との相関性が低い場合、入力信号 (1 ) 201と入力信号 (2) 202との一方の信号は、他方の信号に無相関な信号 (ノイズ信号)とみなすことができる。従って、係数算出部 213は、入力信号（1) 201と入力信号 (2) 202との相関性が低い場合、まず、入力信号（1) 201と入力信号（2) 202との相関性が低、ことを示すフラグを生成する。混入信号を入力信号とする線形予測フィルタ（関数)を定義して、そのフィルタによる出力が混入前の一方の信号にできるだけなるように線形予測係数を導出する。混入信号が 2つの信号力なるのであれば、 2組の線形予測係数列を導出して、その両者を補助情報に出力してもよいし、一方だけ出力してもよい。混入信号が複数の入力信号からなる場合においても、少なくとも何れかの入力信号にできるだけなるような線形予測係数を導出する。このような構成で、係数算出部 213は、この関数の線形予測係数を算出した上、算出された線形予測係数と、入力信号（1) 201と入力信号 (2) 202との相関性が低いことを示すフラグとを補助情報として出力する。なお、ここでは入力信号（1) 201と入力信号 (2) 202との相関性が低いことをフラグで示すとしているが、信号全体で比較する場合に限らず、 QMFフィルタ処理などを用いて得られたサブバンド信号ごとにこのフラグを生成しても良い。

[0017] 次に図 3を用いて復号ィ匕方法を説明する。図 3は、本発明のオーディオ信号復号化装置 100の主要部の構成を模式的に示した図である。オーディオ信号復号化装置 100は、入力される符号列から、あらかじめ混入信号情報と補助情報とを抽出し、復号化された混入信号情報力も出力信号 (1) 105と、出力信号 (2) 106とを分離する復号ィ匕装置であって、混入信号復号ィ匕部 102及び信号分離処理部 103を備える

[0018] オーディオ信号復号化装置 100の前段で、符号列から抽出された混入信号情報 1 01は、混入信号復号ィ匕部 102で符号ィ匕データの形式力もオーディオ信号の形式へと復号化される。前記のオーディオ信号の形式としては、時間軸上の信号形式に限定されず、周波数軸上の信号形式でもよいし、時間と周波数の両軸で表現される形式などでもよい。混入信号復号ィ匕部 102からの出力信号、および、補助情報 104は、信号分離処理部 103へと入力され、信号の分離合成がなされ、出力信号（1) 105 と、出力信号（2) 106とが出力される。図 4は、本実施の形態のオーディオ信号復号化装置において、 2つの信号が混入された混入信号 mXから、原信号に聴覚上近似する 2つの信号 XIと信号 X2とが分離される様子を示す図である。本発明のオーディォ信号復号化装置 100では、符号列から抽出された補助情報に基づいて、混入信号 mXから、原信号である信号 xlと信号 x2とに聴覚上近似する信号 XIと信号 X2とが分離される。

[0019] 以下、本発明の具体的な復号ィ匕方法について図 5を用いて説明する。図 5は、本実施の形態のオーディオ信号復号ィ匕装置 100においてゲイン制御を行なう場合の構成の一例を示す図である。本実施の形態のオーディオ信号復号化装置 100は、混入信号復号化部 302、信号分離部 303、ゲイン制御部 304及び時間周波数マトリタス生成部 308を備える。

[0020] 図 5に示すオーディオ信号復号化装置 100の前段で、あらかじめ符号列から抽出された混入信号情報 301は、混入信号復号化部 302へと入力される。混入信号情報 301は、混入信号復号ィ匕部 302で符号ィ匕データの形式力もオーディオ信号の形式へと復号化される。前記のオーディオ信号の形式としては、時間軸上の信号形式に限定せず、周波数軸上の信号形式でもよいし、時間と周波数の両軸で表現される形式などでもよい。前記の混入信号復号化部 302の出力信号、および、補助情報 307 は、信号分離部 303へと入力される。信号分離部 303では、補助情報 307をもとに、復号化された混入オーディオ信号を、複数の信号に分離する。具体的には、補助情報 307に含まれている時間周波数空間 (または周波数空間）の分割方法を示した情報に従って、混入オーディオ信号の属する空間を分割する。ここでは簡単のために 2 つに分離する場合について記載するが、必ずしも 2つに限定しない。一方、補助情報 307に基づいて、時間周波数マトリクス生成部 308では、混入信号復号化部 302 からの出力、または、信号分離部 303からの複数の出力信号と同様のオーディオ信号の形式に対するゲインを生成する。例えば、オーディオ形式が単純に時間領域の信号である場合は、時間領域の 1つ以上の時間に関するゲイン情報を時間周波数マトリタス生成部 308の出力とするし、オーディオ形式が QMFフィルタのような複数サブバンドからなる時間軸と周波数軸で表現されるような形式である場合は、時間と周波数の 2次元のゲイン情報を時間周波数マトリクス生成部 308の出力とする。そのようなゲイン情報と、信号分離部 303からの複数のオーディオ信号に対して、ゲイン制御部 304では、データ形式にあわせたゲイン制御を適用し、出力信号（1) 305、および、出力信号 (2) 306を出力する。

[0021] このように構成されたオーディオ信号復号化装置では、混入されたオーディオ信号から、適切にゲインコントロールされた複数のオーディオ信号を得ることが可能である

[0022] このゲインコントロールについては、以下の図 6および図 7を用いて詳細に説明する。図 6 (a)及び (b)は、図 5に示した混入信号復号ィ匕部 302からの出力が QMFフィルタである場合の各サブバンド信号に対するゲイン制御の一例を示す図である。図 7は、混入信号復号ィ匕部 302からの出力信号が表される空間の分割方法の一例を示す図である。図 6 (a)は、図 5に示した混入信号復号ィ匕部 302からの出力であるサブバンド信号を示す図である。このように、 QMFフィルタから出力されるサブバンド信号は、時間軸と周波数軸とからなる二次元空間上の信号として表される。

[0023] 従って、オーディオ形式が QMFフィルタで構成される場合は、フレーム単位でォーディォ信号を扱う場合にぉヽて、時間周波数マトリクスを用いたゲイン制御が容易である。

[0024] 例えば、 32サブバンドからなる QMFフィルタで構成するとして、 1フレーム 1024サンプルのオーディオ信号を扱えば、結果的に時間方向に 32サンプル、周波数方向（サブバンド）に 32バンドの時間周波数マトリクスをオーディオ形式として得ることができる。それら 1024サンプルの信号にゲイン制御をおこなう場合、図 7のように、周波数方向と時間方向とに領域を分割し、分割されたそれぞれの領域についてゲイン制御の係数 (Rl l、 R12、 R21、 R22)を定義すれば、ゲイン制御が容易である。ここでは R11から R22まで 4つの要素力もなるマトリクスを便宜上用いる力時間方向、周波数方向の係数の個数はこれらに限定されない。図 6にゲイン制御の適用例を示した。すなわち、図 6 (b)は、図 7に示した時間周波数空間の分割方法を図 6 (a)に示したサブバンド信号に適用した例を示している。図 6 (b)に示すように、 QMFフィルタが 6 サブバンドである場合に、低域力も 4バンドと高域から 2バンドの 2つに分け、時間方向には均一に 2つに分けた場合、それら 4領域に存在する QMFフィルタ力得られる信号列に、ゲイン Rl l、 R12、 R21、 R22を乗じた信号を出力するなどである。

[0025] 混入される信号列につ!、て特に制限はな!/ヽが、マルチチャネルのオーディオ信号列を扱う場合において、フロントチャネル信号に対して、ノツクチャネル信号が混入される場合や、さらにセンターチャネルが混入される場合などが考えられる。よって、混入後の信号は一般的にダウンミクス信号などと呼ばれる場合についても有効である。

[0026] 図 8は、符号化装置 700からの符号列を 2チャネルのポータブルプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。同図に示すように、このオーディオ信号システムは、符号化装置 700、ポータブルプレーヤ 710及びヘッドホン又はスピーカ 720を備える。符号ィ匕装置 700は、例えば、 5. 1チャネルのマルチチャネルオーディオ信号列を入力とし、 5. 1チャネルからダウンミクスされた 2チャネルのオーディオ符号列と補助信号とを出力する符号ィ匕装置であって、ダウンミックス部 7 01、補助情報生成部 702及び符号ィ匕部 703を備える。ダウンミックス部 701は、 5. 1 チャネルのマルチチャネルオーディオ信号列から 2チャネルのダウンミクス信号を生成し、生成したダウンミクス信号 DL及び DRを符号ィ匕部 703に出力する。補助情報生成部 702は、生成されたダウンミクス信号 DL及び DRから 5. 1チャネルのマルチチヤネル信号を復元するための情報を生成し、補助情報として符号ィ匕部 703に出力する。符号ィ匕部 703は、生成されたダウンミクス信号 DL及び DRと、補助情報とを符号ィ匕及び多重化して、符号列として出力する。このオーディオ信号システムにおけるポータブルプレーャ 710は、 2チャネルのヘッドホン又はスピーカ 720に接続されており、 2チャネルのステレオ再生のみが再生可能である。ポータブルプレーヤ 710は混入信号復号化部 711を備え、符号ィ匕装置 700から取得した符号列を混入信号復号ィ匕部 711で復号化するだけで、 2チャネルのヘッドホン又はスピーカ 720で再生することがでさる。

[0027] 図 9は、符号ィ匕装置 700からの符号列をマルチチャネルのオーディオ再生可能なホームプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である

。同図に示すように、このオーディオ信号システムは、符号化装置 700、マルチチヤネルホームプレーヤ 730及びスピーカ 740を備える。符号ィ匕装置 700の内部構成は、図 8に示した符号ィ匕装置 700と同じであるので、説明を省略する。マルチチャネルホームプレーヤ 730は、混入信号復号化部 711及び信号分離処理部 731を備え、 5 . 1チャネルのマルチチャネル信号を再生可能なスピーカ 740に接続されている。このマルチチャネルホームプレーヤ 730において、混入信号復号ィ匕部 711は、符号ィ匕装置 700から取得した符号列を復号ィ匕し、補助情報とダウンミクス信号 DL及び DRとを抽出する。信号分離処理部 731では、抽出されたダウンミクス信号 DLと DRとから、抽出された補助情報に基づいて、 5. 1チャネルのマルチチャネル信号を生成する。

[0028] 図 8及び図 9に示した例のように、同じ符号列を入力しても、 2チャネルの信号しか再生しな!ヽポータブルプレーヤなどでは、単に符号列中の混入信号を復号ィヒするだけで所望のダウンミクスオーディオ信号を再生することができ、電力の消費を抑えてノッテリーを長持ちさせることができるという効果がある。また、家庭に備え付けられるマルチチャネルのオーディオ信号を再生可能なホームプレーヤなどでは、バッテリー駆動ではないので、消費電力を気にせず、より高音質なオーディオ信号の再生を追求することができると、う効果がある。

[0029] (実施の形態 2) 以下では、本実施の形態の具体的な復号ィ匕装置について図 10を用いて説明する

[0030] 図 10は、本実施の形態のオーディオ信号復号化装置において、さらに位相制御を行なう場合の構成の一例を示す図である。実施の形態 2のオーディオ信号復号化装置は、符号列である混入信号情報 401及び補助情報 407を入力し、入力された混入信号情報 401及び補助情報 407に基づ、て、出力信号（1) 405及び出力信号 (2) 4 06を出力するオーディオ信号復号化装置であって、混入信号復号化部 402、信号分離部 403、ゲイン制御部 404、時間周波数マトリクス生成部 408及び位相制御部 4 09を備える。

[0031] 実施の形態 2の構成と前述の実施の形態 1との構成上の違いは、位相制御部 409 が加わった点のみで、その他の構成は実施の形態 1と同様である。よって本実施の形態 2では、位相制御部 409の構成のみ詳細に説明する。

[0032] 符号化時に混入された信号が、相互に関連性がある場合、特に、ある一方の信号に対して、もう一方の信号が、遅延があり、ゲインが異なるものとして取り扱う場合、混入信号は、（数 1)のように表記される。

[0033] [数 1] mx = xl + x2

= xl + A * xl * phaseFactor

[0034] ここでは、 mxは混入された後の信号、 xl、 x2が入力信号 (混入前の信号）、 Aはゲイン補正、 phaseFactorは位相差に応じて乗じる係数とする。従って、混入信号 mx は信号 xlの関数として表されるため、位相制御部 409では、混入信号 mxから信号 X 1を容易に算出して分離することができる。信号 x2は、混入信号 mxから信号 xlを分離すること〖こよって得られる。さら〖こ、このように分離された信号 xl及び x2に対して、ゲイン制御部 404が補助情報 407から得られる時間周波数マトリクスに従ってゲイン制御を行なうので、より原音に近い出力信号（1) 405及び出力信号 (2) 406を出力することができる。 [0035] Aおよび phaseFactorは、混入された後の信号から導出するのではなぐ符号化時 (つまり混入する前の複数の信号)から導出できるので、これらを予め符号化装置で補助情報 407に符号ィ匕しておけば、位相制御部 409では、分離した各々の信号の位相を制御可能である。

[0036] 位相差は、整数に限定されな、サンプル数として符号化されてもよ!、し、共分散行列で与えられてもよい。共分散行列は当該事業者には公知な技術であるので、説明を省略する。

[0037] 位相情報が、聴感上、重要な周波数帯域もあれば、位相情報が音質に大きな影響を与えない信号や周波数帯域があるので、位相情報はすべての周波数帯域、および、すべての時間に送る必要はない。すなわち、位相情報が聴感上、重要でない周波数帯域や、音質に大きな影響を与えない信号や周波数帯域では、サブバンド信号の位相制御を省略することができる。従って、位相情報は、サブバンド信号ごとに生成しておけば、余計な情報を送らずに済み、補助情報のデータ量を削減することができる。

[0038] (実施の形態 3)

本発明の具体的な復号ィ匕装置について図 11を用いて説明する。図 11は、本実施の形態のオーディオ信号復号化装置において、入力信号同士の相関が小さい場合に、線形予測フィルタを用いる場合の構成の一例を示す図である。

[0039] 実施の形態 3のオーディオ信号復号化装置は、混入信号情報 501と、補助情報 50 7とを入力とし、元の入力信号同士に大きな相関がない場合、一方の信号を混入信号の関数で表される無相関信号 (ノイズ信号)とみなして生成し出力信号 (1) 505と出力信号 (2) 506とを出力するオーディオ信号復号ィ匕装置であって、混入信号復号化部 502、信号分離部 503、ゲイン制御部 504、時間周波数マトリクス生成部 508、位相制御部 509及び線形予測フィルタ適応部 510を備える。

[0040] まず、この実施の形態 3の復号化装置は、実施の形態 1における復号ィヒ装置を詳細に説明するものである。

[0041] 実施の形態 3の構成と前述の実施の形態 2との構成上の違いは、線形予測フィルタ適応部 510が加わった点のみで、その他の構成は実施の形態 2と同様である。よつて本実施の形態 3では、線形予測フィルタ適応部 510の構成のみ詳細に説明する。

[0042] 符号化時に混入された信号が、相互に相関が小さい場合、ある一方の信号に対して、もう一方の信号を、遅延などを用いて単純に表現できない。線形予測フィルタ適応部 510は、この場合は、一方の信号に対して、もう一方の信号を無相関信号 (ノィズ信号)と見なして、符号化することが考えられる。このような場合は、相関が小さいことを示すフラグなどを予め符号ィ匕列中に符号ィ匕しておけば、復号ィ匕時に相関の小さい場合の分離処理を実行することができる。この情報は周波数帯域ごとや時間間隔ごとに符号ィ匕してもよい。また、このフラグは、サブバンド信号ごとに符号列中に符号化しておいてもよい。

[0043] [数 2] mx = xl + x2

= xl + Func( xl+ x2)

[0044] ここでは、 mxは混入された後の信号、 xlm、 x2が入力信号 (混入前の信号）、 Fun c ()は線形予測係数など力なる多項式である。

[0045] 信号 mx、 xl、 x2は、混入された後の信号から導出するのではなぐ符号化時 (つまり混入する前の複数の信号）に利用できるので、信号 mx、 xl、 x2から Func Oなる多項式の係数を導出し、これら係数を予め補助情報 507に符号ィ匕しておけば、線形予測フィルタ適応部 510では、 xl、 x2を導出可能である。

[0046] [数 3]

x2 = Func( xl+ x2)

[0047] よって、（数 3)とするような Func Oの係数を導出して符号ィ匕すればよい。

[0048] 以上のように、入力信号同士の相関の有無を符号列中にフラグとして含めておくことにより、入力信号同士にあまり相関がない場合や、入力信号が 2以上ある場合でそのうちのいずれか 1つを基準信号として他の入力信号が基準信号とあまり相関がない場合には、他方の信号を混入信号の関数で表される無相関信号 (ノイズ信号)として表すことができる。また、入力信号同士の相関性が高い場合には、他の信号を基準となる信号の遅延信号として表すことができる。そして、このようにして混入信号力分離された各信号に、時間周波数マトリクスで示されるゲインを乗算することによって、入力された原音に、より忠実な出力信号を得ることができるという効果がある。

産業上の利用可能性

[0049] 本発明のオーディオ信号復号化装置、および、符号化装置は、従来からオーディォ符号ィ匕および復号ィ匕方法が適用されていたあらゆるアプリケーションにおいて、適用可能である。

[0050] オーディオ符号ィ匕されたビットストリームなる符号ィ匕列は、現在、放送コンテンツの伝送、 DVDや SDカードなどの蓄積媒体に記録され再生される応用、携帯電話に代表される通信機器に AVコンテンツを伝送する場合などに用いられている。また、インターネット上でやりとりされる電子データとして、オーディオ信号を伝送する場合においても有用である。

[0051] 本発明のオーディオ信号復号化装置は、電池などにより駆動される携帯電話機などのポータブルタイプのオーディオ信号再生装置として有用である。また、本発明のオーディオ信号復号化装置は、マルチチャネル再生と 2チャネル再生とを切り替えて再生可能なマルチチャネルホームプレーヤとして有用である。また、本発明のオーディォ信号符号化装置は、帯域の狭い伝送路を介して、携帯電話機などのポータブルタイプのオーディオ信号再生装置にオーディオコンテンツを配信する放送局ゃコンテンッ配信サーバに備えられるオーディオ信号符号ィ匕装置として有用である。

Claims

請求の範囲

[1] 符号列を復号化してオーディオ信号を出力するオーディオ信号復号化装置であつて、

複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出する抽出手段と、

前記混入信号を表す前記符号列を復号化する復号化手段と、

抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディォ信号を生成する信号分離手段と、

復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する再生手段と

を備えるオーディオ信号復号化装置。

[2] 前記補助情報は、前記混入信号が表される空間を複数の領域に分割する方法を示す分割情報と、分割された各領域内の混入信号に対応するゲインとを含み、前記信号分離手段は、

前記復号化により得られた前記混入信号を前記分割情報に従って複数の領域に分割する領域分割部と、

分割された前記各領域内の混入信号に、対応する前記ゲインを乗算して、聴覚的に近似する前記オーディオ信号を生成する近似信号生成部とを備え、

前記信号分離手段は、前記近似信号生成部による処理を繰り返し、混入される前の数に相当するオーディオ信号を生成する

請求項 1記載のオーディオ信号復号化装置。

[3] 前記補助情報は、 QMFフィルタ処理が施された時間周波数空間上のサブバンド信号に対して、時間周波数空間の前記分割情報と、前記各領域内のゲインの分布を示す時間周波数マトリクスを含み、

前記領域分割部は、前記 QMFフィルタ処理により時間周波数空間上のサブバンド信号で表されて！/ヽる混入信号に対し、前記分割情報に従って前記時間周波数空間を複数の領域に分割し、

前記近似信号生成部は、分割された領域ごとに、前記サブバンド信号で表された混入信号に対応するゲインを乗算する

請求項 2記載のオーディオ信号復号化装置。

[4] 前記補助情報は、離散コサイン変換が施された周波数軸上のスペクトル信号に対して、周波数領域の前記分割情報と、前記各領域内のゲインの分布を示す周波数マトリタスを含み、

前記領域分割部は、前記離散コサイン変換により周波数軸上のスペクトル信号で表されて!/ヽる混入信号に対し、前記分割情報に従って前記周波数領域を複数の領域に分割し、

前記近似信号生成部は、分割された領域ごとに、前記スペクトル信号で表された混入信号に対応するゲインを乗算する

請求項 2記載のオーディオ信号復号化装置。

[5] 前記補助情報は、混入される前の複数のオーディオ信号のそれぞれにっき、その中の 1つを基準信号とした場合の位相差を示す位相情報を含み、

前記信号分離手段は、

混入される前の複数の前記オーディオ信号を、前記補助情報内の前記位相情報を用いて前記基準信号で表し、前記混入信号から演算により求められる前記基準信号から、前記各オーディオ信号を算出するオーディオ信号算出部を備え、

前記信号分離手段は、前記オーディオ信号算出部により算出された前記各オーディォ信号を、混入される前の前記オーディオ信号として生成する

請求項 1記載のオーディオ信号復号化装置。

[6] 前記補助情報は、 QMFフィルタ処理が施された時間周波数空間上のサブバンド信号に対して、混入される前の複数のオーディオ信号の各サブバンド信号を単位として前記位相差を示す位相情報を含み、

前記オーディオ信号算出部は、混入される前の複数の前記 QMFフィルタ処理が施された前記オーディオ信号を、サブバンド信号ごとに、前記補助情報内の前記位相情報を用いて前記基準信号のサブバンド信号で表す請求項 5記載のオーディオ信号復号化装置。

[7] 混入される前の複数のオーディオ信号を構成するサブバンド信号で、前記補助情報に前記位相情報が含まれないサブバンド信号は、前記基準信号に対して相関の低!、信号である力、ノイズ性の信号であるか又は聴覚的に位相差が感知されにく!/ヽ高域の信号である

請求項 6記載のオーディオ信号復号化装置。

[8] 前記補助情報は、混入される前の複数のオーディオ信号同士の相関の度合いを示すフラグを含み、

前記信号分離手段は、前記補助情報に含まれるフラグが前記オーディオ信号同士の相関が高いことを示している場合、前記オーディオ信号算出部により算出された前記各オーディオ信号を、混入される前の前記オーディオ信号として生成する

請求項 5記載のオーディオ信号復号化装置。

[9] 前記補助情報は、混入される前の 1以上のオーディオ信号を前記混入信号の関数として表すための線形予測係数を含み、

前記信号分離手段は、

前記補助情報内の前記線形予測係数を用いて、前記混入信号の関数として表される無相関信号を算出する無相関信号算出部を備え、

前記信号分離手段は、算出された前記無相関信号を、前記混入信号から除去することによって、混入される前の前記オーディオ信号を生成する

請求項 1記載のオーディオ信号復号化装置。

[10] 前記補助情報は、混入される前の複数のオーディオ信号同士の相関の度合いを示すフラグを含み、

前記信号分離手段は、前記補助情報に含まれるフラグが前記オーディオ信号同士の相関が低いことを示している場合、前記無相関信号を、前記混入信号から除去することによって、混入される前の前記オーディオ信号を生成する

請求項 9記載のオーディオ信号復号化装置。

[11] 前記線形予測係数は、混入信号を入力信号とする線形予測フィルタを、関数を用いて定義し、前記線形予測フィルタの出力が、前記混入信号に混入される前の少なくとも何れかの前記オーディオ信号を表すように導出された係数である請求項 9記載のオーディオ信号復号化装置。

[12] 混入される前の複数の前記オーディオ信号は、マルチチャネル信号を構成する各チャネルのオーディオ信号であり、前記混入信号は前記マルチチャネル信号をダウンミタスして得られるダウンミックス信号であって、

前記復号化手段は、前記混入信号を表す前記符号列を復号化してダウンミックス信号を生成し、

前記信号分離手段は、抽出された前記補助情報に基づいて、ダウンミクスされる前のマルチチャネル信号と聴覚的に近似する複数のオーディオ信号を生成する請求項 1記載のオーディオ信号復号化装置。

[13] 複数のオーディオ信号が混入された混入信号を符号ィ匕する符号ィ匕装置であって、入力される複数のオーディオ信号を混入して、元のオーディオ信号よりも少数のォ一ディォ信号を表す混入信号を生成する混入信号生成手段と、

前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディォ信号を分離するための補助情報を生成する補助情報生成手段と、

前記混入信号を符号化する符号化手段と、

符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成する符号列生成手段と

を備えるオーディオ信号符号化装置。

[14] 符号列を復号化してオーディオ信号を出力するオーディオ信号復号化方法であつて、

複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出し、

前記混入信号を表す前記符号列を復号化し、

抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディォ信号を生成し、復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する

ステップを含むオーディオ信号復号化方法。

[15] 複数のオーディオ信号が混入された混入信号を符号ィ匕する符号ィ匕方法であって、入力される複数のオーディオ信号を混入して、混入される前の前記オーディオ信号よりも少数のオーディオ信号を表す混入信号を生成し、

前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディォ信号を分離するための補助情報を生成し、

前記混入信号を符号化し、

符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成するステップを含むオーディオ信号符号化方法。

[16] 符号列を復号ィ匕してオーディオ信号を出力するオーディオ信号復号ィ匕装置のためのプログラムであって、コンピュータに

複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列力抽出するステップと、前記混入信号を表す前記符号列を復号化するステツプと、抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のォーディォ信号を生成するステップと、復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生するステップとを実行させるプログラム。

[17] 複数のオーディオ信号が混入された混入信号を符号化する符号化装置のためのプログラムであって、コンピュータに

入力される複数のオーディオ信号を混入して、混入される前の前記オーディオ信号よりも少数のオーディオ信号を表す混入信号を生成するステップと、前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディオ信号を分離するための補助情報を生成するステップと、前記混入信号を符号化するステップと、符号ィ匕された前記混入信号と生成された前記補助情報とを含む符号列を生成するステツプを実行させるプログラム。

[18] コンピュータに、複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出するステップと、前記混入信号を表す前記符号列を復号化するステップと、抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成するステップと、復号化された前記混入信号を再生するか又は前記混入信号力分離された複数のオーディオ信号を再生するステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

[19] コンピュータに、入力される複数のオーディオ信号を混入して、混入される前の前記オーディオ信号よりも少数のオーディオ信号を表す混入信号を生成するステップと、前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディォ信号を分離するための補助情報を生成するステップと、前記混入信号を符号化するステップと、符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成するステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。