JP4838361B2

JP4838361B2 - オーディオ信号のデコーディング方法及びその装置

Info

Publication number: JP4838361B2
Application number: JP2009537083A
Authority: JP
Inventors: オオウ，ヒェン; ウォンジュン，ヤン
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2006-11-15
Filing date: 2007-11-15
Publication date: 2011-12-14
Anticipated expiration: 2027-11-15
Also published as: US7672744B2; CA2669091C; KR20090082927A; BRPI0718614A2; CN101536086B; WO2008060111A1; CN101536086A; HK1136380A1; EP2092516A4; AU2007320218A1; AU2007320218B2; MX2009005159A; CA2669091A1; EP2092516A1; US20090171676A1; JP2010509884A; US20080269929A1; KR101100221B1

Description

本発明は、オーディオ信号のデコーディング方法及びその装置に係り、より詳細には、様々なデジタル媒体を介して受信したオーディオ信号をデコーディングする方法及びその装置に関する。

複数個のオブジェクト（object）をダウンミキシングしてモノ信号またはステレオ信号を生成すると同時に、それぞれのオブジェクトから情報（またはパラメータ）を抽出することができる。このような情報はオーディオ信号のデコーディングに利用することができる。また、マルチポイント制御ユニット（Multipoint Control Unit：ＭＣＵ）における出力オーディオ信号は、それぞれのオブジェクトに対応する情報を用いて生成することができる。

マルチポイント制御ユニット（ＭＣＵ）は、コンファレンスコール（conference call）を用いて遠隔の場所から提供された信号を統合することによってテレコンファレンス（teleconference）で使用できる装置である。近年、統合（convergence）技術が技術分野において脚光を浴びている。

従来のマルチポイント制御ユニット（ＭＣＵ）結合部は、マルチチャネルオーディオ信号を受信して結合信号を生成した。しかし、マルチチャネル情報のみを持つマルチチャネルオーディオ信号をマルチポイント制御ユニットで利用する場合、それぞれのチャネルゲイン及びパニングは制御できるが、オブジェクトゲイン及びパニングは制御できないという不具合があった。

デコーディング装置は、ダウンミックス信号及び空間情報を受信し、空間情報を用いて出力信号を生成する。この出力信号は、ユーザ入力または再生構成のような他の入力信号に基づいてレンダリングすることができる。それぞれのオブジェクトを制御するために、デコーディング装置はマルチオブジェクト信号を受信し、これをデコーディングするために処理することができる。

しかしながら、全てのマルチオブジェクト信号をデコーディングする方法及び装置は、広い帯域幅を必要とする。したがって、新しいマルチオブジェクト信号をデコーディングする方法及び装置は、広い帯域幅などの要件を緩和しなければならない。また、チャネル基盤のデコーディングとの下位互換性（backward compatibility）のために、マルチチャネル情報に容易に変換されうる（オブジェクトに対応する）空間情報が必要である。

したがって、本発明は、上記技術的課題を解決するために実質的に従来技術の問題点を一つ以上除去したり従来技術の欠点を改善したりするオーディオ信号のデコーディング方法及び装置に関する。
上記課題を解決するために、本発明は、オブジェクトゲイン情報及びオブジェクトレベル情報を含むオブジェクト情報を用いてオーディオ信号をデコーディングし、各ダウンミックスチャネルに対してオブジェクトが含まれる割合を変化させることによってオーディオ信号のダウンミックスを変更するオーディオ信号処理方法及び装置を提供する。

また、上記課題を解決するために、本発明は、マルチポイント制御ユニット結合部で生成される結合ダウンミックス信号及び結合オブジェクト情報を含み、これらはオブジェクトゲインを調節して遠隔コンファレンス等に出力するようにするオーディオ信号処理方法及び装置を提供する。

付加的な本発明の長所、目的及び特徴は、以下で説明され、後述する内容は、本発明の属する技術分野における通常の知識を持つ者にとって明らかである。本発明の他の目的及び長所は、添付の図面の他に、以下に述べられる明細書及び請求項で明確に説明される。

本発明の様々な実施例は、処理時間及び必要なコンピュータ資源を減らすことによって、高速で效率よくマルチオブジェクトオーディオ信号をデコーディングする方法及びその装置を提供し、広い帯域幅のような要件を和らげることができる。本発明の一実施例によるオブジェクト情報は、チャネル基盤のデコーディング装置との下位互換性を提供することもできる。

本発明の理解を助けるために添付した図面は、本発明の好ましい実施例を図示し、詳細な説明と共に本発明の原理を説明するために提供される。

本発明の一実施例によるオーディオ信号のデコーディング装置を示すブロック図である。本発明の一実施例によるオーディオ信号のデコーディング方法を示すフローチャートである。本発明の他の実施例によるオーディオ信号のデコーディング装置を示すブロック図である。本発明の一実施例による情報生成部を示すブロック図である。本発明の一実施例によるオブジェクトゲイン情報生成部を示すブロック図である。本発明の他の実施例による情報生成部を示すブロック図である。本発明の他の実施例によるオーディオ信号の処理装置を示すブロック図である。本発明の一実施例によるマルチポイント制御ユニット（ＭＣＵ）を示すブロック図である。本発明の一実施例による結合オブジェクト情報エンコーディング部を示すブロック図である。

本発明の意図に従って上記目的と利点を実現するため、以下で実施形態が広範に説明されるように、本発明に係るダウンミックス信号をデコーディングする方法は、ダウンミックス信号、オブジェクト情報及びミックス情報を受信する段階であって、前記オブジェクト情報は、オブジェクトレベル情報、オブジェクト相関情報及びオブジェクトゲイン情報を含み、前記オブジェクトレベル情報は、基準情報として前記オブジェクトレベルのうちの一つを用いてオブジェクトに対応するオブジェクトレベルを正規化して生成され、前記オブジェクト相関情報は、二つの選択されたオブジェクトの組合せから提供され、前記オブジェクトゲイン情報は、オブジェクトゲイン値情報及びオブジェクトゲイン率情報のうち少なくとも一つを含む、段階と、前記オブジェクト情報及び前記ミックス情報を用いてダウンミックス処理情報を生成する段階と、前記ダウンミックス処理情報を用いて前記ダウンミックス信号を処理する段階と、を含むことを特徴とする。
本発明に関する上述の概括的な説明及び以下の詳細な説明は、ともに例示や説明のためのものであり、特許請求の範囲に記載される本発明をさらに説明することを目的としている。

以下、添付の図面を参照しつつ図示された本発明の好適な実施例について詳細に説明する。可能な限り、全ての図面を通して同様又は類似の部分には同一の符号を使用する。
本発明を説明するに先立って、本発明において開示されるほとんどの用語は、従来技術において周知の一般的用語に対応している。しかしながら、一部の用語は本願で選んだものであり、本発明の以下の説明において開示される。したがって、出願人が定義した用語に関しては、本発明における意味に基づいて理解するのが望ましいことに留意されたい。
本発明の実施例は、当該技術分野における通常の知識を持つ者に本発明をより完全に説明するために提供されるもので、下記実施例は、様々な他の形態に変形することができ、本発明の範囲が下記の実施例に限定されるものではない。むしろ、これらの実施例は本開示をより充実した完全なものにし、当業者に本発明の思想を完全に伝達するために提供されるものである。

図１は、本発明の一実施例によるオーディオ信号のデコーディング装置１０００を示すブロック図であり、図３は、本発明の他の実施例によるオーディオ信号のデコーディング装置２０００を示すブロック図である。

オーディオ信号のデコーディング装置１０００，２０００の２つの実施例は、オーディオ信号デコーディング装置１０００がマルチチャネルデコーディング部１３００を有するのに対し、オーディオ信号デコーディング装置２０００はマルチチャネルデコーディング部１３００を有しないという点で異なる。情報生成部１１００，２１００及びダウンミックス信号処理部１２００，２２００等の他の構成要素は、図１及び図３のオーディオ信号デコーディング装置１０００，２０００において同様である。

図１を参照すると、オーディオ信号のデコーディング装置１０００は、情報生成部１１００、ダウンミックス信号処理部１２００及びマルチチャネルデコーディング部１３００を含む。情報生成部１１００は、ユーザ入力またはビットストリームからオブジェクト情報（object information）及びミックス情報（mix information）を受信し、これを用いてダウンミックス信号処理情報（downmix processing information）を生成する。

ここで、オブジェクト情報は、オブジェクトレベル情報（object level information）、オブジェクト相関情報（object correlation information）及びオブジェクトゲイン情報（object gain information）を含む。オブジェクトレベル情報は、オブジェクトのレベルの一つである基準情報を用いて各オブジェクトに対応するオブジェクトレベルを正規化することによって生成することができる。オブジェクト相関情報は、二つの選択されたオブジェクトの組合せから提供することができる。オブジェクトゲイン情報は、オブジェクトゲイン値情報（object gain value information）及び／またはオブジェクトゲイン率情報（object gain ratio information）を含む。また、ダウンミックス信号処理情報は、オブジェクトゲイン及びパニングを調節するための情報を含み、これはダウンミックス信号処理部１２００に入力される。

ダウンミックス信号処理部１２００は、ダウンミックス信号と情報生成部１１００からのダウンミックス信号処理情報を受信する。ダウンミックス信号処理部１２００は、ダウンミックス信号処理情報を用いてダウンミックス信号を処理でき、これにより、処理済ダウンミックス信号（processed downmix signal）が生成される。例えば、ダウンミックス信号処理部１２００は、ダウンミックス信号処理情報をダウンミックス信号に適用して、ダウンミックス信号に含まれた一つ以上のオブジェクトゲイン及びオブジェクトパニングを変化させることができ、これらオブジェクトゲイン及びパニングが変化した信号である処理済ダウンミックス信号を生成することができる。

処理済ダウンミックス信号はマルチチャネルデコーディング部１３００に入力されてアップミキシングされ、スピーカーのような出力装置から出力されてもよい。情報生成部から出力されたマルチチャネル情報（multi-channel information）もマルチチャネルデコーディング部１３００に入力してもよい。本発明の一部実施例において、マルチチャネルデコーディング部１３００は、ＭＰＥＧサラウンドシステム（MPEG surround system）のデコーディング部と同様なユニットとすることができる。

代替方法として、処理済ダウンミックス信号は、図３のデコーディング装置２０００のように、出力装置に直接伝送されて出力されてもよい。処理済ダウンミックス信号がスピーカーから直接出力されるために、ダウンミックス信号処理部２２００は、合成フィルタバンク（synthesis filter bank）の役割を果たし、ＰＣＭデータを出力することができる。また、上記処理済ダウンミックス信号を直接ＰＣＭ信号として出力するか、マルチチャネルデコーディング部に入力するかは、ユーザ選択によって決定してもよい。

図２は、図１に基づいて本発明の一実施例によるオーディオ信号のデコーディング方法を示すフローチャートである。まず、ダウンミックス信号、オブジェクト情報及びミックス情報を受信する（Ｓ１１０）。オブジェクト情報及びミックス情報を用いてダウンミックス信号処理情報を生成する（Ｓ１２０）。この後、ダウンミックス信号処理情報を用いてダウンミックス信号を処理することによって、処理済ダウンミックス信号が生成される（Ｓ１３０）。

以下、情報生成部１１００の構成を、図４〜図６を参照してより詳細に説明する。
１. オブジェクト情報
１.１基準情報及びオブジェクトレベル情報

図４は、本発明の一実施例によるオーディオ信号処理装置の情報生成部の構成を例示するブロック図である。図４を参照すると、情報生成部１１００は、オブジェクト情報を受け取り、該オブジェクト情報を用いてダウンミックス信号処理情報を生成する。

情報生成部１１００は、オブジェクトレベル情報デコーディング部１１１０ａ、オブジェクトゲイン情報生成部１１２０ａ及びオブジェクト相関情報生成部１１３０ａを含む。

ダウンミックス信号は、複数個のオブジェクトを含み、それらオブジェクトは、オブジェクトごとにオブジェクトレベルを有する。

オブジェクトレベル情報は、基準情報（reference information）を用いてオブジェクトレベルを正規化することによって生成される。この基準情報は、オブジェクトレベルのうちの一つとすることができ、より詳細には、全てのオブジェクトレベルのうち最も大きいオブジェクトレベルとすることができる。

例えば、ダウンミックス信号はオブジェクトs_iを含み、オブジェクトs_iに対応するオブジェクトレベルはPs_iと仮定する。

もし、オブジェクト情報をエンコーディングすることによってオブジェクトレベルエネルギーが伝送されるとすれば、このオブジェクト情報は、下記のような情報になりうる。

Ps_iは様々な方法を用いて獲得することができる。例えば、Ps_iは、"s_i（n）²"または"E[s_i（n）²]"でありうる。Ps_iは、各オブジェクトレベル情報に対応する情報として伝送することができる。本明細書で、"s_i（n）"は、ｉ番目のオブジェクトを示し、時間ドメインの信号であるか、指定されたバンド内のサブバンド信号でありうる。

しかし、もし、それぞれのオブジェクトに対応するオブジェクトレベル情報がその値のまま伝送されるとすれば、該オブジェクトのオブジェクトレベルが広い範囲で変動するので、量子化が難しくなりうる。

したがって、オブジェクトレベル情報は、全てのオブジェクトエネルギーのうち最も大きいオブジェクトレベルエネルギーである基準情報を用いて正規化することができる。もし、この基準情報がr_1である場合、オブジェクトレベル情報は、下記数式１のように算出して伝送することができる。

ここで、r_１（n）は、基準情報を表す。
全てのオブジェクトレベル情報は、１以下の範囲に含まれる。

したがって、変動範囲は、オーディオ信号がエンコーディングされうる範囲に圧縮することができる。また、オブジェクトレベル情報は、他の信号処理に利用するために、基準情報、デフォルト情報、原オブジェクトレベルエネルギーなどを含むことができる。このオブジェクトレベル情報はそれぞれのオブジェクトに対応し、オブジェクトレベル情報の個数は、ダウンミックス信号に含まれるオブジェクトの個数と同一である。

１.２オブジェクトゲイン情報
オブジェクト情報は、オブジェクトゲイン値情報及びオブジェクトゲイン率情報のうち少なくとも一つを含むオブジェクトゲイン情報を含む。図５は、本発明の一実施例によるオーディオ信号処理装置を示すブロック図で、より詳細には、情報生成部１１００のオブジェクトゲイン情報デコーディング部を例示するブロック図である。

オブジェクトゲイン情報生成部１１２０ａは、オブジェクトゲイン値情報生成部１１２１及びオブジェクトゲイン率情報生成部１１２２を含む。オブジェクトゲイン情報は、一つより多いチャネルを有するダウンミックス信号を生成する目的で、一つのオブジェクトをダウンミックス信号の各チャネルに含めることと関連する。

１.２.１オブジェクトゲイン値情報
オブジェクトゲイン値情報は、オブジェクトのゲイン値を含む。本発明の一部実施例では、オブジェクトゲインは、処理済ダウンミックス信号を生成する前にそれぞれのオブジェクトに適用される。

例えば、ダウンミックス信号が複数個のオブジェクトを含む場合、下記数式２のように、オブジェクトに対応するオブジェクトゲイン値情報をオブジェクトレベルに乗算することで、ゲインの適用されたオブジェクトを生成し、ゲインの適用された全てのオブジェクトは、処理済ダウンミックス信号を生成するために合算される。

ここで、Ｘは、伝送される処理済モノダウンミックス信号で、s_iはオブジェクトレベルで、a_iは、各ダウンミックスチャネルに含まれるオブジェクトのオブジェクトゲイン値情報である。

１.２.２オブジェクトゲイン率情報
オブジェクトゲイン情報は、オブジェクトゲイン値情報の他に、オブジェクトゲイン率情報をさらに含むことができる。このオブジェクトゲイン率情報は、処理済ダウンミックス信号の各チャネルに寄与する各オブジェクトゲイン間の比率値を含む。

オブジェクトゲイン率情報は、ダウンミックス信号処理部１２００によってダウンミックスを処理するために利用することができ、これにより、モノラルまたはステレオチャネルで伝送される処理済ダウンミックス信号を獲得することができる。ステレオ信号である場合、処理済ダウンミックス信号は下記数式３のようになり、オブジェクトゲイン率情報は、下記数式４によって獲得することができる。

ここで、x_1及びx_2は、ダウンミックス信号の各チャネル信号であり、s_iは、オブジェクトレベルであり、a_i及びb_iは、各ダウンミックス信号のチャネルに含まれるオブジェクトのオブジェクトゲイン値情報である。

ここで、m_iは、オブジェクトゲイン率情報である。

オブジェクトゲイン情報、すなわち、オブジェクトゲイン値情報（a_i，b_i）及びオブジェクトゲイン率情報（m_i）は、ビットストリームに含まれたオブジェクトゲイン情報の多様な組合せで情報生成部１１００に伝送することができる。この組合せは、例えば、（a_i，b_i），（m_i，a_i），（m_i，b_i）などである。情報生成部１１００は、原オブジェクト情報を復元するために当該組合せをデコーディングすることができる。情報生成部１１００により行なわれるこれらの組合せのデコーディングは、例えば、マルチチャネルデコーディング部１３００のような他のデコーディング部で採択されうることは当業者には理解できる。

このオブジェクトゲイン情報が情報生成部１１００にオブジェクトゲイン値情報（a_i，b_i）の組合せで伝送される時、このオブジェクトゲイン値情報は調整することができる。万一、b_iが１に調整されるように規定されている場合、a_iのみをオブジェクトゲイン情報として伝送することができる。この場合にも、情報生成部１１００は、規定にしたがって原オブジェクト情報を復元することができる。オブジェクトゲイン値を調整することによって、情報生成部１１００に伝送される情報の個数を減らすことができる。

選択的に、オブジェクトゲイン率情報（m_i）は、下記数式５のような様々な方法で獲得することができる。

（α，βは、分子、分母が０に近づくのを防止するための極めて小さい数である。）
オブジェクトゲイン率情報がs_iを含む場合、s_iとm_iの値が同一であれば、m_iは同一値のs_iを含めなくてよい。例えば、１）a_i＝0.5，b_i＝0.5、２）a_i＝2，b_i＝2の場合、１）、２）両方とも１のm_i値を有する。しかし、これら両方におけるa_i，b_iは、相異なる値を有する。

各チャネルを通じて伝送される処理済ダウンミックス信号を獲得するために、新しい方法では、下記数式６を利用することができる。

ここで、a_i'及びb_i'は、下記の条件を満たす値である。
（a_i'＋b_i'＝C）または（a_i'²＋b_i'²＝C）または（a_i'＝Cまたはb_i'＝C）
ただし、s_i'＝g_i×s_i

最後に、オブジェクトゲイン率情報は、m_i'（＝a_i'/b_i'）として伝送されるので、情報生成部１１００に伝送される情報の個数を減らすことができる。オーディオ信号デコーディング装置１０００，２０００におけるオーディオ信号の歪みを防止するためにm_iが伝送されてもよい。

１.３オブジェクト相関情報
図４を参照すると、情報デコーディング部（情報生成部）１１００は、オブジェクト相関情報（object correlation information）を受信する。このオブジェクト相関情報は、二つのオブジェクト間で推定されるもので、両オブジェクト間の相関度または一貫性を表す。

二つのオブジェクトが、元のチャネルが同じオブジェクト（obj_L，obj_R）であり、互いに異なるチャネルを通じて伝送される場合に、オブジェクト相関情報が存在することがある。

第一に、オブジェクトがステレオオブジェクトであれば、このステレオオブジェクトはダウンミキシングされてモノオブジェクトを生成し、ステレオオブジェクトのチャネル間の関係を表す子孫オブジェクト情報（descendant object information）を生成することができる。本明細書では、この第一の方法を“モノ方式（mono method）”という。この場合、モノオブジェクトのオブジェクトレベルを用いてオブジェクトレベル情報を生成することができる。

第二に、ステレオオブジェクトを二つの別個のモノオブジェクトとして認知する方法がある。この場合、二つの別個のモノオブジェクトのレベルを用いてオブジェクトレベル情報が生成される。本明細書では、この第二の方法を“ステレオ方式（stereo method）”と呼ぶ。この第二の方法を用いて伝送される情報の量は、第一の方法を利用する場合に比べて大きくなる。

ステレオオブジェクトを処理するために、例えば、それぞれのモノオブジェクトのように、ステレオオブジェクトのうち１番目のチャネル信号をs_i、２番目のチャネル信号をs_jとすることができる。

これらチャネル信号のオブジェクトレベルはPs_i，Ps_jでありうる。

ステレオオブジェクトの場合、同一オブジェクトの左側チャネル及び右側チャネルに該当するオブジェクト（s_i，s_j）を表すオブジェクト情報は互いに似ているので、オブジェクト相関情報は、それらオブジェクト情報の類似性を表すために利用することができる。

オブジェクト相関情報は代表値としてチャネル信号のパワー値のうちの一つを含む。例えば、チャネル信号のパワー値は、ステレオオブジェクトの左側チャネル及び下記数式７のように代表値を用いて正規化したパワー値でありうる。

オブジェクト情報の伝送ビット数を減らすために、オブジェクト相関情報を利用することが効率的である。

一方、オブジェクト相関情報は、下記数式８のように代表値を用いて生成することができる。

オブジェクト相関情報は、オブジェクト間の関連性を表すので、該オブジェクトがマルチチャネルオブジェクトまたはステレオオブジェクトの二つのチャネルオブジェクトなのか、換言すれば、それぞれのオブジェクトが同一オブジェクトのそれぞれ異なるチャネルオブジェクトなのか否かを表す。

また、二つのオブジェクトの関連性に関しては、差異情報を利用することもできる。

他の情報には、下記数式９のようにステレオオブジェクトの和または差信号を含むことができる。

このM及びPs_Mを含むオブジェクト相関情報は、伝送効率を向上させ、エラー（error）を容易に修正することができる。

オブジェクト情報のビット率を減少させるために、オブジェクト相関情報の数は、同一オブジェクトにおいて様々に採択することができる。オブジェクトがステレオまたはマルチチャネルオブジェクトの一部か否かを表す相関フラグ情報（correlation_flag）は、オブジェクト情報から受信することができる。この相関フラグ情報を、オブジェクト情報に含め情報生成部１１００で受信することができる。

相関フラグ情報の意味は、下記表１の通りである。

相関フラグ情報が０の場合、オブジェクト相関情報は、オブジェクト相関情報デコーディング部１１３０ａに伝送されない。もし、相関フラグ情報がデコーディング装置１０００，２０００に伝送されない場合には、ダウンミックス信号の処理のためにデフォルト値を利用することができる。

一方、相関フラグ情報が１の場合は、選択された二つのオブジェクトの類似性を表すオブジェクト相関情報が、オブジェクト相関情報デコーディング部１１３０ａに伝送される。

また、オブジェクト情報は別途に基準情報をさらに含むことができる。基準情報が存在する場合、この基準情報はマルチポイント制御ユニット結合部（MCU combiner）のための識別子になりうる。

本発明によるオーディオ信号のエンコーディング方法は、マルチオブジェクトオーディオ信号を受信する段階と、ダウンミックス信号及びオブジェクト情報を生成する段階と、を含み、このオブジェクト情報は、オブジェクトレベル情報、オブジェクトゲイン情報及びオブジェクト相関情報を含む。オブジェクトレベル情報、オブジェクトゲイン情報及びオブジェクト相関情報は、前述した方法で生成される。この方法に本発明によるオーディオ信号のエンコーディング方法が限定されるわけではない。

また、本発明によるオーディオ信号のエンコーディング装置は、マルチオブジェクトオーディオ信号からダウンミックス信号を生成するダウンミキシング部と、マルチオブジェクトオーディオ信号からオブジェクトレベル情報、オブジェクトゲイン情報及びオブジェクト相関情報を含むオブジェクト情報を抽出するオブジェクト情報生成部と、を含む。同様に、この装置に本発明によるオーディオ信号のエンコーディング装置が限定されるわけではない。

２. マルチポイント制御ユニット結合部（MCU combiner）
マルチオブジェクト信号を含むオーディオ信号は、マルチポイント制御ユニット結合部で使用してオブジェクトゲインを調節し、遠隔のコンファレンス装置等に出力することができる。マルチオブジェクト信号を含むオーディオ信号を用いる場合、各オブジェクト信号の特性に対応してオブジェクトゲイン及びパニング（panning）を調節することが効果的である。

例えば、マルチチャネルオーディオ信号は、ボーカル信号、背景音楽（ＢＭＧ）及びナレーション（narration）音を含むことができる。この場合、必要に応じて、聴取者がボーカル信号及びナレーション音無しで背景音楽のみを利用したり聞いたりしようとする時、または、テレコンファレンス（teleconference）を用いて対話しようとする時、特定オブジェクトのみを削除したり制御したりすることができる。このような場合、マルチオブジェクト信号を含むオーディオ信号を利用すると上記の問題点を解決することができる。

また、本発明によるデコーディング方法はオブジェクト情報を用いて改善されたカラオケシステムに利用することができる。

図６は、本発明の一実施例によるオーディオ信号の処理装置を示すブロック図である。図６を参照すると、オーディオ信号の処理装置は、第１エンコーダ３１００、第２エンコーダ４１００、そしてマルチポイント制御ユニット結合部５１００及びダウンミキシング部５２００を含む結合部５０００を含む。第１エンコーダ３１００及び第２エンコーダ４１００はそれぞれ第１オーディオ信号及び第２オーディオ信号を受信することができ、第１エンコーダ３１００では第１ダウンミックス信号及び第１オブジェクト情報を生成し、第２エンコーダ４１００では第２ダウンミックス信号及び第２オブジェクト情報を生成することができる。

結合部５０００は、第１エンコーダ３１００から第１ダウンミックス信号及び第１オブジェクト情報を受信し、第２エンコーダ４１００からは第２ダウンミックス信号及び第２オブジェクト情報を受信して、結合ダウンミックス信号及び結合オブジェクト情報を生成する。

結合部５０００の出力信号である結合ダウンミックス信号は、一般のダウンミキシング部を用いて生成することができる。したがって、ダウンミキシング部５２００についての詳細な説明は省略する。

２.１結合オブジェクト情報
図７は、本発明の一実施例によるオーディオ信号の処理装置を示すブロック図であり、より詳細には、マルチポイント制御ユニット結合部５１００を例示するブロック図である。図７を参照すると、マルチポイント制御ユニット結合部５１００は、第１オブジェクト情報、第２オブジェクト情報及び制御情報を用いて結合オブジェクト情報を生成するように構成することができる。この結合オブジェクト情報は、第１エンコーダ３１００から出力された第１ダウンミックス信号と第２エンコーダ４１００から出力された第２ダウンミックス信号に対応する全ての情報を含む。

マルチポイント制御ユニット結合部５１００は、オブジェクト情報デコーディング部５１１０及び結合オブジェクト情報エンコーディング部５１２０を含む。オブジェクト情報デコーディング部５１１０は、第１エンコーダ３１００からの第１オブジェクト情報及び第２エンコーダ４１００からの第２オブジェクト情報を受信し、第１基準値、第１オブジェクトレベル情報、第１オブジェクトゲイン情報、第２基準値、第２オブジェクトレベル情報及び第２オブジェクトゲイン情報を生成するように構成することができる。ここで、基準値、オブジェクトレベル情報及びオブジェクトゲイン情報は、図１〜図６における説明と同一である。したがって、このような情報を生成する方法についての詳細は省略する。

また、マルチポイント制御ユニット結合部５１００は、入力信号が制限されることなく複数のエンコーダから少なくとも二つのオブジェクト情報を受信して、結合ダウンミックス信号に対応する複数の情報を含む結合オブジェクト情報を生成することができる。

２.２制御情報
図８は、本発明の一実施例によるオーディオ信号の処理装置を示すブロック図であり、より詳細には、結合オブジェクト情報エンコーディング部５１２０を例示するブロック図である。図８を参照すると、結合オブジェクト情報エンコーディング部５１２０は、上記の情報（第１オブジェクト情報及び第２オブジェクト情報）及びユーザコントロールから制御情報（control information）を受信して、デコーダ（図示せず）に入力される結合オブジェクト情報を生成するように構成することができる。

ここで、制御情報は、第１オブジェクト情報及び第２オブジェクト情報を処理でき、結合オブジェクト情報エンコーディング部５１２０において第１オブジェクト情報及び第２オブジェクト情報の組合せに適用することができる。この結合オブジェクト情報は、この制御情報によって処理して生成することができ、制御情報は、結合オブジェクト情報に対応して結合するオブジェクトを表し、オブジェクト情報の組合せでオブジェクトゲインが調節されることを表す。

この制御情報は、オブジェクト制御情報、ゲイン制御情報及びあて先情報を含み、これらについては以下で説明する。

２.２.１オブジェクト制御情報
オブジェクト制御情報は、結合オブジェクト情報を生成するためのターゲットオブジェクト（target object）を決定することができる。このオブジェクト制御情報は、第１オブジェクト情報または第２オブジェクト情報に対応するオブジェクトの必要な集合を決定することができる。

オブジェクト制御情報は、オブジェクトレベル情報エンコーディング部５１２２でオブジェクトレベル情報に適用されて、結合オブジェクトレベル情報を生成でき、この結合オブジェクトレベル情報は、オブジェクト制御情報によって決定される一部のオブジェクトに対する情報を含むことができ、様々な目的に応じて利用することができる。

例えば、第１オブジェクト情報は、ボーカル、ピアノ、ギターオブジェクトを含む音楽信号を含むことができる。この音楽信号からピアノ、ギター、バイオリンオブジェクトを含むオーディオ信号を生成するために、オブジェクト制御情報及びユーザコントロールを用いてボーカルオブジェクトのない結合オブジェクト情報を獲得することができる。

２.２.２ゲイン制御情報
オブジェクトゲイン情報エンコーディング部５１２３は、第１オブジェクト情報からの第１ゲイン情報、第２オブジェクト情報からの第２ゲイン情報、ゲイン制御情報及びあて先情報を受信して、結合オブジェクトゲイン情報を生成するように構成することができる。

ゲイン制御情報は、マルチポイント制御ユニット結合部でオブジェクトゲインを調節するために用いることができる。オブジェクトレベル情報エンコーディング部５１２２で結合オブジェクトレベル情報に利用されるオブジェクトを選択するオブジェクト制御情報とは違い、ゲイン制御情報は、オブジェクトゲイン情報エンコーディング部５１２３で利用することができる。このゲイン制御情報は０〜１の範囲内の値にすることができる。

２.２.３あて先情報
上記のゲイン制御情報の範囲内で、もしオブジェクトに対応するゲイン制御情報が０であれば、このオブジェクトに対するオブジェクト情報は結合オブジェクト情報に含まれない。ゲイン制御情報が０または１の場合、このゲイン制御情報はあて先情報（destination information）と呼ぶ。このあて先情報は、０または１の値を持つ特定ゲイン制御情報を含み、結合されたダウンミックス信号が出力されるあて先を表す識別子を含む。

あて先情報は、例えば、ささやき声モード（whisper mode）、秘密会議（secret meeting）のように特別なモードのために利用することができ、オブジェクトの使用を制御するために利用することができる。

図８を参照すると、あて先情報は、オブジェクトゲイン情報エンコーディング部５１２３に入力され、結合オブジェクト情報のオブジェクトゲインを調節するために第１オブジェクトゲイン情報及び第２オブジェクトゲイン情報に適用することができる。万一マルチポイント制御ユニット結合部が３つのポートを持つとすれば、あて先情報は各出力ポートに対応するそれぞれのゲイン値（例えば、０または１）を含むことができる。

上記のゲイン制御情報及びあて先情報はオブジェクトゲイン情報エンコーディング部５１２３に同時にまたは個別に入力してもよい。

２.３結合オブジェクト情報を生成する方法
図８は、結合オブジェクト情報エンコーディング部５１２０を例示するブロック図である。図８を参照すると、結合オブジェクト情報エンコーディング部５１２０は、第１基準値（reference value_1）、第２基準値（reference value_2）、第１オブジェクトレベル情報、第２オブジェクトレベル情報、第１オブジェクトゲイン情報、第２オブジェクトゲイン情報、オブジェクト制御情報、ゲイン制御情報及びあて先情報を受信し、これらの情報を用いて結合オブジェクト情報を生成する。

２.３.１基準情報の選定
図８を再び参照すると、結合オブジェクト情報エンコーディング部５１２０は、基準値生成部５１２１、オブジェクトレベル情報エンコーディング部５１２２及びオブジェクトゲイン情報エンコーディング部５１２３を含む。

結合オブジェクト情報を生成するために、まず、結合オブジェクト情報の基準情報を推定しなければならない。それぞれのオブジェクト情報は、各オブジェクトのレベルを正規化し、オブジェクトレベル情報を生成するための基準情報を含むことができる。しかし、結合オブジェクト情報を生成するために少なくとも二つのオブジェクト情報を結合する場合、結合オブジェクト情報は、結合オブジェクトレベル情報を構成するオブジェクトレベルを正規化するための基準情報を決定する。

この結合オブジェクト情報の基準情報は、様々な方法によって決定することができる。例えば、この基準情報は、（第１オブジェクト情報に含まれた）第１基準情報であるか、それぞれのオブジェクト情報の基準情報のうち最も大きい値でありうる。

この基準情報を変更する代わりに、結合オブジェクト情報は、それぞれのオブジェクト情報のオブジェクトレベル情報を利用することができる。

２.３.２結合オブジェクト情報のオブジェクトレベル情報
基準情報生成部５１２１は、上記のような方法で結合オブジェクト情報の基準情報を推定する。結合オブジェクト情報の基準情報が変更される前に、オブジェクトレベル情報＿ｉは基準情報＿ｉで正規化される。

オブジェクト情報＿１のオブジェクトレベル情報は下記数式１０のように、結合オブジェクト情報のオブジェクトレベル情報は下記数式１１のように仮定する。

（ここで、OL_1nは、オブジェクト情報＿１のオブジェクトレベル情報であり、EO_1nはオブジェクト情報＿１のｎ番目のオブジェクトレベルエネルギーである。）

（ここで、OL_kは、結合オブジェクト情報のｋ番目のオブジェクトレベル情報である。）

２.３.２オブジェクトゲイン情報
オブジェクトゲイン情報エンコーディング部５１２３は、第１オブジェクトゲイン情報、第２オブジェクトゲイン情報、ゲイン制御情報及びあて先情報を受信して、オブジェクトゲイン情報を生成する。あて先情報がオブジェクト情報のオン／オフを表す場合、すなわち、あて先情報が０または１の場合、オブジェクトゲイン情報は０または１になりうる。ゲイン制御情報がユーザコントロールから入力されると、このゲイン制御情報を用いて第１オブジェクトゲイン情報及び第２オブジェクトゲイン情報を変更することができる。

２.３.３オブジェクト相関情報
オブジェクト相関情報は、ステレオオブジェクトまたはマルチチャネルオブジェクトのチャネル間の類似度／非類似度を表す。したがって、オブジェクト相関情報は、マルチポイント制御ユニット結合部５１００におけるオブジェクト情報の結合の影響を受けることがある。

結合オブジェクト情報のオブジェクト相関情報は、オブジェクト情報＿ｉのオブジェクト相関情報をそのまま含むことができる。

以上説明してきた本発明は、前述した実施例及び添付の図面に限定されず、本発明の技術的思想を逸脱しない範囲内で様々な置換、変形及び変更が可能であるということは、本発明の属する技術分野における通常の知識を持つ者にとっては明白である。したがって、本発明は、添付の特許請求の範囲で規定される範囲内の変形及び変更を含むものである。

本発明は、オーディオ信号のエンコーディング及びデコーディングに利用することができる。

Claims

ダウンミックス信号、オブジェクト情報及びミックス情報を受信する段階であって、前記オブジェクト情報は、オブジェクトレベル情報、オブジェクト相関情報及びオブジェクトゲイン情報を含み、前記オブジェクトレベル情報は、基準情報として前記オブジェクトレベルのうちの一つを用いてオブジェクトに対応するオブジェクトレベルを正規化して生成され、前記オブジェクト相関情報は、二つの選択されたオブジェクトの組合せから提供され、前記オブジェクトゲイン情報は、オブジェクトゲイン値情報及びオブジェクトゲイン率情報のうち少なくとも一つを含む、段階と
前記オブジェクト情報及び前記ミックス情報を用いてダウンミックス処理情報を生成する段階と、
前記ダウンミックス処理情報を用いて前記ダウンミックス信号を処理する段階と、
を含むことを特徴とするオーディオ信号のデコーディング方法。
前記基準情報は、前記全てのオブジェクトレベルのうち最も大きいオブジェクトレベルを含むことを特徴とする請求項１に記載のオーディオ信号のデコーディング方法。
前記オブジェクトレベル情報の数は、前記ダウンミックス信号に含まれた前記オブジェクトの数と同一であることを特徴とする請求項１に記載のオーディオ信号のデコーディング方法。
前記オブジェクト相関情報は、互いに異なるチャネルを通じて伝送される同一起源のオブジェクトを表す関連情報を含むことを特徴とする請求項１に記載のオーディオ信号のデコーディング方法。
前記オブジェクト相関情報は、相関フラグ情報に基づいて存在することを特徴とする請求項１に記載のオーディオ信号のデコーディング方法。
前記オブジェクト相関情報は、相関フラグ情報に基づくデフォルト値を含むことを特徴とする請求項１に記載のオーディオ信号のデコーディング方法。
前記オブジェクトゲイン値情報は、前記ダウンミックス信号の生成のために前記オブジェクトに適用されるゲイン値を含むことを特徴とする請求項１に記載のオーディオ信号のデコーディング方法。
前記オブジェクトゲイン率情報は、前記ダウンミックス信号の少なくとも２つのチャネルに相対的に含まれるゲイン率を含むことを特徴とする請求項１に記載のオーディオ信号のデコーディング方法。
前記オブジェクト情報は、前記基準情報をさらに含むことを特徴とする請求項１に記載のオーディオ信号のデコーディング方法。
前記オブジェクト情報は、相関フラグ情報をさらに含むことを特徴とする請求項１に記載のオーディオ信号のデコーディング方法。
出力信号として前記処理されたダウンミックス信号を獲得する段階をさらに含むことを特徴とする請求項１に記載のオーディオ信号のデコーディング方法。
マルチチャネル情報を用いて前記処理されたダウンミックス信号をアップミキシングする段階をさらに含むことを特徴とする請求項１に記載のオーディオ信号のデコーディング方法。
前記ダウンミックス信号は、デジタル媒体を通じて受信されることを特徴とする請求項１に記載のオーディオ信号のデコーディング方法。
ダウンミックス信号、オブジェクト情報及びミックス情報を受信する段階であって、前記オブジェクト情報は、オブジェクトレベル情報、オブジェクト相関情報及びオブジェクトゲイン情報を含み、前記オブジェクトレベル情報は、基準情報として前記オブジェクトレベルのうちの一つを用いてオブジェクトに対応するオブジェクトレベルを正規化して生成され、前記オブジェクト相関情報は、二つの選択されたオブジェクトの組合せから提供され、前記オブジェクトゲイン情報は、オブジェクトゲイン値情報及びオブジェクトゲイン率情報のうち少なくとも一つを含む、段階と、
前記オブジェクト情報及び前記ミックス情報を用いてダウンミックス処理情報を生成する段階と、
前記ダウンミックス処理情報を用いて前記ダウンミックス信号を処理する段階と、を備える処理をプロセッサに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
ダウンミックス信号、オブジェクト情報及びミックス情報を受信し、前記オブジェクト情報及び前記ミックス情報を用いてダウンミックス処理情報を生成する情報生成部であって、前記オブジェクト情報は、オブジェクトレベル情報、オブジェクト相関情報及びオブジェクトゲイン情報を含み、前記オブジェクトレベル情報は、基準情報として前記オブジェクトレベルのうちの一つを用いてオブジェクトに対応するオブジェクトレベルを正規化して生成され、前記オブジェクト相関情報は、二つの選択されたオブジェクトの組合せから提供され、前記オブジェクトゲイン情報は、オブジェクトゲイン値情報及びオブジェクトゲイン率情報のうち少なくとも一つを含む、情報生成部と、
前記ダウンミックス信号及び前記ダウンミックス処理情報を受信し、前記ダウンミックス処理情報を用いて前記ダウンミックス信号を処理するダウンミックス信号処理部と、
を含むことを特徴とするオーディオ信号の処理装置。
マルチオブジェクトオーディオ信号を受信する段階と、
ダウンミックス信号、オブジェクト情報及びミックス情報を生成する段階と、
を含み、
前記オブジェクト情報は、オブジェクトレベル情報、オブジェクト相関情報及びオブジェクトゲイン情報を含み、前記オブジェクトレベル情報は、基準情報として前記オブジェクトレベルのうちの一つを用いてオブジェクトに対応するオブジェクトレベルを正規化して生成され、前記オブジェクト相関情報は、二つの選択されたオブジェクトの組合せから提供され、前記オブジェクトゲイン情報は、オブジェクトゲイン値情報及びオブジェクトゲイン率情報のうち少なくとも一つを含むことを特徴とするオーディオ信号のエンコーディング方法。
前記基準情報は、前記全てのオブジェクトレベルのうち最も大きいオブジェクトレベルを含むことを特徴とする請求項１６に記載のオーディオ信号のエンコーディング方法。
前記オブジェクトレベル情報の数は、前記ダウンミックス信号に含まれる前記オブジェクトの数と同一であることを特徴とする請求項１６に記載のオーディオ信号のエンコーディング方法。
前記オブジェクト相関情報は、互い異なるチャネルを通じて伝送される同一起源のオブジェクトを表す関連情報を含むことを特徴とする請求項１６に記載のオーディオ信号のエンコーディング方法。
マルチオブジェクトオーディオ信号からダウンミックス信号を生成するダウンミキシング部と、
前記マルチオブジェクトオーディオ信号からオブジェクトレベル情報、オブジェクトゲイン情報及びオブジェクト相関情報を含むオブジェクト情報を生成するオブジェクト情報生成部と、
を含み、
前記オブジェクトレベル情報は、基準情報として前記オブジェクトのうちの一つを用いてオブジェクトに対応するオブジェクトレベルを正規化することによって生成され、前記オブジェクト相関情報は、二つの選択されたオブジェクトの組合せから提供され、前記オブジェクトゲイン情報は、オブジェクトゲイン値情報及びオブジェクトゲイン率情報のうち少なくとも一つを含むことを特徴とするオーディオ信号のエンコーディング装置。