[go: up one dir, main page]

JP2009511994A - パケット化音響ストリームを再同期する方法及び装置 - Google Patents

パケット化音響ストリームを再同期する方法及び装置 Download PDF

Info

Publication number
JP2009511994A
JP2009511994A JP2008536145A JP2008536145A JP2009511994A JP 2009511994 A JP2009511994 A JP 2009511994A JP 2008536145 A JP2008536145 A JP 2008536145A JP 2008536145 A JP2008536145 A JP 2008536145A JP 2009511994 A JP2009511994 A JP 2009511994A
Authority
JP
Japan
Prior art keywords
pitch
frame
signal
delay
phase difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008536145A
Other languages
English (en)
Inventor
ディー. アンダーソン,カイル
グルネイ,フィリップ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2009511994A publication Critical patent/JP2009511994A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003Changing voice quality, e.g. pitch or formants
    • G10L21/007Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013Adapting to target pitch

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

予測デコーダにおいて遅延フレームを処理する際に,音声信号又は音響信号の本来のピッチ周期を維持する方法が提供される。音響情報を含む遅延フレームが検出される。コンシールによって生じるピッチ位相差が測定される。遅延フレームに続く後続フレームを再生する前に,ピッチ位相差が補償される。

Description

本発明の実施例は通信に関し,より特定すればデータパケットの処理に関する。
セルラシステム(例えば,(符号分割多元接続(CDMA)ネットワークのような)スペクトラム拡散システム,又は時間分割多元接続(TDMA)ネットワーク)のような無線通信システム及び放送システム(例えばデジタルビデオ放送(DVB))は,ユーザに移動できる利便性並びに豊富なサービス及び特徴を提供する。この利便性は,業務用及び私用の通信において受け入れられる方法として益々多くの消費者に採用されるようになった。より広く採用されるように,製造事業者からサービス提供事業者に至る通信業界は,上記の種々のサービス及び特徴に対応する通信プロトコル標準を開発するために多大な出費及び努力を行うことに合意した。努力された1つのかぎとなる分野は,例えばIP電話(VoIP)などの音声ストリーム又は音響ストリームの転送である。従来の方法は,パケットが遅延及び/又は失われたとき,復号処理に関連する信号品質を適切に処理できないことが知られている。パケットが遅延又は失われると,そのパケットは復号されないのでデコーダ内の同期が失われる。したがって,このことは再生される信号品質,特にピッチに関して悪影響を与える。
したがって,音声データ又は音響データが遅延又は失われたとき,パケット化音響ストリームの信号品質を実質的に維持することが必要である。
本発明によって種々の要望が処理され,音声信号又は音響信号の本来のピッチ周期を維持する方法が提示される。
本発明の実施例の一態様によれば,方法は音響情報を含む遅延フレームを検出するステップであって,コンシール(concealment)が検出した遅延フレームを用いて実施されるステップを有する。この方法はまた,上記コンシールによって生じるピッチ位相差を測定するステップを有する。この方法は更に,上記遅延フレームに続く後続フレームを再生する前に上記ピッチ位相差を補償するステップを有する。
本発明の実施例の別の態様によれば,装置は音響情報を含む遅延フレームを検出するように構成したピッチ位相補償論理部であって,コンシールが検出した遅延フレームを用いて実施される論理部を備える。ピッチ位相補償論理部は,上記コンシールによって生じるピッチ位相差を測定し,上記遅延フレームに続く後続フレームを再生する前に上記ピッチ位相差を補償するように構成される。
本発明の実施例のまた別の態様によれば,システムは音響情報を含む遅延フレームを検出する手段であって,コンシールが検出した遅延フレームを用いて実施される手段と,前記コンシールによって生じるピッチ位相差を測定する手段と,前記遅延フレームに続く後続フレームを再生する前に前記ピッチ位相差を補償する手段と,を備える。
本発明の実施例の更にほかの態様と,特徴と,利点とは,本発明の実施例を実施するための最良の形態を含み,いくつかの特定の実施例及び実現例を単に例示することによって,以降の詳細な説明から直ちに明らかになる。本発明はまたほかの異なる実施例も可能であり,そのいくつかの詳細は,本発明の精神及び適用範囲から逸脱することなく,種々の明白な観点で修正することができる。したがって本願の図面及び明細書は,例示であって制約ではないと認識されたい。
添付の図面に,本発明の実施例を制約ではなく例示として図示する。類似の参照符号は,類似の要素を指す。
音響ストリームを再同期させる装置と,方法と,ソフトウェアとを開示する。以降,説明のために,本発明を完全に理解できるように多くの特定の詳細が述べられる。しかし本発明は,これら特定の詳細を用いずに,又は均等な構成によって実施可能であることは,当業者には明白である。別の例として,不必要に本発明を不明りょうにすることを避けるため,周知の構造及びデバイスは,ブロック図で示される。
なお,以降の記載において,表1に示す文字の置き換えを行っている。
Figure 2009511994
本発明の実施例をパケットネットワークに関して説明するが,当業者であればセルを用いるネットワークを含むどのような種別のデータネットワーク(例えば非同期転送モード(ATM))にも本発明の実施例が適用できることを理解するであろう。更に,ここで説明するプロトコル及び処理は,移動体デバイス及び/又は無線デバイスだけでなく,(例えばデスクトップ計算機,ネットワーク装置,等の)どのような固定(すなわち非移動体)デバイス,ネットワーク要素,又はノードによっても実行できると考えられる。
通信サービスの中でもパケットネットワークは,パケット化された音声セッション(すなわち音声呼)を転送するために用いられる。例としてこのようなネットワークは,インターネットプロトコル(IP)に対応する。パケットネットワーク上の伝送は,パケットがネットワークを通過する時間の変動によって特徴付けられる。そしてネットワーク内でいくつかのパケットは単に失われる。パケットの実際の到達時刻と,正確なパケット速度における参照時刻との差をジッタと呼ぶ。
図1Aは,本発明の種々の実施例による音響ストリームの再同期を提供することができる例示受信器の図である。説明のため,受信器のような音響システム100を,例えばパケット化音声,音響内容を有する映像ストリームなど,データフレームすなわちパケットによって表現される音響情報について説明する。音響システム100は,受信したパケットを記憶するように構成されたパケットバッファ101を含む。またシステム100は,パケットが利用できないときに置換フレームを発生させるためのコンシール手続を実行するコンシール論理部103も含む。ピッチ位相補償論理部105は,コンシール出力と後続する出力との間の遷移をなめらかにする。コンシール論理部103及びピッチ位相補償論理部105はデコーダ(例えば予測復号論理部)107と協働し,デコーダは復号したフレームを再生モジュール109に出力する。
例示アプリケーションとして,音響システム100はIP電話(VoIP)受信器として実現することができる。このシナリオではバッファ101は,ジッタの影響を制御するためにも用いることができる。バッファ101はそれ自体,不規則な着信パケット流を規則的なパケット流に変換し,それによって音声デコーダ107は聞き手に持続した音声流を提供することができる。このような流は,任意の種別の聴覚情報を表すデータストリームであってもよい。しかしここで説明する方法は,音響情報を含む映像ストリームにも適用できると考えられる。
パケットバッファ101は,「再生遅延」と呼ばれる追加の遅延をもたらす(この遅延は,例えば最初のパケットの受信から開始する参照時刻に対して規定される)。再生遅延は,例えばエンド−ツ−エンド全体の遅延を許容限内に保ちながら,到着が遅すぎて復号できないパケットの数を最小にするように選ぶことができる。
再生時刻前に到着したパケットは,受信バッファ内に一時的に記憶される。再生時刻になるとこれらはバッファから取り出され,復号され,そして再生モジュール109を介して再生される。失われたパケット及び再生時刻後に到着したパケットは復号できない。したがって,置換用の音声セグメント又は音響セグメントが計算される。更にデコーダの内部状態は不正確である。
このシナリオでは,正常な復号手続の代わりにコンシール論理部103によるコンシール手続が呼び出され,失われた音声セグメント又は音響セグメントが置換される。コンシール論理部103は,内部状態情報103aを維持する。このような状態は,例えば状態機械を用いて実現することができる。デコーダ107も類似して復号処理用に状態情報107aを維持する。
従来のコンシール手続には,コンシールされたセグメントに誤りが生じるという欠点があった。更にこのコンシール手続は,デコーダ107の内部状態を正確に更新しない。このように,デコーダ107の予測的性質のために,コンシール手続によって生じた誤りが一般に後続セグメントに伝ぱする。非予測符号器・復号器(コーデック)は,各パケットが独立なので誤りの伝ぱはない。
パケットネットワークを介する音声伝送においては,遅延パケットは失われたものとみなすことが多いが,これらの遅延パケットは誤り伝ぱを減少させるために用いることができる。これは"Techniques for Packet Voice Synchronization",IEEE Journal on Selected Areas in Communications,Vol.SAC-1 No.6,1983年12月に記載されており,ここにその全体を参照する。
パケットが失われたのではなく単に遅延したときは,その内容はデコーダ107の内部状態を「事後的に」更新するために用いることができる。これはコンシールによって生じる誤り伝ぱを制限し,ある場合には阻止することができる。しかしコンシールした出力セグメントと,更新した内部状態を用いて計算した後続の「更新」出力セグメントとが滑らかに遷移することを確実にするためには,十分な注意を払わなければならないことに注意されたい。この技法は,P. Grournayほか,"Improved packed loss recovery using late framse for prediction-based speech coders",ICASP,2003年4月,に詳細が述べられており,ここにその全体を参照する。
予測音声デコーダ又は予測音響デコーダのコンシール論理部103は,一般に有声セグメント又は準周期的セグメントにピッチ位相差を生じさせる。このようなピッチ位相差は信号品質に有害であり,コンシールされた出力セグメントから正しく更新された内部状態を用いて計算された後続の「更新」出力セグメントに移行するときに,従来のフェードイン,フェードアウト技法を用いることを困難にする。
従来の「フェードイン,フェードアウト」手続とは異なり,ピッチ位相補償論理部105は,これら2つのセグメント間を実質的になめらかに遷移させる処理を提供する。より詳細に言えば,ピッチ位相補償論理部は,あるセグメントから別のセグメントに移行するとき,音声信号又は音響信号の本来のピッチ周期をどうやって維持するかの問題を扱う。
図1Bは,本発明の種々の実施例による音響回復処理の例示フローチャートである。ステップ121において遅延又は失われたパケットが検出される。その結果ステップ123のとおりコンシール手続が開始されて,置換フレームが生成される。次に遅延フレームが処理されるとき,コンシール手続によって生じたピッチ位相差がステップ125のとおり測定される。ステップ127においてこの処理は,測定したピッチ位相差を用いてコンシールされたフレームと後続のフレームとの間の遷移をなめらかにする。
上述の再同期手続は,例示実施例においてcdma2000 1xEV−DO(データ最適進化)システムに適用される。当業者であれば,本発明は別の技術(例えば一般にスペクトル拡散システム,及び時間分割多重(TDM)システム)及び別の通信プロトコルを用いるどのような種別の無線ネットワークにも適用できることを理解するであろう。
図2は,1つの遅延フレームに関連する例示デコーダ出力の図である。特にこの図は,フレームが失われたと考えられるとき(シナリオ203),及びデコーダ107の内部状態を更新するために用いられるとき(シナリオ201)の遅延フレームの効果を示している。正しい出力は白色で示し,誤り伝ぱは灰色で示している。シナリオ205は,失われたフレームも遅延フレームもないときのデコーダ107の出力である。
例として,フレームn−1までは正常に2値フレームが受信されて復号される。フレームnは復号時間には取得できない。コンシール手続が期待される出力と異なるある置換出力を発生する。デコーダ107の内部状態は,従来のデコーダでは正しく更新されないので,フレームnでもたらされた誤りが後続のフレームに伝ぱする(シナリオ203)。
ここでフレームnがフレームn+1の復号の前にパケットバッファ101に到着したと仮定しよう(シナリオ201)。次の各シナリオが考慮される。(i)フレームnの内容を破棄してコンシールによって生成された「悪い」内部状態を用いて,フレームn+1をデコーダ107が通常行うように復号する。(ii)デコーダ107の内部状態をフレームn−1の終了時の値に戻し,フレームnを復号して復号された音声は出力しない(これによって内部状態が「良い」値に更新される)。(iii)フレームn+1を誤りがなかったかのように復号する。
一実施例においては,フレームnとフレームn+1との境界における不連続を防ぐためにいくらかのスムージングが必要かもしれない。これは励起信号領域において(図2の)信号(i)及び(iii)にフェードイン,フェードアウトウィンドウで重み付けし,合成フィルタのメモリからコンシール後の内部状態(例えば実際に過去に合成したサンプル)を取得することによって行うことができる。
図3は,従来のコンシール手続の復号信号と,本発明の実施例による遅延パケット処理手続の復号出力との図である。信号301は,フレームが失われていないときのデコーダ出力である。信号303は,第3フレームが失われてコンシールされたときのデコーダ出力である。損失は有声部で起きているため,大きなエネルギ損失(1音素全体にわたる)及び高いひずみレベルを引き起こす。この場合回復時間は長い(誤り信号307)。信号305は,P.Gournayらの文献に記載されている方法を用いてコンシールを行った後で更新を行ったときのデコーダ出力である。すべての必要な情報がデコーダが考慮するときに利用可能であるので,回復は高速かつ完全である(誤り信号309)。(誤りを含む)すべての信号は同一の振幅尺度で表される。P.Gournayらの技法は遅延パケット以降の誤り伝ぱを減少させる点で優れているが,コンシールによって生じるピッチ位相差を正しく処理しない。いくつかの場合,コンシールされたセグメントと「更新された」セグメントとの間の遷移をなめらかにするために行うフェードイン,フェードアウト操作が,信号の本来の周期を損なう。この場合,部分的ではあるが非常に音量が大きくかつ不愉快なひずみが発生する。
図4は,従来のコンシール手続と,従来の遅延パケット処理手続とを用いる励起信号の図である。信号401は,フレームが失われていないときデコーダ107が計算する励起信号である。信号403は,第2フレームが失われ,コンシールされたと見なされるときの励起信号である。ピッチ位相差は,コンシール103によって生じ,デコーダ107によってその後に伝ぱする。信号401と信号403とが第3フレームにおいて同期していないことが明らかに分かる。信号405は,内部状態を更新するために同一のフレームを用いたときの励起信号である。フェードイン,フェードアウト操作が行われた第3フレームでピッチ周期が明らかに損なわれている(フェードイン,フェードアウト手続によって,第3フレームの中央周辺で2つのピッチパルスが生成され,それらはあまりに接近しており十分なエネルギを持っていない)。
ここで,コンシールされたフレームと後続のフレームとの間の遷移をなめらかにするために,ピッチ位相差を測定して利用する方法を更に詳しく説明する。この遷移は,音声信号又は音響信号の本来のピッチ周期を損なうことのない方法で行われる。
図5は,本発明の実施例による再同期手続において用いる各信号の関係を示す図である。特に図5は,遅延フレームの直後にフレームにおけるhat−x,hat−j及びhat−kの関係を示している。信号501は誤りのない元の信号,信号503は前のフレームが失われた直後の信号(ピッチパルスの位相差に注意されたい),信号505は更新及び再同期後の信号(ここで信号501は信号503と再度位置合わせされていることに注意されたい),である。hat−xは良い励起信号において第1ピッチパルスを探すために用いるウィンドウの始めを表し,hat−jは2つの信号間のオフセットであり,hat−kは信号501と信号503とを結合して信号505を形成する最小エネルギ点である。hat−jは信号501と信号503とのオフセットであるだけでなく,信号505の追加長でもあることに注意されたい。
図6は,本発明の実施例による再同期手続のフローチャートである。この再同期手続は,本発明の一実施例による,図1Aのデコーダ107によって計算された励起信号に修正を施した符号励起線形予測(CELP)コーダ・デコーダ(コーデック)について説明されている。しかしアプリケーションによっては,代替として復号出力信号に対して類似のステップに従って再同期手続を実行することもできる。説明のため,可変多速度広帯域(VMR−WB)コーデックについての特定の実現例を次に示す。ほかのコーデックにおいても,パラメータは異なってもよいが同一の原理が適用される。図1Aのシステムにおいては,再同期手続によってデコーダ107の内部状態に,遅延フレームを用いたエンコーダ(図示していない)の内部状態が提供される。
ステップ601において,音響システム100は受信パケットが「有声」パケットかどうかを判定する。例として「有声」とは周期的又は準周期的な音声信号であってピッチパルスが検出できるものを指す(例えば/a/,/e/などの音)。反対に無声音声信号はより雑音に近く,周期性がないのでピッチパルスは検出できない(例えば/s/)。このようにしてブロック601は有声音声フレームと無声音声フレームとを識別する。パケットが有声パケットでないときは,再同期は不必要であり,したがって修正も不必要でありステップ603のように良い励起信号が保たれる。ここで「良い」励起信号という用語は図2の信号(iii)を指し,「悪い」励起信号とは信号(i)を指す。良い励起信号は,先行フレームが遅延していない励起信号であり,悪い励起信号は先行フレームが回復できなかった励起信号である。記憶した良い励起信号も利用でき,それは現在の良い励起信号と連続していると見なされる(したがって,現在のフレームにおいて「良い」励起信号が始まるとき,負のインデクスを用いることができる)。この手続は有声信号(すなわち,ある程度の周期性を示す信号)に適用される。記号”T”はピッチ周期を表すために用い,(特に注記のない限り)良い励起信号における最初のサブフレームのピッチを指す。Tは,符号化音声パケットによって送信される既知のパラメータである。
しかしパケットが有声信号と関連しているとき,システム100はステップ607において良い励起信号の最初のパルスを探す。したがってシステムはステップ609において,パルスが許容エネルギレベルにあるかどうかを判定する。パルスが許容エネルギレベルにあるときは,ステップ611においてシステムは相関を最大化させることによって,シフトさせるサンプル数を探す。
より詳しく言えば,以降の記載は2つの位相ずれした有声信号を再同期させる問題を扱っている。第1に,同期に用いる声門パルスを探す(ステップ607)。声門パルスは良い励起信号又は悪い励起信号のいずれかで見付かる。第2に,このパルスをもう1つの励起信号に沿ってシフトさせてパルスが最良の相関を示すところを探す(ステップ611)。第3に,悪い励起信号から良い励起信号に切り替えることができるパルス周辺の最小エネルギ点を測定する。
例示実施例においては,声門パルスは良い励起信号内の最初のパルスであってよい。サイズWのウィンドウを良い励起信号の最初のT+Wサンプルに沿ってシフトさせ,最大エネルギを有する位置をとることによって,声門パルスの位置が得られる(ステップ607)。パルスの一部が0番目又はT番目のサンプル上にあるときは,Tよりわずかに多いサンプルを用いて境界線の場合を避ける。次の(1)式は,最初の声門パルスを探すために用いるアルゴリズムを示す。hat−xは,パルスを含むWサンプルウィンドウの第1サンプルである。
Figure 2009511994
ここでgood[n]は,良い励起信号のn番目のサンプルである。VMR−WGコーデックに関しては,Wは10に設定してもよい。
悪い励起信号内の最初のパルスを探すこともできるが,この方法はあまり魅力的ではない。なぜならば,コンシールされたパルスは良いパルスに比べてはっきりしていないことが多く,したがって常に正しく見付かるとは限らないためである。探索を0を中心にする,若しくは探索をより短く又はより長くするなど,xに関する別の制約条件も試みられた。式(1)で与えられる制約条件を用いて,VMR−WBに関してより良い結果が得られた。
次に示す(2)式は,声門パルスを中心とする固定期間(”Tmin”はコーデックが許容する最小ピッチ周期を表す)内のエネルギ量に関して,式(1)によって見付かった声門パルスに蓄えられたエネルギのパーセンテージを測定するものであって,Eがこのパーセンテージを表す。パルスを誤って識別することを防ぐために,Eをフロアに設定すると有効である(ステップ609のとおり)。例えば,偽のパルスがパルスとして識別されることを防ぐために,このフロアの取りうる値を80パーセントに設定してもよい。またこのエネルギ比較は,信号がうまく同期できないために,いくつかの事例においてP.Gournayらの文献に記載された方法より音質が悪くなることも防ぐ。
Figure 2009511994
良い励起信号中に第1パルスが見付かり,エネルギ制約が十分であると考えられると,パルスを悪い励起信号に沿ってシフトさせ,次の(3)式によって相関を最大化することによって,良い励起信号と悪い励起信号とのオフセットである総サンプル数(すなわち再同期のためにシフトする必要がある量)hat−jが見付かる。
Figure 2009511994
この式において,FL(フレーム長)は標準サイズフレーム(例えばVMR−WBでは256)のサンプル数であり,Wは相関を計算するために用いるフレームサイズである(例えばW=15)。本発明の一実施例によれば,実現される相関は良い励起信号におけるエネルギによってだけ正規化される。このパラメータは好みの問題であり,別の方法で正規化してもよい(すなわち,良いエネルギ及び悪いエネルギ双方,又は悪いエネルギだけ)。しかし別の相関計算法を用いると異なるhat−jが得られ,そのようにして特定のシステムについて最適の方法を判定することができる。
ステップ613のとおり許容できる相関強度が測定されたとき,励起信号を切り替えるために信号内の低エネルギ点が見付かる。次に処理は,各励起信号を結合してサブフレーム長を計算する(ステップ617及び619のとおり)。
しかし処理が許容できるエネルギレベルを見付けることに失敗したときは(ステップ605),ウィンドウ関数が呼び出されて各励起信号を結合する。例として,このウィンドウ関数にはどのような標準又は従来の処理を用いてもよい。
よく整合しない信号を再同期することを避けるため,ステップ613において相関の最小値を設定してもよい。例えば本願では値0.60を用いている。選択した最小値よりも低い相関を有する信号はどれも修正してよい(例えば,P.Gournayらの文献による)。
アップサンプリングのために,フレームサイズに関する制約によって,VMR−WBにおいては各12.8kHzのフレームの長さを,この例では4つに分割することが望ましい。したがって見付かったhat−jは,最も近い4の倍数に丸められる。
この例示構成によれば,サンプルをフレームから除去するのではなく,追加することができる。すなわちhat−jは常に0以上である。例えばこの構成は,実時間のIP電話方式に属する良い副次効果を得るために実施される。しかし所望であれば,サンプルをフレームから除去することも可能である。すなわちhat−jは0未満となる。これは,式(3)においてjの制約を修正して所望のとおり負のインデクスを含むようにすることによって実現できる。
良い励起信号を悪い励起信号と位置合わせするためのオフセットサンプル数を見付けた後,悪い励起信号から良い励起信号への切替えを行うことができる信号中の低エネルギ点を探すことができる(ステップ615)。これは急なエネルギ変化を起こすことによって不要な雑音が発生することを防ぐために必要である。すべての修正は励起信号領域で行われるので,合成フィルタによってどのような小さな変化もなめらかにすることができ,したがって問題を起こさない。
本発明の一実施例によれば,最小エネルギ点hat−kの探索は,良い励起信号のhat−x番目のサンプルより前のT/2サンプルに沿って,Wサンプル(例えば10サンプル)のウィンドウをスライドさせて行われる(式(4)を参照されたい)。
Figure 2009511994
いくつかの場合,hat−xが0に近いときは,記憶させた良い励起信号を用いて探索を行うが,次の場合は問題を生じる。
Figure 2009511994
ここで前のフレームにおいてhat−kがパルスの前に見付かり,それはたとえ励起信号をhat−jだけシフトしても既に再生時刻を過ぎている場合がある。このことは,デコーダ107がフレームが実際に開始する前に悪い励起信号から良い励起信号に切り替えることを本質的に示しており,これは技術的に完全ではない。したがって新規の探索は,良い励起信号内の第1パルスの直後の最小エネルギ点を探すように行ってもよい。
Figure 2009511994
シフト量と,2つの信号を合併させる点とが見付かったので,ここで良い励起信号と悪い励起信号とが結合される(ステップ617)。良い励起信号及び悪い励起信号双方から作られた新規フレームにおいて,最初のmin{FL,hat−j + hat−k}個のサンプルは悪い励起信号に属し,一方最後のFL − hat−k個のサンプルは良い励起信号から来る。hat−j + hat−k>FLのとき,悪い励起信号と良い励起信号との間の(hat−j + hat−k)−FL個のサンプルはゼロに設定することが望ましい。したがって新規フレーム長は,FL + hat−jである。
例示実施例によれば,VMR−WBコーデックにおいては2つの励起信号が規定される。1つは適応符号表メモリに用いられ,1つは後処理されて合成にだけ用いられる。合成処理においては双方が用いられるので,1つの信号になされたどんな修正も他方の信号に同様に行われる必要がある。ここで用いる方法においては,すべての計算は合成のためだけに用いられる励起信号について行われるが,アルゴリズムの終わりで双方の励起信号はオフセットを持ち,前の段落で説明したとおり保存される。
例としてVMR−WBコーデックは4つのサブフレームを用いるが,別のコーデックはこの点について異なっていてもよい。再同期処理の終わりで,フレームサイズが変更されているときは(すなわちhat−j!=0のときは),ステップ619のとおり正しいサブフレームサイズはこの差を反映するように変更される。信号の後置ろ波はサブフレームごとに行われるので,サブフレーム長の合計は信号全体の長さに一致する必要がある。修正することが望ましいサブフレーム長は,hat−kが位置するサブフレームであり,hat−jの値全部を元のサブフレーム長に加えることが望ましい。新規フレーム長はFL + hat−jである。すなわちこの長さはhat−jだけ増加しており,これは各サブフレームに反映する必要がある。
このシナリオでは,hat−jは正であると仮定している(すなわち新規フレームは常に正規フレーム長よりも長い)。しかし前述のとおり,フレームを短縮することも可能である。この場合,サブフレーム長は信号のどの部分が保たれているか否かを反映するように修正することが望ましい。
説明のために,CELPを用いるコーデックにおいては前述のとおりの計算及び修正が励起信号に行われる。また修正は,ピッチ同期重畳加算(PSOLA)又はほかの技法を用いてパルス符号変調(PCM)信号に実行することもできる。しかし励起信号について修正を実施する点に関しては,PCM信号は非常に計算が複雑である。
図7は,本発明の実施例による再同期手続の利用を含む励起信号の図である。信号701,703及び705は,図4のものに似ている。信号707は,システム100の遅延パケット処理によって発生された励起信号である。第1フレームの励起信号は,前に誤りが生じていないのですべて行が同一である。コンシール手続は変更されていないので,第2フレームもまた信号703,705及び707において同一である。遅延パケット処理は,P.Gournayらの文献に記載の方法を用いて第3フレームで行うことができる。信号707において,ピッチ周期は明らかによく維持されている。矢印は,コンシールを拡張した励起信号と,内部状態更新後の(良い)励起信号との間の切替え点を示す。この切替え点より前の励起信号は,「拡張した」コンシールを行った励起信号に正確に一致する。切替え点後の励起信号(最後の2ピッチパルス)は,「良い」励起信号701に(1/3フレームの遅延を伴って)正確に一致する。出力フレームは通常より約1/3長く,良い励起信号よりも1つ多いピッチパルスを含む。
図8A〜8Dは,本発明の種々の実施例によるピッチ位相差を測定し,計数することに関連した処理のフローチャートである。図8Aにおいて,前述の実現例によって,ステップ801のとおり,コンシールした内部状態(例えば図2の信号(i))を用いて計算した出力信号と,更新した内部状態(例えば図2の信号(iii))を用いて計算した出力信号との相関を取ることによって差を見付けることができる。相関は,デコーダ出力信号又は内部デコーダ信号(例えば励起信号)のいずれかである信号の間で測定することができることに注意されたい。ステップ803において,処理は最大相関となる遅延を推定ピッチ位相差として測定し,測定した遅延によって推定ピッチ位相差を出力する(ステップ805)。
図8Bに示すとおり,ステップ811において,ピッチ位相差は最初にコンシールされた内部状態(i)を用いた信号と,更新された内部状態(iii)を用いた信号とにおけるピッチマークを見付けることによっても測定することができる(例えばPSOLAアルゴリズムを用いて)。処理は,ステップ813においてこれらのピッチマークの位置を比較し,ステップ815において判定した遅延による推定ピッチ位相差を出力する。あるいは図8Cによれば,ピッチ位相差は,ステップ821のとおり最初にコンシールを施す前の最後のピッチマーク位置を測定し,次にそのコンシールされたピッチ値と,最後のパケットにおいて見付けた実際のピッチ値とを用いて信号(i)及び信号(iii)におけるピッチマーク位置を(ステップ823のとおり)測定して,取得することもできる。その後ステップ825において処理は,測定したピッチマーク位置を用いて推定ピッチ位相差を出力する。
図8Dにおいて,例示実施例(図8Dに示す)によって,ステップ831においてコンシールによってもたらされたピッチ位相差は,同一の量だけ信号(iii)を遅延させることによって補償される。この時点で2つの信号(i)と(iii)とは「同相」である(ステップ833のとおり)。したがって,周期性を損なうことなく1つの信号からほかの信号へ迅速に切り替えることができる。しかし,信号(iii)に遅延を適用したので,得られる「遷移」出力フレームは通常よりも長くなる。いくつかのアプリケーションではこれは問題にならないし,むしろ望ましい(すなわち,デコーダを適応ジッタバッファと結合したとき,出力フレームが長くなると再生遅延が増加し,別の遅延パケットを受信できる確率を減少させる)。一定の出力フレーム期間が必要なほかのアプリケーションにおいては,信号(i)及び/又は(iii)内の個別パルスを,1つの信号からもう1つの信号へ切り替える前のコンシール期間にもたらされたわずかな誤りの分だけ少し元へシフトさせることによって,正規の長さを有する「遷移」出力フレームを取得することができる。
上述の方法の1つの利点は,遅延パケットが処理された後の復号信号の主観的品質が改善されることである。より詳細に言えば,コンシールした出力信号と,更新した内部状態を用いて計算した出力信号との間の遷移をなめらかにするために,有声音声信号期間若しくは周期的又は準周期的音響信号期間のコンシール手続によって一般に生じるピッチ位相差が測定され,遅延パケット処理手続によって考慮される。第2の利点は,コンシール出力信号と,「更新」出力信号とを(通常の「フェードイン,フェードアウト」方法に対して)より高速に切り替えることができることである。別の利点は,遅延パケットを受信した後,正規フレーム期間より一般に長い出力フレームが得られることである。これによって再生遅延が増加し,それによってまた別の遅延フレームを受信する可能性が減少する。
当業者であればピッチ位相再同期を行う処理は,ソフトウェア,ハードウェア(例えば,はん用プロセッサ,デジタル信号処理(DSP)チップ,特定用途集積回路(ASIC),フィールドプログラム可能ゲートアレイ(FPGA),等),ファームウェア,又はそれらの組合せで実現できることを理解するであろう。上述の機能を実行する例示ハードウェアを,以降図9を用いて説明する。
図9は,本発明の種々の実施例を実現できる例示ハードウェアを示す図である。計算システム900は,情報を伝送するバス901又はほかの通信機構と,情報を処理するバス901に接続したプロセッサ903と,を含む。また計算システム900は,情報と,プロセッサ903が実行する命令とを記憶する,バス901に接続したランダムアクセスメモリ(RAM)又はほかの動的記憶デバイスのような主メモリ905も含む。主メモリ905は,プロセッサ903が命令を実行する際に,一時変数又はほかの中間情報を記憶するためにも用いることができる。更に計算システム900は,静的情報及びプロセッサ903の命令を記憶するための,バス901に接続した読み出し専用メモリ(ROM)907又はほかの静的記憶デバイスも含む。磁気ディスク又は光ディスクのような記憶デバイス909が,情報及び命令を永続的に記憶するためにバス901に接続される。
計算システム900はバス901を介して,ユーザに情報を表示する液晶ディスプレイ又はアクティブマトリクスディスプレイのようなディスプレイ911に接続してもよい。英数キー及びほかのキーを含むキーボードのような入力デバイス913を,プロセッサ903へ情報を伝送し,コマンドを選択するためにバス901に接続してもよい。入力デバイス913は,プロセッサ903へ情報を伝送し,コマンドを選択するため,及びディスプレイ911上のカーソルの動きを制御するために,マウス,トラックボール又はカーソル方向キーのようなカーソル制御を含んでもよい。
本発明の種々の実施例によればここに説明した処理は,主メモリ905に含まれる一連の命令を実行するプロセッサ903に応答して,計算システム900が提供することができる。このような命令は,記憶デバイス909のような別の計算機可読媒体から主メモリ905に読み込ませることができる。主メモリ905に含まれる一連の命令を実行することによって,プロセッサ903はここに説明した処理ステップを実行することができる。また,主メモリ905に含まれる命令を実行するために,多重処理構成の1又は複数のプロセッサを用いてもよい。代替実施例においては,本発明の実施例を実現するソフトウェア命令の代わりに,又はそれと組み合わせて,布線回路を用いてもよい。別の例においては,FPGAのような再構成可能ハードウェアを用いてもよく,その論理ゲートの機能及び接続トポロジは,実行時に,通常はメモリ参照テーブルをプログラムすることによって個別化することができる。このように本発明の実施例は,ハードウェア回路とソフトウェアとのどの特定の組合せにも限定されない。
また計算システム900は,バス901に接続した少なくとも1つの通信インタフェース915も含む。通信インタフェース915は,ネットワークリンク(図示していない)に接続する双方向データ通信を提供する。通信インタフェース915は,種々の種別の情報を表すデジタルデータストリームを搬送する電気信号,電磁気信号又は光信号を送受信する。更に通信インタフェース915は,はん用直列バス(USB)インタフェース,PCMCIA(パーソナル計算機メモリカード国際協会)インタフェース,等のような周辺インタフェースデバイスを含んでもよい。
プロセッサ903は,送信されたコードを受信中に実行してもよいし,及び/又は後で実行するために記憶デバイス909又はほかの不揮発性記憶にそのコードを記憶してもよい。この方法で計算システム900は,搬送波の形態でアプリケーションコードを取得してもよい。
ここで用いた「計算機可読媒体」という用語は,プロセッサ903が実行するための命令を供給する任意の媒体を指すものとする。このような媒体は,不揮発性媒体と,揮発性媒体と,伝送媒体と,を含むがこれに限定されない多くの形態をとることができる。不揮発性媒体は,例えば記憶デバイス909のような光ディスク又は磁気ディスクを含む。揮発性媒体は,主メモリ905のようなダイナミックメモリを含む。伝送媒体は,バス901を構成する布線を含む,同軸ケーブルと,銅線と,光ファイバと,を含む。また伝送媒体は,無線周波(RF)データ通信及び赤外線(IR)データ通信の際に発生されるような,音波,光波又は電磁波の形態をとることもできる。計算機可読媒体の通常の形態は,例えばフロッピ(登録商標)ディスク,フレキシブルディスク,ハードディスク,磁気テープ,任意のほかの磁気媒体,CD−ROM,CD−RW,DVD,任意のほかの光媒体,パンチカード,紙テープ,光学マークシート,穴のパターン又はほかの光学的に認識可能なしるしを有する任意のほかの物理媒体,RAM,PROM,EPROM,フラッシュEPROM,任意のほかのメモリチップ又はカートリッジ,搬送波,又は計算機が読むことのできる任意のほかの媒体,を含む。
種々の形態の計算機可読媒体を,プロセッサが実行するための命令を供給する際に用いることができる。例えば本発明の少なくとも一部を実行する命令を,初めは遠隔計算機の磁気ディスク上に置いてもよい。このようなシナリオにおいては,遠隔計算機がその命令を主メモリに読み込み,モデムを用い電話回線を介して命令を送信する。局所システムのモデムが電話回線上のデータを受信し,赤外線送信器を用いてそのデータを赤外線信号に変換し,その赤外線信号をパーソナルデジタルアシスタント(PDA)又はラップトップのような可搬型計算デバイスに送信する。可搬型計算デバイス上の赤外線検出器が,赤外線信号によって搬送された情報及び命令を受信し,データをバス上に置く。バスはそのデータを主メモリに搬送し,そこからプロセッサが命令を取得して実行する。主メモリが受信した命令は,プロセッサが実行する前,又は実行した後のいずれかに任意選択で記憶デバイスに記憶してもよい。
図10A及び10Bは,本発明の種々の実施例に対応することができる種々のセルラ携帯電話システムの図である。図10A及び10Bは,(無線基地局及び移動機内のデジタル信号プロセッサ(DSP),ハードウェア,ソフトウェア,集積回路,及び/又は半導体デバイスの一部として)送受信器を備えた移動機(例えば携帯電話機)及び無線基地局双方をそれぞれ含むセルラ携帯電話システムの例を示している。例として無線ネットワークは,国際電気通信連合(ITU)が国際移動体通信2000(IMT−2000)のために規定した第2世代及び第3世代(2G及び3G)サービスに対応する。説明のために,無線ネットワークの搬送波及びチャネル選択機能は,cdma2000アーキテクチャに関して説明している。cdma2000は,第3世代パートナシッププロジェクト2(3GPP2)において,IS−95の第3世代版として標準化されつつある。
無線ネットワーク1000は,無線基地局サブシステム(BSS)1003と通信する移動機1001(例えば携帯電話機,端末,局装置,ユニット,デバイス,又は(「装着可能(wearable)」回路等のような)ユーザへの任意の種類のインタフェース)を含む。本発明の一実施例によれば,無線ネットワークは国際電気通信連合(ITU)が国際移動体通信2000(IMT−2000)のために規定した第3世代(3G)サービスに対応する。
この例において,BSS1003は無線基地局装置(BTS)1005及び無線基地局制御装置(BSC)1007を含む。単一のBTSが示されているが,通常は複数のBTSが,例えばポイント‐ツ‐ポイントリンクによってBSCに接続されることを認識されたい。各BSS1003は,送信制御エンティティ,すなわちパケット制御機能(PCF)1011によってパケットデータサービスノード(PDSN)1009にリンクしている。PDSN1009は,例えばインターネット1013又はほかの私的消費者ネットワーク1015などの外部ネットワークへのゲートウェイとして機能するので,PDSN1009は,ユーザの識別情報及び特権を確実に判定し,各ユーザの行動を追跡するために,認証,承認及び課金システム(AAA)1017を含んでもよい。ネットワーク1015は,帰属AAA1037が保護する帰属エージェント(HA)1035を介して接続される,1又は複数のデータベース1033にリンクしたネットワーク管理システム(NMS)1031を備える。
単一のBSS1003が示されているが,通常は複数のBSS1003が移動体通信交換センタ(MSC)1019に接続していることを認識されたい。MSC1019は,公衆交換電話ネットワーク(PSTN)1021のような回線交換電話ネットワークへの接続を行う。類似して,MSC1019は同一ネットワーク1000上のほかのMSC1019,及び/又はほかの無線ネットワークに接続してもよいことを認識されたい。MSC1019は通常,そのMSC1019の活性な加入者についての一時情報を保有する在圏位置レジスタ(VLR)1023データベースと併設されている。VLR1023データベース内のデータは,大部分が帰属位置レジスタ(HLR)1025データベースの複製であり,詳細な加入者のサービス加入情報を格納している。いくつかの実施例においてはHLR1025とVLR1023とは同一の物理的データベースであるが,HLR1025は例えばNo.7信号方式(SS7)ネットワークによって接続できる遠隔地にあってもよい。認証センタ(AuC)1027は,秘密認証かぎのような加入者特定認証データを含み,ユーザを認証するためにHLR1025と連携している。更にMSC1019は,ショートメッセージを記憶し,無線ネットワーク1000との間で転送するショートメッセージサービスセンタ(SMSC)1029に接続している。
セルラ電話システムの通常の運用に際しては,BTS1005は音声呼又はほかの通信を行う複数組の移動体ユニット1001から複数組の上りリンク信号を受信して復調する。特定のBTS1005が受信した各上りリンク信号は,その移動機内で処理される。得られたデータはBSC1007へ転送される。BSC1007は,BTS1005間のソフトハンドオフ調整を含む呼資源割当て機能及び移動管理機能を行う。BSC1007はまた,受信データをMSC1019へ送り,MSCは次にPSTN1021とのインタフェースへ追加の経路制御及び/又は交換を行う。MSC1019はまた,呼設定,呼終了,MSC間ハンドオーバサービス及び補足サービスの管理,並びに料金収納,課金及び会計を行う。類似して無線ネットワーク1000は下りリンクメッセージを送信する。PSTN1021は,MSC1019と接続する。MSC1019はBSC1007とも接続し,次にBTS1005と通信し,BTSは下りリンク信号の複数の組を変調して,複数の組の移動体ユニット1001へ送信する。
図10Bに示すように,はん用パケット無線サービス(GPRS)基盤設備1050の2つのキー要素は,サービス提供GPRSサポートノード(SGSN)1032及びゲートウェイGPRSサポートノード(GGSN)1034である。更にGPRS基盤設備は,パケット制御ユニット(PCU)1036と,請求システム1039にリンクした課金ゲートウェイ機能(CGF)1038とを含む。GPRSの移動機(MS)1041は,加入者識別情報モジュール(SIM)1043を利用する。
PCU1036は,無線インタフェース接続制御,無線インタフェース上のパケットスケジューリング,並びにパケット組立て及び再組立てのようなGPRSに関連する機能を行う論理ネットワーク要素である。一般にPCU1036はBSC1045と物理的に統合されている。しかし,BTS1047又はSGSN1032と併設することもできる。SGSN1032は,移動性管理機能,セキュリティ機能,接続制御機能を含むMSC1049と均等な機能を,パケット交換領域で提供する。更にSGSN1032は,例えばBSS GPRSプロトコル(BSSGP)を用いたフレームリレーによるインタフェースによって,PCU1036と接続する。1つのSGSNだけが示されているが,複数のSGSN1031を用いて,サービスエリアを対応する経路制御エリア(Routing Area:RA)に分割できることを認識されたい。SGSN-SGSNインタフェースは,実行中のパケットデータプロトコル(PDP)コンテキストにおいてRA更新が発生したとき,旧SGSNから新SGSNへのパケットトンネリングを可能にする。特定のSGSNは複数のBSC1045にサービスを提供できるが,どの特定のBSC1045も一般に1つのSGSN1032と接続する。またSGSN1032は,GPRS強化移動体アプリケーション部(MAP)を用いたSS7によるインタフェースによってHLR1051と,又は信号接続制御部(SCCP)を用いたSS7によるインタフェースによってMSC1049と,任意選択で接続される。SGSN−HLRインタフェースは,SGSN1032がHLR1051に位置更新を提供し,SGSNサービスエリア内のGPRS関連加入者情報を取得できるようにする。SGSN−MSCインタフェースは,音声呼のための加入者呼出しのような回線交換サービスとパケットデータサービスとの協調を可能にする。最後に,SGSN1032はSMSC1053と接続して,ネットワーク1050を介したショートメッセージ機能を可能にする。
GGSN1034は,インターネット1013又はほかの私的顧客ネットワーク1055のような外部パケットデータネットワークへのゲートウェイである。ネットワーク1055はPDSN1061によって接続される1又は複数のデータベース1059にリンクしたネットワーク管理システム(NMS)1057を備える。GGSN1034は,インターネットプロトコル(IP)アドレスを指定し,また遠隔認証ダイヤルインユーザサービス(RADIUS)のホストとして動作し,ユーザを認証することができる。またGGSN1034に置かれたファイヤウォールも,未承認のトラヒックを制限するファイヤウォール機能を実行する。1つのGGSN1034だけが示されているが,特定のSGSN1032は1又は複数のGGSN1034と接続することができ,ユーザデータが2つのエンティティの間及びネットワーク1050との間をトンネルできるようにする。外部データネットワークがGPRSネットワーク1050上でセッションを開始したとき,GGSN1034は,MS1041に現在サービスを提供しているSGSN1032をHLR1051に問い合わせる。
BTS1047及びBSC1045は,どのMS1041がいつ無線チャネルに接続するかを制御することを含め,無線インタフェースを管理する。これらの要素は本質的に,MS1041とSGSN1032との間のメッセージを中継する。SGSN1032はMS1041との通信を管理し,データを送受信し,その位置を追跡する。またSGSN1032はMS1041を登録し,MS1041を認証し,そしてMS1041に送信するデータを暗号化する。
図11は,本発明の実施例による図10A及び10Bのシステムにおいて動作できる移動機(例えば携帯電話機)の例示コンポーネントの図である。一般に無線受信器は,フロントエンド特徴及びバックエンド特徴の意味で規定されることが多い。受信器のフロントエンドは,すべての無線周波(RF)回路を含み,一方バックエンドはすべてのベースバンド処理回路を含む。電話に関係する内部コンポーネントは,主制御ユニット(MCU)1103と,デジタル信号プロセッサ(DSP)1105と,マイクロホン利得制御ユニット及びスピーカ利得制御ユニットを含む受信器及び送信器ユニットと,を含む。主ディスプレイユニット1107は,種々のアプリケーション及び移動機機能を支援する表示をユーザに提供する。音響機能回路1109は,マイクロホン1111と,マイクロホン1111からの音響信号出力を増幅するマイクロホン増幅器と,を含む。マイクロホン1111からの増幅された音響信号出力は,コーダ及びデコーダ(コーデック)1113に加えられる。
無線セクション1115は,移動体通信システム(例えば図10A又は10Bのシステム)に含まれる無線基地局とアンテナ1117を介して通信するために,電力を増幅し,周波数を変換する。電力増幅器(PA)1119並びに送信器及び変調回路は,機能的にMCU1103に応答し,PA1119からの出力は当業においては既知の分波器1121又はサーキュレータ,又はアンテナスイッチに接続される。またPA1119は,バッテリインタフェース及び電力制御ユニット1120にも接続される。
現用時に,MS1101のユーザはマイクロホン1111に向かって話をし,その声と任意の検出された背景ノイズとがアナログ電圧に変換される。次にアナログ電圧はアナログデジタル変換器(ADC)1123によってデジタル信号に変換される。制御ユニット1103は,音声符号化,チャネル符号化,暗号化,及びインタリーブのような処理のためにデジタル信号をDSP1105に送る。例示実施例においては,処理した音声信号は,2重モード広帯域スペクトラム拡散セルラシステムのための通信産業協会のTIA/EIA/IS−95−A 移動機−無線基地局適合性標準(ここにその全体を参照する)に詳細に記載されているとおりの,個別には示されていないユニットによって符号化される。
符号化した信号は次に等化器1125に送られ,無線送信中に生じる位相歪み及び振幅歪みのような任意の周波数依存劣化が補償される。ビットストリームを等化した後,変調器1127が信号とRFインタフェース1129で発生させたRF信号とを混合する。変調器1127は周波数変調又は位相変調された正弦波を発生する。送信する信号を用意するために,アップコンバータ1131が変調器1127からの正弦波出力と,シンセサイザ1133で発生させた別の正弦波とを混合して,所望の送信周波数を得る。次に信号はPA1119に送られて,適当な電力レベルまで信号を増大させる。実際のシステムにおいては,PA1119は可変利得増幅器として動作し,その利得はネットワーク無線基地局から受信した情報によって,DSP1105が制御する。次に信号は分波器1121内でろ波され,任意選択でアンテナ結合器1135に送られて,最大電力転送が行われるようにインピーダンス整合が行われる。最後に信号はアンテナ1117を介して近くの無線基地局へ送信される。受信器の最終段の利得を制御するために,自動利得制御(AGC)を行ってもよい。信号はそこから,別の携帯電話機かもしれない遠隔電話機,公衆交換電話ネットワーク(PSTN)に接続したほかの携帯電話機又は地上回線,又はほかの電話ネットワークに転送してもよい。
MS1101に送信された音声信号は,アンテナ1117を介して受信され,低ノイズ増幅器(LNA)1137によって直ちに増幅される。ダウンコンバータ1139が搬送波を低域に変換し,復調器1141がRFを除去してデジタルビットストリームだけを残す。次に信号は等化器1125へ進み,DSP1105によって処理される。デジタルアナログ変換器(DAC)1143が信号を変換し,得られた出力がスピーカ1145によってユーザに送信される。すべての操作は主制御ユニット(MCU)1103の制御下で行われ,MCUは中央処理ユニット(CPU)(図示していない)として実現することができる。
MCU1103はキーボード1147からの入力信号を含む種々の信号を受信する。MCU1103は,ディスプレイ1107に表示コマンド及び切替えコマンドを,切替えコントローラに音声出力を,それぞれ配信する。更にMCU1103は,DSP1105と情報を交換し,任意選択で組み込まれるSIMカード1149及びメモリ1151を利用することができる。更にMCU1103は,MSに必要な種々の制御機能を実行する。実装に応じてDSP1105は,音声信号について種々の通常のデジタル処理のうちどれでも実行することができる。更にDSP1105は,マイクロホン1111が検出した信号から局所環境の背景ノイズレベルを判定して,マイクロホン1111の利得を設定し,MS1101のユーザの生来の傾向を補償するようにレベル選択する。
コーデック1113はADC1123及びDAC1143を含む。メモリ1151は着信音データを含む種々のデータを記憶し,例えば,大域インターネットを介して受信した音楽データを含むほかのデータを記憶することができる。ソフトウェアモジュールは,RAM,フラッシュメモリ,レジスタ,又は当業において既知の任意の書き込み可能記憶媒体に置くことができる。メモリデバイス1151は,単一メモリ,CD,DVD,ROM,RAM,EEPROM,光記憶媒体,又はデジタルデータを記憶できる任意のほかの不揮発性記憶媒体であってよいが,それに限定されるものではない。
任意選択で組み込まれるSIMカード1149は,例えば携帯電話番号と,通信事業者提供サービスと,加入者情報の詳細と,セキュリティ情報と,のような重要な情報を含む。SIMカード1149は,本来無線ネットワーク上のMS1101を識別するためのものである。SIMカード1149はまた,個人電話番号帳と,テキストメッセージと,ユーザ特定移動機設定と,を記憶するメモリを含む。
図12は例示企業内ネットワークであって,パケットを主体とする技術,及び/又はセルを主体とする技術(例えば非同期転送モード(ATM),Ethernet(登録商標),IP技術)を用いた任意の種類のデータ通信ネットワークであってよい。企業内ネットワーク1201は,有線ノード1203及び無線ノード1205〜1209(固定又は移動)との接続を行い,それらはそれぞれ上述の処理を行うように構成されている。企業内ネットワーク1201は,WLANネットワーク1211(例えばIEEE802.11),cdma2000セルラネットワーク1213,電話ネットワーク1216(例えばPSTN),又は公衆データネットワーク1217(例えばインターネット)のような種々のほかのネットワークと通信することができる。
本発明をいくつかの実施例及び実装例に関連して説明したが,本発明はそれらに限定されず,種々の明白な修正物及び均等構成物を含む。それらは本願請求項の範囲内にある。本発明の特徴を各請求項のある組合せで表現したが,これらの特徴は任意の組合せ及び順序で構成できることを熟慮されたい。
本発明の種々の実施例による音響ストリームの再同期を提供することができる例示受信器の図である。 本発明の種々の実施例による音響回復処理の例示フローチャートである。 1つの遅延フレームに関連する例示デコーダ出力の図である。 従来のコンシール手続の復号信号と,本発明の実施例による遅延パケット処理手続の復号出力との図である。 従来のコンシール手続と,従来の遅延パケット処理手続とを用いる励起信号の図である。 本発明の実施例による再同期手続において用いる各信号の関係を示す図である。 本発明の実施例による再同期手続のフローチャートである。 本発明の実施例による再同期手続の利用を含む励起信号の図である。 本発明の種々の実施例によるピッチ位相差を測定し,計数することに関連した処理のフローチャートである。 本発明の種々の実施例によるピッチ位相差を測定し,計数することに関連した処理のフローチャートである。 本発明の種々の実施例によるピッチ位相差を測定し,計数することに関連した処理のフローチャートである。 本発明の種々の実施例によるピッチ位相差を測定し,計数することに関連した処理のフローチャートである。 本発明の実施例を実現するために用いることができるハードウェアの図である。 本発明の種々の実施例に対応することができる種々のセルラ携帯電話システムの図である。 本発明の種々の実施例に対応することができる種々のセルラ携帯電話システムの図である。 本発明の実施例による,図13A及び13Bのシステムにおいて動作できる移動機の例示コンポーネントの図である。 本発明の実施例による,本明細書で説明した処理に対応することができる企業ネットワークの図である。

Claims (25)

  1. 音響情報を含む遅延フレームを検出するステップであって,前記遅延フレームを置換するためにコンシールを実施するステップと,
    前記コンシールによって生じるピッチ位相差を測定するステップと,
    前記遅延フレームに続く後続フレームを再生する前に前記ピッチ位相差を補償するステップと,
    を有する方法。
  2. 前記遅延フレームを用いて,デコーダの内部状態とエンコーダの内部状態とを再同期するステップを更に有する請求項1に記載の方法。
  3. 前記ピッチ位相差は,
    第1信号と第2信号との相関を求めるステップと,
    最大相関値を測定するステップと,
    前記最大相関値に対応する遅延値を測定するステップと,
    によって測定する請求項1に記載の方法。
  4. 前記第1信号はコンシールされた遅延フレームに対応し,前記第2信号は正しく復号された遅延フレームに対応する請求項3に記載の方法。
  5. 前記第1信号はコンシールされた内部状態を用いて復号した後続フレームに対応し,前記第2信号は更新した内部状態を用いて復号した後続フレームに対応する請求項3に記載の方法。
  6. 前記ピッチ位相差は,
    第1信号に対応する第1ピッチマーク集合と,第2信号に対応する第2ピッチマーク集合とを測定するステップと,
    前記第1ピッチマーク集合の位置と,前記第2ピッチマーク集合の位置とを比較するステップと,
    によって測定する請求項1に記載の方法。
  7. 前記第1信号はコンシールされた遅延フレームに対応し,前記第2信号は正しく復号された遅延フレームに対応する請求項6に記載の方法。
  8. 前記第1信号はコンシールされた内部状態を用いて復号した後続フレームに対応し,前記第2信号は更新した内部状態を用いて復号した後続フレームに対応する請求項6に記載の方法。
  9. 前記ピッチ位相差は,
    前記遅延フレームをコンシールする前の最後のピッチマーク位置と,コンシールされたピッチ値と,前記遅延フレームから回復した実際のピッチ値と,を用いて,コンシールされた出力信号のピッチマーク位置と,正しい出力信号のピッチマーク位置とを測定するステップと,
    前記の各ピッチマーク位置を比較するステップと,
    によって測定する請求項1に記載の方法。
  10. 前記ピッチ位相差を補償するステップは,前記後続フレームのセクションを遅延させ,又は時間縮尺して,対応する音声信号の本来のピッチ周期が,コンシールされたフレームから後続の更新されたフレームに移行する際に損なわれないようにするステップを含む請求項1に記載の方法。
  11. 遅延フレームを置換するように構成したコンシール論理部と,
    音響情報を含む遅延フレームを検出するように構成した論理部であって,前記遅延フレームを置換するためにコンシールを実施する論理部と,
    前記コンシールによって生じるピッチ位相差を測定し,前記遅延フレームに続く後続フレームを再生する前に前記ピッチ位相差を補償するように構成したピッチ位相補償論理部と,
    を備える装置。
  12. 前記遅延フレームを用いてエンコーダの内部状態と再同期させた内部状態を有する復号論理部を更に備える請求項11に記載の装置。
  13. 前記ピッチ位相差は,
    第1信号と第2信号との相関を求め,
    最大相関値を測定し,
    前記最大相関値に対応する遅延値を測定する,
    ことによって測定する請求項11に記載の装置。
  14. 前記第1信号はコンシールされた遅延フレームに対応し,前記第2信号は正しく復号された遅延フレームに対応する請求項13に記載の装置。
  15. 前記第1信号はコンシールされた内部状態を用いて復号した後続フレームに対応し,前記第2信号は更新した内部状態を用いて復号した後続フレームに対応する請求項13に記載の装置。
  16. 前記ピッチ位相差は,
    第1信号に対応する第1ピッチマーク集合と,第2信号に対応する第2ピッチマーク集合とを測定し,
    前記第1ピッチマーク集合の位置と,前記第2ピッチマーク集合の位置とを比較する,
    ことによって測定する請求項11に記載の装置。
  17. 前記第1信号はコンシールされた遅延フレームに対応し,前記第2信号は正しく復号された遅延フレームに対応する請求項16に記載の装置。
  18. 前記第1信号はコンシールされた内部状態を用いて復号した後続フレームに対応し,前記第2信号は更新した内部状態を用いて復号した後続フレームに対応する請求項16に記載の装置。
  19. 前記ピッチ位相差は,
    コンシールされたピッチ値と,前記遅延フレームから回復した実際のピッチ値と,を用いてコンシールされた出力信号のピッチマーク位置と,正しい出力信号のピッチマーク位置とを測定し,
    前記の各ピッチマーク位置を比較する,
    ことによって測定する請求項11に記載の装置。
  20. 前記ピッチ位相差の補償は,前記後続フレームのセクションを遅延させ,又は時間縮尺して,対応する音声信号の本来のピッチ周期が,コンシールされたフレームから後続の更新されたフレームに移行する際に損なわれないようにすることを含む請求項11に記載の装置。
  21. 請求項11に記載の装置を備える移動体デバイス。
  22. 請求項11に記載の装置を備える音響デバイス。
  23. 請求項11に記載の装置を備えるチップセット。
  24. 音響情報を含む遅延フレームを検出する手段であって,前記遅延フレームを置換するためにコンシールを実施する手段と,
    前記コンシールによって生じるピッチ位相差を測定する手段と,
    前記遅延フレームに続く後続フレームを再生する前に前記ピッチ位相差を補償する手段と,
    を備えるシステム。
  25. 前記遅延フレームを用いて,デコーダの内部状態とエンコーダの内部状態とを再同期する手段を更に備える請求項24に記載のシステム。
JP2008536145A 2005-10-18 2006-10-18 パケット化音響ストリームを再同期する方法及び装置 Withdrawn JP2009511994A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US72790805P 2005-10-18 2005-10-18
US11/549,817 US20070174047A1 (en) 2005-10-18 2006-10-16 Method and apparatus for resynchronizing packetized audio streams
PCT/IB2006/002915 WO2007045971A2 (en) 2005-10-18 2006-10-18 Method and apparatus for resynchronizing packetized audio streams

Publications (1)

Publication Number Publication Date
JP2009511994A true JP2009511994A (ja) 2009-03-19

Family

ID=37962878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008536145A Withdrawn JP2009511994A (ja) 2005-10-18 2006-10-18 パケット化音響ストリームを再同期する方法及び装置

Country Status (6)

Country Link
US (1) US20070174047A1 (ja)
EP (1) EP1952393A2 (ja)
JP (1) JP2009511994A (ja)
KR (1) KR20080044917A (ja)
TW (1) TW200731219A (ja)
WO (1) WO2007045971A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116332A (ja) * 2007-11-05 2009-05-28 Huawei Technologies Co Ltd 信号処理方法、処理装置および音声復号器

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
KR100900438B1 (ko) * 2006-04-25 2009-06-01 삼성전자주식회사 음성 패킷 복구 장치 및 방법
DE602007004502D1 (de) * 2006-08-15 2010-03-11 Broadcom Corp Neuphasierung des status eines dekodiergerätes nach einem paketverlust
US7729462B2 (en) * 2006-12-22 2010-06-01 Newport Media, Inc. Fast re-synchronization techniques for DVB-H systems
WO2008143871A1 (en) 2007-05-15 2008-11-27 Radioframe Networks, Inc. Transporting gsm packets over a discontinuous ip based network
JP5618826B2 (ja) * 2007-06-14 2014-11-05 ヴォイスエイジ・コーポレーション Itu.t勧告g.711と相互運用可能なpcmコーデックにおいてフレーム消失を補償する装置および方法
CN101207665B (zh) * 2007-11-05 2010-12-08 华为技术有限公司 一种衰减因子的获取方法
TWI454094B (zh) * 2008-04-25 2014-09-21 Chi Mei Comm Systems Inc 用以處理網際網路語音協定封包之方法及裝置
US20090319261A1 (en) * 2008-06-20 2009-12-24 Qualcomm Incorporated Coding of transitional speech frames for low-bit-rate applications
US8768690B2 (en) * 2008-06-20 2014-07-01 Qualcomm Incorporated Coding scheme selection for low-bit-rate applications
US20090319263A1 (en) * 2008-06-20 2009-12-24 Qualcomm Incorporated Coding of transitional speech frames for low-bit-rate applications
EP2144229A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient use of phase information in audio encoding and decoding
US8706479B2 (en) * 2008-11-14 2014-04-22 Broadcom Corporation Packet loss concealment for sub-band codecs
GB0920729D0 (en) * 2009-11-26 2010-01-13 Icera Inc Signal fading
ES2715191T3 (es) 2011-02-14 2019-06-03 Fraunhofer Ges Forschung Codificación y decodificación de posiciones de impulso de pistas de una señal de audio
EP2676270B1 (en) 2011-02-14 2017-02-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Coding a portion of an audio signal using a transient detection and a quality result
ES2534972T3 (es) 2011-02-14 2015-04-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Predicción lineal basada en esquema de codificación utilizando conformación de ruido de dominio espectral
EP2676268B1 (en) 2011-02-14 2014-12-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing a decoded audio signal in a spectral domain
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
EP4629107A3 (en) * 2017-05-18 2025-12-24 Telepathy Labs, Inc. Artificial intelligence-based text-to-speech system and method
EP3803867B1 (en) 2018-05-31 2024-01-10 Shure Acquisition Holdings, Inc. Systems and methods for intelligent voice activation for auto-mixing
US11523212B2 (en) 2018-06-01 2022-12-06 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
WO2020061353A1 (en) 2018-09-20 2020-03-26 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841419B (zh) 2019-03-21 2024-11-12 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
EP3942845A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
US11445294B2 (en) 2019-05-23 2022-09-13 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
US11302347B2 (en) 2019-05-31 2022-04-12 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
EP4018680A1 (en) 2019-08-23 2022-06-29 Shure Acquisition Holdings, Inc. Two-dimensional microphone array with improved directivity
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN116918351A (zh) 2021-01-28 2023-10-20 舒尔获得控股公司 混合音频波束成形系统
US12452584B2 (en) 2021-01-29 2025-10-21 Shure Acquisition Holdings, Inc. Scalable conferencing systems and methods
EP4413745A1 (en) 2021-10-04 2024-08-14 Shure Acquisition Holdings, Inc. Networked automixer systems and methods
WO2023133513A1 (en) 2022-01-07 2023-07-13 Shure Acquisition Holdings, Inc. Audio beamforming with nulling control system and methods

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE513520C2 (sv) * 1998-05-14 2000-09-25 Ericsson Telefon Ab L M Förfarande och anordning för maskering av fördröjda paket
US6421387B1 (en) * 1998-05-15 2002-07-16 North Carolina State University Methods and systems for forward error correction based loss recovery for interactive video transmission
US7177278B2 (en) * 1999-12-09 2007-02-13 Broadcom Corporation Late frame recovery method
US6757654B1 (en) * 2000-05-11 2004-06-29 Telefonaktiebolaget Lm Ericsson Forward error correction in speech coding
US7061913B1 (en) * 2000-08-25 2006-06-13 Qualcomm Incorporated Method and apparatus for delayed frame detection in third generation radio link protocol
US7212517B2 (en) * 2001-04-09 2007-05-01 Lucent Technologies Inc. Method and apparatus for jitter and frame erasure correction in packetized voice communication systems
US7783482B2 (en) * 2004-09-24 2010-08-24 Alcatel-Lucent Usa Inc. Method and apparatus for enhancing voice intelligibility in voice-over-IP network applications with late arriving packets
US7796626B2 (en) * 2006-09-26 2010-09-14 Nokia Corporation Supporting a decoding of frames

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116332A (ja) * 2007-11-05 2009-05-28 Huawei Technologies Co Ltd 信号処理方法、処理装置および音声復号器

Also Published As

Publication number Publication date
EP1952393A2 (en) 2008-08-06
KR20080044917A (ko) 2008-05-21
WO2007045971A2 (en) 2007-04-26
WO2007045971A3 (en) 2007-07-26
US20070174047A1 (en) 2007-07-26
TW200731219A (en) 2007-08-16

Similar Documents

Publication Publication Date Title
JP2009511994A (ja) パケット化音響ストリームを再同期する方法及び装置
JP4643517B2 (ja) 音声通信システムにおいて快適雑音を生成する方法および装置
US7394833B2 (en) Method and apparatus for reducing synchronization delay in packet switched voice terminals using speech decoder modification
JP5591897B2 (ja) 適応デジッタバッファの方法及び装置
US7289461B2 (en) Communications using wideband terminals
EP1423930B1 (en) Method and apparatus for reducing synchronization delay in packet-based voice terminals by resynchronizing during talk spurts
EP3394854B1 (en) Channel adjustment for inter-frame temporal shift variations
JP2015163975A (ja) 透かし入り信号を符号化し検出するための機器
JP2010530653A (ja) わかりやすさに影響を及ぼすことなくセンテンス内のトークスパートの再生タイミングを変更するための方法および装置
US20060251130A1 (en) Method and apparatus for dynamic time-warping of speech
JP2003524939A (ja) フレーム抹消条件下で予測音声コーダの性能を改良するためにデコーダからエンコーダにフィードバックを供給するための方法および装置
JP2014510299A (ja) ウォーターマーク入り信号を符号化し復号するためのデバイス
US20120284021A1 (en) Concealing audio interruptions
US20130155924A1 (en) Coded-domain echo control
WO2001048931A2 (en) Audio circuit and method for wideband to narrowband transition in a communication device
CN101310329A (zh) 用于重新同步分组音频流的方法和装置
WO2006110755A2 (en) A method and apparatus for dynamic time-warping of speech
US20080103765A1 (en) Encoder Delay Adjustment
JP5053712B2 (ja) 無線端末および無線端末の音声再生方法
US20050100005A1 (en) Method and apparatus for network communication
Kim et al. Adaptive Online Network Management for QoS Sensitive Multimedia Services
JPWO2003021573A1 (ja) コーデック

Legal Events

Date Code Title Description
A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090604