JP4137270B2

JP4137270B2 - Bitstream converter

Info

Publication number: JP4137270B2
Application number: JP04370799A
Authority: JP
Inventors: 俊一関口; 文伸小川; 光太郎浅井
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1999-02-22
Filing date: 1999-02-22
Publication date: 2008-08-20
Anticipated expiration: 2019-02-22
Also published as: JP2000244910A

Description

【０００１】
【発明の属する技術分野】
この発明は、各種国際標準の動画像符号化方式に準拠した符号化ビットストリームを他の動画像符号化方式に変換する方式変換技術において、誤り発生率の低い回線で用いられる動画像符号化方式と、誤り発生率の高い回線で用いられる動画像符号化方式との間で、回線状況に応じて誤り耐性シンタックスの効果的変換を行うことができるビットストリーム変換装置に関するものである。
【０００２】
【従来の技術】
近年のディジタル伝送路の広帯域化、マルチメディア通信技術の発展に伴い、動画像（ビデオ）信号が様々な伝送路上で伝送可能になってきている。特に、通信の分野ではＩＳＤＮを対象とするＩＴＵ−ＴＨ．３２０端末上でのＨ．２６１動画像符号化方式を用いたテレビ会議・テレビ電話システムが広く用いられている。また、アナログ公衆網を想定したＨ．３２４端末では、Ｈ．２６１のほか、Ｈ．２６１の符号化効率を上回るＨ．２６３動画像符号化方式がサポートされている。
【０００３】
また、インターネットなどのＩＰ網を想定した端末としては、Ｈ．３２４と同様、Ｈ．２６１／Ｈ．２６３をサポートするＨ．３２３が勧告されている。したがって、これら有線系の端末では、ＩＴＵ勧告に準拠した限定された動画像符号化方式のセットがサポートされているため、限定された用途での異なるプロトコルの端末間の相互接続はある程度保証されていた。
【０００４】
一方、ＩＴＵでは無線回線を用いたマルチメディア通信方式の規格化としてＩＭＴ−２０００が検討されており、その動画像符号化方式としてＩＳ０のＭＰＥＧ−４が有力視されている。現在の移動携帯端末（ＰＤＣ，ＰＨＳなど）の普及率は極めて高く、ＩＭＴ−２０００に準拠するマルチメディア端末が現在の携帯電話などを置き換える形になれば莫大な需要が見込まれる。その際、既存の有線系マルチメディア端末との相互接続が重要となるが、これは既存の有線系回線同士の接続ではなく、誤り発生率の異なる回線間での相互接続となる。
【０００５】
ＭＰＥＧ−４は無線回線で用いられることを想定して、ビデオデータレベルでの誤り耐性強化のための機能が含まれており、この機能を相互接続の際に効果的に変換する技術はこれまで確立されていない。
【０００６】
【発明が解決しようとする課題】
従来のビットストリーム変換装置は以上のように構成されているので、誤り発生率の低い回線で用いられる動画像符号化方式と、誤り発生率の高い回線で用いられる動画像符号化方式との間で、回線状況に応じて効果的変換を行うことができないなどの課題があった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、誤り発生率の低い回線で用いられる動画像符号化方式と、誤り発生率の高い回線で用いられる動画像符号化方式との間で、回線状況に応じて誤り耐性シンタックスの効果的変換を行うことができるビットストリーム変換装置を得ることを目的とする。
【０００８】
【課題を解決するための手段】
この発明に係るビットストリーム変換装置は、符号化ビットストリームシンタックスの構成規則を変化させるシンタックス構成規則判定手段を備え、シンタックス構成規則判定手段において、再同期データ単位・ヘッダ重複多重・データ分割・双方向復号可能な符号語の４種のＭＰＥＧ−４の誤り耐性シンタックスから所定の組み合わせのシンタックスを段階的に選択変換するようにしたものである。
【０００９】
この発明に係るビットストリーム変換装置は、シンタックス構成規則判定手段において、変換先の第２のビットストリームを伝送する回線の品質に基づいてシンタックス構成規則を選択するようにしたものである。
【００１０】
この発明に係るビットストリーム変換装置は、入力されるビットストリームの誤り検出を行う回線品質監視手段を備え、この回線品質監視手段によって回線品質を求めるようにしたものである。
【００１２】
この発明に係るビットストリーム変換装置は、シンタックス解析手段において変換元のビットストリームを所定の規則に従って解析して符号化データに分離するとともに、解析上の誤りを検出し、符号化データ変換手段において解析上の誤りにより損失した符号化データを、変換先の動画像符号化方式に基づくシンタックス上で解析誤りを生じない値に変換するようにしたものである。
【００１３】
この発明に係るビットストリーム変換装置は、シンタックス解析手段において変換元のビットストリームを所定の規則に従って解析して符号化データに分離するとともに、解析上の誤りを検出し、符号化データ変換手段において解析上の誤りを検出した位置もしくはその近辺の符号化データを、変換先の動画像符号化方式に基づくシンタックス上でも解析誤りとして認識可能なデータに変換するようにしたものである。
【００１４】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１によるビットストリーム変換装置が対象とするシステムを示す構成図である。本実施の形態では、ＩＳＤＮ回線Ａ１に接続された端末Ａと、無線回線Ｂ１に接続されたマルチメディア端末Ｂとの間で動画像通信を行うシステムについて説明する。図において、１は端末Ａを送信側、マルチメディア端末Ｂを受信側とするケースで動画像符号化方式を相互変換する方式変換装置、２はＩＴＵ−ＴＨ．２２１などのＩＳＤＮ用メディア多重方式に基づいてパケット化されたマルチメディア多重化ストリームとしてのＨ．２６３符号化ビットストリーム（第２のビットストリーム）である。３はＩＴＵ−ＴＨ．２２３などの無線回線用メデイア多重方式に基づいてパケット化されたマルチメディア多重化ストリームとしてのＭＰＥＧ−４符号化ビットストリーム（第１のビットストリーム）であり、図２に示すように、上りのＭＰＥＧ−４符号化ビットストリーム３ａと下りのＭＰＥＧ−４符号化ビットストリーム３ｂとからなる。
【００１５】
なお、それぞれ動画像に付随する音声情報など他のメディア情報がある場合には、これらマルチメディア情報を多重化して１本のストリームにした形で回線へ伝送されるが、ここでは説明の簡単化のため、各回線ごとに決められた所定のメディア多重方式に基づいて動画像符号化データのみが多重化されることを前提として説明を行う。
【００１６】
図２はこの発明の実施の形態１によるビットストリーム変換装置の内部構成を示す構成図、図３はこの発明の実施の形態１によるビットストリーム変換装置の回線品質監視部の内部構成を示す構成図である。図において、４は無線回線Ｂ１の誤り状況を監視する回線品質監視部（回線品質監視手段）であり、無線回線Ｂ１を介して下りのＭＰＥＧ−４符号化ビットストリーム３ｂを受信し、変換対象となるメディア多重用のパケット単位（ＡＬ−ＰＤＵ）に分離するメディア多重分離手段４ａと、このメディア多重分離手段４ａにより分離されたパケット単位に付加されたＣＲＣフィールド（このパケットの中のデータを用いて作成された固定長のビット）にビット誤りがあるか否かの検出を行い、ビット誤りの数をカウントし、このビット誤りのカウント値に基づいて所定の時間間隔で平均的な誤り発生率を算出し、内部信号８として誤り耐性シンタックス決定部５に出力するビット誤り検出手段４ｂとから構成される。
【００１７】
５は誤り耐性シンタックス決定部であり、回線品質監視部４からの誤り発生率を示した内部信号８を入力し、この誤り発生率に応じて、下記に示すＩＳＯで標準化予定のＭＰＥＧ−４の誤り耐性シンタックスについて段階的に１つまたは複数の組み合わせを選択し、回線状況に応じて誤り耐性シンタックスを変更するタイミングを決定する誤り耐性シンタックス変更周期７を外部装置から取り込み、この誤り耐性シンタックス変更周期７に基づいて、誤り耐性シンタックスの選択結果９をシンタックス変換部６に出力するものである。
【００１８】
誤り耐性シンタックス変更周期７は、たとえば、この変更周期を１フレームと設定すれば、誤り耐性シンタックスを１フレームおきに変更可能となる。また、１５フレームと設定すれば、誤り耐性シンタックスを１５フレームおきに変更可能となる。なお、誤り耐性シンタックス変更周期７は、上記では外部から適当なフレーム周期などを設定する旨を説明したが、誤り率が極端に変動するような瞬間など、与えられた周期が適当でない場合はその設定値を無視してシンタックス選択を行うように構成することもできる。
【００１９】
６は誤り耐性シンタックス決定部５からの誤り耐性シンタックスの選択結果９を入力すると、下りのＨ．２６３符号化ビットストリーム３ｂのシンタックスを上りのＭＰＥＧ−４符号化ビットストリーム３ａに変換するシンタックス変換部である。このシンタックス変換部６における変換処理は、Ｈ．２６３の符号化方式に基づいて符号化されたビットストリームを一旦符号化データ領域に解析し、それらを改めてＭＰＥＧ−４シンタックスの規定に基づいてビット列に変換して、選択された誤り耐性シンタックスに基づいて、ＭＰＥＧ−４ビデオ符号化ビットストリームのシンタックスに再構成する処理に相当する（その変換の過程では様々な処理が必要であるが、本稿では細かいシンタックス変換に関わる処理は範囲外とする）。
【００２０】
次に、ＩＳＯで標準化予定のＭＰＥＧ−４の４つの誤り耐性シンタックスを説明する。ＭＰＥＧ−４では、以下の４つの誤り耐性シンタックスをビデオ符号化ビットストリームシンタックスレベルでサポートしている。
【００２１】
（１）ビデオパケット構造（第１の誤り耐性シンタックス）
図４はＭＰＥＧ−４のビデオパケットの構成を示す構成図である。図４に示すように、ビデオパケット構造とは、ビデオパケットヘッダと、ビデオパケットヘッダから始まり、次のビデオパケットヘッダの直前までのビットストリームに含まれるマクロブロックデータとから構成されるデータ単位である。ビットストリームの任意の位置で再同期マーカ（再同期をとるためのユニークワード）から始まるビデオパケットヘッダを挿入することができる。このように、ビットストリーム中の任意の位置に挿入可能であることから、再同期マーカを等ビット長間隔で挿入するなどして、再同期マーカの位置を検出しやすくしたり、動きの激しい領域での画質劣化を抑えることができるなどの効果が期待できる。
【００２２】
（２）ＨＥＣフィールド（第４の誤り耐性シンタックス）
ビデオパケットヘッダの中にオプション的にＶＯＰヘッダの重婁情報を重ねて多重化する仕組みである。これを挿入することにより、ＶＯＰヘッダなど上位レイヤの復号状況の信頼性が低い場合でも、ＨＥＣフィールドの情報を使って復号を継続するなどの処置が可能である。なお、ＶＯＰとはビデオ・オブジェクト・プレーンの略で、ＭＰＥＧ−４ではビデオシーケンスを任意形状のオブジェクト（人物、背景など）ごとに個別に符号化することが可能となっており、従来の画像符号化の時間サンプリング単位であるフレームやピクチャに相当する。フレームやピクチャは、矩形でかつ時間的にサイズが変化しない特殊なＶＯＰと位置づけられている。
【００２３】
（３）データパーティショニング（第２の誤り耐性シンタックス）
図５はＭＰＥＧ−４のデータパーティショニングシンタックスを示す構成図である。ビデオパケット内に含まれるマクロブロックデータを、重要度の高いデータ（動きベクトルなど）と重要度の低いデータ（ＤＣＴ係数データ）とに分割して、それぞれまとめて符号化するシンタックスである。図５に示すように、重要度の高いデータ領域と重要度の低いデータ領域の間にはユニークワードが挟まれ、これによってデータの境界を判別することができる。これにより、復号側では重要度の低いデータ領域に誤りが検出された場合に、重要度の高いデータを用いて効果的なエラーコンシールメント処理を行うことができるなどの効果がある。
【００２４】
（４）リバーシブルＶＬＣ（第３の誤り耐性シンタックス）
データパーティショニングシンタックスを前提とし、重要度の低いデータ領域に多重化されるＤＣＴ係数データの可変長符号を、前からも後ろからも一意に復号可能な（リバーシブルな）ＶＬＣを用いて符号化するシンタックスである。このリバーシブルＶＬＣを用いて符号化されたデータ領域では、誤りを検出しても逆方向から復号を行うことによって、誤りにおかされていないデータを正常に復号することができる効果がある。
【００２５】
これらの誤り耐性シンタックスは、（１）と（３）、または（３）と（４）などの相互依存関係を除き、柔軟に組み合わせて選択することができる。また、その選択の結果として、シンタックスパスが変化する。一般に、これらの機能の数を増やすほど誤り耐性は強化されるが、一方で、（１）の機能ではビデオパケットヘッダ分の伝送効率低下を伴い、（２）の機能ではＨＥＣフィールド分の伝送効率低下を伴い、（３）の機能では復号時の所要メモリの増加を伴い、（４）の機能ではリバーシブルＶＬＣによる通常ＶＬＣと比較しての伝送効率低下などの負荷を伴う。
【００２６】
したがって、本実施の形態１における方式変換装置１では、無線回線Ｂ１の状況によって、誤り率が低い場合は伝送効率を稼ぎ、誤り率が高い場合に伝送効率を犠牲にしても誤りに強くなるビットストリームシンタックスに変更するものとするものである。
【００２７】
次に動作について説明する。
図６はこの発明の実施の形態１によるビットストリーム変換装置の動作手順を示すフローチャートである。
まず、方式変換装置１は外部装置から取り込んだ誤り耐性シンタックス変更周期７を誤り耐性シンタックス決定部５に設定する（ステップＳＴ１）。次に、回線品質監視部４は、無線回線Ｂ１を介して下りのＭＰＥＧ−４符号化ビットストリーム３ｂを受信し、変換対象となるメディア多重用のパケット単位（ＡＬ−ＰＤＵ）に分離し、この分離されたパケット単位に付加されたＣＲＣフィールドにビット誤りがあるか否かの検出を行うとともに、ビット誤りの数をカウントし、このビット誤りのカウント値に基づいて所定の時間間隔で平均的な誤り発生率を算出し、内部信号８として誤り耐性シンタックス決定部５に出力する（ステップＳＴ２）。
【００２８】
次に、誤り耐性シンタックス決定部５は、無線回線Ｂ１に対応するため、最低限の誤り耐性シンタックスとして（１）ビデオパケット構造を挿入する（ステップＳＴ３）。一方、無線回線Ｂ１の状態が極めて良好である場合は、（１）ビデオパケット構造を全く挿入しないか、（１）ビデオパケット構造の数を削減するなどの選択を行うこともある。動画像符号化ビットストリーム２（Ｈ．２６３符号化ビットストリーム）にはＧＯＢ（グループ・オブ・ブロック）という単位で一再同期マーカを付加できるようになっている。ＧＯＢは常に画面上で位置が固定されてしまうため、画像の性質や誤り特性に応じた再同期マーカの挿入は行えない。ビデオパケットの挿入処理としては、ＧＯＢの再同期マーカをそのままの位置でビデオパケットの再同期マーカとして用いるように変換する処理を行ってもよい。
【００２９】
次に、誤り耐性シンタックス決定部５は、誤り耐性シンタックス変更周期７に基づいて変更タイミングとなった時点で、回線の誤り率が所定の閾値ＥＬ１よりも低いか否かを判断し（ステップＳＴ４）、ＹＥＳの場合には、すなわち、所定の閾値ＥＬ１よりも低い場合には、誤り耐性シンタックスを一切使用せず、Ｈ．２６３符号化ビットストリーム２をＭＰＥＧ−４符号化ビットストリーム３に変換する（ステップＳＴ８）。一方、ステップＳＴ４の判断の結果、ＮＯの場合は、すなわち、回線の誤り率が所定の閾値ＥＬ１よりも高い場合は、（３）データパーティショニングのシンタックスを採用し（ステップＳＴ５）、Ｈ．２６３符号化ビットストリーム２をＭＰＥＧ−４符号化ビットストリーム３に変換する。
【００３０】
次に、誤り耐性シンタックス変更周期７に基づいて変更タイミングとなった時点で、さらに回線の誤り率が所定の閾値ＥＬ２（＞ＥＬ１）よりも低いか否かを判断し（ステップＳＴ６）、ＹＥＳの場合には、すなわち、回線の誤り率が所定の閾値ＥＬ２（＞ＥＬ１）よりも低い場合は、他の誤り耐性シンタックスを使用せず、Ｈ．２６３符号化ビットストリーム２をＭＰＥＧ−４符号化ビットストリーム３に変換する（ステップＳＴ８）。一方、ステップＳＴ６の判断の結果、ＮＯの場合は、すなわち、回線の誤り率が所定の閾値ＥＬ２（＞ＥＬ１）よりも高い場合は、さらなる誤り耐性の強化が必要であるため、（４）リバーシブルＶＬＣを採用し（ステップＳＴ７）、Ｈ．２６３符号化ビットストリーム２をＭＰＥＧ−４符号化ビットストリーム３に変換する（ステップＳＴ８）。
【００３１】
また、方式変換装置１の別の動作方法を説明する。
図７はこの発明の実施の形態１によるビットストリーム変換装置のその他の動作手順を示すフローチャートである。図において、ステップＳＴ１からステップＳＴ４の処理については、図６と同一であるため、説明を省略する。ステップＳＴ４の判断の結果、ＮＯの場合は、すなわち、回線の誤り率が所定の閾値ＥＬ１よりも高い場合は、（２）ＨＥＣフィールドのシンタックスを採用し（ステップＳＴ９）、Ｈ．２６３符号化ビットストリーム２をＭＰＥＧ−４符号化ビットストリーム３に変換する。
【００３２】
次に、誤り耐性シンタックス変更周期７に基づいて変更タイミングとなった時点で、さらに回線の誤り率が所定の閾値ＥＬ２（＞ＥＬ１）よりも低いか否かを判断し（ステップＳＴ１０）、ＹＥＳの場合には、すなわち、回線の誤り率が所定の閾値ＥＬ２（＞ＥＬ１）よりも低い場合は、他の誤り耐性シンタックスを使用せず、Ｈ．２６３符号化ビットストリーム２をＭＰＥＧ−４符号化ビットストリーム３に変換する（ステップＳＴ８）。一方、ステップＳＴ１０の判断の結果、ＮＯの場合は、すなわち、回線の誤り率が所定の閾値ＥＬ２（＞ＥＬ１）よりも高い場合は、さらなる誤り耐性の強化が必要であるため、（３）データパーティショニングのシンタックスを採用し（ステップＳＴ１１）、Ｈ．２６３符号化ビットストリーム２をＭＰＥＧ−４符号化ビットストリーム３に変換する。
【００３３】
次に、誤り耐性シンタックス変更周期７に基づいて変更タイミングとなった時点で、さらに回線の誤り率が所定の閾値ＥＬ３（＞ＥＬ２）よりも低いか否かを判断し（ステップＳＴ１２）、ＹＥＳの場合には、すなわち、回線の誤り率が所定の閾値ＥＬ３（＞ＥＬ２）よりも低い場合は、他の誤り耐性シンタックスを使用せず、Ｈ．２６３符号化ビットストリーム２をＭＰＥＧ−４符号化ビットストリーム３に変換する（ステップＳＴ８）。一方、ステップＳＴ１２の判断の結果、ＮＯの場合は、すなわち、回線の誤り率が所定の閾値ＥＬ３（＞ＥＬ２）よりも高い場合は、さらなる誤り耐性の強化が必要であるため、（４）リバーシブルＶＬＣを採用し（ステップＳＴ１３）、Ｈ．２６３符号化ビットストリーム２をＭＰＥＧ−４符号化ビットストリーム３に変換する（ステップＳＴ８）。
【００３４】
さらに、方式変換装置１の別の動作方法を説明する。
図８はこの発明の実施の形態１によるビットストリーム変換装置のその他の動作手順を示すフローチャートである。図において、ステップＳＴ１、２および８の処理については、図６と同一であるため、説明を省略する。誤り耐性シンタックス決定部５は、誤り耐性シンタックス変更周期７に基づいて変更タイミングとなった時点で、回線の誤り率が所定の閾値ＥＬよりも高いか否かを判断し（ステップＳＴ２０）、ＹＥＳの場合には、すなわち、所定の閾値よりも高い場合には、全ての誤り耐性シンタックスを選択し（ステップＳＴ２１）、Ｈ．２６３符号化ビットストリーム２をＭＰＥＧ−４符号化ビットストリーム３に変換する（ステップＳＴ８）。一方、ステップＳＴ２０の判断の結果、ＮＯの場合は、すなわち、回線の誤り率が所定の閾値ＥＬよりも低い場合は、誤り耐性シンタックスを一切使用せず、Ｈ．２６３符号化ビットストリーム２をＭＰＥＧ−４符号化ビットストリーム３に変換する（ステップＳＴ８）。
【００３５】
以上のように、この実施の形態１によれば、回線品質監視手段を実現する回線品質監視部４と、シンタックス構成規則判定手段を実現する誤り耐性シンタックス決定部５とを備えたため、誤り率の高い回線に流す動画像符号化ビットストリームの誤り耐性の度合いと、トータルの伝送効率とのバランスをとり、回線状況に応じて効率的なビットストリームに変換することができるなどの効果がある。特に、無線回線に接続されたＭＰＥＧ−４ビデオをサポートする通信端末と、ＩＳＤＮや既存公衆網に接続されたＩＴＵ−ＴＨ．２６３ビデオをサポートする通信端末との間での動画通信の実現にあたり効果を発揮するものである。なお、この実施の形態１の方式変換装置１は動画像符号化ビットストリームに関する変換であるため、Ｈ．２６３を用いる一般アナログ公衆網またはＩＳＤＮ回線への接続を想定したＨ．３２４端末、もしくはインターネットヘの接続を想定したＨ．３２３端末を端末Ａとしても同様の効果を得ることができる。
【００３６】
実施の形態２．
図９はこの発明の実施の形態２によるビットストリーム変換装置の内部構成を示す構成図であり、実施の形態１と同一の符号については、同一または類似するため説明を省略する。実施の形態１では、回線品質監視部４により方式変換装置１自体の回線の誤り率を求めるように構成したが、誤り率を方式変換装置１の外部から入力するような構成にすることもできる。たとえば、ネットワーク自体がＱｏＳ（ＱｕａｌｉｔｙｏｆＳｅｒｖｉｃｅ：サービス品質）を監視して通知するようなシステムを考えることができる。この場合、図９の方式変換装置２２のように、図２での回線品質監視部４を必要とせず、外部から誤り率２３を入力するような装置構成を考えることができる。
【００３７】
以上のように、この実施の形態２によれば、外部から入力される誤り率２３に基づいて処理を行うように構成したので、実施の形態１に相当する効果を装置自身で回線品質の監視を行うことなく得ることができるなどの効果が得られる。
【００３８】
実施の形態３．
図１０はこの発明の実施の形態３によるビットストリーム変換装置を示す構成図である。この実施の形態３では、マルチメディアコンテンツを蓄積し、要求に応じてコンテンツを配信するメディアサーバに含まれる方式変換装置について説明する。図において、２５は記憶装置２６に記憶された動画像符号化ビットストリームとしてのコンテンツであり、極めて品質の高い処理系によりオフラインを用いて符号化されたもの、もしくは誤りの影響をほとんど無視できる高品質な回線で伝送されることを前提として作成されたものを含むものとする。つまり、コンテンツ２５には、誤り耐性を考慮した特別なシンタックスは含まれていないものとする。２７はコンテンツ２５を無線回線Ｂ１を介して伝送するためのコンテンツ２８に変換する方式変換装置２４を含むメディアサーバである。
【００３９】
次に動作について説明する。
図１１はこの発明の実施の形態３によるビットストリーム変換装置において方式変換装置の内部構成を示す構成図であり、図において、実施の形態１と同一の符号については、同一または類似するため説明を省略する。コンテンツ２５の動画像符号化をＨ．２６３、コンテンツ２８の動画像符号化をＭＰＥＧ−４と考えれば、内部のシンタックス変換部６、および誤り耐性シンタックス決定部５などは同じ機能ブロックを用いることができる。また、誤り耐性シンタックス決定部５は外部の誤り率２３によってコンテンツ２８の動画像符号化ビットストリームの誤り耐性シンタックスを選択するものである。また、実施の形態１で述べたように、図６や図７のような選択を行うこともできるし、図８で示したように、誤り耐性シンタックスのＯＮ／ＯＦＦという二者択一の選択を行うように構成することも可能である。
【００４０】
さらに、コンテンツ２５もコンテンツ２８もＭＰＥＧ−４であるケースも特殊な例として扱うことが可能である。この時、コンテンツ２５のＭＰＥＧ−４ビデオ符号化ビットストリームは蓄積用途でオフラインで作成され、誤り耐性シンタックスを用いないで符号化されているものとする。この時、シンタックス変換部６は入力・出力ともＭＰＥＧ−４ビデオ符号化ビットストリームであるので、符号化方式上のシンタックス変換は行わず、選択された誤り耐性シンタックスを付加するだけの機能となる。
【００４１】
このような場合も選択的に誤り耐性シンタックスを付加できるため、本来異なる用途で作成されたコンテンツを流用して品質の異なる回線に送出することができる。なお、誤り耐性シンタックスの選択を判断するのに用いられる誤り率２３は、必ずしも回線状況を正確に伝える信号である必要はなく、サーバもしくはユーザの要求に応じてその値を指定できるようにしてもよい。
【００４２】
以上のように、この実施の形態３によれば、無線回線Ｂ１に接続されたメディアサーバ２７に方式変換装置２４を含むように構成したので、本来蓄積用で誤り耐性シンタックスをあまりサポートしていないビデオコンテンツであっても、これらを無線回線への送出の際に簡単に誤りに強いビットストリームに変換することができるなどの効果が得られる。
【００４３】
実施の形態４．
図１２はこの発明の実施の形態４による方式変換装置の内部構造を示す構成図であり、図において、実施の形態１と同一の符号については、同一または類似するため説明を省略する。実施の形態４では、図１と同様のシステムにおいて、無線回線Ｂ１側のＭＰＥＧ−４をＩＳＤＮ側のＨ．２６３に変換する方式変換装置１０について説明する。また、この実施の形態４では端末Ｂを送信端末、端末Ａを受信端末とするケースである。１１は入力したＭＰＥＧ−４符号化ビットストリーム３をＭＰＥＧ−４規格に従って解析し、解析の過程で復号誤りがあるか否かを検出し、復号誤りが検出された場合には誤り検出信号１５を出力するとともに、ＭＰＥＧ−４符号化ビットストリーム３を個々の符号化データ１６に分離し出力するＭＰＥＧ−４シンタックス解析部（シンタックス解析手段）である。
【００４４】
１２はＭＰＥＧ−４シンタックス解析部１１からの誤り検出信号１５を受信すると、同じくＭＰＥＧ−４シンタックス解析部１１から入力した符号化データ１６を誤りデータ変換部１３に出力し、誤り検出信号１５を受信しないと、符号化データ１６をＨ．２６３シンタックス構成部１４に出力するスイッチである。１３はスイッチ１２を介して入力した符号化データ１６の正常に解析できないビットストリーム部分を、画質劣化を最小限に抑えつつ、かつ、変換先のＨ．２６３シンタックス上で解析誤りを生じない代替値に変換する誤りデータ変換部である。１４は誤りデータ変換部１３からの符号化データ１６、または、スイッチ１２を介したＭＰＥＧ−４シンタックス解析部１１からの符号化データ１６をＨ．２６３符号化ビットストリーム２に再構成し出力するＨ．２６３シンタックス構成部（符号化データ変換手段）である。
【００４５】
次に動作について説明する。
図１３はこの発明の実施の形態４によるビットストリーム変換装置の動作手順を示すフローチャートである。
まず、方式変換装置１０はＭＰＥＧ−４シンタックス解析部１１において、入力したＭＰＥＧ−４符号化ビットストリーム３をＭＰＥＧ−４規格に従って解析し（ステップＳＴ１２）、解析の過程で復号誤りがあるか否かを判断し（ステップＳＴ１３）、ＹＥＳの場合には、すなわち、復号誤りが検出された場合には誤り検出信号１５を出力するとともに、ＭＰＥＧ−４符号化ビットストリーム３を個々の符号化データ１６に分離し出力する。一方、ステップＳＴ１３の判断の結果、ＮＯの場合には、すなわち、復号誤りが検出されなかった場合には、ステップＳＴ１５に進む。
【００４６】
次に、誤りデータ変換部１３はスイッチ１２を介して入力した符号化データ１６の正常に解析できないビットストリーム部分を画質劣化を最小限に抑えつつ、かつ、変換先のＨ．２６３シンタックス上で解析誤りを生じない代替値（コンシールメント用データ）に変換し（ステップＳＴ１４）、Ｈ．２６３シンタックス構成部１４に出力する。次に、Ｈ．２６３シンタックス構成部１４では、誤りデータ変換部１３からの符号化データ１７、または、スイッチ１２を介したＭＰＥＧ−４シンタックス解析部１１からの符号化データ１６をＨ．２６３符号化ビットストリーム２に再構成し（ステップＳＴ１５）、出力する。
【００４７】
ここで、正常に解析できないビットストリーム部分を画質劣化を最小限に抑えつつ、かつ、変換先のＨ．２６３シンタックス上で解析誤りを生じない代替値に変換する方法について説明する。
たとえば、ＭＰＥＧ−４のあるビデオパケットが１０個のマクロブロックを含む場合、その７つ目のマクロブロックのＤＣＴ係数領域で誤りが発生した場合を考える。ただし、次のビデオパケットで正常復号に復帰できるものとする。この時、当該ビデオパケットの７つ目のマクロブロックのＤＣＴ係数領域から、８，９，１０個目のマクロブロックの全てのデータが正常復号できなくなる。
【００４８】
したがって、このままではＨ．２６３のシンクシクスに変換する場合にどのような値をもって変換すればよいか不明であるので、実施の形態４の方式変換装置１０では、このような正常復号できなくなったＭＰＥＧ−４符号化ビットストリーム領域については、それによる画質劣化を最小限に抑えるような代替値を設定し、その値を解析データとしてＨ．２６３シンタックスに変換するものとする。
【００４９】
代替値の例としては、解析不能となったマクロブロックがフレーム間動き補償予測符号化される可能性があれば（＝当該マクロブロックが含まれるＶＯＰが、フレーム間動き補償予測符号化によって符号化されている場合）、動きベクトルの値をゼロに設定し、ＤＣＴ係数の値もすべてゼロに設定する。当該マクロブロックが含まれるＶＯＰがフレーム間動き補償予測符号化によって符号化されているかどうかはＶＯＰヘッダですでに解析されて既知である。
【００５０】
これは、このＶＯＰが予測に用いる参照画像が、フレームメモリ中に格納されている状況であり、動きベクトルをゼロにすることでＶＯＰ間に動きがない場合は、十分に信頼できる予測画像を獲得することができ、ＤＣＴ係数をゼロにすることで余分な予測残差成分を含めずに予測画像をそのままＨ．２６３符号化ビットストリームに再構成することが可能となる。さらに、ＭＰＥＧ−４のデータパーティショニングを用いたシンタックスを解析している場合には、図５に示すユニークワードの後で誤りを検出した場合、ユニークワードの前で解析されている動きベクトルデータはそのまま用い、ＤＣＴ係数のみをゼロにセットするという手順にすることもできる。
【００５１】
この場合、ユニークワードの前で解析された動きベクトルデータが信頼できるデータであれば、極めて高い精度で信頼性の高い予測画像を得ることができ、それをＨ．２６３符号化ビットストリームに再構成することが可能となる。なお、ＤＣＴ係数をゼロにセットすることで予測残差成分は無視されることになるが、もともと低ビットレートでの符号化を行っているような符号化ビットストリームでは、ＤＣＴ係数のダイナミックレンジは極めて狭く、ゼロ近辺に分布する傾向があるので、予測画像だけでも十分に復号画像を近似することが可能である場合が多い。
【００５２】
以上のように、この実施の形態４によれば、無線回線で伝送されるＭＰＥＧ−４符号化ビットストリームにビット誤りが混入した場合でも、Ｈ．２６３へのシンタックス変換の過程で誤りの影響を最小限に抑えながら変換することができるので、接続される回線の品質が高く、誤りに対する対策を十分に行っていないＨ．２６３デコーダを用いても安定した復号動作を行わせることができるなどの効果がある。
【００５３】
なお、本実施の形態４では端末ＡとしてＨ．３２０端末を対象としたが、実施の形態４の方式変換装置は動画像符号化ビットストリームに関する変換であるため、Ｈ．２６３を用いる一般アナログ公衆網またはＩＳＤＮ回線への接続を想定したＨ．３２４端末、もしくはインターネットヘの接続を想定したＨ．３２３端末を端末Ａとしても、同様の効果を得ることができる。特に、無線回線に接続されたＭＰＥＧ−４ビデオサポートする端末と、ＩＳＤＮや既存公衆網に接続されたＩＴＵ−Ｔ，Ｈ．２６３ビデオをサポートする通信端末との間での動画通信の実現にあたり効果を発揮するものである。
【００５４】
実施の形態５．
図１４はこの発明の実施の形態５によるビットストリーム変換装置の方式変換装置の内部構成を示す構成図である。図において、１１は入力した下りのＭＰＥＧ−４符号化ビットストリーム３ｂをＭＰＥＧ−４規格に従って解析し、解析の過程で復号誤りがあるか否かを検出し、復号誤りが検出された場合には誤り検出信号１５を出力するとともに、下りのＭＰＥＧ−４符号化ビットストリーム３ｂを個々の符号化データ１６に分離し出力するＭＰＥＧ−４シンタックス解析部である。
【００５５】
１２はＭＰＥＧ−４シンタックス解析部１１からの誤り検出信号１５を受信すると、同じくＭＰＥＧ−４シンタックス解析部１１から入力した符号化データ１６を誤りデータ変換部１３に出力し、誤り検出信号１５を受信しないと、符号化データ１６をＨ．２６３シンタックス構成部１４に出力するスイッチである。１３はスイッチ１２を介して入力した符号化データ１６の正常に解析できないビットストリーム部分を、画質劣化を最小限に抑えつつ、かつ、変換先のＨ．２６３シンタックス上で解析誤りを生じない代替値に変換する誤りデータ変換部である。１４は誤りデータ変換部１３からの符号化データ１６、または、スイッチ１２を介したＭＰＥＧ−４シンタックス解析部１１からの符号化データ１６を上りのＨ．２６３符号化ビットストリーム２ａに再構成し出力するＨ．２６３シンタックス構成部である。
【００５６】
４は回線品質監視部であり、下りのＭＰＥＧ−４符号化ビットストリーム３ｂを受信し、変換対象となるメディア多重用のパケット単位（ＡＬ−ＰＤＵ）に分離し、この分離されたパケット単位に付加されたＣＲＣフィールドにビット誤りがあるか否かの検出を行い、ビット誤りの数をカウントし、このビット誤りのカウント値に基づいて所定の時間間隔で平均的な誤り発生率を算出し、内部信号８として誤り耐性シンタックス決定部５に出力する。
【００５７】
５は誤り耐性シンタックス決定部であり、回線品質監視部４からの誤り発生率を示した内部信号８を入力し、この誤り発生率に応じて、ＭＰＥＧ−４の誤り耐性シンタックスについて段階的に１つまたは複数の組み合わせを選択し、回線状況に応じて誤り耐性シンタックスを変更するタイミングを決定する誤り耐性シンタックス変更周期７を外部装置から取り込み、この誤り耐性シンタックス変更周期７に基づいて、誤り耐性シンタックスの選択結果９をＭＰＥＧ−４シンタックス構成部６ｂに出力するものである。
【００５８】
６ａは入力した下りのＨ．２６３符号化ビットストリーム２ｂをＨ．２６３規格に従って解析し、下りのＨ．２６３符号化ビットストリーム２ｂを個々の符号化データ１６に分離し出力するＨ．２６３シンタックス解析部（シンタックス解析手段）である。６ｂは誤り耐性シンタックス決定部５からの誤り耐性シンタックスの選択結果９を入力すると、Ｈ．２６３シンタックス解析部６ａから出力された符号化データ１６を上りのＭＰＥＧ−４符号化ビットストリーム３ａに変換するＭＰＥＧ−４シンタックス構成部（符号化データ変換手段）である。
【００５９】
次に動作について説明する。
まず、ＭＰＥＧ−４符号化ビットストリームをＨ．２６３符号化ビットストリームに変換する手順から説明する。
ＭＰＥＧ−４シンタックス解析部１１は、下りのＭＰＥＧ−４符号化ビットストリーム３ｂを入力し、ＭＰＥＧ−４規格に従って解析し、解析の過程で復号誤りがあるか否かを検出し、復号誤りが検出された場合には誤り検出信号１５を出力するとともに、下りのＭＰＥＧ−４符号化ビットストリーム３ｂを個々の符号化データ１６に分離し出力する。
【００６０】
次に、スイッチ１２はＭＰＥＧ−４シンタックス解析部１１からの誤り検出信号１５を受信すると、同じくＭＰＥＧ−４シンタックス解析部１１から入力した符号化データ１６を誤りデータ変換部１３に出力し、誤り検出信号１５を受信しないと、符号化データ１６をＨ．２６３シンタックス構成部１４に出力する。次に、誤りデータ変換部１３はスイッチ１２を介して入力した符号化データ１６の正常に解析できないビットストリーム部分を、画質劣化を最小限に抑えつつ、かつ、変換先のＨ．２６３シンタックス上で解析誤りを生じない代替値に変換する。そして、Ｈ．２６３シンタックス構成部１４は誤りデータ変換部１３からの符号化データ１７、または、スイッチ１２を介したＭＰＥＧ−４シンタックス解析部１１からの符号化データ１６を上りのＨ．２６３符号化ビットストリーム２ａに再構成し出力する。
【００６１】
次に、Ｈ．２６３符号化ビットストリームをＭＰＥＧ−４符号化ビットストリームに変換する手順を説明する。
回線品質監視部４は下りのＭＰＥＧ−４符号化ビットストリーム３ｂを受信し、変換対象となるメディア多重用のパケット単位（ＡＬ−ＰＤＵ）に分離し、この分離されたパケット単位に付加されたＣＲＣフィールドにビット誤りがあるか否かの検出を行い、ビット誤りの数をカウントし、このビット誤りのカウント値に基づいて所定の時間間隔で平均的な誤り発生率を算出し、内部信号８として誤り耐性シンタックス決定部５に出力する。
【００６２】
次に、誤り耐性シンタックス決定部５は、回線品質監視部４からの誤り発生率を示した内部信号８を入力し、この誤り発生率に応じて、ＭＰＥＧ−４の誤り耐性シンタックスについて段階的に１つまたは複数の組み合わせを選択し、回線状況に応じて誤り耐性シンタックスを変更するタイミングを決定する誤り耐性シンタックス変更周期７を外部装置から取り込み、この誤り耐性シンタックス変更周期７に基づいて、誤り耐性シンタックスの選択結果９をＭＰＥＧ−４シンタックス構成部６ｂに出力する。
【００６３】
そして、Ｈ．２６３シンタックス解析部６ａは入力した下りのＨ．２６３符号化ビットストリーム２ｂをＨ．２６３規格に従って解析し、下りのＨ．２６３符号化ビットストリーム２ｂを個々の符号化データ１６に分離し出力する。次に、ＭＰＥＧ−４シンタックス構成部６ｂは、誤り耐性シンタックス決定部５からの誤り耐性シンタックスの選択結果９を入力すると、Ｈ．２６３シンタックス解析部６ａから出力された符号化データ１６を上りのＭＰＥＧ−４符号化ビットストリーム３ａに変換する。
【００６４】
以上のように、この実施の形態５によれば、ＭＰＥＧ−４、またはＨ．２６３をサポートするテレビ電話およびテレビ会議などの双方向動画通信端末間で、接続された回線の誤り発生率に応じて、誤り耐性シンタックスに関する変換を効率よく行うことができるなどの効果が得られる。特に、無線回線に接続されたＭＰＥＧ−４ビデオサポートする端末と、ＩＳＤＮや既存公衆網に接続されたＩＴＵ−Ｔ，Ｈ．２６３ビデオをサポートする通信端末との間での動画通信の実現にあたり効果を発揮するものである。
【００６５】
実施の形態６．
図１５はこの発明の実施の形態６によるビットストリーム変換装置の方式変換装置を示す構成図であり、図において、実施の形態１および実施の形態２と同一の符号については、同一または類似するため説明を省略する。この実施の形態６では、無線回線側のＭＰＥＧ−４をＩＳＤＮ側のＨ．２６３に変換する方式変換装置１９について説明する。これは図１で端末Ｂを送信端末、端末Ａを受信端末とするケースである。
【００６６】
２０は誤りデータ作成部であり、スイッチ１２を介して入力した符号化データ１６の正常に解析できないビットストリーム領域については、同位置もしくはその近辺のデータが、変換したＨ．２６３ビットストリームを受信する端末で、復号誤りとして同じように検出されるように、故意に誤りを含むＨ．２６３のデータ２１を生成し、出力する。
【００６７】
ここで、誤りデータ作成部２０におけるデータ２１の具体的な方法を説明する。
たとえば、ＭＰＥＧ−４のあるビデオパケットが１０個のマクロブロックを含む場合、その７つ目のマクロブロックのＤＣＴ係数領域で誤りが発生した場合を考える。ただし、次のビデオパケットで正常復号に復帰できるものとする。この時、当該ビデオパケットの７つ目のマクロブロックのＤＣＴ係数領域から、８，９，１０個目のマクロブロックの全てのデータが正常復号できなくなる。したがって、このままでは、Ｈ．２６３のシンタックスに変換する場合にどのような値をもって変換すればよいか不明である。
【００６８】
よって、本実施の形態６の方式変換装置１９では、このような正常復号できなくなったＭＰＥＧ−４符号化ビットストリーム領域については、同位置もしくはその近辺のデータが、変換したＨ．２６３ビットストリームを受信する端末で復号誤りとして同じように検出されるように、故意に誤りを含むＨ．２６３のデータを生成し、その値を解析データとしてＨ．２６３シンタックスに変換するものとする。
【００６９】
代替値の例としては、解析不能となった個所がＤＣＴ係数領域である場合、誤りデータ作成部２０は、故意にＨ．２６３用のＤＣＴ係数のＶＬＣテーブルに含まれない符号語を作成したり、係数が６４個以上（通常、ＤＣＴは８×８画素からなるブロックを単位に実施されるので、６４個以上の係数データが復号されることは正常復号状態では起こり得ない）含まれるように識別される符号語を作成してＨ．２６３シンタックス構成部１４に受け渡すことが考えられる。
【００７０】
あるいは、動きベクトル領域で誤りが検出された場合は、故意に画面の外にはみ出す動きベクトルを生成したり、Ｈ．２６３用の動きベクトルのＶＬＣテーブルに含まれない符号語を生成するなどして、Ｈ．２６３シンタックス構成部１４に受け渡すことが考えられる。
【００７１】
次に動作について説明する。
図１６はこの発明の実施の形態６によるビットストリーム変換装置の動作手順を示すフローチャートである。
まず、方式変換装置１９はＭＰＥＧ−４シンタックス解析部１１において、入力したＭＰＥＧ−４符号化ビットストリーム３をＭＰＥＧ−４規格に従って解析し（ステップＳＴ１６）、解析の過程で復号誤りがあるか否かを判断し（ステップＳＴ１７）、ＹＥＳの場合には、すなわち、復号誤りが検出された場合には誤り検出信号１５を出力するとともに、ＭＰＥＧ−４符号化ビットストリーム３を個々の符号化データ１６に分離し出力する。一方、ステップＳＴ１７の判断の結果、ＮＯの場合には、すなわち、復号誤りが検出されなかった場合には、ステップＳＴ１９に進む。
【００７２】
次に、誤りデータ作成部２０は、スイッチ１２を介して入力した符号化データ１６の正常に解析できないビットストリーム領域については、同位置もしくはその近辺のデータが、変換したＨ．２６３ビットストリームを受信する端末で、復号誤りとして同じように検出されるように、故意に誤りを含むＨ．２６３のデータ２１を生成し、出力する（ステップＳＴ１８）。次に、Ｈ．２６３シンタックス構成部１４では、誤りデータ作成部２０からのデータ２１、または、スイッチ１２を介したＭＰＥＧ−４シンタックス解析部１１からの符号化データ１６をＨ．２６３符号化ビットストリーム２に再構成し（ステップＳＴ１９）、出力する。
【００７３】
以上のように、この実施の形態６によれば、無線回線で伝送されるＭＰＥＧ−４符号化ビットストリームにビット誤りが混入した場合でも、その誤りの状況を保持したままＨ．２６３へのシンタックス変換を行うことができるので、方式変換装置１９自体に誤り対策機能を持つ必要がなく、装置構成を簡略化でき、受信側の誤り対策に応じて画像品質を確保することができるなどの効果が得られる。
【００７４】
また、高い誤り耐性シンタックスを持つ受信端末は、高い画像品質を得ることができ、そうでない端末はそれなりの画像品質になるなど、受信端末の機能に応じた再生画質を得ることができるなどの効果が得られる。
【００７５】
なお、本実施の形態６の方式変換装置１９を、Ｈ．２６３ストリームをＭＰＥＧ−４に変換するケースに用いることもできる。この場合、方式変換装置１９は、ＭＰＥＧ−４シンタックス解析部１１の代わりにＨ．２６３シンタックス解析部、Ｈ．２６３シンタックス構成部１４の代わりにＭＰＥＧ−４シンタックス構成部を備える。また、誤りデータ作成部２０としては、Ｈ．２６３シンタックス解析部１１で誤りを検出した個所について、上述した手順と同様に、ＭＰＥＧ−４受信端末で同位置またはその近辺で誤りを検出できるよう故意にデータを生成し、動作手順については図１６に準じるものである。
【００７６】
また、本実施の形態６では端末ＡとしてＨ．３２０端末を対象としたが、方式変換装置１９は動画像符号化ビットストリームに関する変換であるため、Ｈ．２６３を用いる一般アナログ公衆網またはＩＳＤＮ回線への接続を想定したＨ．３２４端末、もしくはインターネットヘの接続を想定したＨ．３２３端末を端末Ａとしても同様の効果を得ることができる。特に、無線回線に接続されたＭＰＥＧ−４ビデオサポートする端末と、ＩＳＤＮや既存公衆網に接続されたＩＴＵ−Ｔ，Ｈ．２６３ビデオをサポートする通信端末との間での動画通信の実現にあたり効果を発揮するものである。
【００７７】
【発明の効果】
以上のように、この発明によれば、符号化ビットストリームシンタックスの構成規則を変化させるシンタックス構成規則判定手段を備え、シンタックス構成規則判定手段において、再同期データ単位・ヘッダ重複多重・データ分割・双方向復号可能な符号語の４種のＭＰＥＧ−４の誤り耐性シンタックスから所定の組み合わせのシンタックスを段階的に選択するように構成したので、誤り率の高い回線に流す動画像符号化ビットストリームの誤り耐性の度合いと、トータルの伝送効率とのバランスをとり、回線状況に応じて効率的なビットストリームに変換することができる効果がある。
【００７８】
この発明によれば、シンタックス構成規則判定手段において、変換先の第２のビットストリームを伝送する回線の品質に基づいてシンタックス構成規則を選択するように構成したので、変換先の符号化ビットストリームが伝送される伝送路の状況に応じて適切な符号化ビットストリームを構成することができる効果がある。
【００７９】
この発明によれば、入力されるビットストリームの誤り検出を行う回線品質監視手段を備え、この回線品質監視手段によって回線品質を求めるように構成したので、回線の誤り状況を的確に反映した品質監視を行うことができる効果がある。
【００８１】
この発明によれば、シンタックス解析手段において変換元のビットストリームを所定の規則に従って解析して符号化データに分離するとともに、解析上の誤りを検出し、符号化データ変換手段において解析上の誤りにより損失した符号化データを、変換先の動画像符号化方式に基づくシンタックス上で解析誤りを生じない値に変換するように構成したので、変換先の動画像符号化方式に基づく符号化ビットストリームを受信する端末が高品質回線に接続されることを前提として動作し、特に誤りに対応する対策が考慮されていない場合でも、画質劣化を抑えつつ復号処理を行わせることができる効果がある。
【００８２】
この発明によれば、シンタックス解析手段において変換元のビットストリームを所定の規則に従って解析して符号化データに分離するとともに、解析上の誤りを検出し、符号化データ変換手段において解析上の誤りを検出した位置もしくはその近辺の符号化データを、変換先の動画像符号化方式に基づくシンタックス上でも解析誤りとして認識可能なデータに変換するように構成したので、変換先の符号化ビットストリームが伝送される伝送路の状況に応じて適切な符号化ビットストリームを構成することができるだけでなく、変換先の動画像符号化方式に基づく符号化ビットストリームを受信する端末が高品質回線に接続されることを前提として動作し、特に誤りに対する対策が考慮されていない場合でも画質劣化を抑えつつ復号処理を行わせることができる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１によるビットストリーム変換装置が対象とするシステムを示す構成図である。
【図２】この発明の実施の形態１によるビットストリーム変換装置の内部構成を示す構成図である。
【図３】この発明の実施の形態１によるビットストリーム変換装置の回線品質監視部の内部構成を示す構成図である。
【図４】ＭＰＥＧ−４のビデオパケットの構成を示す構成図である。
【図５】ＭＰＥＧ−４のデータパーティショニングシンタックスを示す構成図である。
【図６】この発明の実施の形態１によるビットストリーム変換装置の動作手順を示すフローチャートである。
【図７】この発明の実施の形態１によるビットストリーム変換装置のその他の動作手順を示すフローチャートである。
【図８】この発明の実施の形態１によるビットストリーム変換装置のその他の動作手順を示すフローチャートである。
【図９】この発明の実施の形態２によるビットストリーム変換装置の内部構成を示す構成図である。
【図１０】この発明の実施の形態３によるビットストリーム変換装置を示す構成図である。
【図１１】この発明の実施の形態３によるビットストリーム変換装置において方式変換装置の内部構成を示す構成図である。
【図１２】この発明の実施の形態４による方式変換装置の内部構造を示す構成図である。
【図１３】この発明の実施の形態４によるビットストリーム変換装置の動作手順を示すフローチャートである。
【図１４】この発明の実施の形態５によるビットストリーム変換装置の方式変換装置の内部構成を示す構成図である。
【図１５】この発明の実施の形態６によるビットストリーム変換装置の方式変換装置を示す構成図である。
【図１６】この発明の実施の形態６によるビットストリーム変換装置の動作手順を示すフローチャートである。
【符号の説明】
２Ｈ．２６３符号化ビットストリーム（第２のビットストリーム）、３ＭＰＥＧ−４符号化ビットストリーム（第１のビットストリーム）、４回線品質監視部（回線品質監視手段）、６ａＨ．２６３シンタックス解析部（シンタックス解析手段）、６ｂＭＰＥＧ−４シンタックス構成部（符号化データ変換手段）、１１ＭＰＥＧ−４シンタックス解析部（シンタックス解析手段）、１４Ｈ．２６３シンタックス構成部（符号化データ変換手段）。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video coding system used in a line with a low error rate in a system conversion technique for converting a coded bitstream compliant with various international standard video coding systems into another video coding system. The present invention relates to a bit stream conversion apparatus capable of performing effective conversion of error resilience syntax in accordance with a channel condition between the video encoding method used on a channel with a high error occurrence rate.
[0002]
[Prior art]
With the recent increase in the bandwidth of digital transmission lines and the development of multimedia communication technology, video (video) signals can be transmitted on various transmission lines. In particular, in the field of communications, ITU-TH. H.320 on the terminal. A video conference / video phone system using the H.261 video coding system is widely used. In addition, an analog public network is assumed for H.264. In the 324 terminal, H.264 is used. 261 and H.264. H.261 exceeding the coding efficiency of H.261. The H.263 video coding scheme is supported.
[0003]
In addition, as a terminal assuming an IP network such as the Internet, H.264 is available. Similar to H.324, 261 / H. H.263 supporting H.263. H.323 is recommended. Therefore, these wired terminals support a limited set of video coding schemes that comply with the ITU recommendations, so that the mutual connection between terminals of different protocols in limited applications is guaranteed to some extent. It was.
[0004]
On the other hand, ITU is examining IMT-2000 as a standardization of a multimedia communication system using a wireless line, and MPEG-4 of IS0 is regarded as a promising moving picture coding system. The penetration rate of current mobile portable terminals (PDC, PHS, etc.) is extremely high, and enormous demand is expected if multimedia terminals compliant with IMT-2000 replace current mobile phones. At that time, the interconnection with the existing wired multimedia terminal is important, but this is not the connection between the existing wired lines but the connection between the lines having different error occurrence rates.
[0005]
Assuming that MPEG-4 is used in a wireless line, a function for enhancing error resilience at the video data level is included, and a technique for effectively converting this function at the time of interconnection is heretofore known. Not established.
[0006]
[Problems to be solved by the invention]
Since the conventional bitstream conversion apparatus is configured as described above, it is between the moving picture coding method used in a line with a low error rate and the moving picture coding method used in a line with a high error rate. However, there is a problem that the effective conversion cannot be performed according to the line condition.
[0007]
The present invention has been made to solve the above-described problems, and includes a moving picture coding method used in a line with a low error rate and a moving picture coding method used in a line with a high error rate. It is an object of the present invention to obtain a bit stream conversion apparatus capable of performing effective conversion of error resilience syntax depending on the line condition.
[0008]
[Means for Solving the Problems]
The bitstream conversion apparatus according to the present invention comprises syntax configuration rule determining means for changing the configuration rules of the encoded bitstream syntax, In the syntax configuration rule judging means, a predetermined combination of syntaxes is stepwise from four types of MPEG-4 error resilience syntaxes of resynchronization data units, header duplication multiplexing, data division, and bidirectionally decodable codewords. Choice It is to be converted.
[0009]
In the bit stream conversion apparatus according to the present invention, the syntax configuration rule determining means selects the syntax configuration rule based on the quality of the line transmitting the second bit stream to be converted.
[0010]
The bit stream conversion apparatus according to the present invention comprises line quality monitoring means for detecting an error of an input bit stream, and the line quality is obtained by the line quality monitoring means.
[0012]
In the bit stream conversion apparatus according to the present invention, the syntax analysis means analyzes the conversion source bit stream according to a predetermined rule and separates it into encoded data, detects an analytical error, and the encoded data conversion means The encoded data lost due to the analysis error is converted to a value that does not cause an analysis error on the syntax based on the moving image encoding method of the conversion destination.
[0013]
In the bit stream conversion apparatus according to the present invention, the syntax analysis means analyzes the conversion source bit stream according to a predetermined rule and separates it into encoded data, detects an analytical error, and the encoded data conversion means The encoded data at or near the position where the analysis error is detected is converted into data that can be recognized as an analysis error even on the syntax based on the moving image encoding method of the conversion destination.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of the present invention will be described below.
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a system targeted by a bitstream conversion apparatus according to Embodiment 1 of the present invention. In the present embodiment, a system for performing video communication between a terminal A connected to an ISDN line A1 and a multimedia terminal B connected to a wireless line B1 will be described. In the figure, reference numeral 1 denotes a system conversion apparatus for mutually converting moving picture coding systems in a case where the terminal A is a transmission side and the multimedia terminal B is a reception side. H.221 as a multimedia multiplexed stream packetized based on the ISDN media multiplexing scheme such as H.221. H.263 encoded bit stream (second bit stream). 3 is ITU-TH. 2 is an MPEG-4 encoded bit stream (first bit stream) as a multimedia multiplexed stream packetized based on a wireless channel media multiplexing scheme such as H.223, as shown in FIG. -4 encoded bit stream 3a and downstream MPEG-4 encoded bit stream 3b.
[0015]
If there is other media information such as audio information associated with each moving picture, the multimedia information is multiplexed and transmitted as a single stream to the line, but here the explanation is simplified. Therefore, the description will be made on the assumption that only moving image encoded data is multiplexed based on a predetermined media multiplexing scheme determined for each line.
[0016]
FIG. 2 is a block diagram showing the internal configuration of the bit stream conversion apparatus according to Embodiment 1 of the present invention, and FIG. 3 is a block diagram showing the internal configuration of the line quality monitoring unit of the bit stream conversion apparatus according to Embodiment 1 of the present invention. It is. In the figure, reference numeral 4 denotes a line quality monitoring unit (line quality monitoring means) for monitoring the error status of the radio line B1, which receives a downstream MPEG-4 encoded bit stream 3b via the radio line B1, Media demultiplexing means 4a that separates into media multiplexing packet units (AL-PDU) and a CRC field added to each packet separated by the media demultiplexing means 4a (using data in this packet) Whether or not there is a bit error in the generated fixed-length bit), counts the number of bit errors, and calculates the average error rate at a predetermined time interval based on the bit error count value. Bit error detection means 4b that calculates and outputs the internal signal 8 to the error resilience syntax determination unit 5 is configured.
[0017]
An error resilience syntax determination unit 5 receives an internal signal 8 indicating an error occurrence rate from the line quality monitoring unit 4, and in accordance with the error occurrence rate, MPEG-4 to be standardized by ISO shown below. One or a plurality of combinations of the error resilience syntax are selected step by step, and an error resilience syntax change period 7 for determining the timing for changing the error resilience syntax according to the line condition is fetched from an external device. Based on the tolerance syntax change period 7, an error tolerance syntax selection result 9 is output to the syntax conversion unit 6.
[0018]
In the error resilience syntax change period 7, for example, if this change period is set to one frame, the error resilience syntax can be changed every other frame. If 15 frames are set, the error resilience syntax can be changed every 15 frames. In the above description, the error resilience syntax change period 7 has been described as setting an appropriate frame period from the outside. However, when the given period is not appropriate, such as the moment when the error rate fluctuates extremely. It is also possible to perform the syntax selection while ignoring the set value.
[0019]
6 receives the error resilience syntax selection result 9 from the error resilience syntax determination unit 5, the H. This is a syntax conversion unit that converts the syntax of the H.263 encoded bit stream 3b to the upstream MPEG-4 encoded bit stream 3a. The conversion processing in the syntax conversion unit 6 is H.264. The bitstream encoded based on the H.263 encoding scheme is once analyzed into the encoded data area, converted again into a bit string based on the MPEG-4 syntax, and the selected error resilience syntax Is equivalent to the process of reconstructing the MPEG-4 video encoded bitstream syntax based on the above (in the process of conversion, various processes are required, but in this paper, the process related to fine syntax conversion is out of the scope. And).
[0020]
Next, four error resilience syntaxes of MPEG-4 scheduled for standardization by ISO will be described. MPEG-4 supports the following four error resilience syntaxes at the video encoded bitstream syntax level.
[0021]
(1) Video packet structure (first error resilience syntax)
FIG. 4 is a block diagram showing the structure of an MPEG-4 video packet. As shown in FIG. 4, the video packet structure is a data unit composed of a video packet header and macroblock data included in the bit stream starting from the video packet header and immediately before the next video packet header. . A video packet header starting from a resynchronization marker (a unique word for resynchronization) can be inserted at any position in the bitstream. In this way, since it can be inserted at any position in the bitstream, it is easy to detect the position of the resynchronization marker by inserting resynchronization markers at equal bit length intervals, etc. The effect of being able to suppress image quality degradation in the case can be expected.
[0022]
(2) HEC field (fourth error resilience syntax)
This is a mechanism for optionally superimposing overlapping information of the VOP header in the video packet header. By inserting this, even if the reliability of the decoding status of the upper layer such as the VOP header is low, it is possible to take measures such as continuing decoding using the information of the HEC field. VOP is an abbreviation of video object plane. In MPEG-4, a video sequence can be individually encoded for each object (person, background, etc.) having an arbitrary shape. This corresponds to a frame or a picture, which is a unit of time sampling. Frames and pictures are positioned as special VOPs that are rectangular and do not change in size over time.
[0023]
(3) Data partitioning (second error resilience syntax)
FIG. 5 is a block diagram showing the data partitioning syntax of MPEG-4. This is a syntax in which macroblock data included in a video packet is divided into highly important data (such as motion vectors) and less important data (DCT coefficient data) and encoded together. As shown in FIG. 5, a unique word is sandwiched between a data area with high importance and a data area with low importance, whereby the boundary of data can be determined. Thereby, when an error is detected in the data area with low importance on the decoding side, there is an effect that effective error concealment processing can be performed using data with high importance.
[0024]
(4) Reversible VLC (third error resilience syntax)
Based on data partitioning syntax, variable length codes of DCT coefficient data multiplexed in a low-importance data area are encoded using (reversible) VLC that can be uniquely decoded from the front and back The syntax to do. In the data area encoded using the reversible VLC, even if an error is detected, decoding is performed in the reverse direction, so that there is an effect that data that is not affected by the error can be normally decoded.
[0025]
These error resilience syntaxes can be selected in a flexible combination except for interdependencies such as (1) and (3) or (3) and (4). As a result of the selection, the syntax path changes. In general, the error tolerance is enhanced as the number of these functions is increased. On the other hand, the function (1) is accompanied by a decrease in the transmission efficiency for the video packet header, and the function (2) is the transmission efficiency for the HEC field. The function (3) is accompanied by a decrease in required memory at the time of decoding, and the function (4) is accompanied by a load such as a reduction in transmission efficiency as compared with normal VLC by reversible VLC.
[0026]
Therefore, in the method conversion apparatus 1 according to the first embodiment, depending on the state of the radio channel B1, the bit increases the transmission efficiency when the error rate is low, and is resistant to errors even if the transmission efficiency is sacrificed when the error rate is high. Change to stream syntax.
[0027]
Next, the operation will be described.
FIG. 6 is a flowchart showing an operation procedure of the bit stream conversion apparatus according to Embodiment 1 of the present invention.
First, the system conversion device 1 sets the error resilience syntax change period 7 fetched from the external device in the error resilience syntax determination unit 5 (step ST1). Next, the line quality monitoring unit 4 receives the downlink MPEG-4 encoded bit stream 3b via the radio line B1, and separates it into packet units (AL-PDU) for media multiplexing to be converted. Whether or not there is a bit error in the CRC field added to each separated packet is detected, and the number of bit errors is counted, and an average is calculated at a predetermined time interval based on the bit error count value. An error occurrence rate is calculated and output as an internal signal 8 to the error resilience syntax determination unit 5 (step ST2).
[0028]
Next, the error resilience syntax determination unit 5 inserts (1) a video packet structure as a minimum error resilience syntax in order to correspond to the radio channel B1 (step ST3). On the other hand, when the state of the wireless line B1 is very good, there are cases where (1) no video packet structure is inserted or (1) the number of video packet structures is reduced. One resynchronization marker can be added to the moving image coded bitstream 2 (H.263 coded bitstream) in units of GOB (group of blocks). Since the position of the GOB is always fixed on the screen, it is not possible to insert a resynchronization marker in accordance with the image properties and error characteristics. As the video packet insertion processing, conversion may be performed so that the GOB resynchronization marker is used as it is as the video packet resynchronization marker.
[0029]
Next, the error resilience syntax determination unit 5 determines whether or not the error rate of the line is lower than a predetermined threshold value EL1 when the change timing is reached based on the error resilience syntax change period 7 (step S1). ST4), in the case of YES, that is, in the case where it is lower than the predetermined threshold value EL1, no error resilience syntax is used. The H.263 encoded bit stream 2 is converted into the MPEG-4 encoded bit stream 3 (step ST8). On the other hand, if the result of determination in step ST4 is NO, that is, if the line error rate is higher than a predetermined threshold value EL1, (3) the data partitioning syntax is adopted (step ST5). 263 encoded bitstream 2 is converted to MPEG-4 encoded bitstream 3.
[0030]
Next, when the change timing is reached based on the error resilience syntax change period 7, it is further determined whether or not the line error rate is lower than a predetermined threshold EL2 (> EL1) (step ST6). In other words, if the line error rate is lower than the predetermined threshold EL2 (> EL1), no other error resilience syntax is used, and The H.263 encoded bit stream 2 is converted into the MPEG-4 encoded bit stream 3 (step ST8). On the other hand, if the result of the determination in step ST6 is NO, that is, if the error rate of the line is higher than a predetermined threshold value EL2 (> EL1), it is necessary to further enhance error tolerance. (4) Reversible VLC is employed (step ST7). The H.263 encoded bit stream 2 is converted into the MPEG-4 encoded bit stream 3 (step ST8).
[0031]
Another operation method of the method conversion apparatus 1 will be described.
FIG. 7 is a flowchart showing another operation procedure of the bit stream conversion apparatus according to Embodiment 1 of the present invention. In the figure, the processing from step ST1 to step ST4 is the same as that in FIG. If the result of determination in step ST4 is NO, that is, if the line error rate is higher than a predetermined threshold value EL1, (2) the syntax of the HEC field is adopted (step ST9). 263 encoded bitstream 2 is converted to MPEG-4 encoded bitstream 3.
[0032]
Next, when the change timing is reached based on the error resilience syntax change period 7, it is further determined whether or not the line error rate is lower than a predetermined threshold value EL2 (> EL1) (step ST10). In other words, if the line error rate is lower than the predetermined threshold EL2 (> EL1), no other error resilience syntax is used, and The H.263 encoded bit stream 2 is converted into the MPEG-4 encoded bit stream 3 (step ST8). On the other hand, if the result of determination in step ST10 is NO, that is, if the error rate of the line is higher than a predetermined threshold value EL2 (> EL1), it is necessary to further enhance error resilience. (3) Data The partitioning syntax is adopted (step ST11). 263 encoded bitstream 2 is converted to MPEG-4 encoded bitstream 3.
[0033]
Next, when the change timing is reached based on the error resilience syntax change period 7, it is further determined whether or not the line error rate is lower than a predetermined threshold EL3 (> EL2) (step ST12). In other words, that is, when the error rate of the line is lower than a predetermined threshold value EL3 (> EL2), no other error resilience syntax is used, and The H.263 encoded bit stream 2 is converted into the MPEG-4 encoded bit stream 3 (step ST8). On the other hand, if the result of determination in step ST12 is NO, that is, if the error rate of the line is higher than a predetermined threshold value EL3 (> EL2), it is necessary to further enhance error resilience. (4) Reversible VLC is employed (step ST13). The H.263 encoded bit stream 2 is converted into the MPEG-4 encoded bit stream 3 (step ST8).
[0034]
Furthermore, another operation method of the method conversion apparatus 1 will be described.
FIG. 8 is a flowchart showing another operation procedure of the bit stream conversion apparatus according to the first embodiment of the present invention. In the figure, the processing of steps ST1, 2 and 8 is the same as in FIG. The error resilience syntax determination unit 5 determines whether or not the error rate of the line is higher than a predetermined threshold value EL when the change timing comes based on the error resilience syntax change period 7 (step ST20). If YES, that is, if it is higher than the predetermined threshold, all error resilience syntaxes are selected (step ST21). The H.263 encoded bit stream 2 is converted into the MPEG-4 encoded bit stream 3 (step ST8). On the other hand, if the result of determination in step ST20 is NO, that is, if the line error rate is lower than the predetermined threshold value EL, no error resilience syntax is used. The H.263 encoded bit stream 2 is converted into the MPEG-4 encoded bit stream 3 (step ST8).
[0035]
As described above, according to the first embodiment, since the line quality monitoring unit 4 that realizes the line quality monitoring unit and the error tolerance syntax determination unit 5 that realizes the syntax configuration rule determining unit are provided, an error occurs. Balances the degree of error resilience of video encoded bitstreams that flow over high rate lines and the total transmission efficiency, and can be converted into efficient bitstreams according to the line conditions. . In particular, a communication terminal that supports MPEG-4 video connected to a wireless line, and an ITU-TH. This is effective in realizing video communication with a communication terminal that supports H.263 video. Since the system conversion device 1 according to the first embodiment is a conversion related to a moving image encoded bit stream, the H.264 conversion is performed. H.263 that assumes connection to a general analog public network or ISDN line using H.263. H.324 terminal or H. The same effect can be obtained even if the 323 terminal is used as the terminal A.
[0036]
Embodiment 2. FIG.
FIG. 9 is a block diagram showing the internal configuration of the bitstream conversion apparatus according to the second embodiment of the present invention. The same reference numerals as those in the first embodiment are the same or similar, and the description thereof will be omitted. In the first embodiment, the line quality monitoring unit 4 is configured to obtain the error rate of the line of the method conversion device 1 itself. However, the error rate may be input from the outside of the method conversion device 1. . For example, a system in which the network itself monitors and notifies QoS (Quality of Service) can be considered. In this case, unlike the method conversion device 22 in FIG. 9, the device configuration in which the error rate 23 is input from the outside without requiring the line quality monitoring unit 4 in FIG. 2 can be considered.
[0037]
As described above, according to the second embodiment, since the processing is performed based on the error rate 23 input from the outside, the effect equivalent to that of the first embodiment is monitored by the apparatus itself. The effect that it can obtain without performing is obtained.
[0038]
Embodiment 3 FIG.
10 is a block diagram showing a bit stream conversion apparatus according to Embodiment 3 of the present invention. In the third embodiment, a system conversion apparatus included in a media server that accumulates multimedia contents and distributes the contents in response to a request will be described. In the figure, reference numeral 25 denotes content as a moving image encoded bit stream stored in the storage device 26, which is encoded using an off-line by a very high quality processing system, or high in which the influence of errors can be almost ignored. It shall include those created on the assumption that they will be transmitted over a quality line. That is, it is assumed that the content 25 does not include a special syntax considering error tolerance. Reference numeral 27 denotes a media server including a system conversion device 24 that converts the content 25 into the content 28 for transmission via the wireless line B1.
[0039]
Next, the operation will be described.
FIG. 11 is a block diagram showing the internal configuration of the system conversion apparatus in the bit stream conversion apparatus according to the third embodiment of the present invention. In the figure, the same reference numerals as those in the first embodiment are the same or similar, so that the description is omitted. Omitted. The moving image encoding of the content 25 is H.264. If the moving image coding of the H.263 and the content 28 is considered as MPEG-4, the internal syntax conversion unit 6, the error resilience syntax determination unit 5 and the like can use the same functional blocks. The error resilience syntax determination unit 5 selects the error resilience syntax of the moving image coded bit stream of the content 28 based on the external error rate 23. Further, as described in the first embodiment, the selection as shown in FIG. 6 and FIG. 7 can be performed, and as shown in FIG. 8, the ON / OFF of error resilience syntax can be selected. It can also be configured to make a selection.
[0040]
Furthermore, the case where both the content 25 and the content 28 are MPEG-4 can be handled as a special example. At this time, it is assumed that the MPEG-4 video encoded bitstream of the content 25 is created offline for storage use and is encoded without using the error resilience syntax. At this time, since the syntax conversion unit 6 is an MPEG-4 video encoded bit stream for both input and output, the syntax conversion on the encoding method is not performed, and a function that only adds the selected error resilience syntax. It becomes.
[0041]
Even in such a case, an error resilience syntax can be selectively added, so that content originally created for a different purpose can be diverted and sent to lines of different quality. Note that the error rate 23 used to determine the selection of the error resilience syntax does not necessarily have to be a signal that accurately conveys the line status, and can be specified according to the request of the server or user. Also good.
[0042]
As described above, according to the third embodiment, the media server 27 connected to the wireless line B1 is configured to include the system conversion device 24, so that the error tolerance syntax is originally supported for storage and not so much. Even if there is no video content, it is possible to easily convert these into bitstreams that are resistant to errors when they are transmitted to a wireless line.
[0043]
Embodiment 4 FIG.
FIG. 12 is a block diagram showing the internal structure of the system conversion apparatus according to Embodiment 4 of the present invention. In the figure, the same reference numerals as those in Embodiment 1 are the same or similar, and the description thereof is omitted. In the fourth embodiment, in the same system as in FIG. 1, MPEG-4 on the radio channel B1 side is replaced with H.264 on the ISDN side. The method conversion apparatus 10 for converting to H.263 will be described. In the fourth embodiment, terminal B is a transmitting terminal and terminal A is a receiving terminal. 11 analyzes the input MPEG-4 encoded bitstream 3 in accordance with the MPEG-4 standard, detects whether there is a decoding error in the analysis process, and if a decoding error is detected, outputs an error detection signal 15 An MPEG-4 syntax analysis unit (syntax analysis means) that outputs and separates the MPEG-4 encoded bitstream 3 into individual encoded data 16 for output.
[0044]
12 receives the error detection signal 15 from the MPEG-4 syntax analysis unit 11 and outputs the encoded data 16 input from the MPEG-4 syntax analysis unit 11 to the error data conversion unit 13. Is not received, the encoded data 16 is stored in H.264. It is a switch that outputs to the H.263 syntax component unit 14. 13 represents a bit stream portion of the encoded data 16 input via the switch 12 that cannot be normally analyzed while minimizing image quality degradation and converting the H.D. It is an error data conversion unit that converts to an alternative value that does not cause an analysis error on the H.263 syntax. 14 shows the encoded data 16 from the error data converter 13 or the encoded data 16 from the MPEG-4 syntax analyzer 11 via the switch 12 as H.264. H.263 encoded bit stream 2 is reconstructed and output. 263 syntax component (encoded data conversion means).
[0045]
Next, the operation will be described.
FIG. 13 is a flowchart showing an operation procedure of the bit stream conversion apparatus according to the fourth embodiment of the present invention.
First, in the MPEG-4 syntax analysis unit 11, the method conversion apparatus 10 analyzes the input MPEG-4 encoded bitstream 3 in accordance with the MPEG-4 standard (step ST12), and whether or not there is a decoding error in the analysis process. (YES in step ST13), that is, when a decoding error is detected, an error detection signal 15 is output, and the MPEG-4 encoded bit stream 3 is converted into individual encoded data 16 And output. On the other hand, if the result of determination in step ST13 is NO, that is, if no decoding error is detected, the process proceeds to step ST15.
[0046]
Next, the error data conversion unit 13 minimizes the image quality degradation of the bit stream portion of the encoded data 16 input via the switch 12 and cannot be normally analyzed, and converts the H.D. H.263 is converted to an alternative value (concealment data) that does not cause an analysis error (step ST14). And output to the H.263 syntax constructing unit 14. Next, H.I. The H.263 syntax configuration unit 14 converts the encoded data 17 from the error data conversion unit 13 or the encoded data 16 from the MPEG-4 syntax analysis unit 11 via the switch 12 into the H.264 format. It is reconstructed into a H.263 encoded bit stream 2 (step ST15) and output.
[0047]
Here, the bit stream portion that cannot be analyzed normally is minimized while image quality deterioration is minimized, and the conversion destination H.264 is also reduced. A method of converting to an alternative value that does not cause an analysis error on the H.263 syntax will be described.
For example, when an MPEG-4 video packet includes 10 macroblocks, consider a case where an error occurs in the DCT coefficient region of the seventh macroblock. However, it is assumed that normal decoding can be restored with the next video packet. At this time, all the data of the eighth, ninth, and tenth macroblocks cannot be normally decoded from the DCT coefficient region of the seventh macroblock of the video packet.
[0048]
Therefore, H.I. Since it is unclear what value should be used when converting to 263 syncix, the method conversion apparatus 10 according to the fourth embodiment cannot perform such normal decoding in the MPEG-4 encoded bitstream region. As for H., an alternative value that minimizes image quality degradation is set, and that value is used as analysis data. It shall be converted into 263 syntax.
[0049]
As an example of an alternative value, if there is a possibility that a macroblock that has become unanalyzed may be subjected to interframe motion compensation prediction encoding (= the VOP including the macroblock is encoded by interframe motion compensation prediction encoding). The motion vector value is set to zero, and the DCT coefficient values are all set to zero. Whether or not the VOP including the macroblock is encoded by the inter-frame motion compensation prediction encoding is already analyzed by the VOP header and known.
[0050]
This is a situation where the reference image used for prediction by this VOP is stored in the frame memory, and if there is no motion between the VOPs by setting the motion vector to zero, a sufficiently reliable predicted image is obtained. By setting the DCT coefficient to zero, the prediction image can be used as it is without including an extra prediction residual component. It is possible to reconstruct the H.263 encoded bit stream. Further, when analyzing syntax using MPEG-4 data partitioning, if an error is detected after the unique word shown in FIG. 5, the motion vector data analyzed before the unique word Can be used as is, and only the DCT coefficient can be set to zero.
[0051]
In this case, if the motion vector data analyzed in front of the unique word is reliable data, a highly reliable prediction image can be obtained with extremely high accuracy. It is possible to reconstruct the H.263 encoded bit stream. Note that the prediction residual component is ignored by setting the DCT coefficient to zero, but the dynamic range of the DCT coefficient is an encoded bit stream that is originally encoded at a low bit rate. Since it is very narrow and tends to be distributed around zero, it is often possible to sufficiently approximate a decoded image using only a predicted image.
[0052]
As described above, according to the fourth embodiment, even when a bit error is mixed in an MPEG-4 encoded bit stream transmitted over a wireless line, the H.264 format is not limited. Since the conversion can be performed while minimizing the influence of errors in the process of syntax conversion to H.263, the quality of the connected line is high, and countermeasures against errors are not sufficiently taken. Even when the H.263 decoder is used, there is an effect that a stable decoding operation can be performed.
[0053]
In the fourth embodiment, the terminal A is H.264. Although 320 terminals are targeted, since the method conversion apparatus of the fourth embodiment is conversion related to a moving image encoded bitstream, H.263 that assumes connection to a general analog public network or ISDN line using H.263. H.324 terminal or H. Even if the H.323 terminal is the terminal A, the same effect can be obtained. In particular, a terminal supporting MPEG-4 video connected to a wireless line, and ITU-T, H.264 connected to ISDN or an existing public network. This is effective in realizing video communication with a communication terminal that supports H.263 video.
[0054]
Embodiment 5. FIG.
FIG. 14 is a block diagram showing an internal configuration of a system conversion device of a bitstream conversion device according to Embodiment 5 of the present invention. In the figure, numeral 11 analyzes the input downstream MPEG-4 encoded bit stream 3b according to the MPEG-4 standard, detects whether there is a decoding error in the analysis process, and if a decoding error is detected, The MPEG-4 syntax analysis unit outputs the error detection signal 15 and separates and outputs the downstream MPEG-4 encoded bit stream 3b into individual encoded data 16.
[0055]
12 receives the error detection signal 15 from the MPEG-4 syntax analysis unit 11 and outputs the encoded data 16 input from the MPEG-4 syntax analysis unit 11 to the error data conversion unit 13. Is not received, the encoded data 16 is stored in H.264. It is a switch that outputs to the H.263 syntax component unit 14. 13 represents a bit stream portion of the encoded data 16 input via the switch 12 that cannot be normally analyzed while minimizing image quality degradation and converting the H.D. It is an error data conversion unit that converts to an alternative value that does not cause an analysis error on the H.263 syntax. 14 shows the encoded data 16 from the error data conversion unit 13 or the encoded data 16 from the MPEG-4 syntax analysis unit 11 via the switch 12 in the upstream H.264 format. H.263 encoded bit stream 2a to be reconstructed and output. 263 syntax component.
[0056]
4 is a line quality monitoring unit that receives the downstream MPEG-4 encoded bit stream 3b, separates it into packet units (AL-PDU) for media multiplexing to be converted, and adds them to the separated packet units. Whether or not there is a bit error in the CRC field, counts the number of bit errors, calculates an average error rate at a predetermined time interval based on the bit error count value, The signal 8 is output to the error resilience syntax determination unit 5.
[0057]
An error resilience syntax determination unit 5 receives an internal signal 8 indicating an error occurrence rate from the line quality monitoring unit 4 and, in accordance with the error occurrence rate, performs step-by-step processing on the MPEG-4 error resilience syntax. One or a plurality of combinations are selected, and an error resilience syntax change period 7 for determining the timing for changing the error resilience syntax according to the line status is fetched from an external device, and based on this error resilience syntax change period 7 Thus, the selection result 9 of the error resilience syntax is output to the MPEG-4 syntax configuration unit 6b.
[0058]
6a is the input downstream H.264. H.263 encoded bit stream 2b is converted to H.264. Analyzing according to the H.263 standard, H.263 encoded bit stream 2b is separated into individual encoded data 16 and output. 263 syntax analysis unit (syntax analysis means). 6b receives the error resilience syntax selection result 9 from the error resilience syntax determination unit 5; This is an MPEG-4 syntax configuration unit (encoded data conversion unit) that converts the encoded data 16 output from the H.263 syntax analysis unit 6a into an upstream MPEG-4 encoded bitstream 3a.
[0059]
Next, the operation will be described.
First, an MPEG-4 encoded bit stream is converted to an H.264 format. A procedure for converting to an H.263 encoded bit stream will be described.
The MPEG-4 syntax analysis unit 11 inputs the downstream MPEG-4 encoded bit stream 3b, analyzes it according to the MPEG-4 standard, detects whether there is a decoding error in the analysis process, and the decoding error is detected. If detected, the error detection signal 15 is output, and the downstream MPEG-4 encoded bit stream 3b is separated into individual encoded data 16 and output.
[0060]
Next, when the switch 12 receives the error detection signal 15 from the MPEG-4 syntax analysis unit 11, the switch 12 also outputs the encoded data 16 input from the MPEG-4 syntax analysis unit 11 to the error data conversion unit 13. If the error detection signal 15 is not received, the encoded data 16 is converted to H.264. And output to the H.263 syntax constructing unit 14. Next, the error data conversion unit 13 reduces the image quality degradation of the bit stream portion of the encoded data 16 input via the switch 12 and which cannot be normally analyzed while minimizing the deterioration of the image quality, and converts the H.D. It is converted to an alternative value that does not cause an analysis error on the H.263 syntax. And H. The H.263 syntax configuration unit 14 converts the encoded data 17 from the error data conversion unit 13 or the encoded data 16 from the MPEG-4 syntax analysis unit 11 via the switch 12 to the upstream H.264 format. It is reconstructed into a H.263 encoded bit stream 2a and output.
[0061]
Next, H.I. A procedure for converting the H.263 encoded bit stream into the MPEG-4 encoded bit stream will be described.
The line quality monitoring unit 4 receives the downstream MPEG-4 encoded bit stream 3b, separates it into packet units (AL-PDU) for media multiplexing to be converted, and adds the CRC added to the separated packet unit. Whether or not there is a bit error in the field is detected, the number of bit errors is counted, an average error occurrence rate is calculated at a predetermined time interval based on the bit error count value, and the internal signal 8 is obtained. Output to the error resilience syntax determination unit 5.
[0062]
Next, the error resilience syntax determination unit 5 inputs the internal signal 8 indicating the error occurrence rate from the line quality monitoring unit 4, and in accordance with the error occurrence rate, the error tolerance syntax determination unit 5 One or a plurality of combinations are selected, and an error resilience syntax change period 7 for determining the timing for changing the error resilience syntax according to the line status is fetched from an external device. Based on this, the error resistance syntax selection result 9 is output to the MPEG-4 syntax configuration unit 6b.
[0063]
And H. The H.263 syntax analysis unit 6a receives the input downstream H.264. H.263 encoded bit stream 2b is converted to H.264. Analyzing according to the H.263 standard, The H.263 encoded bit stream 2b is separated into individual encoded data 16 and output. Next, when the MPEG-4 syntax configuration unit 6b receives the error resilience syntax selection result 9 from the error resilience syntax determination unit 5, the MPEG-4 syntax constructing unit 6b receives the H.264 syntax. The encoded data 16 output from the H.263 syntax analysis unit 6a is converted into an upstream MPEG-4 encoded bit stream 3a.
[0064]
As described above, according to the fifth embodiment, MPEG-4 or H.264 is used. It is possible to obtain an effect that, for example, a conversion regarding error resilience syntax can be efficiently performed between two-way video communication terminals such as a video phone and a video conference supporting H.263 according to an error occurrence rate of a connected line. . In particular, a terminal supporting MPEG-4 video connected to a wireless line, and ITU-T, H.264 connected to ISDN or an existing public network. This is effective in realizing video communication with a communication terminal that supports H.263 video.
[0065]
Embodiment 6 FIG.
FIG. 15 is a block diagram showing a system conversion device of a bitstream conversion device according to Embodiment 6 of the present invention. In the figure, the same reference numerals as in Embodiments 1 and 2 are the same or similar. Description is omitted. In the sixth embodiment, MPEG-4 on the wireless line side is changed to H.264 on the ISDN side. A method conversion device 19 for converting to H.263 will be described. This is the case in FIG. 1 where terminal B is the transmitting terminal and terminal A is the receiving terminal.
[0066]
Reference numeral 20 denotes an error data creation unit. For a bit stream region in which encoded data 16 input via the switch 12 cannot be analyzed normally, data at the same position or in the vicinity thereof is converted to H.264 data. A terminal that receives the H.263 bit stream intentionally includes an error in order to detect the same as a decoding error. 263 data 21 is generated and output.
[0067]
Here, a specific method of the data 21 in the error data creation unit 20 will be described.
For example, when an MPEG-4 video packet includes 10 macroblocks, consider a case where an error occurs in the DCT coefficient region of the seventh macroblock. However, it is assumed that normal decoding can be restored with the next video packet. At this time, all the data of the eighth, ninth, and tenth macroblocks cannot be normally decoded from the DCT coefficient region of the seventh macroblock of the video packet. Therefore, H.I. It is unclear what value should be used for conversion to the H.263 syntax.
[0068]
Therefore, in the method conversion apparatus 19 according to the sixth embodiment, for the MPEG-4 encoded bit stream region that cannot be normally decoded, data at the same position or in the vicinity thereof is converted to H.264. An H.264 file containing a deliberate error so that a terminal receiving a H.263 bit stream is similarly detected as a decoding error. H.263 data is generated, and the H.263 data is used as analysis data. It shall be converted into 263 syntax.
[0069]
As an example of an alternative value, if the location where analysis is impossible is in the DCT coefficient region, the error data creation unit 20 intentionally sets the H.264 standard. Codewords that are not included in the VLC table for DCT coefficients for H.263, or 64 or more coefficients (usually, DCT is implemented in units of blocks of 8 × 8 pixels, so 64 or more coefficient data H. is not possible in the normal decoding state) to create a codeword that is identified to be included. It is conceivable that the information is transferred to the H.263 syntax configuration unit 14.
[0070]
Alternatively, if an error is detected in the motion vector area, a motion vector that deliberately moves out of the screen is generated. For example, a codeword not included in the motion vector VLC table for H.263 is generated. It is conceivable that the information is transferred to the H.263 syntax configuration unit 14.
[0071]
Next, the operation will be described.
FIG. 16 is a flowchart showing an operation procedure of the bit stream conversion apparatus according to the sixth embodiment of the present invention.
First, the system conversion device 19 analyzes the input MPEG-4 encoded bit stream 3 in accordance with the MPEG-4 standard in the MPEG-4 syntax analysis unit 11 (step ST16), and whether or not there is a decoding error in the analysis process. (YES in step ST17), that is, when a decoding error is detected, an error detection signal 15 is output, and the MPEG-4 encoded bit stream 3 is converted into individual encoded data 16 And output. On the other hand, if the result of determination in step ST17 is NO, that is, if no decoding error is detected, the process proceeds to step ST19.
[0072]
Next, for the bit stream region in which the encoded data 16 input via the switch 12 cannot be analyzed normally, the error data creation unit 20 converts the H. A terminal that receives the H.263 bit stream intentionally includes an error in order to detect the same as a decoding error. Data 21 of 263 is generated and output (step ST18). Next, H.I. The H.263 syntax configuration unit 14 converts the data 21 from the error data creation unit 20 or the encoded data 16 from the MPEG-4 syntax analysis unit 11 via the switch 12 into the H.264 format. It is reconstructed into a H.263 encoded bit stream 2 (step ST19) and output.
[0073]
As described above, according to the sixth embodiment, even when a bit error is mixed in an MPEG-4 encoded bit stream transmitted through a wireless channel, the error status is maintained while maintaining the error status. Since it is possible to perform syntax conversion to H.263, it is not necessary for the system conversion device 19 itself to have an error countermeasure function, the apparatus configuration can be simplified, and image quality can be ensured according to the error countermeasure on the receiving side. The effect of being able to do is acquired.
[0074]
In addition, a receiving terminal having a high error resilience syntax can obtain a high image quality, and a terminal that does not have a reasonable image quality can obtain reproduction image quality according to the function of the receiving terminal. An effect is obtained.
[0075]
The method conversion apparatus 19 according to the sixth embodiment is referred to as H.264. It can also be used in the case of converting the H.263 stream to MPEG-4. In this case, the system conversion device 19 uses the H.264 instead of the MPEG-4 syntax analysis unit 11. H.263 syntax analysis section, H.264. An MPEG-4 syntax configuration unit is provided instead of the H.263 syntax configuration unit 14. In addition, as the error data creation unit 20, H.264 Similarly to the above-described procedure, data is intentionally generated so that an error can be detected at the same position or in the vicinity thereof in the MPEG-4 receiving terminal in the same manner as the procedure described above, and the operation procedure is illustrated in FIG. 16 is applied.
[0076]
In the sixth embodiment, the terminal A is H.264. 320 terminal is targeted, but since the method conversion device 19 is a conversion related to a moving image encoded bitstream, the H.320 terminal is used. H.263 that assumes connection to a general analog public network or ISDN line using H.263. H.324 terminal or H. The same effect can be obtained even if the 323 terminal is used as the terminal A. In particular, a terminal supporting MPEG-4 video connected to a wireless line, and ITU-T, H.264 connected to ISDN or an existing public network. This is effective in realizing video communication with a communication terminal that supports H.263 video.
[0077]
【The invention's effect】
As described above, according to the present invention, it is provided with syntax configuration rule determining means for changing the configuration rule of the encoded bitstream syntax, In the syntax configuration rule judging means, a predetermined combination of syntaxes is stepwise from four types of MPEG-4 error resilience syntaxes of resynchronization data units, header duplication multiplexing, data division, and bidirectionally decodable codewords. Since it is configured to be selected, the balance between the degree of error resilience of the encoded video bitstream that is sent over a line with a high error rate and the total transmission efficiency is balanced. There is an effect that it can be converted into an efficient bit stream according to the line condition.
[0078]
According to the present invention, the syntax configuration rule determining means is configured to select the syntax configuration rule based on the quality of the line that transmits the second bit stream of the conversion destination. There is an effect that an appropriate encoded bit stream can be configured according to the condition of the transmission path through which the stream is transmitted.
[0079]
According to the present invention, the line quality monitoring means for detecting an error of the input bit stream is provided, and the line quality is obtained by the line quality monitoring means. Therefore, the quality monitoring accurately reflecting the error condition of the line. There is an effect that can be performed.
[0081]
According to the present invention, the syntax analysis unit analyzes the conversion source bit stream according to a predetermined rule and separates it into encoded data, detects an analytical error, and the encoded data conversion unit detects the analysis error. Since the encoded data lost due to the conversion is converted to a value that does not cause an analysis error on the syntax based on the moving image encoding method of the conversion destination, the encoded bit based on the moving image encoding method of the conversion destination Operates on the premise that a terminal receiving a stream is connected to a high-quality line, and even when measures for dealing with errors are not taken into consideration, there is an effect that decoding processing can be performed while suppressing deterioration in image quality .
[0082]
According to the present invention, the syntax analysis unit analyzes the conversion source bit stream according to a predetermined rule and separates it into encoded data, detects an analytical error, and the encoded data conversion unit detects the analysis error. Since the encoded data at or near the position where the image is detected is converted into data that can be recognized as an analysis error on the syntax based on the moving image encoding method of the conversion destination, the encoded bitstream of the conversion destination A terminal that receives a coded bitstream based on a moving picture coding method at the conversion destination can be connected to a high-quality line as well as can construct a coded bitstream appropriate for the condition of the transmission path on which the video is transmitted. The decoding process is performed while suppressing image quality degradation, even when countermeasures against errors are not considered. There is an effect that can be.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing a system targeted by a bitstream conversion apparatus according to Embodiment 1 of the present invention;
FIG. 2 is a configuration diagram showing an internal configuration of the bit stream conversion apparatus according to Embodiment 1 of the present invention;
FIG. 3 is a configuration diagram showing an internal configuration of a line quality monitoring unit of the bit stream conversion apparatus according to Embodiment 1 of the present invention;
FIG. 4 is a configuration diagram showing the configuration of an MPEG-4 video packet.
FIG. 5 is a block diagram showing a data partitioning syntax of MPEG-4.
FIG. 6 is a flowchart showing an operation procedure of the bit stream conversion apparatus according to the first embodiment of the present invention.
FIG. 7 is a flowchart showing another operation procedure of the bit stream conversion apparatus according to Embodiment 1 of the present invention;
FIG. 8 is a flowchart showing another operation procedure of the bit stream conversion apparatus according to Embodiment 1 of the present invention;
FIG. 9 is a block diagram showing an internal configuration of a bit stream conversion apparatus according to Embodiment 2 of the present invention;
FIG. 10 is a block diagram showing a bit stream conversion apparatus according to Embodiment 3 of the present invention.
FIG. 11 is a configuration diagram showing an internal configuration of a system conversion device in a bit stream conversion device according to Embodiment 3 of the present invention;
FIG. 12 is a block diagram showing an internal structure of a system conversion device according to Embodiment 4 of the present invention.
FIG. 13 is a flowchart showing an operation procedure of the bit stream conversion apparatus according to the fourth embodiment of the present invention.
FIG. 14 is a configuration diagram showing an internal configuration of a system conversion device of a bit stream conversion device according to Embodiment 5 of the present invention;
FIG. 15 is a block diagram showing a system conversion device of a bit stream conversion device according to Embodiment 6 of the present invention;
FIG. 16 is a flowchart showing an operation procedure of the bit stream conversion apparatus according to the sixth embodiment of the present invention.
[Explanation of symbols]
2 H. H.263 encoded bit stream (second bit stream), 3 MPEG-4 encoded bit stream (first bit stream), 4 line quality monitoring unit (line quality monitoring means), 6a H.264. 263 syntax analysis unit (syntax analysis unit), 6b MPEG-4 syntax configuration unit (encoded data conversion unit), 11 MPEG-4 syntax analysis unit (syntax analysis unit), 14H. 263 syntax component (encoded data conversion means).

Claims

In a bit stream conversion device that converts a first bit stream including moving image encoding information into a second bit stream,
A syntax configuration rule determining means for changing a configuration rule of the encoded bitstream syntax;
The syntax configuration rule determining means is configured to step-by-step a predetermined combination of syntaxes from four types of MPEG-4 error resilience syntaxes of resynchronization data units, header duplication multiplexing, data division, and bidirectionally decodable codewords. A bit stream conversion apparatus characterized in that the conversion is performed with selection .

2. The bit stream conversion apparatus according to claim 1, wherein the syntax configuration rule determination unit selects the syntax configuration rule based on the quality of a line that transmits the second bit stream to be converted.

3. The bit stream conversion apparatus according to claim 2, further comprising line quality monitoring means for detecting an error in the input bit stream, wherein the line quality is obtained by the line quality monitoring means.

In a bit stream conversion device that converts a first bit stream including moving image encoding information into a second bit stream,
A syntax analysis means for analyzing the bit stream of the conversion source according to a predetermined rule and separating it into encoded data, and detecting an analytical error;
Bitstream conversion characterized by comprising encoded data conversion means for converting encoded data lost due to an analysis error into a value that does not cause an analysis error on the syntax based on the moving image encoding method of the conversion destination apparatus.

In a bit stream conversion device that converts a first bit stream including moving image encoding information into a second bit stream,
A syntax analysis means for analyzing the bit stream of the conversion source according to a predetermined rule and separating it into encoded data, and detecting an analytical error;
Coding data conversion means for converting the encoded data at or near the position where the analysis error is detected into data that can be recognized as an analysis error even on the syntax based on the moving image encoding method at the conversion destination. A featured bitstream converter.