JP5529161B2 - ビデオストリームをブラウジングする方法及び装置 - Google Patents

Description

本発明は、ビデオストリーム、特に高いビットレートのビデオストリームをブラウジングする方法に関する。

捕捉装置、記憶技術及びビューアからの良好な視覚体験の増加する需要の急速な発展により、高いビットレートのビデオが、コンテンツ配信、動画制作及びビデオブロードキャストに広く適用されている。さらに、次の新しい年には、専門的なコンテンツプロバイダだけでなく、消費者にとっても高いビットレートのビデオが利用可能となるであろう。

たとえばTV制作スタジオといいたノンリニア編集システムのようなビデオ装置は、同時に、リアルタイムで、ビットストリームの多数のチャネルを表示する必要がある場合がある。高いビットレートのビデオからなる多数のストリームをデコードすることで、極端に計算が集中する。この問題をソフトウェアにより解決する従来技術は、J.Song及びBoon-Lock Yeoによる文献“Fast Extraction of Spatially Reduced Image Sequence from MPEG-2 Compressed Video”, IEEE Transaction on Circuit and Systems For Video Technology, Vol.9, No.7, October 1999, pp 1100-1114に記載されており、より少ない頻度係数及び部分的な更なるストリームを記憶するために補助ファイルを必要とし、ぼやけたバージョンのビデオを生成する。しかし、それぞれのビデオストリームについて係る補助ファイルを記憶することは、多くの時間と記憶スペースとを要する。これは、オフラインの計算を要する前処理技術であり、従って、リアルタイムでMPEG-1/2ビットストリームをブラウジングすることは不可能である。さらに、DC値のみ又はDC+2AC値のみの固定されたスキームを使用することは、柔軟性がなく、利用可能なリソースを十分に利用することができない。ハードウェアによる１又は複数の高いビットレートのビデオストリームの復号化は、多数のビデオチャネルを復号化するための多数のハードウェアのセットが必要とされるので、非常に高価である。

テレビジョンにおけるビデオの通常のフレームレートは、通常は、毎秒２４又は３０フレーム（fps）である。しかし、今日では、消費者の高まる要求、より高いフレームレートのビデオは、ビデオコンテンツ制作において、更にTVブロードキャストにおいて普及している。より高いフレームレートは、たとえばLCDディスプレイの表示メカニズムにより生じるモーションブラーを回避することができ、従って、より快適な視覚効果を提供することができる。また、TV番組制作及び動画コンテンツ配信のような専門的なビデオ応用では、ビューアが最良の視覚体験を得ることを保証するため、高いフレームレートがしばしば選択される。

しかし、フレームレートが高くなると、復号化処理が複雑になる。従って、高いフレームレートのビデオによる１又は複数のチャネルのリアルタイムの復号化が課題である。

フレームレートのプルダウンプロセスについて、既存のソリューションは、総当り方式を採用しており、目標の出力のフレームレートが提供され、次いで、結果として得られるフレームレートを制御するため、それぞれのX番目のフレームが等距離のやり方でドロップされる。従って、復号化されたビデオの主観的品質は、非常に低くなる可能性がある。特に、入力フレームレートが出力フレームレートから大きく変動するとき、突発的で不規則な動きと迷惑なアーチファクトが存在する。

従って、たとえば改善されたフレームレートのプルダウン方法により、改善された視覚品質をもつ高速のリアルタイムのビデオブラウジングのソリューションを提供することが望まれる。

本発明は、ビデオストリーム、特に高いビットレートのビデオストリームをブラウジングする改善された方法を提供する。例としては、高解像度／高精細（HD）ビデオストリーム、高いカラービット深さのビデオストリーム及び高いフレームレートのビデオストリームである。特に、不正確な復号化処理の目標とすることは、同時に、１以上のビデオストリームのコンテンツをブラウジングすること、又はアーカイブのために結果のビデオをトランスコードすることである。

たとえば高精細（HD）ビデオの高速ブラウジングのため、本発明の１態様は、より高い解像度のビデオを、より低い解像度のビデオに直接にデコードすることである。これは、空間及び／又は時間解像度と呼ばれる。たとえばHDビデオを入力として受信するデコーダは、ビデオをHDにデコードし、次いでダウンサンプリングする代わりに、標準精細（SD）に直接にデコードする。従って、デコーダは、非常に高速に動作することができる。

たとえば高いフレームレートのビデオの高速ブラウジングのため、本発明の１態様は、デコードの前に、デコーダが少ないピクチャをデコードするように、幾つかの省略できるフレームをマーク及びスキップすることである。

たとえば高いビットレートのビデオの高速ブラウジングについて、本発明の１態様は、デコーダがたとえば100Mbps以上といった高いビットレートのビデオについて少ない計算上の負荷を有するように、デコーダの復号化メカニズムを変えることである。

たとえばインタレース方式のビデオの高速ブラウジングのため、本発明の１態様では、上述された技術を結合することである。インタレース方式のビデオについて、１つのフィールドブラウジングすることが十分であるので、復号化の挙動は、プログレッシブソースに比較して非常に異なる。

これらの態様は、同じ問題を参照するものであるが、互いに独立している。これらの態様は、独立に実行されるか、又は高速ビデオブラウジングを達成するために結合することができる。より多くの技術を結合することで、デコーダの処理は、より高速になる。要求される結果の種類を達成するために可能性のある技術の結合のうちの１つを選択することで、デコーダの処理をどの位高速にすべきかを選択することができる。

１態様では、本発明は、ビデオ系列をブラウジングする空間及び／又は時間の低減レベルを決定するステップ、決定された低減レベルのフレームに従って、デコードのためにスキップされるべきブロック又はマクロブロックのフィールド又は部分を決定するステップ、残りのデータを、低い空間及び／又は時間解像度をもつビデオにデコードするステップを含む。デコードされたデータは、表示用に提供されるか、又は後の表示のために記憶用に提供される。

空間解像度の低減は、逆量子化処理及び逆DCT（IDCT）処理が少ない計算を必要とし、従ってより容易となるように、周波数領域で実行される。この空間的なダウンサンプリングは、実際のデコードの前に、すなわち周波数領域で好ましくは実行される。

１実施の形態では、水平空間解像度の低減は、垂直空間解像度の低減とは異なる。これは、カーネルマトリクスにおける異なる列及び行の数を使用することで達成される。本発明による係る低減された空間解像度の利点は、視覚品質が改善され、従来の方法よりもエリアシングのエラーが生じないことである。

時間解像度の低減は、スマートフレームスキップにより、すなわちどのフレーム又はフィールドをスキップすることができるかを適応的に判定することで達成することができる。コントローラは、GOP分析を実行し、GOP分析に基づいて、それぞれのフレームにいてスキップすることができるかを判定する。これに応じて、動きベクトルは、それぞれ水平及び垂直の次元で同じファクタでスケーリングし直すことができ、次いで整数に切り捨てられる。

本発明による低減された時間解像度の利点は、所望のフレームレートが正確に達成することができる点である。さらに、結合された空間及び時間解像度の低減を使用して、従来のブラウジング方法によるよりも正確に所望のデータレートを得ることができる。

１態様は、良好な視覚品質を達成するために最初の係数のセットを選択することである。１態様は、適応フレームドロップアルゴリズムであり、このアルゴリズムは、省略できるフレームを決定及びマークし、目標とするフレームレートに依存して、デコードの前にマークされたフレームをスキップすることを含む。従って、通常、全てのスキップ可能なフレームがスキップされず、目標とするフレームレートに正確に整合することができる。

１態様は、時間領域のダウンサンプリングの代わりに、周波数領域のダウンサンプリングを使用することである。これは、ダウンスケーリングされたカーネルマトリクスを使用することで達成される。たとえば、特に水平及び垂直の次元での異なるスケールによる、目標とするスケーリングの応用について、カーネルマトリクスのダウンスケーリングは非対称である場合がある。

本発明の１利点は、制限された処理能力、メモリ又はディスプレイサイズを有する携帯用装置において高いビットレートのビデオ系列の高速なブラウジングを可能にすることである。たとえば、デコーダは、高精細（HD）ビデオデータを取得し、デコードされたHDを通常のようにダウンサンプリングする代わりに、標準精細（SD）に直接にデコードする。別の利点として、特定の目標とするフレームレート及び特定のターゲットデータレート又は処理レートを正確に達成することができる。更なる利点は、低減された再構成されたピクチャにおける位相歪みが低減されることである。

本発明の１態様は、ブロック毎に符号化されたフレームを有するビデオ系列をブラウジングする方法に関するものであり、それぞれのブロックは、M*Mの周波数領域の係数マトリクスを有し、この係数は、垂直及び水平の周波数成分を表している。

本方法は、以下のステップを含んでいる。現在のブロックの時間領域の画素への周波数係数の寄与を表すマトリクス（カーネルサブマトリクス、以下参照）を、ぞれぞれの周波数係数について決定するステップ。マトリクスにおいて、少なくとも１列又は１行の係数をゼロに設定するステップ。前記列の両側の隣接する列又は前記行の上下の隣接する行がゼロに設定されない（従って、エッジではない行又は列への寄与がキャンセルされる）。前記マトリクスの係数を使用して逆量子化及び逆変換を実行するステップM*M未満の画素をもつ時間領域の画素ブロックが取得される。画素ブロックからビデオフレームを生成するステップ。

本発明の別の態様は、ビデオ系列をブラウジングする方法に関するものであり、前記系列における時間的に隣接するフレームはGOP（グループオブピクチャ）GOPを形成し、GOP内のフレームは、GOP内の他のフレームに基づいて予測される。本方法は、以下のステップを含む。目標とするフレームレートを決定するステップ。GOPにおいて、１以上の基準フレームと１以上の非基準フレームを決定するステップ。基準フレームに基づいて、第一の、現在のフレームレートを決定するステップ。第一の現在のフレームレートを目標とするフレームレートと比較するステップ。決定された第一のフレームレートが目標とするフレームレートに整合する場合、基準フレームのみをデコードし、決定された第一のフレームレートが目標とするフレームレートよりも低い場合、基準フレームと少なくとも１つの非基準フレームをデコードし、決定された第一のフレームレートが目標とするフレームレートよりも高い場合、１以上の基準フレームの間で、基準フレームではないフレームによってのみ参照される少なくとも１つの第一の基準フレームを決定し、前記第一の基準フレーム以外の基準フレームのみをデコードするステップ。

両方の方法が結合される場合がある。本発明の更なる目的、特徴及び利点は、添付図面を参照して、以下の説明及び特許請求の範囲から明らかとなるであろう。

本発明の例示的な実施の形態は、添付図面を参照して記載される。
一般的なビデオ復号化の概念を示す図である。 高いビットレートのビデオブラウジングシステムを示す図である。 高速の高精細ビデオブラウジングシステムを示す図である。 周波数係数マトリクスF(u,v)の一部を示す図である。 周波数係数マトリクスへの低減されたカーネルマトリクスの影響を示す図である。 スキップ可能なフレームをマークするフローチャートである。 フレームレートのプルダウンのフローチャートである。 インタレース方式ビデオストリームにおけるイントラのみのフィールドピクチャ構造の高速ブラウジングのフローチャートである。 インタレース方式ビデオストリームにおけるイントラのみのフレームピクチャ構造の高速ブラウジングのフローチャートである。 インタレース方式ビデオストリームにおける長いGOPフィールドピクチャ構造の高速ブラウジングのフローチャートである。 インタレース方式ビデオストリームにおける長いGOPフレームピクチャ構造の高速ブラウジングのフローチャートである。

図１は、ビデオ復号化の一般的な概念を示す。エンコードされたビデオデータは、エントロピー復号化され、逆方向のスキャンされ、ここでブロック又はマクロブロック（MB）の周波数領域の係数が取得される。この係数は、逆量子化され、逆変換される。結果として得られる残差ピクチャは、動き補償（MC）に入力され、結果として得られるピクチャは、ブロッキングアーチファクトを除くため、デブロッキングフィルタでフィルタリングされる。

本発明は、図１に示される幾つかのブロックを改善する。本発明は、ビデオブラウジングのシナリオにおいて、オリジナルビデオの近似されたバージョンを表示するのに十分な良好さであるという事実を利用する。しかし、少なくとも幾つかの応用について、あるビデオの近似されたバージョンでさえ、できるだけ高い品質を提供することが望まれる。

図２は、本発明の１実施の形態に係る、簡略化された高速の高いビットレートのビデオブラウジングを示す。受信された入力ビットストリームInは、ビットストリーム分析ブロック（BP）２１で分析され、次いで、エントロピー復号化ブロック（ED）２２で復号化される。エントロピー復号化により、残差データRes（又は図示されないイントラ符号化データ）、動きベクトルMV及びモード情報のような制御情報Moが得られる。残差データResは、適応的な部分的な係数の復号化（aAdaptive Part. Coeff. Dec）により、以下に記載されるように係数の数が低減される。動きベクトルは、整数MV切捨てモジュール（IntMV Trunc）２４において整数値に切り捨てられ、次いで、デコードされた残差と共に、動き補償ブロック（MC）２５に入力される。整数MVと低減された量の係数のため、MCが簡略化される。結果として得られるピクチャは、デブロッキングフィルタ（SDeblF）２６によりフィルタリングされ、このフィルタもまた、処理量を低減するために簡略化される場合がある。大部分のビデオ符号化規格は、ブロックアーチファクトを除くため、デブロッキングフィルタ又はループフィルタを低減する。大部分のこれらのフィルタは、非常に計算の観点で高価である。近似された形式でビデオフレームをデコードするので、デブロッキングフィルタは、処理の複雑度を低減するために、よりシンプルなフィルタにより置き換えることができる。

図３は、幅ｗ及び高さｈの観点で、ユーザによりカスタマイズされたデコードされたブロックサイズを入力するためのユーザインタフェース（UI）２７が設けられる実施の形態を示す。それぞれのブロックをｗ*ｈのサイズに出力するのを選択した場合、ビットストリームから分析されるオリジナルの動きベクトルは、もはや有効ではない。これは、ビデオの水平及び垂直解像度がオリジナルと同じではないからである。従って、動きベクトルは、これに応じてスケーリングされる必要がある。更なる詳細は、以下に説明される。

以下では、係数の量を低減する態様が更に詳細に記載される。エンコードされたビデオは、DCT（離散コサイン変換）のような変換の結果である周波数領域の係数を一般に含む。周波数領域では、それぞれのMBは、パターンの重み付け総和として表され、この場合、それぞれのパターンは、ビデオフレームを再構成することに関して異なる意義を有する。図４は、係るパターンの一部を示す。それぞれのパターンのために使用される重み付け係数は、実際のビデオ信号を表す。これらの重み付け係数は量子化され、ゼロに量子化されなかった係数のみが送信される。正確な復号化のため、逆のステップが実行される。本発明のこの態様に係る簡略化された復号化のため、係数のうちの幾つかの復号化がスキップされる。これは、所定の係数をゼロに設定することで達成される。

係数は、２次行列（quadratic matrix）として一般に示され、この場合、それぞれの係数は、２つのインデックスを有し、１つはその水平方向の位置であり、１つはその垂直方向の位置である。それぞれの係数は、それぞれのMBに含まれる特定の輝度の周波数の部分を表しており、たとえばC_0,2のような水平方向の係数は、純粋な水平方向の輝度の部分を表し、たとえばC_2,0のような垂直方向の係数は、純粋な垂直方向の輝度の部分を表し、たとえばC_3,3のような混合された係数は、水平方向の輝度と垂直方向の輝度の両者の混合された部分を表す。原理的に、色度について同じシステムが適用される。インデックス(0,0)を有するDC係数は、全ての係数のうちで最も重要な係数である。他の係数について、それら係数の距離がマトリクス内でDC係数に近くなると、その係数の重要度が高くなる。

デコーダの逆変換の入力は、ビットストリームからの重み付け係数のマトリクスである。このマトリクスを、いわゆるカーネルマトリクスと呼ばれる、それぞれ輝度パターンを表す別のマトリクスに乗算することで、ビデオフレームの残差を得ることができる。この乗算は、GPU（Graphics Processing Unit）のような並列処理アーキテクチャで複数のカーネルを同時に実行することができる。それぞれの逆変換アルゴリズムについて、デコードされたフレームへのそれぞれの係数の寄与は、カーネルマトリクスにより決定される。この概念を例示する例としてMPEG-2を考えて、逆DCTは、逆変換アルゴリズムとして使用される。標準的な逆変換式は、以下に示される。

ここでｆ(x,y)は位置(x,y)についてデコードされた画素のグレイ値を意味し、NはMPEG-2では８であるブロックサイズを意味し、C(u)及びC(v)は、u=0及びv=0である場合に1/(√2)に等しく、それ以外の場合には１に等しい。F(u,v)は位置(u,v)で周波数領域の係数を意味する。

次いで、それぞれの係数F(u,v)について、位置(u,v)での再構成されたビデオフレームへの寄与は、以下に示される。

8×8の再構成されたブロック（x＝0,…,7及びy＝0,…,7）について、F(u,v)の寄与マトリクスは、以下のように書くことができる。

次いで、再構成プロセスは、以下のように示すことができる。

［カーネルマトリクスの低減］
上述されたように、異なる係数は、デコードされたビデオの品質に寄与する異なる重要度を有する。ビデオをブラウジングするため、低減された量の係数のみが考慮される必要がある。慣習的に、MPEG-1/2における６４個の係数又はMPEG-4 AVCにおける１６個の係数の代わりに、４又は５の係数のみが閲覧のために十分に良好な品質を提供することができる。本発明は、特定の目標とするデータレートに依存して、符号化されたブロックにおける幾つかの係数を適応的に選択する。このように、大部分の係数が逆変換により処理されない。さらに、カーネルマトリクスに基づいた逆変換スキームは、逆変換による不要な計算コストを回避するため、慣習的な方法の代わりに使用することができる。

高いデータレートのビデオのフラウジングに関して、正確な画素値に対する近似のみが必要とされる。従って、たとえばラスタスキャンの順序において最初のｎ個の非ゼロの係数又は最初のｎ個の係数が適応的に選択され、それらの対応するカーネルマトリクスと乗算して、近似されたバージョンの再構成されたブロックが取得される。ｎ個の係数のみが考慮され、他の係数は考慮されないので、逆量子化は、全ての係数の代わりに、ｎ個の係数にのみ実行される。大幅な計算上のコストを節約することができる。復号化の間のチューニング用のパラメータであるｎ個の係数をIDCTのために適応的に選択することで、デコードされたビデオが主観的な現在の品質の要件を満足させることができることが保証される。

本発明の１態様によれば、カーネルマトリクスの１以上の行又は列が除かれ（可能であれば、DC係数を含む行及び列は好ましくは除かれない）、これによりより小さなカーネルマトリクスが形成される。従って、デコードされるブロックは、サイズ的に小さい。デコーダへの入力パラメータとして、再構成されるデコードされるブロックがどの位大きくあるべきかを制御することができる。たとえば、第二の列がゼロに設定される場合、式（４）におけるkernelmat_(0,1)はゼロである。

特に、除かれる行又は列は隣接している必要はなく、最も高い周波数成分を表している必要がない。言い換えれば、たとえば、ある列の係数がゼロに設定され、その列はこれにより除かれる場合、除かれていない両側に１以上の他の列が存在する場合がある。ある行の係数がゼロに設定され、従ってその行が効果的に除かれる場合、除かれない下及び／又は上に１以上の他の行が存在する場合がある。これは、再構成されたピクチャにおける位相歪みを低減することが分かる。たとえば、一般の８×８のマトリクスを有し、４×４の再構成マトリクスを望む場合、カーネルマトリクスの１つおきの行及び１つおきの列を除き（すなわち０に設定し）、４×４解像度で新たなカーネルマトリクスを生成することができ、最終的に４×４のデコードされたブロック出力が生成される。

先の例におけるように、それぞれのデコードされたブロックサイズがそのオリジナルのサイズに比例して低減される場合、デコードされたフレームのサイズもまた、そのオリジナルの解像度に比例して低減され、アスペクト比が維持される。しかし、垂直方向及び水平方向についてブロックサイズを異なって低減することも可能であって、非常に容易であり、これにより変更されたアスペクト比が得られる。１つの例は、図５に示されており、オリジナルのマトリクスO-BLでは、全ての係数が含まれている一方で、低減されたマトリクスR-BLは、ゼロに設定された、すなわち効果的に削除された４つの単一列を有する。これは、一部又は全部の係数のサブマトリクスF(u,v)＝F(0,0)，F(0,1)，F(1,0)について行うことができる。どのような場合であっても、処理の間に少ないメモリが必要とされ、デコードされたフレームを取得するために少なくとも処理ステップが必要とされる。このスキームを適用し、SIMD（Single Instruction Multiple Data）命令アーキテクチャを利用することで、逆DCTが非常に重要に実行される。

［動きベクトルの切捨て］
以下では、動きベクトルの処理の態様が更に説明される。動きベクトルは、異なるフレーム間の動きの不一致を示すために動き補償において使用される。大部分のビデオ符号化規格では、サブピクセルに基づく動き補償が適用される。たとえば、MPEG-2について、サブピクセル値を補間するために双一次フィルタが適用され、MPEG-4/Part10（又はAVC）について、半画素の値を補間するために６タップのウィーナフィルタが適用され、４分の１ピクセルの値を補間するために双一次フィルタが使用される。従って、補間の計算上のコストは高い。ビデオブラウジングシステムについて、ビデオフレームの完全な再構成は必要とされない。整数画素の動きベクトルを使用して、サブピクセルの動きベクトルを近似することができる。高速なブラウジングシステムについて、以下の式を使用して、全ての動きベクトルを整数画素の動きベクトルに前処理する。

このように、動き補償の複雑度が大幅に低減される。

１実施の形態では、上述されたように、係数のデコードをスキップするため、ブロックのアスペクト比が変更される。この場合、動きベクトルは、切捨ての前にスケーリングされる場合がある。たとえば、ｗ*ｈピクチャのブロックが１：８によりスケーリングされる場合、動きベクトルは、以下のようにスケーリングされる。

１実施の形態では、本発明は、上述された切捨てにより、サブピクセルの動きベクトルを整数の動きベクトルに変換することを含む。さらに、たとえばMPEG-2では双一次フィルタ及びMPEG-4/Part10では４−タップ／６−タップフィルタといった、対応するCODECに適用されるフィルタを使用して、サブピクセルの補間結果を生成することができる。

［デブロッキングフィルタ］
本発明の１態様は、デブロッキングフィルタに関する。通常、デブロッキングフィルタは、ブロックエッジの周りの幾つかの画素に影響を及ぼす。たとえばMPEG-4/Part10は、それぞれのブロックエッジの境界の強度に従って異なるフィルタステップを実行する複雑化された手順を有する。影響された画素の範囲は、p3 p2 p1 p0 q0 q1 q2 q3であり、pxは特定のブロックの画素であり、qxはその近傍のブロックの画素である。デブロッキングフィルタは、エッジがビューアにとって迷惑に見えないように、px及びqxを平滑化する。フィルタの決定は、ブロックサイズ、ブロックモード及び残差情報により行われる。この構造は、DSP又はFPGAとパラレルに加速及び処理するのが非常に難しい。係る種類の加速は、高速ビデオブラウジングのボトルネックのうちの１つである。本発明の１態様によれば、デコードの結果を近似し、良好な主観的な品質をなお保証するために簡略化されたデブロッキングフィルタが代用として使用される。

１実施の形態では、p0及びq0で係数［0.5，0.5］をもつフィルタといった、シンプルなロウパスフィルタが適用され、満足のいくデブロッキングの結果を与える。

［適応型フレームドロッピング］
本発明の別の態様は、適応的、部分的なフレームの省略である。本発明は、スマートフレームスキップ方式を適用して、フレームレートをハイレベルからロウレベルにプルダウンすることを提案する。従って、オリジナルビデオは、低い計算の複雑度でデコードされる。この復号化プロセスの目標は、高いフレームレートのビデオの１又は複数のチャネルの内容をブラウジングするか、異なるフレームレートの設定によるアーカイブのために結果のビデオをトランスコードすることである。オリジナルビデオのフレームレートを引き下げるため、以下の手順が使用される場合がある。はじめに、出力フレームレートのコントローラが設けられ、このコントローラは、現在のピクチャが放棄されるべきか否かを判定する。フレームをデコードする前に、隣接する系列の構造が分析されるか、又は現在のピクチャを捨てることができるかが判定される。これら２つの要素の結果を結合することで、適応的なフレームレートの引き下げの概念が得られる。

画像捕捉装置は、異なるビデオ出力フォーマットを有する。たとえば専門レベルのビデオブロードキャスト及び編集において、60fps又は59.97fpsが一般に適用され、消費者レベルの応用において、30fps又は29.97fpsがしばしば使用される。ビデオブラウジングの間、ビューアは、ビデオコンテンツが何に関するものであるかを知りたいだけである。30fpsは、60fpsに代えて、ストーリを伝えるには十分である。従って、60fpsのビデオを完全にデコードすることは不十分であり、高い計算コストのために達成不可能なことがある。従って、デコードの前に入力ビデオのフレームレートを引き下げることで、多くの計算コストを節約することができる。これにより、高いフレームレートのビデオの多数のチャネル同時にブラウジングすることが容易になる。

本発明の１態様は、高速の高いフレームレートのビデオのブラウジング方法である。提案される方法では、スマートフレームスキップスキームは、オリジナルのビデオ系列のフレームレートを予め選択されたフレームレートに引き下げるために設計される。次のフレームのフレーム符号化タイプを検出することで、デコーダは、現在のフレームをデコードするか、それをスキップするかを判定することができる。

１実施の形態では、初期化の間にビデオデコーダの状態を記録するために３つの変数が使用される。

第一の変数frm_alrdy_decodedは、デコードが開始されてから、どの位多くのフレームが既にデコードされているかを示す。
第二の変数frm_alrdy_skippedは、デコードが開始されてから、どの位多くのフレームが既にスキップされているかを示す。この変数は、０に初期化される。
第三の変数frm_decoding_propは、デコーダに送出された全てのフレームに対する、デコードされているビデオフレームの割合又はパーセンテージを示す。この変数は、０％に初期化される。

全てのフレームの処理が終了したとき、フレームがデコードされた場合にfrm_alrdy_decodedは１だけインクリメントされ、フレームのデコードがスキップされた場合にfrm_alrdy_skippedは１はインクリメントされる。
次いで、frm_decoding_propは、frm_alrdy_decoded／（frm_alrdy_decodeed＋frm_alrdy_skipped）となるように更新される。

これら３つの変数を維持することで、完全にデコードされたフレームのパーセンテージを管理することができる。従って、どの位多くのフレームがディスプレイ又はコントローラに送出されたかを判定することができ、これに応じて、更なるデコードプロセスを制御することができる。

以下、この要素がフレームレートの引き下げに役立つことができるかに例示する簡単な例を示す。入力ビデオが60fpsであり、このビデオを30fpsで見るか又はトランスコードすることができる場合、正確に半分の数のビデオフレームがディスプレイ又はトランスコーダに送出され、他の半分のビデオフレームは捨てられるべきことは明らかである。従って、frm_decoding_propは、この例では50％とすべきである。以下に記載されるものは、どのフレームをドロップすべきかを判定するプロセスである。

１実施の形態では、スキップ可能なフレームのマーキングモジュールが使用される。大部分のビデオ符号化規格では、Iフレーム（イントラ符号化）、Pフレーム（予測）及びBフレーム（双方向予測）といった、典型的に３種類のフレームが存在する。参照フレームは、予測のために少なくとも１つの他のフレームにより参照されるフレームであり、非参照フレームは、予測のために少なくとも１つの他のフレームにより参照されないフレームである。Iフレームは、他のフレームとは独立にデコードされる。Pフレームは、前方の参照フレームを参照する予測によりデコードすることができ、Bフレームは、２つのフレーム、すなわち前方及び後方の参照フレームを参照する予測によりデコードすることができる。MPEG-1及びMPEG-2のような以前の規格では、Iフレーム及びPフレームが参照フレームとして使用することができる。MPEG-4 Part10又はAVCのような最近の規格では、Bフレームを参照フレームとして使用することもできる。この場合、あるフレームが参照フレームとして使用されるか否かを示す符号が存在する。

１実施の形態では、フレームを分析する間に、この符号は評価され、フレームは、カテゴリ「参照フレーム」又は「非参照フレーム」のうちの１つに分類される。

フレームレートを引き下げるため、デコードの間に１つおきのフレームがスキップされ、大部分のケースでは、参照フレームの幾つかが失われ、これは、重要な予測エラー及びエラーの伝搬を引き起こす。従って、結果として得られるビデオは、主観的な品質において深刻に低下する。従って、１実施の形態では、スキップされる候補として非参照フレームがはじめに選択される。しかし、幾つかの場合、全ての非参照フレームがスキップされる必要はない。それは、全ての非参照フレームがスキップされることにより、非常に低いフレームレートをもつ系列となるためである。従って、あるフレームをスキップするか又はデコードするそれぞれの判定の後に、新たな現在のフレームレートを決定し、新たなレートに基づいて更なる判定を行う適応的な方法が使用される。

１実施の形態では、この方法は、以下に記載されるように“Neighborhood Sequence Structure Probing”と呼ばれる技術を使用する。ビットストリームでは、現在のフレームが参照フレームとして使用されたか否かで記録される。たとえば、MPEG-4 Part10/AVCについて、NALユニットのシンタックスにおけるnal_ref_idcの値でマークされ、たとえばMPEG-2では、Iフレーム及びPフレームのみが参照フレームとして使用され、Bフレームは使用されない。また、ピクチャの開始コードは、それぞれの規格で定義される。従って、次に到来するフレームの位置を発見することができる。

言い換えれば、採用される符号化規格に依存して、あるフレームがどの位多くのビットを占めるかを発見することができる。従って、１実施の形態では、以下の更なる変数が使用される。
Aveg_Pframe_sizeは、現在のフレームまでの、現在の系列における平均Pフレームのサイズを示す。
thetaは、現在のPフレームサイズが十分に小さいか（すなわち特定の閾値以下であるか）を測定するカスタマイズされた要素を示す。
Avg_Pframe_sizeは、現在のフレームがPフレームであって、現在のフレームのビット数がavg_Pframe_sizeの現在の値よりも（カスタマイズされた閾値要素だけ）低い場合に更新される。そのような場合、avg_Pframe_sizeは、デコードされたPフレームの全体のビットをデコードされたPフレームの全体数で更に分割することで更新される。

「スキップ可能なフレームのマーキング」モジュールの１入力は、シーケンスヘッダから分析されるか又は規格から推定される最大の参照フレーム数Nであり、他の入力は、出力ビデオと入力ビデオとの間のプルダウン率ｒである。現在のフレームF0及びF1,F2,…である現在のフレームの後のフレームについて、それぞれのフレームが占めるビット数及びそれぞれのピクチャのピクチャ符号化タイプが検出される。次いで、以下に記載されるスキップ可能なフレームのマーキングプロセスが実行される。あるフレームがスキップ可能であるとしてマークされた後、デコードプロセスの前に直接捨てられ、これによりフレームレートが引き下げられる。スキップ可能であるとしてマークされない場合、そのフレームはデコードされる。スキップ可能なマーカをどのように利用すべきかに関する詳細なプロセスは、以下で説明される。

図６は、「フレームレートプルダウンアーキテクチャ」の概念を示すフローチャートである。現在のフレームで開始して、現在のフレームが参照フレームではない場合、スキップ可能であるとしてマークされる。さもなければ、所定数Nの後続するフレームがビットストリームにおいて発見され、それらのピクチャ符号化タイプ（すなわち参照フレームとしての役割を果たすか否か）及びサイズが決定される。既知の非参照フレームのパーセンテージが特定の要素ｒを下回るか場合、現在の非参照フレームがスキップ可能ではないとしてマークされる。さもなければ、現在のフレームが１以上の他のフレームにより参照されるかが調べられる。現在のフレームが１以上の他のフレームにより参照されない場合、現在のフレームは、スキップ可能であるとしてマークされる。さもなければ、現在のフレームがIフレームである場合に、現在のフレームはスキップ可能ではないとしてマークされる。現在のフレームがPフレームである場合、次のステップは、そのframe_sizeがavg_Pframesize*thetaよりも高いかに依存する。そのframe_sizeがavg_Pframesize*thetaよりも高い場合、現在のフレームは、スキップ可能ではないとしてマークされ、さもなければスキップ可能であるとしてマークされる。

先に導入された技術を結合することで、計算上の負荷を低減するため、復号化プロセスの間に入力ビデオのフレームレートを引き下げることができる。この概念は、図７に示される。この概念を適用することで、高いフレームレートのプルダウンによるビデオ復号化の複雑度は、大幅に低減することができる。高いフレームレートのビデオの多数のチャネルは、デコードの後の代わりに、系列の分析の間にリアルタイムで引き下げることができる。GPU又はDSP（デジタルシグナルプロセッサ）に基づく復号化環境の場合、高いフレームレートのビデオフィードの多くのチャネルを同時に引き下げることができる。

［インタレース方式ビデオの処理］
プログレッシブビデオ復号化に比較して、インタレース方式のビデオ信号の復号化及び表示は、より複雑である。これは、主に、トップフィールドとボトムフィールドの逆変換と動き補償における異なる復号化の処理のためである。完全な品質の結果を得るためにデインタレース処理が必要とされる。しかし、インタレース方式のビデオの高速ブラウジングの場合には、ソースのフル解像度及び完全な品質でビデオを見ることは必要ではない。実際に、高速スキャニングについて、低い解像度を使用して、ビデオコンテンツが何に関するものであるかに関する見解を得ることで十分である。従って、ビットストリームの構造に従って、インタレース方式ビデオの高速ブラウジングスキームが設計される。

本発明の１実施の形態では、オリジナルの半分の高さ及び幅で出力ビデオを生成することが目標とされる。従って、大幅な計算上の復号化コストを節約することができる。

以下ではW*Hとしての逆変換ブロックのサイズが考慮され、インタレース方式のビデオビットストリームのついて高速ブラウジングを達成するためのツールとして、先に説明された逆変換位相リスケーリング（rescaling）アルゴリズムが適用される。

イントラのみのインタレース方式のビデオストリームを高速にブラウジングする場合、それぞれのフレームは、独立にデコードすることができる。従って、１実施の形態では、トップフィールド又はボトムフィールドの水平解像度の半分のみをデコードし、他の全てのデータをスキップすることで、高速ブラウジングを達成する。

フィールドピクチャについて、トップフィールドピクチャ及びボトムフィールドピクチャは、個別のビットストリームシンタックスでデコードされる。従って、１実施の形態では、全てのトップフィールドを保持し、全てのボトムフィールドをドロップするか、逆に全てのボトムフィールドを保持し、全てのトップフィールドをドロップすることが選択される。

次いで、全ての保持されたフィールドピクチャについて、デコードされたブロックサイズ（W/2,H）のカスタマイズされた入力により逆変換位相リスケーリングアルゴリズムを適用して、正しいディスプレイのアスペクト比をもつビデオが生成される。結果のビデオは１つのフィールドのみを有するため、ビデオのデインタレース（de-interlacing）をスキップすることができ、主観的な品質は、ブラウジングのために良好である。このワークフローの詳細は、図８に示される。フィールドは１つずつ分析され、１つのタイプのフィールド（たとえばボトムフィールド）が選択され、他のタイプのフィールドがドロップされ、次いで、デコードの前に選択されたフィールドに（W/2,H）による逆変換位相リスケーリングが実行される。

フレームピクチャについて、２つの異なる逆変換モードが可能である。一方は、フィールド逆変換であり、あるフィールドの残差ブロックを生成する。他方は、フレーム逆変換であり、２つのフィールドの残差の結合されたブロックを生成する。フィールド逆変換ブロックについて、ボトムフィールドの係数は、直接に捨てられてトップフィールドのみがデコードされる。（W/2,H）のデコードされた出力ブロックのサイズのカスタマイズされた入力により、逆変換位相リスケーリングが適用される。フレーム逆変換ブロックについて、（W/2,H/2）のデコードされた出力ブロックサイズのカスタマイズされた入力により、逆変換位相リスケーリングが適用され、正しいアスペクト比でトップフィールドのみをもつビデオが生成される。結果のビデオは、１つのフィールドのみを有するので、ビデオのデインタレースをスキップすることができ、主観的な品質を非常に良好にすることができる。このワークフローの詳細は、図９に示される。

異なるケースは、“long GOP”のブラウジングである。長いGOPは、Iフレーム、Pフレーム及びBフレームを含むグループオブピクチャとして理解される。長いGOPのインタレース方式のビデオビットストリームを高速にブラウジングする場合、ビットストリームにおけるそれぞれのフレームを独立にデコードすることはできない。従って、インタレース方式のビデオ系列を効率的にブラウジングするため、半分の幅で両方のフィールドがデコードされる。次いで、全てのボトムフィールド又はトップフィールドをドロップして、デコードされたビデオの正しいアスペクト比が取得される。このように、計算上のコストは、５０％だけ実質的に低減される。

フィールドピクチャの場合、全てのブロックについて、デコードされた出力ブロックサイズ（W/2,H）のカスタマイスされた入力で逆変換位相リスケーリングが適用される。参照フレーム／フィールドは水平方向の幅において半分であるので、動きベクトルは、式（５ａ）及び（５ｂ）により記載されるようにスケーリングされる。次いで、現在のフレームのデコードされた結果として、トップフィールドのピクチャが出力される。結果のビデオは１つのフィールドのみを有するので、ビデオのデインタレース処理がスキップされ、主観的な品質は、非常に良好である。このワークフローの詳細は、図１０に示される。

本発明の１態様は、上述されたように、適応的な部分的な係数の復号化である。この復号化は、復号化処理全体をスピードアップさせるために使用することができる。ビットストリームから分析された係数は、図１に示されるように、逆量子化IQ及び逆量子化ITに順次に処理される。高いデータレートのビデオ系列において、多数の係数がビットストリームに存在する。従って、これら２つのモジュールIQ，ITで実行される多数の計算が存在する。

たとえばメモリが制限されたシステム、電力が制限されたシステム又は小型ディスプレイといった、様々な応用のシナリオが可能である。提案される概念は、オリジナルフレームワークに比較してビットストリームを復号化するために大幅に少ないメモリを必要とする。たとえば、デコードされたブロックサイズのうちオリジナルのサイズの半分のみを出力する場合、オリジナルの概念に比較して２５％のメモリのみが必要とされる。従って、提案される概念は、メモリが制限されたシステムに非常に適している。さらに、提案される概念は、あるフレームにおける多数の画素に対する逆変換及び動き補償を実行するのを回避する。従って、復号化処理の複雑度が非常に低い。従って、HDビデオ復号化のために消費される電力が大幅に低減される。最終的に、携帯電話及びハンドヘルド装置のような小型ディスプレイを持つシステムについて、提案される概念は、高精細の概念の代わりに、小さな解像度のビデオを直接にデコードすることができ、再構成の後に最終的にダウンスケールされる。

例示を通して本発明が説明されたが、詳細の変更は、本発明の範囲から逸脱することなしに行うことができることを理解されたい。明細書及び特許請求の範囲並びに図面で開示されたそれぞれの特徴は、独立に提供されるか、又は適切な組み合わせで提供される場合がある。特徴は、ハードウェア、ソフトウェア又は両者の組み合わせで実現される場合がある。接続は、無線接続又は有線接続として実現される場合があり、必ずしもダイレクト接続又は専用接続である必要はない。請求項に現れる参照符号は、例示することを目的とするものであって、請求項の範囲を限定するものではない。

Claims (10)

1. ブロック毎に符号化されたフレームを含むビデオ系列をブラウジングする方法であって、
   それぞれのブロックは、Ｍ×Ｍの周波数領域の係数のマトリクスを有し、前記係数は、垂直方向と水平方向の周波数成分を表し、
   当該方法は、
   複数のビデオ系列をブラウジングする空間及び／又は時間の低減レベルを決定するステップと、
   決定された低減レベルに従って、復号化について省略されるべきブロック又はマクロブロックのフレーム、フィールド又は部分を決定するステップと、
   残りのデータを、低い空間及び／又は時間の解像度を持つ複数のビデオに同時に復号化するステップと、
   デコードされたデータをディスプレイに提示するステップとを含み、
   前記復号化するステップは、それぞれのビデオ系列について、
   それぞれの周波数の係数について、現在のブロックの時間領域の画素への周波数の係数の寄与を表すマトリクスを決定するステップと、
   前記マトリクスにおいて、少なくとも１列又は１行の係数をゼロに設定するステップであり、前記１列の両側の隣接する列又は前記１行の上及び下の隣接する行はゼロに設定されないステップと、
   前記マトリクスの係数を使用して、逆量子化及び逆変換を実行するステップであり、Ｍ×Ｍの画素未満の画素をもつ時間領域の画素ブロックが取得されるステップと、
   前記画素ブロックからビデオフレームを生成するステップと、
   を含むことを特徴とする方法。
2. 前記マトリクスにおける２以上の隣接しない行又は列は無視されるか、又はゼロに設定される、
   請求項１記載の方法。
3. 垂直方向及び水平方向における異なるスケールによる空間スケーリングが得られる、
   請求項１又は２記載の方法。
4. 少なくとも１つのビデオ系列はインタレース走査されており、インタレース走査されたピクチャのトップフィールドのみ又はボトムフィールドのみが使用され、
   前記マトリクスの列の半分はゼロに設定され、これにより５０％の水平方向のスケーリングが得られる、
   請求項１乃至３の何れか記載の方法。
5. 前記系列内の時間的に隣接するフレームは、グループオブピクチャ（GOP）を形成し、
   前記GOP内のフレームは、前記GOP内の他のフレームに基づいて予測され、
   当該方法は、
   目標とするフレームレートを決定するステップと、
   前記GOPにおいて、１以上の参照フレームと１以上の非参照フレームとを決定するステップと、
   前記参照フレームに基づいて、第一の、現在のフレームレートを決定するステップと、
   決定された第一の、現在のフレームレートを前記目標とするフレームレートと比較するステップと、
   前記決定された第一の、現在のフレームレートが前記目標とするフレームレートに整合する場合、前記参照フレームのみを復号化するステップと、
   前記決定された第一の、現在のフレームレートが前記目標とするフレームレートよりも低い場合、前記参照フレームと前記非参照フレームのうちの少なくとも１つとを復号化するステップと、
   前記決定された第一の、現在のフレームレートが前記目標とするフレームレートよりも高い場合、前記１以上の参照フレームのうちで、参照フレームではないフレームによってのみ参照された少なくとも１つの第一の参照フレームを決定し、前記第一の参照フレーム以外の参照フレームのみを復号化するステップと、
   を更に含む請求項１乃至４の何れか記載の方法。
6. 前記非参照フレームをスキップ可能であるとマークするステップと、
   前記決定された第一の、現在のフレームレートが前記目標とするフレームレートよりも低い場合、復号化すべき第一の非参照フレームを決定し、前記第一の非参照フレームをスキップ可能でないとマークするステップと、
   前記第一の非参照フレームを決定する前記ステップ及び／又はマークする前記ステップに応じて、新たな現在のフレームレートを計算し直すステップと、
   前記現在のフレームレートを前記目標とするフレームレートと比較するステップと、
   前記現在のフレームレートと前記目標とするフレームレートとを比較するステップの結果に基づいて、スキップ可能としてマークされていないフレームを復号化するステップ、又は、非参照フレームを決定する前記ステップを繰返して新たな現在のフレームレートを計算し直し、前記現在のフレームレートと前記目標とするフレームレートとを比較するステップと、
   を更に含む請求項５記載の方法。
7. 前記画素ブロックからビデオフレームを生成する前記ステップは、少なくとも非参照フレームについて動き補償を実行するステップを含み、
   当該方法は、
   動きベクトルを復号化するステップと、
   前記動きベクトルを整数値に切り捨てるステップと、
   切り捨て後の動きベクトルに基づいて前記動き補償を実行するステップと、
   を更に含む請求項１乃至６の何れか記載の方法。
8. 前記生成されたビデオフレームにデブロッキングフィルタリングを実行するステップを更に含み、ここで、係数［0.5，0.5］をもつロウパスフィルタが使用される、
   請求項１乃至７の何れか記載の方法。
9. 空間及び／又は時間の低減の目標レベルを決定するステップを更に含み、
   空間及び／又は時間低減のそれぞれのステップの後に、前記目標レベルに到達したかを判定するステップと、
   前記目標レベルに到達していない場合に、更なる空間及び／又は時間低減ステップを実行するステップと、
   を更に含む請求項１乃至８の何れか記載の方法。
10. 請求項１乃至９の何れか記載の方法を実行する装置。

Images