JP2008177907A - 動画データ復号装置、情報機器、動画データ復号方法および動画データ復号プログラム - Google Patents

Abstract

【課題】ワンセグ放送等の圧縮動画データストリームを復号して映像信号を出力する装置において、ピクチャの一部または全部が欠落した場合でも、視聴者に違和感を感じさせない映像信号を出力することを課題とする。
【解決手段】動画データ復号装置を、復号処理によって復号された復号済ピクチャを所定の量バッファするバッファ部２６と、ピクチャ生成を行うピクチャ生成部２３であって、フレーム間予測に用いられる参照ピクチャが欠落している場合（Ｓ２０２）、バッファ部２６によってバッファされた復号済ピクチャより、欠落した参照ピクチャの代替となる代替参照ピクチャを取得（Ｓ２０３）してピクチャ生成を行う（Ｓ２０５）ピクチャ生成部２３と、を備える動画データ復号装置とした。
【選択図】図１０

Description

本発明は、フレーム間予測によるピクチャ生成を含む復号処理を行う動画データ復号装置に関する。

圧縮動画データを復号して映像を表示する際に、ピクチャの欠落に対処する技術として、欠落したピクチャを他のピクチャで補完する方法や（特許文献１を参照）、ＩＤＲフレームではないことを条件として１フレーム前の過去データ等に基づいて復号を行う方法がある（特許文献２を参照）。
特開２００２−３２０１５６号公報 特開２００６−１７４２０９号公報 特開２００３−１３４０６４号公報

従来、ワンセグ放送（１セグメント放送）を受信可能なチューナおよびアンテナが接続されたパーソナルコンピュータを用いて、ワンセグ放送を視聴することが出来る。ここで、パーソナルコンピュータは、多様な機器が搭載されていることから、自身からワンセグ放送の受信を妨げる電波を発生することがある。例えば、ＤＶＤを読み書きするＤＶＤドライブによってＤＶＤの読込等が始まると、瞬間的に電力がピークとなりその影響でワンセグ放送の良好な受信を妨げる電波が発生する。また、ノート型のパーソナルコンピュータ等、モバイル機器でワンセグ放送を視聴する場合には、移動や周囲の状況によって、受信状況が良好とならないことがある。

これらの場合、ワンセグチューナより映像および音声のデータが出力されず、ピクチャの一部または全部が欠落するため、映像および音声が停止または乱れるという現象が発生する。その他、機器による妨害電波の影響に限らず、何らかの原因でピクチャが欠落することによって、映像および音声が停止または乱れるという現象が起こることがある。

ここで、従来から行われている対処方法として、欠落したピクチャを他のピクチャで補完する方法がある（特許文献１を参照）。しかし、この対処方法では、欠落したピクチャを他のピクチャで補完しただけであるため、補完された部分は同一の映像が連続してしまうという問題がある。また、受信不能が生じた場合に、ＩＤＲフレームではないことを条件として１フレーム前の過去データ等に基づいて復号を行う方法がある（特許文献２を参照）。しかし、この対処方法では、ＩＤＲフレーム自体は欠落していないが、ＩＤＲフレームに係るピクチャのデータが欠落しているような場合に対処することが出来ないという問題がある。

本発明は、上記した問題に鑑み、ワンセグ放送等の圧縮動画データストリームを復号して映像信号を出力する装置において、ピクチャの一部または全部が欠落した場合でも、視聴者に違和感を感じさせない映像信号を出力することを課題とする。

本発明は、上記した課題を解決するために、復号済ピクチャを所定時間バッファすることで、フレーム間予測に利用する参照ピクチャに欠落が発生した場合にも、バッファされた復号済ピクチャから代替の参照ピクチャを取得してピクチャを生成することを可能にし
た。

詳細には、本発明は、圧縮動画データストリームに基づいて、フレーム間予測によるピクチャ生成を含む復号処理を行う動画データ復号装置であって、前記復号処理によって復号された復号済ピクチャを所定の量バッファするバッファ部と、前記ピクチャ生成を行うピクチャ生成部であって、前記フレーム間予測に用いられる参照ピクチャが欠落している場合、前記バッファ部によってバッファされた復号済ピクチャより、該参照ピクチャの代替となる代替参照ピクチャを取得して前記ピクチャ生成を行うピクチャ生成部と、を備える動画データ復号装置である。

ここで、圧縮動画データストリームとは、放送やストリーミングによって受信される動画データのデータストリームであり、例として、ワンセグチューナーより出力されるＴＳ信号（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）が挙げられる。

従来、参照ピクチャに欠落が発生している場合、ピクチャを生成することが出来ないか、情報不足のピクチャが生成されていたが、本発明に拠れば、参照ピクチャに欠落が発生している場合であっても、バッファされた復号済ピクチャを代替参照ピクチャとすることで、視聴者に違和感を感じさせない程度のピクチャを生成し、映像の乱れや停止を防止することが可能となる。

また、本発明に係る動画データ復号装置は、表示装置へのインターフェースと、前記復号済ピクチャが前記所定の量バッファされた状態で、前記圧縮動画データストリームが受信または入力された時間から所定時間遅延させて前記復号済ピクチャに基づく映像信号を前記表示装置へ出力する出力制御部と、を更に備え、前記ピクチャ生成部は、前記圧縮動画データストリームの情報欠けによってピクチャが欠落した場合に、前記バッファ部によってバッファされた復号済ピクチャより参照ピクチャまたは前記代替参照ピクチャを取得して前記ピクチャ生成を行い、欠落したピクチャを補完してもよい。

本発明に拠れば、ピクチャに欠落が発生している場合であっても、バッファされた復号済ピクチャを参照ピクチャとしてピクチャを生成し、欠落したピクチャを補完することが可能となる。なお、補完のためのピクチャを生成する場合にも、参照ピクチャに欠落が発生していれば、代替参照ピクチャを使用することが出来る。

更に、本発明は、コンピュータが実行する方法、又はコンピュータに実行させるプログラムとしても把握することが可能である。また、本発明は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものでもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

本発明によって、ワンセグ放送等の圧縮動画データストリームを復号して映像信号を出力する装置において、ピクチャの一部または全部が欠落した場合でも、視聴者に違和感を感じさせない映像信号を出力することが可能となる。

以下、図面を参照して、本発明に係る情報機器をパーソナルコンピュータとして実施した場合の実施の形態を説明する。以下の実施形態の構成は例示であり、本実施形態は実施形態の構成には限定されない。

＜発明の骨子＞
ワンセグ放送では、圧縮符号化方式としてＨ．２６４／ＡＶＣ（レベル１．２、３２０ｘ２４０または３２０ｘ１８０、最小フレーム間隔１／１５秒）が用いられている。この方式では、圧縮された動画データよりピクチャを生成する方法として、フレーム間予測によるピクチャ生成が採用されている。

図１は、Ｈ．２６４／ＡＶＣのデータ構成を示す図である。Ｈ．２６４／ＡＶＣのデータには、シーケンス全体の符号に関わる情報が含まれるヘッダであるＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャ全体の符号化モードを示すヘッダであるＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、必要な場合に付加されるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）、ＩＤＲピクチャ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ Ｐｉｃｔｕｒｅ）等が含まれる。ワンセグ放送では、３枚以内の参照ピクチャからフレーム間予測が行われ、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）が生成される。

本実施形態に係るパーソナルコンピュータは、ワンセグ放送の受信チューナ、および復号手段を備え、表示部（ディスプレイ）に復号した映像信号に基づく画像を表示することによってワンセグ放送を視聴することが可能なパーソナルコンピュータである。このようなパーソナルコンピュータでは、パーソナルコンピュータに備えられた機器自体が妨害電波を発生すること等により、一時的にフレームの受信等に失敗し、ピクチャに欠落が発生することが考えられる。

ここで、従来のワンセグ放送視聴装置では、過去の復号済ピクチャはメモリから順次削除されるため（図２を参照）、ピクチャに欠落が発生すると、そのまま情報不足の映像が出力されたり、表示される映像がブラックアウトしたりすることを防止できない（図３および図４を参照）。

そこで、本実施形態に係るパーソナルコンピュータは、再生時間にして３秒分の復号済ピクチャをバッファする（即ち、コンピュータ上のメモリから削除しない）こととした（図５を参照）。そして、ピクチャ生成に必要な参照ピクチャに欠落がある場合には、バッファされた復号済ピクチャより代替となる参照ピクチャを取得することで必要枚数の参照ピクチャを揃え、この代替参照ピクチャを含む参照ピクチャに基づいてフレーム間予測によるピクチャ生成を行う（図６を参照）。

即ち、本実施形態に係るパーソナルコンピュータに拠れば、参照ピクチャに欠落が発生した場合でも、情報不足の映像が出力されたり、映像がブラックアウトしたりすることなく、表示された映像を見る視聴者に違和感を殆ど感じさせない映像が表示されるような映像信号を出力することが可能である。

本実施形態において、バッファされる復号済ピクチャの量は、動画として表示する場合の時間に換算して３秒分とする。ワンセグ放送は毎秒１５フレームであるため、おおよそ４５フレームの復号済ピクチャがバッファされる。

更に、本実施形態に係るパーソナルコンピュータは、このバッファを利用して３秒間の遅延表示を行う。つまり、本実施形態に係るパーソナルコンピュータでワンセグ放送を視聴する場合、他の通常のワンセグ放送視聴装置で視聴する場合に比べて３秒遅れた画像が表示される。遅延表示を行うことによって、ＴＳ信号の情報欠けによってピクチャが欠落している場合にも、ピクチャが欠落している映像信号をそのまま出力してしまうことなく、バッファされた復号済みピクチャを参照ピクチャとしてピクチャの生成を行い、欠落し
たピクチャを補完することが可能となる。

このバッファ量および遅延時間は、３秒以上前のピクチャが代替参照ピクチャとして使用される可能性を考慮すると、可能な限り多くすることが好ましいが、実際に視聴する際の遅延の許容範囲や、パーソナルコンピュータ上に確保できるバッファ領域のサイズを考慮して、本実施形態では３秒とした。但し、このバッファ量および遅延時間は、実施の形態毎に適宜最適な値に設定されることが好ましい。例えば、常駐するアプリケーションや不要なアプリケーションを終了させたり、メインメモリの一部をビデオメモリとして使用しない（単独のビデオメモリを設ける）ことで確保可能なメインメモリの容量を増やし、バッファ量を増やすこと等が考えられる。

＜パーソナルコンピュータの概要構成＞
図７は、本実施形態に係るパーソナルコンピュータ１０の概要構成図である。本パーソナルコンピュータ１０は、ユーザの操作を受けて、パーソナルコンピュータ１０を操作する操作部１８と、操作部１８における操作を検知する検知部２２と、テレビジョン放送を受信する放送受信部１４と、放送受信部１４より出力されたＴＳ信号に基づいて復号された復号済ピクチャを表示部４０へ出力する動画データ復号装置１０Ａと、入力された映像信号に基づいて放送受信部１４で受信された放送番組を表示する表示部４０とを有する。

さらに、動画データ復号装置１０Ａは、放送受信部１４より出力されたＴＳ信号を復号するピクチャ生成部２３と、ピクチャ生成部２３によって生成された復号済ピクチャを一定量記憶するバッファ部２６と、復号済ピクチャを表示部４０へ出力する出力制御部２１とを有する。

これらの各機能部は、ＣＰＵ、メモリ等を含むコンピュータとコンピュータ上で実行されるプログラムによって実現することができる。

ここで、操作部１８は、コンピュータの入力装置や、赤外線検出部と赤外線リモコンとの組み合わせによるリモコン操作部、チャンネル操作用のつまみ、操作ボタン等である。

検知部２２は、操作部１８とＣＰＵとのインターフェースと、インターフェースの信号を処理するデバイスドライバと、デバイスドライバを通じて操作部１８との間で信号を授受するＯＳ（オペレーティングシステム）と、を通じて、操作部１８への操作（例えば、受信チャンネルの切り替え）を検知する。

ただし、検知部２２として、専用のハードウェアを設けてもよい。例えば、操作部用の入力信号処理回路を設けて、ＣＰＵの処理を分担してもよい。このような処理回路としては、キーボードコントローラ、マウスコントローラ等が知られている。

また、例えば、操作部１８からの信号を処理する専用の入力制御プロセッサを別途設けてもよい。入力制御プロセッサは、操作部１８の信号を所定の信号に変換し、出力制御部２１に信号を伝達すればよい。

放送受信部１４は、所謂ワンセグチューナである。放送受信部１４は、アンテナで放送波を受信し、受信した放送波に基づいた圧縮動画データストリーム（ＴＳ信号）を出力する。

ピクチャ生成部２３は、放送受信部１４より出力されたＴＳ信号に基づいて、動画を構成する各フレームのピクチャを生成する。ここで、本実施形態では、フレーム間予測に基づくＰピクチャ生成を含むピクチャ生成処理が行われる。ピクチャ生成部２３は、ＣＰＵ
上で実行されるコンピュータプログラムとして構成すればよい。ただし、ピクチャ生成部２３は、ＴＳ信号に基づいてピクチャを生成し、生成したピクチャを出力する専用プロセッサとして構成されてもよい。

バッファ部２６は、生成された復号済ピクチャを一時的に記憶する。バッファ部２６は、ピクチャ生成部２３によって生成された復号済ピクチャの入力を受け付け、再生時間にして３秒分の復号済ピクチャをバッファする。バッファ部２６は、ＣＰＵ上で実行されるコンピュータプログラムによって制御される電源バックアップされた揮発性メモリ、フラッシュメモリ等の不揮発性のメモリ、ハードディスクあるいは可搬媒体等の記録媒体として構成すればよい。ただし、バッファ部２６は、入力された復号済ピクチャをバッファする専用メモリとして構成されてもよい。

出力制御部２１は、表示部４０とのインターフェースを有し、表示部４０へ出力する映像信号を制御する。出力制御部２１は、検知部２２によって検知された信号に従って、バッファ部２６にバッファされた復号済ピクチャを読み出し、映像信号に変換して表示部４０へ出力する。この際、出力制御部２１は、放送が受信された時間から３秒遅延させて出力を行う。出力制御部２１は、ＣＰＵ上で実行されるコンピュータプログラムとして構成すればよい。ただし、出力制御部２１は、動画データ等を表示部４０への出力形式に変換して映像信号を出力する専用プロセッサとして構成されてもよい。

表示部４０は、いわゆるモニタであり、出力制御部２１より出力された映像信号の入力を受けて映像を表示する。

＜パーソナルコンピュータの構成＞
図８は、本発明の一実施形態に係るパーソナルコンピュータ１０の詳細構成の例を示す図である。図８のように、パーソナルコンピュータ１０は、コンピュータプログラムを実行し、パーソナルコンピュータ１０を制御するＣＰＵ１１と、ＣＰＵ１１で実行されるコンピュータプログラム、あるいはＣＰＵ１１が処理するデータを記憶するメモリ１２と、ＣＰＵ１１を各種の装置に接続するインターフェース１３と、インターフェース１３を通じて接続される放送受信部１４、通信部１５、ハードディスク駆動装置１６、可搬媒体駆動装置１７、操作部１８、および表示部４０等の装置を有している。

ここで、ＣＰＵ１１は、コンピュータプログラムを実行し、パーソナルコンピュータ１０の各部を制御することで、パーソナルコンピュータ１０を、検知部２２、放送受信部１４、出力制御部２１、ピクチャ生成部２３、バッファ部２６、および出力制御部２１等の各機能部を有する装置として機能させる。メモリ１２は、ＣＰＵ１１で実行されるプログラム、およびＣＰＵ１１で処理されるデータを記憶する。メモリ１２は、揮発性のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、不揮発性のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含む。ＲＯＭには、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）のような書き換え可能な半導体メモリを含む。

インターフェース１３は、ＵＳＢ等のシリアルインターフェース、あるいは、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ ）、ＥＩＳＡ（Ｅｘｔｅｎｄｅｄ ＩＳＡ）、ＡＴＡ（ＡＴ Ａｔｔａｃｈｍｅｎｔ）、ＩＤＥ（Ｉｎｔｅｇｒａｔｅｄ Ｄｒｉｖｅ Ｅｌｅｃｔｒｏｎｉｃｓ）、ＩＥＥＥ１３９４、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）等のパラレルインターフェースのいずれでもよい。 なお、図８では、インターフェース１３と記載されている
が、ＣＰＵ１１と各装置との間を異なるインターフェースで接続してもよい。また、複数のインターフェースをブリッジ接続してもよい。

放送受信部１４は、ワンセグ放送用のテレビジョンチューナである。放送受信部１４は、同調回路と増幅器を含む高周波部の他、デジタル信号の復号器（ＯＦＤＭ（Ｏｒｔｈｏｇｏｎａｌ Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘｉｎｇ ）の復調器）等を含む。

ここで、高周波部は、高周波の電磁波をベースバンド信号に変換する。また、ＯＦＤＭの復調器は、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）処理回路および直交復調器を含み、ベースバンド信号からデジタル信号を生成する。これらの処理は、積和演算を実行する専用のデジタル回路で構成されてもよい。また、ＤＳＰのようなプロセッサとプログラムで構成されてもよい。また、テレビジョン放送の規格にしたがって製造され販売されている復調用ＬＳＩを用いてもよい。

通信部１５は、ブロードバンドネットワークとのインターフェースである。ブロードバンドネットワークは、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ ）、ケーブルテレビネットワーク、ｘＤＳＬ（ｘ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）、ＡＤＳＬ、光ネットワーク等の有線ネットワーク、あるいは、無線ＬＡＮ、固定無線アクセス（ＦＷＡ）等の無線アクセス可能なネットワークである。通信部１５は、例えば、ネットワーク上のサーバから、ハードディスク駆動装置１６にインストールされるコンピュータプログラムや、テレビジョン放送の電子番組表等を取得する。これらのブロードバンドネットワークは、一般的には、インターネットに接続可能である。

ハードディスク駆動装置１６は、メモリ１２にロードされるプログラムを格納する。また、ハードディスク駆動装置１６は、ＣＰＵ１１で処理されるデータを記憶する。。

なお、ハードディスク駆動装置１６は、１台に限定されず、複数台設けられてもよい。また、例えば、ハードディスク駆動装置１６は、ネットワーク上の他のコンピュータ、例えば、ディスクサーバが管理するものであってもよい。その場合には、ＣＰＵ１１が、通信部１５を介してディスクサーバと通信するようにすればよい。そして、ＣＰＵ１１が、ディスクサーバから取得したＥＰＧ等を表示部４０に表示すればよい。

可搬媒体駆動装置１７は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＨＤ−ＤＶＤ、ブルーレイディスク等の駆動装置である。また、可搬媒体駆動装置１７は、フラッシュメモリ等の不揮発性メモリを有するカード媒体の入出力装置であってもよい。可搬媒体駆動装置１７が駆動する媒体は、例えば、ハードディスク駆動装置１６にインストールされるコンピュータプログラム、動画データ等を保持する。

操作部１８は、コンピュータの入力装置、例えば、キーボード、ポインティングデバイス等である。また、操作部１８として、赤外線検出部と赤外線リモコンとの組み合わせによるリモコン操作部や、各種のスイッチ、チャンネル操作用のつまみ等が含まれる。ポインティングデバイスの種類には特に限定はなく、マウス、トラックボール、ダイヤル式操作部、スティック形式で表示部４０上のポインタを移動する装置、静電容量によってユーザの指の操作を検出するデバイス、タッチパネル、ジョイスティック等、パーソナルコンピュータ１０の特性、ユーザのニーズ等に応じて、適切なものを使用すればよい。

キーボードは、ユーザの入力操作に応じて、入力されたキーに対応する電気信号を不図示のキーボードコントローラに送信する。キーボードコントローラは、その電気信号に対
応する符号をＣＰＵ１１に送信する。

ポインティングデバイスは、ユーザ操作を検知して、操作信号を不図示のポインティングデバイス制御装置（例えば、不図示のマウスコントローラ、または、インターフェース１３等）に送信する。操作信号を受けたポインティングデバイス制御装置は、操作の方向および操作量を生成するための情報をＣＰＵ１１に送信する。ＣＰＵ１１のデバイスドライバは、ポインティングデバイス制御装置からの操作信号に基づき、表示部４０上の画面にポインタを表示し、画面上を移動させる。

また、ＣＰＵ１１のＯＳは、ポインタと、画面上のオブジェクト（ウィンドウ、ボタン、メニュー、リスト等）との位置関係を判定する。そして、そして、ポインタが存在する位置にあるオブジェクトを選択状態、あるいは、フォーカス状態にする。さらに、ポインティングデバイスに対する選択確定操作、例えば、マウスボタンの押下によって、そのオブジェクトの選択を確定する。

表示部４０は、例えば、液晶表示装置、プラズマディスプレイパネル、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、エレクトロルミネッセンスパネル等である。なお、図示されていないが、表示部４０には、画像データを格納するＲＡＭ、およびＲＡＭのデータに基づき表示部４０を駆動する駆動回路が含まれる。ただし、画像データを格納するＲＡＭ、表示部４０を駆動する駆動回路等は、画像処理基板として独立に設けても良い。その場合に、画像処理基板には、ＣＰＵ１１からの画面情報を構成するデータが入力される。

また、表示部４０には、スピーカが付属し、放送受信部１４で生成された音（音声および音声以外の音響を含む）、ハードディスク駆動装置１６または可搬媒体駆動装置１７から読み出され、不図示の音声合成基板で再生された音を出力する。音声合成基板は、例えば、ＭＰ３等のデジタルデータを音に変換する。

本発明に係る情報機器は、以上のようなパーソナルコンピュータ１０として構成できる。ただし、本発明に係る情報機器は、パーソナルコンピュータに限定されず、同等の機能を有する他の装置、例えば、テレビジョン受信装置であってもよい。また、テレビジョン放送受信用のチューナ、セットトップボックス、テレビジョン放送受信機能付きの携帯電話、携帯情報端末（ＰＤＡ）、ゲーム機、テレビジョン放送受信機能付きの車載器等によっても実現できる。

＜処理フロー＞
図９および図１０に、パーソナルコンピュータ１０の処理フローを示す。図９は、画像データ復号処理の全体の流れを示すフローチャートである。本フローチャートに示される画像データ復号処理は、操作部１８におけるテレビジョン視聴開始操作を検知部２２が受信し、検知部２２によって画像データ復号処理の開始指示が出力制御部２１に対して出されたことによって実行される。

ステップＳ１０１では、放送受信部１４より出力されたデータストリームに基づいてピクチャが生成される。ピクチャ生成部２３は、放送受信部１４より出力されたＴＳ信号に基づいて、動画表示に必要な各フレームのピクチャを生成する。この際、Ｐピクチャは、復号済の１から３のＩピクチャまたはＰピクチャを参照するフレーム間予測によって生成される。その後、処理はステップＳ１０２へ進む。

ステップＳ１０２では、３秒分の復号済ピクチャがバッファされる。バッファ部２６は、ピクチャ生成部２３によって生成されたピクチャを、再生時間にして３秒分バッファする。その後、処理はステップＳ１０３へ進む。

ステップＳ１０３では、映像信号が遅延出力される。出力制御部２１は、３秒分の復号済ピクチャがバッファされた状態で、放送が受信された時間から３秒遅延させてバッファより復号済ピクチャを読み出し、表示部４０へ出力する。即ち、出力制御部２１は、バッファ部２６を利用して３秒間の遅延出力を行う。その後、処理はステップＳ１０４へ進む。

ステップＳ１０４では、ピクチャの欠落が監視される。ピクチャ生成部２３は、バッファ部２６によってバッファされた復号済ピクチャに、情報不足またはブラックアウトしているピクチャがあるか否か、即ち、ピクチャの欠落の有無を監視する。ピクチャの欠落が発見されない場合、ステップＳ１０１に示されたピクチャ生成処理、ステップＳ１０２に示されたバッファ処理、ステップＳ１０３に示された出力処理、ステップＳ１０４に示された監視処理が繰り返される。ピクチャの欠落が発見された場合、処理はステップＳ１０５へ進む。

ステップＳ１０５では、参照ピクチャがバッファされた３秒以内のデータから取得できるか否かが判定される。ピクチャ生成部２３は、ピクチャに欠落がある場合に、欠落したピクチャを生成するための参照ピクチャの候補となる復号済ピクチャがバッファされているか否かを判定する。即ち、バッファ部２６は３秒分の復号済ピクチャをバッファしているため、欠落しているピクチャの生成に必要な参照ピクチャが過去３秒以内のピクチャであればバッファされた復号済ピクチャより参照ピクチャを取得可能であるが、欠落しているピクチャの生成に必要な参照ピクチャが過去３秒以内にないピクチャである場合、バッファされた復号済ピクチャより参照ピクチャを取得することが出来ない。参照ピクチャを取得可能であると判定された場合、処理はステップＳ１０８へ進む。参照ピクチャを取得出来ないと判定された場合、処理はステップＳ１０６へ進む。

ステップＳ１０６では、正常な表示が出来ない旨のメッセージが表示される。出力制御部２１は、ピクチャ生成部２３においてピクチャの欠落が補完できないことを検知して、表示部４０へ正常な表示が出来ない旨のメッセージを含む映像信号を出力する。これをうけて表示部４０には正常な表示が出来ない旨のメッセージが表示され、視聴者は何らかの要因により視聴が出来ない状況となっていることを把握することが出来る。その後、処理はステップＳ１０７へ進む。

ステップＳ１０７では、正常なデータが受信されるまでの待機処理が行われる。放送受信部１４によって正常なデータが受信された場合、処理はステップＳ１０１へ進み、映像の出力および表示が再開される。

ステップＳ１０８では、欠落ピクチャの補完処理が行われる。ピクチャ生成部２３は、バッファ部２６によってバッファされた復号済ピクチャより参照ピクチャを取得し、この参照ピクチャに基づくフレーム間予測によって欠落したピクチャを補完する。補完処理の詳細については、図１０を用いて後述する。その後、処理はステップＳ１０１へ進む。

図１０は、フレーム間予測によってピクチャを生成し、欠落ピクチャを補完する処理の流れを示すフローチャートである。本フローチャートに示される欠落ピクチャ補完処理は、図９に示されたステップＳ１０８に相当する。

ステップＳ２０１では、参照ピクチャが取得される。ピクチャ生成部２３は、バッファ部２６によってバッファされた復号済ピクチャを、フレーム間予測に使用する参照ピクチャとして１から３枚取得する。その後、処理はステップＳ２０２へ進む。

ステップＳ２０２では、取得した参照ピクチャが使用可能であるか否かが判定される。ピクチャ生成部２３は、ステップＳ２０１で取得した参照ピクチャ（復号済ピクチャ）がフレーム間予測に使用可能な正常なピクチャであるか否かを判定する。取得されたピクチャがブラックアウトしたピクチャである等、参照ピクチャとして使用出来ないと判定された場合、処理はステップＳ２０３へ進む。取得されたピクチャが参照ピクチャとして使用出来ると判定された場合、処理はステップＳ２０４へ進む。

ステップＳ２０３では、代替参照ピクチャが取得される。ピクチャ生成部２３は、バッファ部２６によってバッファされた復号済ピクチャより、欠落している参照ピクチャのフレームの一つ前のフレームの復号済ピクチャを、代替参照ピクチャとして取得する。図６を用いて説明すると、ピクチャの生成に必要な参照ピクチャがＣ１３、Ｃ１４、Ｃ１５であるが、Ｃ１３が欠落している場合、代替参照ピクチャとしてＣ１２を取得する。その後、処理はステップＳ２０２へ進み、取得した代替参照ピクチャが利用可能であるか否かが判定される。即ち、ピクチャ生成部２３は、利用可能な代替参照ピクチャが取得されるまで、バッファされた復号済ピクチャを遡る。例えば、図６に示すように、必要な参照ピクチャがＣ１２、Ｃ１３、Ｃ１４であるが、Ｃ１３が欠落している場合、代替参照ピクチャとしてＣ１０を取得してもよい。

ステップＳ２０４では、フレーム間予測に使用される参照ピクチャが必要枚数取得されたか否かが判定される。ピクチャ生成部２３は、代替参照ピクチャを含む参照ピクチャが、フレーム間予測に基づくピクチャの生成に必要な枚数揃ったか否かを判定する。必要枚数の参照ピクチャが取得されたと判定された場合、処理はステップＳ２０５へ進む。必要枚数の参照ピクチャが取得されていないと判定された場合、処理はステップＳ２０１へ進む。即ち、必要な枚数の参照ピクチャ（代替参照ピクチャが含まれてもよい）が取得されるまで、ステップＳ２０１からステップＳ２０４の処理は繰り返される。

ステップＳ２０５では、取得された参照ピクチャに基づいてピクチャが生成される。ピクチャ生成部２３は、参照ピクチャ（代替参照ピクチャが含まれてもよい）に基づいて、フレーム間予測によるピクチャの生成を行う。その後、処理はステップＳ２０６へ進む。

ステップＳ２０６では、欠落ピクチャが補完される。ピクチャ生成部２３は、ステップＳ２０５で生成された復号済ピクチャで、欠落したピクチャ（ステップＳ１０４で欠落が検出されたピクチャ）を補完する。また、バッファ部２６は、この復号済ピクチャをバッファする（ステップＳ１０２を参照）。なお、このピクチャは、３秒間の遅延処理を待って出力制御部２１によって表示部４０へ出力される（ステップＳ１０３を参照）。その後、本フローチャートに示された処理は終了する。

＜変形例＞
図９および図１０では、図７に示したパーソナルコンピュータ１０の内部構成、すなわち、検知部２２、放送受信部１４、出力制御部２１、ピクチャ生成部２３、バッファ部２６、および出力制御部２１等をＣＰＵ１１で実行されるプログラムで実現する例を示した。しかし、このような構成に代えて、＜パーソナルコンピュータの概要構成＞で説明したように、パーソナルコンピュータ１０の内部構成のいずれか１以上をＣＰＵ１１とは異なるプロセッサ、ハードウェア回路等によって実現してもよい。すなわち、ＣＰＵ１１の処理能力と、処理量によっては、図７のそれぞれの構成要素を異なるプロセッサ、あるいは、デジタル回路で構成すればよい。ＣＰＵ１１以外のプロセッサあるいはデジタル回路を含む場合であっても、それらの処理手順は、図９および図１０に示したものと同様である。すなわち、本実施形態のパーソナルコンピュータ１０は、ＣＰＵ１１のプログラムとして、あるいは、専用プロセッサによって、さらには、専用のデジタル回路によって実現できる。

＜コンピュータ読み取り可能な記録媒体＞
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ＤＡＴ、８ｍｍテープ、メモリカード等がある。

また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。

Ｈ．２６４／ＡＶＣのデータ構成を示す図である。 従来の復号済ピクチャの取り扱いを示す図である。 ピクチャ欠落が発生した場合の従来の表示方式を示す図である。 ピクチャ欠落が発生した場合の従来の表示方式を示す図である。 本発明に係る復号済ピクチャの取り扱いを示す図である。 ピクチャ欠落が発生した場合の本発明に係る表示方式を示す図である。 実施形態に係るパーソナルコンピュータの概要構成図である。 実施形態に係るパーソナルコンピュータの詳細構成の例を示す図である。 画像データ復号処理の全体の流れを示すフローチャートである。 フレーム間予測によってピクチャを生成し、欠落ピクチャを補完する処理の流れを示すフローチャートである。

符号の説明

１４ 放送受信部
１８ 操作部
２１ 出力制御部
２２ 検知部
２３ ピクチャ生成部
２６ バッファ部
４０ 表示部

Claims (7)

1. 圧縮動画データストリームに基づいて、フレーム間予測によるピクチャ生成を含む復号処理を行う動画データ復号装置であって、
   前記復号処理によって復号された復号済ピクチャを所定の量バッファするバッファ部と、
   前記ピクチャ生成を行うピクチャ生成部であって、前記フレーム間予測に用いられる参照ピクチャが欠落している場合、前記バッファ部によってバッファされた復号済ピクチャより、該参照ピクチャの代替となる代替参照ピクチャを取得して前記ピクチャ生成を行うピクチャ生成部と、
   を備える動画データ復号装置。
2. 表示装置へのインターフェースと、
   前記復号済ピクチャが前記所定の量バッファされた状態で、前記圧縮動画データストリームが受信または入力された時間から所定時間遅延させて前記復号済ピクチャに基づく映像信号を前記表示装置へ出力する出力制御部と、
   を更に備え、
   前記ピクチャ生成部は、前記圧縮動画データストリームの情報欠けによってピクチャが欠落した場合に、前記バッファ部によってバッファされた復号済ピクチャより参照ピクチャまたは前記代替参照ピクチャを取得して前記ピクチャ生成を行い、欠落したピクチャを補完する、
   請求項１に記載の動画データ復号装置。
3. 圧縮動画データストリームに基づいて、フレーム間予測によるピクチャ生成を含む復号処理を行う情報機器であって、
   前記復号処理によって復号された復号済ピクチャを所定の量バッファするバッファ部と、
   前記ピクチャ生成を行うピクチャ生成部であって、前記フレーム間予測に用いられる参照ピクチャが欠落している場合、前記バッファ部によってバッファされた復号済ピクチャより、該参照ピクチャの代替となる代替参照ピクチャを取得して前記ピクチャ生成を行うピクチャ生成部と、
   前記復号済ピクチャが前記所定の量バッファされた状態で、前記圧縮動画データストリームが受信または入力された時間から所定時間遅延させて前記復号済ピクチャに基づく映像信号を出力する出力制御部と、
   前記出力制御部によって出力された映像信号に基づく映像を表示する表示部とを備え、
   前記ピクチャ生成部は、前記圧縮動画データストリームの情報欠けによってピクチャが欠落した場合に、前記バッファ部によってバッファされた復号済ピクチャより参照ピクチャまたは前記代替参照ピクチャを取得して前記ピクチャ生成を行い、欠落したピクチャを補完する、情報機器。
4. 圧縮動画データストリームに基づいて、フレーム間予測によるピクチャ生成を含む復号処理を行う動画データ復号方法であって、
   コンピュータが、
   前記復号処理によって復号された復号済ピクチャを所定の量バッファするバッファステップと、
   前記ピクチャ生成を行うピクチャ生成ステップであって、前記フレーム間予測に用いられる参照ピクチャが欠落している場合、前記バッファステップでバッファされた復号済ピクチャより、該参照ピクチャの代替となる代替参照ピクチャを取得して前記ピクチャ生成を行うピクチャ生成ステップと、
   を実行する動画データ復号方法。
5. 前記復号済ピクチャが前記所定の量バッファされた状態で、前記圧縮動画データストリームが受信または入力された時間から所定時間遅延させて前記復号済ピクチャに基づく映像信号を表示装置へ出力する出力制御ステップを更に実行し、
   前記ピクチャ生成ステップでは、前記圧縮動画データストリームの情報欠けによってピクチャが欠落した場合に、前記バッファステップでバッファされた復号済ピクチャより参照ピクチャまたは前記代替参照ピクチャを取得して前記ピクチャ生成を行い、欠落したピクチャを補完する、
   請求項４に記載の動画データ復号方法。
6. 圧縮動画データストリームに基づいて、フレーム間予測によるピクチャ生成を含む復号処理を行うための動画データ復号プログラムであって、
   コンピュータに、
   前記復号処理によって復号された復号済ピクチャを所定の量バッファするバッファステップと、
   前記ピクチャ生成を行うピクチャ生成ステップであって、前記フレーム間予測に用いられる参照ピクチャが欠落している場合、前記バッファステップでバッファされた復号済ピクチャより、該参照ピクチャの代替となる代替参照ピクチャを取得して前記ピクチャ生成を行うピクチャ生成ステップと、
   を実行させる動画データ復号プログラム。
7. 前記復号済ピクチャが前記所定の量バッファされた状態で、前記圧縮動画データストリームが受信または入力された時間から所定時間だけ遅延させて前記復号済ピクチャに基づく映像信号を表示装置へ出力する出力制御ステップを更に実行させ、
   前記ピクチャ生成ステップでは、前記圧縮動画データストリームの情報欠けによってピクチャが欠落した場合に、前記バッファステップでバッファされた復号済ピクチャより参照ピクチャまたは前記代替参照ピクチャを取得して前記ピクチャ生成を行い、欠落したピクチャを補完する、
   請求項６に記載の動画データ復号プログラム。

Images