JP2001258004A - 画像符号化装置及び画像復号装置とその方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像符号化時に著作権を保護すべき対象のビ
ットストリームの一部にスクランブルをかけ、視聴権利
を有する視聴者の画像復号装置では正常な再生を行い、
視聴権利を持たない視聴者の画像復号装置では画像のお
およその概観を認識できる。 【解決手段】 入力した画像データを複数のレイヤへ分
離し、それぞれのレイヤの画像データをブロック化して
ＤＣＴ器１０１，量子化器１０２及び可変長符号化器１
０７により符号化する。ここで１つ又は複数のレイヤに
おいて、その符号化されたブロックに符号反転器１０８
により符号を反転してスクランブルを施し、この符号化
したスクランブル画像と、符号化した著作権データ、及
びスクランブルON/OFFフラグを多重化し、ビットストリ
ームとして出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像を入力して
符号化する画像符号化装置とその方法、及びその符号化
されたコードを復号する画像復号装置とその方法に関す
るものである。

【０００２】

【従来の技術】従来、画像の符号化方式として、フレー
ム内符号化方式であるMotion JPEGやDigital Video等の
符号化方式や、フレーム間予測符号化を用いたＨ．２６
１，Ｈ．２６３，ＭＰＥＧ−１，ＭＰＥＧ−２等の符号
化方式が知られている。これらの符号化方式は、ＩＳＯ
（International Organization for Standardization：
国際標準化機構）やＩＴＵ（International Telecommun
ication Union：国際電気通信連合）によって国際標準
化されている。フレーム内符号化方式はフレーム単位で
独立に符号化を行うもので、フレームの管理がしやすい
ため、動画像の編集や特殊再生が必要な装置に最適であ
る。また、フレーム間予測符号化方式は、フレーム間で
の画像データの差分に基づくフレーム間予測を用いるた
め、符号化効率が高いという特徴を持っている。

【０００３】更に、コンピュータ、放送、通信など多く
の領域で利用できる、汎用的な次世代マルチメディア符
号化規格としてＭＰＥＧ−４の国際標準化作業が進めら
れている。

【０００４】このようなディジタル符号化規格の普及に
伴い、コンテンツ業界からは著作権保護の問題が強く提
起されるようになってきた。即ち、著作権が保護される
ことが十分に保証されていない規格に対しては、安心し
てコンテンツを提供することができない、という問題が
生じている。

【０００５】このためＭＰＥＧ−４では、ＩＰＭＰ(Int
ellectual Property Management and Protect)の技術が
導入され、著作権を保護するために画像の再生を中断し
たり再開したりする機能が検討されている。この方式で
は、著作権を保護する必要のあるフレームを再生しない
ことにより、著作権保護を実現している。

【０００６】その一方、画像にスクランブルを施すこと
で、視聴者に対しある程度の概略を認識できる程度の画
像を提供する方式やサービスが開始されている。具体的
には、テレビジョン信号における任意の走査線や画素を
置換することにより実現している。また出力される再生
画像を再生装置で変換する方法もある。

【０００７】またスケーラビリティの機能も検討されて
おり、画像時間及び空間解像度を複数のレベルで持ちな
がら画像の符号化や復号を行う方法もある。

【０００８】

【発明が解決しようとする課題】よって、以下のような
問題が発生する。 従来のＩＰＭＰ技術では、著作権を保護したい画像に
対して、復号を停止したり画像の再生を止めてしまうた
め、視聴者に対して全く情報を提供できない。このこと
は、その映像等を視聴する権利を持たない視聴者に対し
て、そのコンテンツ（例えば画像）の情報が全く提供で
きないことを意味する。本来、コンテンツの提供者側
は、ビジネスとしてより多くの視聴者にコンテンツを広
めるたいと考えており、そのためには、視聴する権利を
持たない視聴者に対しても、ある程度のコンテンツの情
報を提供する必要がある。 また前述の一連の画像符号化方式において、従来のス
クランブルをこのビットストリーム全体にかけた場合、
スクランブルを解除できない復号器を持つ視聴者或は視
聴する権利を持たない視聴者は正常な復号ができないた
め、全く映像を認識することができないことになる。 更に、一連の画像符号化方式は、画像の空間及び時間
方向の相関を利用して高い符号化効率を実現している
が、符号化時の入力画像に従来のスクランブルを施す
と、画像の空間及び時間方向の相関が無くなってしま
い、符号化効率を著しく低下させてしまう。 更に、ビットストリームの一部に対してスクランブル
をかけたとしても、フレーム間予測符号化を用いた動画
像符号化方式の再生画像では、あるフレームにおける歪
みは次のフレームへ伝搬して次第に蓄積することにな
る。このため、歪みは定常的に発生しないことになり、
復号側で再生画像を見た場合、スクランブルのための歪
みか、或は別の誤動作の症状かの判別がしにくくなる。 また近年、画像の符号化・復号装置の処理は複雑化し
ており、ソフトウェアによる符号化及び復号を想定する
場合もでてきた。このような場合、画像符号化・復号処
理以外でスクランブル処理の負荷が大きいと、装置全体
としての性能が低下するという問題がある。

【０００９】本発明は上記従来例に鑑みてなされたもの
で、画像符号化時に著作権を保護すべき対象のビットス
トリームの一部にスクランブルをかけ、符号化効率を下
げることなく画像を符号化できる画像符号化装置及びそ
の方法を提供することを目的とする。

【００１０】また本発明の目的は、視聴権利を有する視
聴者の画像復号装置では正常な再生を行い、視聴権利を
持たない視聴者の画像復号装置では画像のおおよその概
観を認識できる程度の再生を行うことができるように画
像を符号化できる画像符号化装置及びその方法を提供す
ることにある。

【００１１】また本発明の目的は、上記画像符号化装置
により符号化された画像を復号して再生できる画像復号
装置を提供することにある。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に本発明の画像符号化装置は以下のような構成を備え
る。即ち、入力した画像データを複数のレイヤへ分離す
る分離手段と、前記分離手段により分離されたそれぞれ
のレイヤの画像データをブロック化するブロック化手段
と、前記ブロック化手段によりブロック化された各ブロ
ックを符号化するブロック符号化手段と、１つ又は複数
のレイヤにおいて、前記ブロック符号化手段により符号
化されたブロックにスクランブルを施すスクランブル手
段と、知的財産を保護するための保護データを入力する
保護データ入力手段と、前記ブロック符号化手段により
符号化されたコード、前記保護データ及び前記スクラン
ブル手段によりスクランブルされたブロックのコードを
多重化して出力する多重化手段とを有することを特徴と
する。

【００１３】上記目的を達成するために本発明の画像復
号装置は以下のような構成を備える。即ち、符号化され
たビットストリームを入力し、前記ビットストリーム
を、知的財産を保護するための保護コードと、１つ或は
複数のレイヤとに分配する分配手段と、外部から認証用
データを入力する認証用データ入力手段と、前記認証用
データと前記保護コードとの整合を調べる認証手段と、
前記認証手段による認証結果に基づいて、１つ又は複数
のレイヤのスクランブルを解除するスクランブル解除手
段と、前記分離手段の出力、もしくは前記スクランブル
解除手段の出力を復号する復号手段と、前記復号手段に
よる復号された画像を出力する画像出力手段と、を備え
ることを特徴とする。

【００１４】上記目的を達成するために本発明の画像符
号化方法は以下のような工程を備える。即ち、入力した
画像データを複数のレイヤへ分離する分離工程と、前記
分離工程で分離されたそれぞれのレイヤの画像データを
ブロック化するブロック化工程と、前記ブロック化工程
でブロック化された各ブロックを符号化するブロック符
号化工程と、１つ又は複数のレイヤにおいて、前記ブロ
ック符号化工程により符号化されたブロックにスクラン
ブルを施すスクランブル工程と、知的財産を保護するた
めの保護データを入力する保護データ入力工程と、前記
ブロック符号化工程で符号化されたコード、前記保護デ
ータ及び前記スクランブル工程によりスクランブルされ
たブロックのコードを多重化して出力する多重化工程
と、を有することを特徴とする。

【００１５】上記目的を達成するために本発明の画像復
号方法は以下のような工程を備える。即ち、符号化され
たビットストリームを入力し、前記ビットストリーム
を、知的財産を保護するための保護コードと、１つ或は
複数のレイヤとに分配する分配工程と、外部から認証用
データを入力する認証用データ入力工程と、前記認証用
データと前記保護コードとの整合を調べる認証工程と、
前記認証工程での認証結果に基づいて、１つ又は複数の
レイヤのスクランブルを解除するスクランブル解除工程
と、前記分離工程の出力、もしくは前記スクランブル解
除工程の出力を復号する復号工程と、前記復号工程で復
号された画像を出力する画像出力工程と、を備えること
を特徴とする。

【００１６】

【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。

【００１７】［実施の形態１］図１は、本発明の実施の
形態１に係る動画像符号化装置の構成を示すブロック
図、図３は、この符号化装置により符号化された符号を
復号する動画像復号装置の構成を示すブロック図であ
る。本実施の形態１では、ＭＰＥＧ−４符号化方式にお
いて、空間スケーラビリティの機能を有し、その拡張レ
イヤ６００１に対してＤＣＴ係数を符号化したハフマン
コードの符号ビットを反転することでスクランブルをか
ける場合について説明する。尚、ＭＰＥＧ−４符号化方
式の詳細についてはＩＳＯ／ＩＥＣ勧告書を参照された
い。

【００１８】図１において、１００はフレームメモリ
（ＦＭ）で、１フレーム分の入力画像データを格納し、
符号化単位であるマクロブロックとして出力する。ここ
でマクロブロックは、輝度が１６×１６画素、色差Ｃ
ｂ、Ｃｒとも８×８画素であり、輝度は４ブロック、色
差は各１ブロックとなる。１０１はＤＣＴ器で、８×８
画素（ブロック）単位の２次元の離散コサイン変換（Ｄ
ＣＴ、Discrete Cosign Transform）を行って、入力さ
れたマクロブロックをブロック毎に順次変換してＤＣＴ
係数を出力する。１０２は量子化器で、ブロック毎のＤ
ＣＴ係数に対して順次量子化を行って、その量子化代表
値を出力する。１０３は逆量子化器で、量子化された量
子化代表値をＤＣＴ係数として出力する。１０４は逆Ｄ
ＣＴ器で、逆量子化されたＤＣＴ係数を元の画像データ
に変換する。１０５は局部復号画像を格納するフレーム
メモリである。１０６は動き補償器で、フレームメモリ
１００からの入力画像データと、フレームメモリ１０
５、及び後述するアップサンプリング器３０１からの局
部復号画像データを入力し、マクロブロック毎に動きベ
クトルの検出を行って予測画像を出力する。

【００１９】１０７は可変長符号化器で、量子化代表値
に対してハフマン符号化を行ってハフマンコードを出力
する。１０８はＤＣＴ符号反転器で、可変長符号化器１
０７からのハフマンコードを符号反転する。ＭＰＥＧ−
４におけるハフマンコードの符号ビットは、ビット列の
末尾の１ビットであり、正の場合は“０”、負の場合は
“１”である。よって、この符号ビットを反転すること
が、ＤＣＴ符号反転器１０８の処理となる。尚、ＤＣＴ
係数のブロック内をジグザグスキャン順序で連続した列
をＤＣＴ[ｉ]（ｉ＝０〜６３）とした場合、本実施の形
態１で反転するハフマンコードは、ｉ＝３〜６３とす
る。

【００２０】１０９はセレクタで、外部から入力するス
クランブルON/OFFフラグに応じて、可変長符号化器１０
７からの出力と、ＤＣＴ符号反転器１０８から出力のい
ずれか一方を選択している。１１０は多重化器で、セレ
クタ１０９から出力されたハフマンコード、外部から入
力するスクランブルON/OFFフラグ、及びＩＰ符号化器１
１１から出力されるＩＰ符号化コードを、ユーザデータ
として多重化し、ビットストリームとして出力する。こ
のＩＰ符号化器１１１は、画像の著作権ＩＰ(Intellect
ual Property)を保護するための情報を外部から入力
し、ＩＰ符号化コードを出力する。本実施の形態１で
は、このＩＰをパスワードとする。

【００２１】次に図１におけるレイヤ間の構成について
記述する。

【００２２】３００はダウンサンプリング器で、入力画
像をダウンサンプリングする。本実施の形態１では、こ
のダウンサンプリング器３００におけるダウンサンプリ
ングレートを“１／２”とする。３０１はアップサンプ
リング器で、後述するフレームメモリ２０５の局部復号
画像をアップサンプリングする。本実施の形態１では、
このアップサンプリング器３０１におけるアップサンプ
リングレートを“２”とする。３０２は多重化器で、空
間スケーラビリティにおける拡張レイヤ６００１と基本
レイヤ６０００のビットストリームを多重化している。

【００２３】次に図１の基本レイヤ６０００の構成につ
いて説明する。

【００２４】基本レイヤ６０００では、入力をダウンサ
ンプリング器３００の出力としている点を除けば、同名
の各機能ブロックは、前述の拡張レイヤ６００１と同様
である。２００はフレームメモリで、入力画像１フレー
ム分を格納し、符号化単位であるマクロブロックとして
出力する。２０１はＤＣＴ器で、８×８画素（ブロッ
ク）単位の２次元の離散コサイン変換を行う。２０２は
量子化器で、ブロック毎に量子化を行って量子化代表値
を出力している。２０３は逆量子化器で、量子化代表値
をＤＣＴ係数として出力する。２０４は逆ＤＣＴ器で、
ＤＣＴ係数に対して逆ＤＣＴを実行して画像データに変
換している。２０５はフレームメモリで、局部復号画像
を格納している。２０６は動き補償器で、フレームメモ
リ２００からの入力画像と、フレームメモリ２０５から
の局部復号画像とを入力し、マクロブロック毎に動きベ
クトルの検出を行って予測画像を出力する。２０７は可
変長符号化器で、量子化器２０２から出力される量子化
代表値に対してハフマン符号化を行ってハフマンコード
を出力する。２０８は多重化器で、可変長符号化器２０
７からのハフマンコードを多重化してビットストリーム
として出力する。

【００２５】まず図１の上部拡張レイヤ６００１の動作
について記述する。

【００２６】以降、本実施の形態１では、フレーム内符
号化をＩ−ＶＯＰ(Video Object Plane)符号化モード、
１つの予測画像から予測するフレーム間予測符号化をＰ
−ＶＯＰ符号化モード、２つの予測画像から予測するフ
レーム間予測符号化をＢ−ＶＯＰ符号化モードとする。

【００２７】フレームメモリ１００は、入力画像を符号
化単位であるマクロブロックに変換して出力する。この
フレームメモリ１００から出力された画像データから、
減算器により動き補償器１０６からの予測画像データが
減算され、予測誤差画像データとしてＤＣＴ器１０１に
入力される。ＤＣＴ器１０１は、入力されたマクロブロ
ックの予測誤差を、各ブロック毎にＤＣＴ係数に変換す
る。量子化器１０２は、このＤＣＴ係数をブロック毎に
所望の量子化代表値として出力する。この量子化代表値
は、逆量子化器１０３、逆ＤＣＴ器１０４を介し予測誤
差画像データとして復号される。この予測誤差画像デー
タは、加算器により、動き補償器１０６からの予測画像
データと加算された後、フレームメモリ１０５へ局部復
号画像データとして格納される。なお、この動き補償器
１０６は、外部から指定されたフレーム毎の符号化モー
ド１に応じて予測を行って予測画像データを出力するも
のとする。

【００２８】また量子化代表値を入力する可変長符号化
器１０７は、その量子化代表値をハフマン符号化してハ
フマンコードを出力する。セレクタ１０９は、一方の端
子(a)にこのハフマンコードを直接入力するとともに、
他方の端子(b)にはＤＣＴ符号反転器１０８により符号
ビットが反転された（スクランブルされた）ハフマンコ
ードを入力する。このセレクタ１０９は、外部から入力
するスクランブルON/OFFフラグに応じて、スクランブル
ON/OFFフラグがオフの場合は端子（ａ）、即ち、可変長
符号化器１０７の出力を選択し、スクランブルON/OFFフ
ラグがオンの場合は、端子（ｂ）、即ち、符号ビットを
反転したハフマンコードを選択して出力する。多重化器
１１０は、セレクタ１０９の出力、スクランブルON/OFF
フラグ、及びＩＰ符号化器１１１から出力されるＩＰ符
号データを多重化して出力する。

【００２９】次に図１に示す基本レイヤ６０００の動作
について説明する。

【００３０】ダウンサンプリング器３００によりダウン
サンプルされた画像はフレームメモリ２００へ入力され
て記憶される。ＤＣＴ器２０１、量子化器２０２、逆量
子化器２０３、逆ＤＣＴ器２０４、フレームメモリ２０
５、フレーム単位の符号化モード２を入力する動き補償
器２０６、及び可変長符号化器２０７は、前述の拡張レ
イヤ６００１における対応する部分と同様に動作する。
また多重化器２０８は、可変長符号化器２０７の出力を
多重化する。

【００３１】次に、これら基本レイヤ６０００と拡張レ
イヤ６００１との間の動作についてアップサンプリング
器３０１を含めて記述する。

【００３２】図２は、本実施の形態１に係る空間スケー
ラビリティによる基本レイヤと拡張レイヤとの各ＶＯＰ
の関係を説明する図である。

【００３３】入力画像の先頭フレームでは、まずダウン
サンプリング器３００で入力画像データをダウンサンプ
リングした後、基本レイヤにてＩ−ＶＯＰ（フレーム
内）符号化を行い、フレームメモリ２０５に局部復号画
像を格納する。

【００３４】また拡張レイヤ６００１は、フレームメモ
リ２０５の画像をアップサンプリング器３０１でアップ
サンプリングした後、このアップサンプリング器３０１
の出力を参照画像として動き補償器１０６に入力し、Ｐ
−ＶＯＰ（１つの予測画像から予測するフレーム間予
測）符号化する。

【００３５】次に２番目の第２フレームは、基本レイヤ
６０００にて、第１フレームの符号化時にフレームメモ
リ２０５に格納された局部復号画像を参照してＰ−ＶＯ
Ｐ符号化される。一方、拡張レイヤ６００１では、第１
フレームの符号化時にフレームメモリ１０５に格納され
た局部復号画像と、フレームメモリ２０５の画像データ
をアップサンプリング器３０１でアップサンプリングし
たデータとを動き補償器１０６に入力し、Ｂ−ＶＯＰ
（２つの予測画像から予測するフレーム間予測）符号化
する。

【００３６】第３フレームも第２フレームと同様に行
い、これ以降はこれら３つのフレーム分の動作を繰り返
す。尚、図２において、「Ｉ」はＩ−ＶＯＰ（フレーム
内）符号化を、「Ｐ」はＰ−ＶＯＰ符号化を、そして
「Ｂ」はＢ−ＶＯＰ符号化をそれぞれ示す。

【００３７】図３は、本実施の形態１に係る画像復号装
置の構成を示すブロック図である。まず図３における拡
張レイヤ７００１の構成について記述する。

【００３８】１０００は分配器で、拡張レイヤ７００１
に入力されるビットストリームから、ハフマンコード、
符号化モード１、スクランブルON/OFFフラグ、及びＩＰ
符号化コードにそれぞれ分配する。１０１０はＩＰ復号
器で、分配器１０００からのＩＰ符号化コードをＩＰに
復号する。１０１１はＩＰ認証器で、ＩＰ復号器で復号
されたＩＰと、外部から入力した認証用ＩＰとの整合を
調べて認証を行う。１０１２はセキュリティ制御器で、
分配器１０００からのスクランブルON/OFFフラグ、ＩＰ
認証器１０１１からの認証結果に基づいて、後述するセ
レクタ１００２及びセレクタ１００９を制御する。

【００３９】１００１はＤＣＴ符号反転器で、ハフマン
コードのＤＣＴ係数を符号反転する。セレクタ１００２
は、セキュリティ制御器１０１２からの選択信号によ
り、分配器１０００の出力（ａ入力）とＤＣＴ符号反転
器１００１の出力（ｂ入力）のいずれか一方を選択して
出力する。１００３及び１００６は可変長復号器で、ハ
フマンコードを量子化代表値へ変換している。１００４
及び１００７は逆量子化器で、量子化代表値をＤＣＴ係
数として出力する。１００５及び１００８は逆ＤＣＴ器
で、ＤＣＴ係数を画像へ変換している。１０１４は局部
復号画像を格納するフレームメモリである。１０１３は
動き補償器で、フレームメモリ１０１４からの出力、及
び後述するアップサンプリング器１３０１からの局部復
号画像を参照し、マクロブロック毎に動き補償を行って
予測画像を出力している。セレクタ１００９は、セキュ
リティ制御器１０１２により、逆ＤＣＴ器１００５から
の出力（ａ入力）、及び逆ＤＣＴ器１００８からの出力
（ｂ入力）のいずれかを選択して出力する。

【００４０】次に、図３における基本レイヤと拡張レイ
ヤ間の構成について記述する。

【００４１】１３００は分配器で、入力ビットストリー
ムを基本レイヤと拡張レイヤとに分配する。１３０１は
アップサンプリング器で、後述するフレームメモリ１１
０５からの局部復号画像を入力してアップサンプリング
する。セレクタ１３０２は、セキュリティ制御器１０１
２からの選択信号に基づいて、拡張レイヤ７００１から
の入力（ａ入力）と基本レイヤ７０００からの入力（ｂ
入力）のいずれかを選択する。

【００４２】次に図３における基本レイヤ７０００の構
成について記述する。

【００４３】１１００は分配器で、基本レイヤのビット
ストリームを入力してハフマンコードと符号化モード２
とに分配し、ハフマンコードを可変長復号器１１０１
に、符号化モード２を動き補償器１１０４に出力してい
る。可変長復号器１１０１は、ハフマンコードを量子化
代表値へ変換する。１１０２は逆量子化器で、可変長復
号された量子化代表値をＤＣＴ係数として出力する。１
１０３は逆ＤＣＴ器で、ＤＣＴ係数を元の画像データに
変換している。フレームメモリ１１０５は、局部復号さ
れた画像データを格納する。１１０４は動き補償器で、
フレームメモリ１１０５からの局部復号画像データを入
力し、マクロブロック毎に動き補償を行って予測画像を
出力する。

【００４４】以上の構成に基づく動作を説明する。

【００４５】符号化された入力ビットストリームは、分
配器１３００により拡張レイヤと基本レイヤとに分配さ
れる。基本レイヤ７０００では、分配器１１００により
ハフマンコード、及び符号化モード２に分配され、ハフ
マンコードは可変長符号化器１１０１、逆量子化器１１
０２、逆ＤＣＴ器１１０３を介して画像データに復号さ
れ、Ｉ−ＶＯＰ（フレーム内）符号化の場合は、直接、
フレームメモリ１１０５へ局部復号画像データが格納さ
れ、これとともにセレクタ１３０２のｂ入力に供給され
る。またＰ−ＶＯＰ（フレーム間予測）符号化の場合
は、逆ＤＣＴ器１１０３の出力に、動き補償器１１０４
の出力した予測画像データを加算し、その後、フレーム
メモリ１１０５へ格納するとともに、セレクタ１３０２
のｂ入力に供給する。

【００４６】一方、拡張レイヤ７００１では、分配器１
０００によりハフマンコード、スクランブルON/OFFフラ
グ、ＩＰ、及び符号化モード１に分配される。ＤＣＴ符
号反転器１００１は、符号反転したハフマンコードを出
力する。

【００４７】これ以降では、正常なハフマンコードを正
常コード、符号反転したハフマンコードを反転コードと
称す。尚、ＤＣＴ係数のブロック内をジグザグスキャン
順序で連続した列をＤＣＴ[ｉ]（ｉ＝０〜６３）とした
場合、本実施の形態１で反転するハフマンコードは、符
号化器に対応してｉ＝３〜６３とする。

【００４８】本実施の形態１における空間スケーラビリ
ティによる基本レイヤと拡張レイヤとの各ＶＯＰの関係
は、前述した図１の符号化器における場合と同様であ
る。

【００４９】（Ａ）まずスクランブルオンで、且つＩＰ
認証結果がＯＫの場合について説明する。セレクタ１０
０２はａ入力に符号反転されたハフマンコード、ｂ入力
に符号反転器１００１で符号が元に戻された正常コード
を入力する。そして、スクランブルオンのため、セレク
タ１００２はｂ入力の正常コードを選択する。可変長復
号器１００６、逆量子化器１００７、逆ＤＣＴ器１００
８は、その正常コードを入力し、その結果として正常な
予測誤差画像データを出力する。

【００５０】次に動き補償器１０１３では、符号化モー
ド１に応じてフレームメモリ１０１４の出力、アップサ
ンプリング器１３０１の出力から予測画像を出力する。
逆ＤＣＴ器１００８からの予測誤差画像と動き補償器１
０１３からの予測画像データとを加算し、正常な画像デ
ータをセレクタ１００９のｂ入力に供給し、これと同時
に、その正常な画像データをフレームメモリ１０１４に
格納する。セレクタ１００９は、セキュリティ制御器１
０１２からの選択信号によりｂ入力を選択して出力し、
またセレクタ１３０２は、拡張レイヤ７００１の出力で
あるａ入力を選択する。その結果、本実施の形態１に係
る画像復号装置は、高空間解像度の画像を再生すること
ができる。

【００５１】（Ｂ）スクランブルオンで、且つ、ＩＰ認
証結果がＮＯの場合について記述する。この場合、スク
ランブルオンのため、セレクタ１００２はｂの符号が元
に戻された正常なコードを選択する。可変長符号化器１
００３、逆量子化器１００４、逆ＤＣＴ器１００５は、
その符号反転したコードを入力し、その復号画像を出力
する。

【００５２】次に動き補償器１０１３では、符号化モー
ド１に応じて、フレームメモリ１０１４の出力とアップ
サンプリング器１３０１の出力から予測画像を出力す
る。逆ＤＣＴ器１００５からの予測画像は、動き補償器
１０１３からの予測画像データと加算され、セレクタ１
００９のａへ入力される。セレクタ１００９は、セキュ
リティ制御器１０１２からの制御データによりａ入力を
選択して出力する。セレクタ１３０２は、セキュリティ
制御器１０１２からの制御データにより、拡張レイヤａ
を選択する。その結果、本実施の形態１に係る復号装置
は、スクランブルによる歪みのある画像を再生すること
になる。

【００５３】（Ｃ）スクランブルオフで、且つ、ＩＰ認
証結果がＯＫの場合について記述する。スクランブルオ
フのため、セレクタ１００２はａ入力を選択して正常コ
ードを出力する。可変長復号器１００６、逆量子化器１
００７、逆ＤＣＴ器１００８は、この正常コードを入力
して正常な画像を出力する。このとき入力ビットストリ
ームはスクランブルが施されていないため、セレクタ１
００９のａ，ｂ入力とも同一の正常画像データを入力す
る。次にセレクタ１００９は、ａ入力もしくはｂ入力を
選択して出力する。セレクタ１３０２は拡張レイヤ７０
０１の出力であるａ入力を選択する。その結果、高空間
解像度画像を再生することができる。

【００５４】（Ｄ）スクランブルオフで、且つ、ＩＰ認
証結果がＮＯの場合について説明する。セキュリティ制
御器１０１２では認証結果がＮＯのため、セレクタ１３
０２は基本レイヤ７０００の出力であるｂ入力を選択し
て出力する。その結果、本実施の形態１に係る画像復号
装置は、基本レイヤのフレーム内符号化された画像及び
Ｐ−ＶＯＰ（フレーム間予測）符号化された画像だけを
復号して再生するため、低空間解像度の画像を再生する
ことになる。

【００５５】図４は、本実施の形態１に係るセキュリテ
ィ制御器１０１２によるセレクタ１３０２、セレクタ１
００９、セレクタ１００２の選択状態、及び再生画像と
の関係について示す図である。

【００５６】ここでは、スクランブルON/OFFフラグとＩ
Ｐ認証結果とに基づいて３つのセレクタ１００２，１０
０９，１３０２を制御し、その結果、３種類の再生画像
の状態（高解像度、低解像度、歪み有り）を生成するこ
とが可能である。

【００５７】［多レイヤ空間スケーラビリティ構成］図
５は、前述の図１及び図３における空間スケーラビリテ
ィの機能を持つ符号化及び復号装置を多レイヤ化した構
成を示す図である。なお、ここでレイヤ数は任意であ
り、図では「ｎ」としている。

【００５８】図において、６０００は図１の基本レイヤ
部、６００１は図１の拡張レイヤ部に相当している。ま
た７０００は図２の基本レイヤ部、７００１は図２の拡
張レイヤ部に相当している。８０００，８００１はダウ
ンサンプリング器、８００２，８００３は対応するアッ
プサンプリング器である。これらはレイヤ数に応じたサ
ンプリングレートを設定することができる。但し、各レ
イヤとサンプリングレートは対応していなければならな
い。例えば、ダウンサンプリングレートを“１／２”と
し、アップサンプリングレートを“２”とする。８００
４は多重化器で、多レイヤ部からのビットストリームを
１つに多重化している。８００５は分離器で、１つのビ
ットストリームをレイヤ毎に分離している。８００６は
セレクタで、各拡張レイヤの認証結果に従って再生する
レイヤを選択する。

【００５９】［多レイヤ空間スケーラビリティ動作］図
５の符号化装置では、各拡張レイヤ毎に著作権情報及び
スクランブルON/OFFを指定する。また復号装置では、こ
れらスクランブルON/OFF、著作権の認証結果に従った解
像度の画像を復号して再生する。但し、ある拡張レイヤ
にスクランブルを施す場合は、その上位レイヤにおいて
スクランブルが施されていなくてはならない。

【００６０】尚、本実施の形態１の各機能をソフトウェ
アにより実現してもかまわない。

【００６１】図６は本実施の形態１に係る画像の符号化
処理を示すフローチャート、図７はその復号化処理を示
すフローチャートである。

【００６２】まず、図６の符号化処理を説明する。この
処理は１フレームの画像データが入力されることにより
開始され、まずステップＳ１で、フレーム数をカウント
するカウンタｆrと、カウンタｎの値を共に“０”にセ
ットする。尚、これらカウンタは、前述の図１における
符号化モード１，２の信号があればなくてもよい。次に
ステップＳ２に進み、フレームカウンタｆrを＋１す
る。そしてステップＳ３で、フレームカウンタｆrの値
が「３ｎ＋１」かどうか、即ち、図２のフレーム番号が
“１”、“４”、“７”…“３ｎ＋１”かどうかを調
べ、そうであって基本レイヤの場合はステップＳ４でｎ
を+１した後にステップＳ５に，拡張レイヤの場合はス
テップＳ４でｎを+１した後にステップＳ６に進む。ス
テップＳ５では、フレーム内符号化(I-VOP)を実行す
る。ステップＳ６では、ステップＳ５で符号化された符
号をもとに１つの予測画像から予測するフレーム間予測
符号化(P-VOP)を実行して、後述するステップＳ１０に
進む。一方、ステップＳ５で符号化されたフレームの画
像データは、ステップＳ７で多重化されて出力ビットス
トリームとして出力される。そして処理をステップＳ２
へ戻す。

【００６３】一方ステップＳ３で、フレームカウンタｆ
rの値が「３ｎ＋１」でなく、それが基本レイヤである
場合、即ち、基本レイヤにおいてフレーム間予測符号化
されるフレームの場合はステップＳ８に進む。ステップ
Ｓ８では、１つの予測画像から予測するフレーム間予測
符号化(P-VOP)を実行し、処理はステップＳ７に進む。
一方、拡張レイヤにおいてフレーム間予測符号化される
フレームの場合はステップＳ９において、２つの予測画
像から予測するフレーム間予測符号化(B-VOP)を実行す
る。次にステップＳ１０で、スクランブルON/OFFフラグ
がオンかどうかを調べ、オンであればステップＳ１１に
進み、ハフマンコードの符号ビットを反転させる。但
し、ここではＤＣＴ係数列（ｉ＝０〜６３）のうちの反
転するハフマンコードはｉ＝３〜６３のＤＣＴ係数とす
る。こうしてステップＳ１１を実行した後、或はステッ
プＳ１０でスクランブルがオフの場合はステップＳ１２
に進み、ＩＰを符号化したＩＰ符号、スクランブルON/O
FFフラグ、符号化モード(I-VOP,P-VOP,B-VOP)及びフレ
ーム間予測符号化されたコードを多重化し、ステップＳ
７で、基本レイヤにおいて符号化されたコードと多重化
して出力される。そして、処理をステップＳ２へ戻す。

【００６４】図７は、本実施の形態１に係る画像復号処
理を示すフローチャートである。

【００６５】この処理は、前述の図１の符号化装置によ
り符号化されたコードストリームを入力することにより
開始され、まずステップＳ２１で、入力したビットスト
リームを基本レイヤと拡張レイヤとに分配する。基本レ
イヤのコードは、ステップＳ２２で、可変長復号、逆量
子化、逆ＤＣＴ、更には動き補償による予測符号の復号
処理を実行する。

【００６６】一方、拡張レイヤの場合はステップＳ２３
で、スクランブルON/OFFフラグがオンかどうかを調べ、
オンであればステップＳ２４に進み、ＩＰ認証がＯＫか
どうかをみる。ＯＫであれば、例えば著作権などの視聴
許可を得ているユーザであるためステップＳ２５に進
み、スクランブルを解除するためにハフマンコードの符
号を反転する。そしてステップＳ２６に進み、可変長復
号、逆量子化、逆ＤＣＴ、及び動き補償器によるＰ−Ｖ
ＯＰ及びＢ−ＶＯＰ復号処理を実行する。そしてステッ
プＳ２７に進み、その復号されて再生された画像データ
を出力して表示する。この場合は高解像度の画像を表示
することができる。

【００６７】又、ステップＳ２４で、ＩＰ認証がＯＫで
ないときはステップＳ２６に進み、スクランブルがかか
っている画像を復号して、ステップＳ２７で再生する。
この場合には、スクランブルによる歪みのある画像が再
生される。

【００６８】一方、ステップＳ２３で、スクランブルフ
ラグがオフの場合はステップＳ２９に進み、ＩＰ認証が
ＯＫかどうかをみる。ＯＫであれば、ステップＳ２６に
進み、そのスクランブルがかかっていない画像を復号し
て再生する。

【００６９】またステップＳ２８で、ＩＰ認証がＯＫで
ない場合はステップＳ２２に進み、Ｉ−ＶＯＰ復号或は
Ｐ−ＶＯＰ復号による復号処理を実行し、ステップＳ２
７で画像の再生（低解像度での再生）を行う。こうして
ステップＳ２８で、受信画像の復号処理が全て終了する
まで、上述の処理を繰り返し実行する。

【００７０】尚、上述の実施の形態１では、ハフマンコ
ードのスクランブル対象を前述のようにｉ＝３〜６３と
したが、他の範囲でもかまわない。このように範囲を設
定することにより、スクランブルの歪みを調整すること
ができる。

【００７１】また本実施の形態は、色信号構成４２０の
場合であるが、その他の色信号構成でもかまわない。さ
らに図２のフレームモードの構成は別の組み合わせでも
かまわない。

【００７２】また本実施の形態ではダウンサンプリング
を“１／２”、アップサンプリングレートを“２”とし
たが、これらは対応していればどの値でもかまわない。

【００７３】以上説明したように本実施の形態１によれ
ば、空間スケーラビリティの機能を持つ画像符号化器及
び復号器において、拡張レイヤに対してスクランブルを
施すことにより、必要に応じて復号器側で歪みを発生さ
せ、動画像の著作権を保護することができる。

【００７４】またスクランブルをビットストリーム全体
ではなく、ハフマンコードの符号ビットに対して行うこ
とで、装置の処理の負荷は少なくて済む。

【００７５】またハフマンコードは、ブロック毎に符号
反転するため、スクランブルのかかったビットストリー
ムを直接復号すると歪みはブロック内に閉じたものとな
る。本実施の形態１の場合、正常な画像よりもブロック
歪みやモスキート歪みと言われる量子化歪みを多く発生
した画像を再生することになり、その結果、スクランブ
ルを解除できない視聴者は画像の概観を認識するに留ま
ることになる。

【００７６】また動画像復号装置において、局部復号画
像を格納するフレームメモリ１０１４に対して、可変長
復号器、逆量子化器、逆ＤＣＴ器を２系統備えており、
フレームメモリ１０１４に、可変長復号器１００６、逆
量子化器１００７、逆ＤＣＴ器１００８の経路の正常な
復号画像が格納されるため、他方の可変長復号器１００
３、逆量子化器１００４、逆ＤＣＴ器１００５の経路か
ら生じるスクランブルによる歪みがフレーム毎に蓄積す
ることを防止することができる。

【００７７】また３以上のレイヤ数においても実現する
ことが可能である。

【００７８】［実施の形態２］図８は、本発明の実施の
形態２に係る動画像符号化装置の構成を示すブロック図
であり、図１１はこれに対応する動画像復号装置の構成
を示すブロック図である。本実施の形態２では、ＭＰＥ
Ｇ−２符号化方式において、時間スケーラビリティの機
能を有し、その拡張レイヤに対してＤＣＴ係数を符号化
したハフマンコードの符号ビットを反転することでスク
ランブルをかける場合について説明する。尚、ＭＰＥＧ
−２符号化方式の詳細についてはＩＳＯ／ＩＥＣ勧告書
を参照されたい。

【００７９】図８は、本発明の実施の形態２に係る動画
像符号化装置の構成を示すブロック図である。尚、図８
において、前述の実施の形態１と同様の構成要素につい
ては同一番号を付し、その詳細な説明は省略する。よっ
て本実施の形態２では、前述の実施の形態１と異なる点
について詳しく説明する。

【００８０】７００は分配器で、入力画像を拡張レイヤ
と基本レイヤへ、各フレーム毎に割り当て、それと同時
にオーダリング（フレーム並び替え）を行う。７０２は
動き補償器で、フレームメモリ１００からの入力画像
と、基本レイヤのフレームメモリ２０５からの局部復号
画像データを入力し、マクロブロック毎に動きベクトル
検出を行って予測画像を出力する。７０１は多重化器
で、時間スケーラビリティにおける拡張レイヤと基本レ
イヤのビットストリームを多重化している。

【００８１】以上の構成に基づく動作を説明する。

【００８２】本実施の形態２では、フレーム内符号化を
I-Picture符号化モード、１つの予測画像から予測する
フレーム間予測符号化をP-Picture符号化モード、２つ
の予測画像から予測するフレーム間予測符号化をB-Pict
ure符号化モードと称す。

【００８３】入力画像は、分配器７００によりフレーム
毎に、外部から入力された符号化モード１に従って基本
レイヤと拡張レイヤへ分配される。

【００８４】図９及び図１０は、本実施の形態２におけ
る時間スケーラビリティによる基本レイヤと拡張レイヤ
との各フレームの関係について示す図である。ここで図
９は入力画像の順序を示し、図１０は分配器７００によ
りフレームの順序が並び替えられた後のフレームの構成
を示す図である。ここで、入力画像は図９に示す順序で
各レイヤへ割り当てられる。

【００８５】入力画像の先頭フレームを、まず基本レイ
ヤに入力してI-Picture符号化を行い、フレームメモリ
２０５に局部復号画像を格納する、次に第２フレームを
基本レイヤに入力し、フレームメモリ２０５に局部復号
画像を参照してP-Picture符号化を行う。次に第３フレ
ームを拡張レイヤに入力し、フレームメモリ１００にお
いて入力画像をマクロブロックへ変換する。

【００８６】動き補償器７０２は、フレームメモリ１０
０の出力を入力し、既に基本レイヤのフレームメモリ２
０５に格納された第１と第２フレームの２つのフレーム
の参照画像から動き補償を行う。つまり、B-Picture符
号化を行う。次の第４フレームも第３フレームと同様に
B-Picture符号化を行い、それ以降はフレームモードに
従って動作を繰り返す。

【００８７】次に図１１に示す動画像復号装置について
説明する。この図１１における構成要素のうち、前述の
実施の形態１と同様の構成要素については同一番号を付
してその詳細な説明は省略する。よって本実施の形態２
では、前述の実施の形態１と異なる点について記述す
る。

【００８８】２０００は分配器で、入力ビットストリー
ムを基本レイヤと拡張レイヤとに分配する。２００２は
動き補償器で、基本レイヤ内のフレームメモリ１１０５
からの局部復号画像データを入力し、マクロブロック毎
に予測画像を出力する。２００１はセレクタで、分配器
１０００からの符号化モード１に応じて、拡張レイヤの
出力（ａ入力）と基本レイヤの出力（ｂ入力）を選択す
るセレクタであり、同時にリオーダリング（フレーム並
び替え）を行い、画像を表示順序に並び替える。

【００８９】以上の構成において、入力ビットストリー
ムは分配器２０００により拡張レイヤと基本レイヤに分
配される。本実施の形態における基本レイヤと拡張レイ
ヤとの各フレームの関係については図１０と同様であ
る。

【００９０】まず第１から第２フレームでは、基本レイ
ヤにビットストリームを入力し、第１フレームをI-Pict
ure、第２フレームをP-Pictureとして復号する。そして
第３フレームでは、拡張レイヤにビットストリームを入
力し、動き補償器２００２にて既に基本レイヤのフレー
ムメモリ１１０５に格納されている第１と第２フレーム
の２つの画像を参照しB-Pictureとして復号する。また
第４フレームでは、拡張レイヤにビットストリームを入
力し、第３フレームと同様の復号を行う。以降はフレー
ムモードに従い動作を繰り返す。

【００９１】セレクタ２００１は、分配器１０００から
の符号化モード１により、拡張レイヤ（ａ入力）と基本
レイヤ（ｂ入力）を選択し、さらにリオーダリングを行
い復号画像を出力する。

【００９２】前述した図４において、セレクタ１３０２
をセレクタ２００１とすれば各セレクタと再生画像との
関係は図４と同じになる。但し、この場合の再生画像の
解像度は時間周波数に対するものとなる。つまり、低解
像度画像とは基本レイヤのみの画像を示し、高解像度画
像とは拡張レイヤを含めた画像を示す。

【００９３】以上説明したように本実施の形態２によれ
ば、時間スケーラビリティの機能を持つ画像符号化器及
び復号器において、拡張レイヤに対してスクランブルを
施すことで、必要に応じて復号器側でフレーム毎に歪み
を発生させ、動画像の著作権を保護することができる。

【００９４】またスクランブルをビットストリーム全体
ではなくハフマンコードの符号ビットに対して行うこと
で、装置の処理の負荷が少なくて済む。

【００９５】またスクランブルは、拡張レイヤに対して
のみ行われるため、両レイヤを連続して再生し、且つ、
スクランブルの歪みのある拡張レイヤの画像を再生する
場合には、歪みのない画像と、歪みのある画像が交互に
再生されることになる。その結果、スクランブルを解除
できない視聴者は画像の概観を認識するに留まることに
なる。

【００９６】また空間スケーラビリティと同様に、３以
上のレイヤ数においても実現することが可能である。

【００９７】尚、この実施の形態２に係る処理も前述の
実施の形態１と同様にソフトウェアにより処理すること
が可能である。その場合の処理の流れを示すフローチャ
ートは、前述の実施の形態１と基本的に同様であるた
め、その説明を省略する。

【００９８】［実施の形態３］図１２は、本発明の実施
の形態３に係る画像符号化装置の構成を示すブロック図
であり、図１３は、これに対応する画像復号装置の構成
を示すブロック図である。本実施の形態３では、フレー
ム内符号化方式において、ＭＰＥＧ符号化方式の空間ス
ケーラビリティに類する機能を有し、その拡張レイヤに
対してＤＣＴ係数を符号化したハフマンコードの符号ビ
ットを反転することでスクランブルをかける場合につい
て説明する。

【００９９】図１２において、前述の実施の形態１と同
様の構成要素については同一番号を付し、その詳細な説
明は省略する。よって本実施の形態３では実施の形態１
と異なる点について記述する。

【０１００】３０００は分離器で、可変長符号化器２０
７の出力からブロック内の位置に対応してＤＣＴの低周
波成分と高周波成分を分離する。３００１は多重化器
で、分離器３０００で分離した各レイヤのコードを多重
化する。

【０１０１】尚、ＤＣＴ係数のブロック内をジグザグス
キャン順序で連続した列をＤＣＴ[ｉ]（ｉ＝０〜６３）
とした場合、本実施の形態３の分離器３０００で拡張レ
イヤへ出力するハフマンコードは、ｉ＝３〜６３とす
る。

【０１０２】図１２において、入力画像はフレームメモ
リ２００においてマクロブロック化され、ＤＣＴ器２０
１、量子化器２０２、可変長符号化器２０７を介して可
変長符号化コードとなる。この符号化コードは分離器３
０００によりブロック内の成分毎に分離され、低周波成
分は多重化器３００１へ、その他の成分はＤＣＴ符号反
転器１０８、セレクタ１０９へ出力される。

【０１０３】図１３の画像復号装置において、前述の実
施の形態１と同様の構成要素については同一番号を付し
てその詳細な説明は省略する。よって本実施の形態３で
は、実施の形態１と異なる点について記述する。

【０１０４】４０００は分離器で、入力ビットストリー
ムを拡張レイヤと基本レイヤへ分離する。４００１は多
重化器で、両レイヤのコードを多重化する。４００２は
セレクタで、セキュリティ制御器１０１２からの選択信
号により、黒画像（ａ入力）もしくは逆ＤＣＴ器１１０
３の出力を選択する。

【０１０５】以上の構成に基づく復号装置の動作を説明
する。

【０１０６】まず入力したビットストリームは分離器４
０００において拡張レイヤと基本レイヤへ分離される。
これ以降では、正常なハフマンコードを正常コード、符
号反転したハフマンコードを反転コードと称す。尚、Ｄ
ＣＴ係数のブロック内をジグザグスキャン順序で連続し
た列をＤＣＴ[ｉ]（ｉ＝０〜６３）とした場合、本実施
の形態３の分離器４０００で拡張レイヤへ出力するハフ
マンコードは、ｉ＝３〜６３とする。

【０１０７】（Ａ）スクランブルオンで、且つ、ＩＰ認
証結果がＯＫの場合について説明する。セキュリティ制
御器１０１２では認証結果がＯＫのため、セレクタ１０
０２はｂ入力の正常コードを選択する。多重化器４００
１は、分離器４０００からの低周波成分のコードと、セ
レクタ１００２からの高周波成分のコードとを多重化す
る。可変長復号器１１０１、逆量子化器１１０２、逆Ｄ
ＣＴ器１１０３は、正常コードを入力する。その結果、
正常な画像を復号することができる。ここでセレクタ４
００２は、セキュリティ制御器１０１２からの選択信号
によりｂ入力を選択して出力する。その結果、本復号装
置は正常な画像（高解像度）を再生する。

【０１０８】（Ｂ）スクランブルオンで、且つ、ＩＰ認
証結果がＮＯの場合について記述する。セキュリティ制
御器１０１２では認証結果がＮＯのため、セレクタ１０
０２はａ入力の反転コードを選択する。このため高周波
成分は反転コードとなったまま逆ＤＣＴ器１１０３から
出力される。セレクタ４００２はセキュリティ制御器１
０１２からの選択信号によりｂ入力を選択して出力す
る。その結果、スクランブルによる歪みのある画像が再
生される。

【０１０９】（Ｃ）スクランブルオフで、且つ、ＩＰ認
証結果がＯＫの場合について記述する。セキュリティ制
御器１０１２では認証結果がＯＫのため、セレクタ１０
０２はａ入力を選択し正常コードを出力する。このため
全ての周波数成分は正常となり逆ＤＣＴ器１１０３から
出力される。セレクタ４００２はセキュリティ制御器１
０１２からの選択信号によりｂ入力を選択して出力す
る。その結果、正常な画像を再生することができる。

【０１１０】（Ｄ）スクランブルオフで、且つ、ＩＰ認
証結果がＮＯの場合について記述する。セキュリティ制
御器１０１２では認証結果がＮＯのため、セレクタ４０
０２は黒画像（ａ入力）を選択して出力する。その結
果、黒画像を再生する。

【０１１１】図１４は、本実施の形態３におけるセキュ
リティ制御器１０１２によるセレクタ４００２、セレク
タ１００２の選択状態、及び再生画像との関係について
示す図である。

【０１１２】このように、スクランブルON/OFFフラグと
ＩＰ認証結果により、２つのセレクタ１００２，４００
２を制御し、その結果として３種類の再生画像の状態を
生成することが可能である。

【０１１３】以上説明したように本実施の形態３によれ
ば、フレーム内符号化方式のため、静止画像及び動画像
符号化・復号装置で実現可能である。

【０１１４】空間スケーラビリティの機能を持つ画像符
号化器及び復号器において、拡張レイヤに対してスクラ
ンブルを施すことで、必要に応じて復号器側で歪みを発
生させ、画像の著作権を保護することができる。

【０１１５】またスクランブルをビットストリーム全体
ではなくハフマンコードの符号ビットに対して行うこと
で、装置の処理の負荷は少なくて済む。

【０１１６】またハフマンコードはブロック毎に符号反
転するため、スクランブルのかかったビットストリーム
を直接復号すると歪みはブロック内に閉じたものとな
る。本実施の形態の場合、正常な画像よりもブロック歪
みやモスキート歪みと言われる量子化歪みを多く発生し
た画像を再生することになり、結果としてスクランブル
を解除できない視聴者は画像の概観を認識するに留まる
ことになる。

【０１１７】なお本発明は、複数の機器（例えばホスト
コンピュータ、インタフェイス機器、リーダ、プリンタ
など）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機、ファクシミリ装置な
ど）に適用してもよい。

【０１１８】また本発明の目的は、前述した実施形態の
機能を実現するソフトウェアのプログラムコードを記録
した記憶媒体（または記録媒体）を、システムあるいは
装置に供給し、そのシステムあるいは装置のコンピュー
タ（またはCPUやMPU）が記憶媒体に格納されたプログラ
ムコードを読み出し実行することによっても達成され
る。この場合、記憶媒体から読み出されたプログラムコ
ード自体が前述した実施形態の機能を実現することにな
り、そのプログラムコードを記憶した記憶媒体は本発明
を構成することになる。また、コンピュータが読み出し
たプログラムコードを実行することにより、前述した実
施形態の機能が実現されるだけでなく、そのプログラム
コードの指示に基づき、コンピュータ上で稼働している
オペレーティングシステム(OS)などが実際の処理の一部
または全部を行い、その処理によって前述した実施形態
の機能が実現される場合も含まれる。

【０１１９】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれる。

【０１２０】以上の説明したように本実施の形態によれ
ば、スケーラビリティの機能を持つ画像符号化装置及び
復号装置において、ビットストリーム内にＩＰ符号化コ
ード、及び著作権を保護するための付加情報を設けるこ
とにより、所望の画像の一部に対してコンテンツ提供者
の著作権を守ることが可能となる。

【０１２１】また本実施の形態によれば、ビットストリ
ームの一部の限定されたコードに対してスクランブルを
行うため、符号化コード全体を対象とするよりもその処
理の負荷は少なくて済む。またその歪みはブロック内に
閉じたものとなるため、スクランブルを解除できない視
聴者は画像の概観を認識するという状態を作ることが可
能となる。

【０１２２】

【発明の効果】以上説明したように本発明によれば、画
像符号化時に著作権を保護すべき対象のビットストリー
ムの一部にスクランブルをかけ、符号化効率を下げるこ
となく画像を符号化できる。

【０１２３】また本発明によれば、視聴権利を有する視
聴者の画像復号装置では正常な再生を行い、視聴権利を
持たない視聴者の画像復号装置では画像のおおよその概
観を認識できる程度の再生を行うことができるように画
像を符号化できるという効果がある。

【０１２４】また本発明によれば、上記画像符号化装置
により符号化された画像を復号して再生できるという効
果がある。

【図面の簡単な説明】

【図１】本発明の実施の形態１に係る画像符号化装置の
主要構成を示すブロック図である。

【図２】本実施の形態１に係る空間スケーラビリティに
よる基本レイヤと拡張レイヤとの各ＶＯＰの関係を示す
図である。

【図３】本発明の実施の形態１に係る画像復号化装置の
主要構成を示すブロック図である。

【図４】本発明の実施の形態１におけるセキュリティ制
御器の入出力と再生画像の関係とを説明する図である。

【図５】本発明の実施の形態１に係る多レイヤの空間ス
ケーラビリティの構成を示す図である。

【図６】本発明の実施の形態１に係る画像符号化処理を
説明するフローチャートである。

【図７】本発明の実施の形態１に係る画像復号処理を示
すフローチャートである。

【図８】本発明の実施の形態２に係る画像符号化装置の
主要構成を示すブロック図である。

【図９】本実施の形態２に係る空間スケーラビリティに
よる基本レイヤと拡張レイヤとにおけるフレーム表示順
序の関係を示す図である。

【図１０】本実施の形態２に係る空間スケーラビリティ
による基本レイヤと拡張レイヤとにおけるフレームの符
号化順序の関係を示す図である。

【図１１】本発明の実施の形態２に係る画像復号装置の
主要構成を示すブロック図である。

【図１２】本発明の実施の形態３に係る画像符号化装置
の主要部の構成を示すブロック図である。

【図１３】本実施の形態３に係る画像復号装置の主要構
成を示すブロック図である。

【図１４】本実施の形態３におけるセキュリティ制御器
の入出力と再生画像の関係を示す図である。

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/30

Claims (23)

【特許請求の範囲】
1. 【請求項１】 入力した画像データを複数のレイヤへ分
   離する分離手段と、 前記分離手段により分離されたそれぞれのレイヤの画像
   データをブロック化するブロック化手段と、 前記ブロック化手段によりブロック化された各ブロック
   を符号化するブロック符号化手段と、 １つ又は複数のレイヤにおいて、前記ブロック符号化手
   段により符号化されたブロックにスクランブルを施すス
   クランブル手段と、 知的財産を保護するための保護データを入力する保護デ
   ータ入力手段と、 前記ブロック符号化手段により符号化されたコード、前
   記保護データ及び前記スクランブル手段によりスクラン
   ブルされたブロックのコードを多重化して出力する多重
   化手段と、を有することを特徴とする画像符号化装置。
2. 【請求項２】 前記分離手段は、入力した画像データを
   ２次元空間方向でダウンサンプリングすることを特徴と
   する請求項１に記載の画像符号化装置。
3. 【請求項３】 前記分離手段は、入力した画像データの
   フレームをレイヤ毎に割り当てることを特徴とする請求
   項１に記載の画像符号化装置。
4. 【請求項４】 前記スクランブル手段は、前記ブロック
   符号化手段により符号化されたビットストリームを同一
   な符号長の別の符号へ置換することを特徴とする請求項
   １乃至３のいずれか１項に記載の画像符号化装置。
5. 【請求項５】 前記ブロック符号化手段は、 ブロックに対して直交変換を行う直交変換手段と、 前記直交変換手段により変換された各係数を量子化する
   量子化手段と、 前記量子化手段による量子化結果を可変長符号化する可
   変長符号化手段と、を有することを特徴とする請求項１
   乃至４のいずれか１項に記載の画像符号化装置。
6. 【請求項６】 前記多重化手段は更に、前記スクランブ
   ル手段によりスクランブルされたブロックを含むか否か
   を示す情報を多重化することを特徴とする請求項１乃至
   ５のいずれか１項に記載の画像符号化装置。
7. 【請求項７】 符号化されたビットストリームを入力
   し、前記ビットストリームを、知的財産を保護するため
   の保護コードと、１つ或は複数のレイヤとに分配する分
   配手段と、 外部から認証用データを入力する認証用データ入力手段
   と、 前記認証用データと前記保護コードとの整合を調べる認
   証手段と、 前記認証手段による認証結果に基づいて、１つ又は複数
   のレイヤのスクランブルを解除するスクランブル解除手
   段と、 前記分離手段の出力、もしくは前記スクランブル解除手
   段の出力を復号する復号手段と、 前記復号手段による復号された画像を出力する画像出力
   手段と、を備えることを特徴とする画像復号装置。
8. 【請求項８】 前記画像出力手段は、レイヤ毎に画像の
   フレームを再生順序に割り当てて出力することを特徴と
   する請求項７に記載の画像復号装置。
9. 【請求項９】 前記画像出力手段は、レイヤ毎に選択し
   て画像を出力することを特徴とする請求項７に記載の画
   像復号装置。
10. 【請求項１０】 前記スクランブル解除手段は、前記ビ
    ットストリームを同一な符号長の別の符号へ置換するこ
    とを特徴とする請求項７に記載の画像復号装置。
11. 【請求項１１】 前記復号手段は、 前記スクランブル解除手段によりスクランブルを解除し
    たビットストリームを入力する入力手段と、 符号化されたコードをブロック毎に可変長復号する可変
    長復号手段と、 前記可変長復号手段による復号結果を逆量子化する逆量
    子化手段と、 前記逆量子化手段による逆量子化結果を逆直交変換する
    逆直交変換手段と、を備えることを特徴とする請求項７
    乃至１０のいずれか１項に記載の画像復号装置。
12. 【請求項１２】 入力した画像データを複数のレイヤへ
    分離する分離工程と、 前記分離工程で分離されたそれぞれのレイヤの画像デー
    タをブロック化するブロック化工程と、 前記ブロック化工程でブロック化された各ブロックを符
    号化するブロック符号化工程と、 １つ又は複数のレイヤにおいて、前記ブロック符号化工
    程により符号化されたブロックにスクランブルを施すス
    クランブル工程と、 知的財産を保護するための保護データを入力する保護デ
    ータ入力工程と、 前記ブロック符号化工程で符号化されたコード、前記保
    護データ及び前記スクランブル工程によりスクランブル
    されたブロックのコードを多重化して出力する多重化工
    程と、を有することを特徴とする画像符号化方法。
13. 【請求項１３】 前記分離工程では、入力した画像デー
    タを２次元空間方向でダウンサンプリングすることを特
    徴とする請求項１２に記載の画像符号化方法。
14. 【請求項１４】 前記分離工程では、入力した画像デー
    タのフレームをレイヤ毎に割り当てることを特徴とする
    請求項１２に記載の画像符号化方法。
15. 【請求項１５】 前記スクランブル工程では、前記ブロ
    ック符号化工程で符号化されたビットストリームを同一
    な符号長の別の符号へ置換することを特徴とする請求項
    １２乃至１４のいずれか１項に記載の画像符号化方法。
16. 【請求項１６】 前記ブロック符号化工程は、 ブロックに対して直交変換を行う直交変換工程と、 前記直交変換工程で変換された各係数を量子化する量子
    化工程と、 前記量子化工程での量子化結果を可変長符号化する可変
    長符号化工程と、を有することを特徴とする請求項１２
    乃至１５のいずれか１項に記載の画像符号化方法。
17. 【請求項１７】 前記多重化工程では更に、前記スクラ
    ンブル工程でスクランブルされたブロックを含むか否か
    を示す情報を多重化することを特徴とする請求項１２乃
    至１６のいずれか１項に記載の画像符号化方法。
18. 【請求項１８】 符号化されたビットストリームを入力
    し、前記ビットストリームを、知的財産を保護するため
    の保護コードと、１つ或は複数のレイヤとに分配する分
    配工程と、 外部から認証用データを入力する認証用データ入力工程
    と、 前記認証用データと前記保護コードとの整合を調べる認
    証工程と、 前記認証工程での認証結果に基づいて、１つ又は複数の
    レイヤのスクランブルを解除するスクランブル解除工程
    と、 前記分離工程の出力、もしくは前記スクランブル解除工
    程の出力を復号する復号工程と、 前記復号工程で復号された画像を出力する画像出力工程
    と、を備えることを特徴とする画像復号方法。
19. 【請求項１９】 前記画像出力工程ではレイヤ毎に画像
    のフレームを再生順序に割り当てて出力することを特徴
    とする請求項１８に記載の画像復号方法。
20. 【請求項２０】 前記画像出力工程では、レイヤ毎に選
    択して画像を出力することを特徴とする請求項１８に記
    載の画像復号方法。
21. 【請求項２１】 前記スクランブル解除工程では、前記
    ビットストリームを同一な符号長の別の符号へ置換する
    ことを特徴とする請求項１８に記載の画像復号方法。
22. 【請求項２２】 前記復号工程は、 前記スクランブル解除工程でスクランブルを解除したビ
    ットストリームを入力する入力工程と、 符号化されたコードをブロック毎に可変長復号する可変
    長復号工程と、 前記可変長復号工程での復号結果を逆量子化する逆量子
    化工程と、 前記逆量子化工程での逆量子化結果を逆直交変換する逆
    直交変換工程と、を備えることを特徴とする請求項１８
    乃至２１のいずれか１項に記載の画像復号方法。
23. 【請求項２３】 請求項１２乃至２２のいずれか１項に
    記載の方法を実行するプログラムを記憶した、コンピュ
    ータにより読取り可能な記憶媒体。