JP2000023198A - 多視点画像の圧縮符号化装置および伸長復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来の多視点（特に、２視点）画像の符号化
装置および復号化装置には、単視点画像の符号化、復号
化システムと両立性のあるものはあったが、伝送する画
像の視点数が増加するにつれて伝送ビットレートが増加
してしまうという解決すべき課題であった。 【解決手段】 被写体を観測する際の複数の視点に視点
順位を定義(1) し、上位の視点に対応する画像の画像情
報および視点情報と下位の視点に対応する画像の視点情
報とから、下位の視点に対応する画像の画像情報の予測
値を算出し（２，６−１）、予測符号化（７−１）によ
り予測値と真値との差に相当する符号化データを伝送す
ることで、多視点画像を効果的に圧縮符号化し、また、
受信側において伸長復号化するようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のカメラで撮
影された同一被写体の多視点画像を伝送する場合やコン
ピュータグラフィックスにより生成された３次元画像を
多視点画像（２次元画像）として伝送する場合の圧縮符
号化装置に係り、とくに従来の単視点画像の伝送装置と
の両立性を考慮した多視点画像の圧縮符号化装置および
伸長復号化装置に関するものである。

【０００２】

【従来の技術】従来、２眼式立体テレビ信号の圧縮符号
化方式として単視点画像の符号化方式と両立性のあるＭ
ＰＥＧ−２マルチビュープロファイルが標準化されてい
る〔ISO/IEC 13818-2 Amendment 3, WG11 N1366(1996)
（第１の従来方式と言う）〕。

【０００３】また、人物の顔画像など比較的単純な形状
の被写体を複数のカメラで撮影し、これらの撮影画像を
繋ぎあわせて展開図状の平面画像とし、距離情報、撮影
したカメラの位置、向き、画角などの情報とともに伝送
する方式が検討されている〔J.R.Ohm and K. Mueller：
“Incomplete 3D Representation of Video Objectsfor
Multiview Applications, ”Proc. Picture Coding Sy
mposium (PCS'97), pp. 427-432(1997)（第２の従来方
式と言う）〕。

【０００４】さらにまた、コンピュータグラフィックス
などにより生成した３次元画像については被写体を多面
体で近似し、多面体の頂点の座標と多面体表面の画素値
で表現する方式も普及している〔VRML2.0 ISO/IEC CD14
772 （第３の従来方式と言う）〕。

【０００５】

【発明が解決しようとする課題】上述した第１の従来方
式では、２眼式立体テレビ信号の左眼用画像を基本層
で、右眼用画像を拡張層で符号化する階層符号化方式が
採用されていて、左眼用画像は基本層のデータのみから
復号することができるが、右眼用画像は基本層と拡張層
のデータから復号する。この階層復号化方式を多視点画
像の符号化に適用すれば、単視点画像の符号化、復号化
システムと両立性のある多視点画像符号化装置および復
号化装置が実現できるが、この方式は、画像を小ブロッ
クに分割し、ブロック毎に視差補償予測または動き補償
予測によりブロックを平行移動させて予測し、その残差
を符号化する方式であるため、伝送する画像の視点数が
増加するにつれて伝送ビットレートが増加してしまうと
いう問題がある。また、この方式は、視差あるいは距離
情報をすべて伝送する方式ではないため、伝送していな
い視点での画像を内挿処理によって合成する場合、受信
装置側で受信画像情報から所望視点の視差あるいは距離
情報を算出するための装置が必要となってしまう。

【０００６】一方、上述した第２および第３の従来方式
では、単視点画像の符号化、復号化システムとの両立性
がないという問題がある。

【０００７】本発明の目的は、３以上の複数視点で観測
される各画像データを効率的に圧縮符号化して伝送（受
信側において伸長復号化する）することができ、しか
も、最上位に定義された視点に対応する符号化データは
従来の単視点画像符号化装置を用いて復号化することが
できるという点で、単視点画像の符号化、復号化システ
ムと両立性を有する多視点画像の圧縮符号化装置および
伸長復号化装置を提供することにある。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明による多視点画像の圧縮符号化装置は、１つ
の視点に対応する画像を予測符号化する際に、他の複数
の視点に対応する画像のうち、どの視点に対応する画像
を参照画像として使用するかが記憶されている視点順位
メモリと、複数の参照候補画像のうちから、前記視点順
位メモリに記憶された視点順位に従い少なくとも１つの
参照画像を選択する予測画像選択部と、該予測画像選択
部によって選択された参照画像に対応する画像の画像情
報および視点情報と前記１つの視点に対応する画像の視
点情報とを使用して、前記選択された参照画像に対応す
る画像の画像情報を前記１つの視点に対応する画像の画
像情報の予測値に変換する視点変換部と、最上位視点に
対応する画像の画像情報と視点情報を符号化する第１の
符号化部と、前記１つの視点に対応する画像の画像情報
（真値）から前記視点変換部によって得られた画像情報
の予測値を減じて得られた画像情報（差分値）と前記１
つの視点に対応する画像の視点情報とを符号化する第２
の符号化部とを少なくとも具え、前記第１の符号化部と
前記第２の符号化部によってそれぞれ符号化された符号
化データを局部復号化して得られた前記最上位視点およ
び前記１つの視点にそれぞれ対応する画像の画像情報と
視点情報が選択されるべき前記複数の参照候補画像とし
て前記予測画像選択部に供給されるように構成されてい
ることを特徴とするものである。

【０００９】また、本発明による多視点画像の伸長復号
化装置は、複数の参照候補画像のうちから、送信側から
伝送される視点順位に従い少なくとも１つの参照画像を
選択する予測画像選択部と、該予測画像選択部によって
選択された参照画像に対応する画像の画像情報および視
点情報と送信側から伝送される前記１つの視点に対応す
る画像の視点情報とを使用して、前記選択された参照画
像に対応する画像の画像情報を前記１つの視点に対応す
る画像の画像情報の予測値に変換する視点変換部と、符
号化され送信側から伝送されてきた前記最上位視点に対
応する画像の画像情報と視点情報を復号化する第１の復
号化部と、予測符号化され送信側から伝送されてきた前
記１つの視点に対応する画像の画像情報（差分値）に前
記視点変換部によって得られた画像情報の予測値を加算
して得られた画像情報と符号化され送信側から伝送され
てきた前記１つの視点に対応する画像の視点情報とを復
号化する第２の復号化部とを少なくとも具え、前記第１
の復号化部と前記第２の復号化部によってそれぞれ復号
化された前記最上位視点および前記１つの視点にそれぞ
れ対応する画像の画像情報と視点情報が選択されるべき
前記複数の参照候補画像として前記予測画像選択部に供
給されるように構成されていることを特徴とするもので
ある。

【００１０】また、本発明による視点変換部は、参照画
像の視点を基準とした座標系での画素位置と距離値をそ
れぞれ（Ｘ，Ｙ）とＺで表し、符号化しようとする画像
の視点を基準とした座標系の画素位置と距離値をそれぞ
れ（Ｘ′，Ｙ′）とＺ′で表したとき、

【数２】 ここに、Ｍは３行４列の行例によって座標変換を行う座
標変換器を含んでなることを特徴とするものである。

【００１１】

【発明の実施の形態】以下に添付図面を参照し、発明の
実施の形態に基づいて本発明を詳細に説明する。本発明
は、以下に詳細に説明するように、被写体を観測する際
の３以上の複数の視点に視点順位を定義し、上位の視点
に対応する画像のある画素位置における画素値および視
点からその画素に対応する被写体までの距離情報（以
下、画像情報と言う）と、上位の視点に対応する画像の
視点の位置、視点の向きおよび画角の情報（以下、視点
情報と言う）、ならびに、下位の視点に対応する画像の
視点情報から、下位の視点に対応する画像の画像情報の
予測値を算出し、予測符号化により予測値と真値との差
に相当する符号化データを伝送することにより、多視点
画像を効果的に圧縮符号化し、また、受信側において伸
長復号化しようとするものである。

【００１２】まず、視点の順位について説明する。図１
は、これを説明する図であり、（ａ）は視点（カメラ）
配置を示し、本例においては、カメラＡからＧまでの７
台のカメラが同一被写体を撮影している。同図において
（ｂ）は、それら視点間の順位（視点順位）を定義し、
視点Ｄは最上位の視点、視点Ｂ，Ｆは次に上位の視点、
そして視点Ａ，Ｃ，Ｅ，Ｇはその次に上位の視点である
ことを示している。さらに同図において（ｃ）は、予測
符号化に際しての参照関係を示していて、例えば、最初
に示されるＡ←Ｂは、視点Ａの画像は視点Ｂの画像を参
照画像として予測符号化できることを示している。

【００１３】以上説明した視点の視点順位、および各視
点ごとの画像情報（画素位置、画素値、距離値）と視点
情報（位置、向き、画角）に基づいて多視点画像を圧縮
符号化する本発明多視点画像の圧縮符号化装置について
以下に説明する。図２は、本発明による多視点画像の圧
縮符号化装置の一実施形態を示すブロック図である。ま
た、図２では、図１の７視点のうち、最上位視点を含む
４視点のブロックのみを図示している。図２において、
１は視点順位メモリ、２は予測画像選択部、３は最上位
視点画像入力部、４は画像・視点情報符号化部、５−１
は第ｎ視点画像入力部、６−１は視点変換部、７−１は
画像・視点情報予測符号化部、および８−１，８−２，
８−３はそれぞれの視点に対応する画像入力部、視点変
換部、画像・視点情報予測符号化部を含んでなる符号化
ブロックである。

【００１４】動作につき説明する。視点順位メモリ１に
は、図１（ｃ）に示す各視点間の参照関係データが記憶
され、その記憶内容は、復号時の基準として使用するた
めに伝送路ａを介して受信側に送られるとともに、信号
路ｂを介して予測画像選択部２に送られる。予測画像選
択部２においては、その送られた参照関係データから図
１（ｂ）に示す各視点間の視点順位を求め、符号化信号
の局部復号化信号として信号路ｅおよびｋ−１，ｋ−
２，ｋ−３を介して当該予測画像選択部２に入力される
すべての視点に対応する画像の画像情報と視点情報のな
かから、符号化しようとする視点に対応する画像の参照
画像に対応する画像情報と視点情報を選択して信号路ｇ
−１，ｇ−２，ｇ−３に出力する。

【００１５】ここに参照画像とは、例えば、カメラＣで
撮影された画像（図１（ａ）参照）を符号化しようとす
る場合、図１（ｃ）に示す各視点間の参照関係に基づい
て、カメラＣに対して上位のカメラＢとさらに上位のカ
メラＤの各視点に対応する画像が参照画像である。

【００１６】最上位視点画像入力部３には、本例の場
合、最上位視点のカメラＤで撮影された画像（図１
（ａ）参照）が供給され、信号路ｃ，ｄに最上位視点に
対応する画像の視点情報（位置、向き、画角）と画像情
報（画素位置、画素値、距離値）がそれぞれ出力され
る。

【００１７】信号路ｃ，ｄを通して出力された最上位視
点に対応する画像の視点情報と画像情報は、画像・視点
情報符号化部４において符号化され、符号化された画像
情報と視点情報を伝送路ｆに送出する。画像・視点情報
符号化部４は、従来技術において説明したようなＭＰＥ
Ｇ−２マルチビュープロファイルにおける左眼用画像の
ように他の画像を参照せずに独立に符号化する符号化器
をもって構成される。

【００１８】従って、この画像・視点情報符号化部４に
おいて最上位視点に対応する画像の画素値を上記のよう
な従来の単視点画像の符号化方式を用いた符号化器で符
号化するようにすれば、従来の復号化装置によって最上
位視点画像の画素値の復号化が可能となる。また、符号
化部４は局部復号化器（図示されない）を具え、符号化
された画像情報と視点情報を復号化し、信号路ｅを介し
て予測画像選択部２に供給する。

【００１９】また、第ｎ視点画像入力部５−１には、第
ｎ視点のカメラ（例えば、図１（ａ）のカメラＣとす
る）で撮影された画像が供給され、信号路ｈ，ｉに第ｎ
視点に対応する画像の視点情報と画像情報がそれぞれ出
力される。

【００２０】次に、本発明で重要な役割りを果す視点変
換部６−１について説明する。視点変換部６−１の構成
は、例えば、図３のブロック図で示される。図３におい
て、９−１，９−２，９−３は座標変換器、１０−１，
１０−２，１０−３はフレームメモリ、１１は比較器、
および１２は選択器である。

【００２１】上述したように、予測画像選択部２には、
画像・視点情報符号化部４および複数個の画像・視点情
報予測符号化部７−１（７−２以下は図示されない）か
らの局部復号化画像情報と視点情報が信号線ｅとｋ−
１，ｋ−２，ｋ−３をそれぞれ介して供給されている。
これら供給されている各視点に対応する画像情報のう
ち、第ｎ視点に対応する画像の参照画像の画像情報を、
当該画像の視点情報と第ｎ視点に対応する画像の視点情
報とに基づいて第ｎ視点に対応する画像情報に変換する
のが視点変換部６−１（６−２以下は図示されない）の
役割りであり、具体的には次に説明する座標変換によっ
て行う。

【００２２】いま、第ｎ視点が図１（ａ）に示すカメラ
Ｃであるとすると、予測画像選択部２から信号線ｇ−１
を介して視点変換部６−１に供給される画像情報と視点
情報は、カメラＢとカメラＤに対応するそれら情報であ
る。また本例では、視点変換部６−１にカメラＣに対応
する画像の視点情報も信号線ｈを介して供給されてい
る。

【００２３】図４は、視点変換の前提となる視点の位置
と向きを規定する座標系の一例を示す図である。また図
５は、被写体上の点が撮影面上の点に投影される位置を
示す図である。図４において、視点Ｂの位置（カメラの
光学中心）Ｏ_B を原点とし、カメラの光軸の方向を
Ｚ_B 、カメラの上方の方向をＹ_B 、および方向Ｚ_B とＹ
_B に直交する方向をＸ_B とする座標系において、被写体
上の点Ｐ（Ｘ，Ｙ，Ｚ）は、図５に示すように、光学中
心と撮影面とのなす距離をｆとするとき、撮影面上の点
（ｆ・Ｘ／Ｚ，ｆ・Ｙ／Ｚ）に投影される。従って、逆
に、撮影面上の画素位置と被写体上の点Ｐまでの距離情
報Ｚを用いて点Ｐ（Ｘ，Ｙ，Ｚ）の座標を求めることが
できる。

【００２４】次に、図４において点Ｐの座標を視点Ｃの
位置Ｏ_C を原点とし、視点Ｃの向きがＸ_C , Ｙ_C ，Ｚ_C
により定義される座標系を用いて表すと、３行４列の行
列Ｍによる座標変換、

【数３】 により点Ｐの座標を表すことができ、カメラＣの撮影面
上に投影される点（ｆ・Ｘ′／Ｚ′，ｆ・Ｙ′／Ｚ′）
の位置を算出することができる。

【００２５】上述したように、参照される視点（視点Ｂ
およびＤ）の画素位置（Ｘ，Ｙ）と距離値Ｚは、参照さ
れる視点の視点情報により決まる座標系から符号化しよ
うとする視点（視点Ｃ）の視点情報により決まる座標系
へ行列変換することができ、符号化しようとする視点で
の座標系では画素位置（Ｘ′，Ｙ′）と距離値Ｚ′とで
表される。

【００２６】視点変換部６−１の構成を示す図３におい
て、座標変換器９−１，９−２，９−３の入出力側にお
ける変換前および変換後の画素位置と距離値を上記に合
わせて、（Ｘ，Ｙ，Ｚ）および（Ｘ′，Ｙ′，Ｚ′）で
それぞれ表している。座標変換により出力される画素位
置Ｘ′，Ｙ′と距離値Ｚ′は、参照画像の画素値（図３
では、一例としてＲ，Ｇ，Ｂで表す）とともにフレーム
メモリ１０−１，１０−２，１０−３に入力され、画素
の走査の順番に並び替える。参照画像が複数ある場合に
は、それぞれの視点について座標変換と並び替えを行っ
て符号化しようとする視点で観測される画素位置に揃え
ておく。各フレームメモリ１０−１，１０−２，１０−
３から出力された画素値Ｒ，Ｇ，Ｂが符号化しようとす
る視点の同じ画素位置で複数存在する場合にはそれら複
数の距離値Ｚ′を比較器１１により比較し、最小の距離
値Ｚ′を有する画素値Ｒ，Ｇ，Ｂ、すなわち第ｎ視点か
ら見て最も手前にある画素値Ｒ，Ｇ，Ｂを、比較器１１
の比較結果により選択器１２を制御することにより選択
し、第ｎ視点に対応する画像の予測値とする。

【００２７】再び、図２を参照するに、画像・視点情報
予測符号化部７−１には、信号路ｈ，ｉ，ｊを介して第
ｎ視点に対応する画像の視点情報（真値）、画像情報
（真値）、参照画像に対応する画像の画像情報（予測
値）がそれぞれ供給される。これら画像情報および視点
情報の真値および予測値の供給を受けて、画像・視点情
報予測符号化部７−１では画像情報の真値と予測値の差
分符号化データ（視点情報に関しては、第ｎ視点に対応
する画像のみの符号化データ）を符号化してこれを圧縮
符号化信号として伝送路 L−１に出力する。

【００２８】なお、得られた圧縮符号化信号を伸長復号
化した画像情報および視点情報の圧縮・伸長局部復号化
信号が信号線ｋ−１を介して予測画像選択部２に送ら
れ、選択されるべき参照候補画像の一つとなる。これ
は、前述した最上位視点に対応する画像について（信号
路ｅを介して選択部２に送られる）と同じである。

【００２９】なお、符号化ブロック８−２，８−３（必
要に応じて増加する）は、それぞれが上述した符号化ブ
ロック８−１と同一の構成で、複数の視点それぞれに対
応する画像データを圧縮符号化する。

【００３０】図６は、本発明による多視点画像の伸長復
号化装置の一実施形態を示すブロック図である。また、
図６では、図２と同様、最上位視点を含む４視点のブロ
ックのみを図示している。図６において、１３は予測画
像選択部、１４は画像・視点情報復号化部、１５は最上
位視点画像出力部、１６−１は視点変換部、１７−１は
画像・視点情報予測復号化部、１８−１は第ｎ視点画像
出力部、および１９−１，１９−２，１９−３はそれぞ
れの視点に対応する視点変換部、画像・視点情報予測復
号化部および画像出力部を含んでなる復号化ブロックで
ある。

【００３１】動作につき説明する。まず、予測画像選択
部１３には、送信側の視点順位メモリ１（図２参照）に
記憶された各視点間の参照関係データが伝送路ａを介し
て伝送され、当該選択部１３において、送信側における
と同様に各視点間の視点順位を求める。また、この予測
画像選択部１３には、図に示すように、画像・視点情報
復号化部１４および画像・視点情報予測復号化部１７−
１（１７−２以下は図示されない）から信号路ｒおよび
ｗ−１，ｗ−２，ｗ−３をそれぞれ介して復号化信号
（各視点に対応する画像の画像情報と視点情報）が供給
されている。

【００３２】以上に基づいて、予測画像選択部１３は、
供給されるすべての視点に対応する画像の画像情報と視
点情報のなかから、復号化しようとする視点に対応する
画像（例えば、第ｎ視点のカメラＣで撮影された画像）
の参照画像（この場合、カメラＢおよびＤで撮影された
画像）に対応する画像情報と視点情報を選択して、信号
路ｓ−１に出力する。

【００３３】一方、伝送路ｆを介して受信側に伝送さ
れ、最上位視点に対応する符号化された画像情報と視点
情報は、画像・視点情報復号化部１４に供給され、当該
復号化部において符号化データを復号化し、その復号化
された最上位視点に対応する画像の画像情報と視点情報
を信号路ｒに出力する。これを復号化信号として最上位
視点画像出力部１５から取り出し得るようにするととも
に、上述したように、予測画像選択部１３にも供給す
る。

【００３４】次に、第ｎ視点に対する画像の伸長復号化
について説明する。図６において、視点変換器１６−１
は、送信側における視点変換器６−１とまったく同じ動
作（従って、回路構成も図３に示すものとなる）をする
もので、同変換器１６−１には、信号路ｓ−１を介して
参照画像に対応する画像情報と視点情報が、また信号路
ｕを介して第ｎ視点に対応する画像の視点情報がそれぞ
れ供給され、その出力側には、第ｎ視点（上記のよう
に、例えば、カメラＣ）に対応する画像の画像情報の予
測値が得られ、これを信号路ｖを介して画像・視点情報
予測復号化部１７−１に供給する。

【００３５】なお、図６において、第ｎ視点以外の視点
に対応する画像の参照画像を用いてそれら視点の画像に
対応する画像を伸長復号化する場合、予測画像選択部１
３から該当する参照画像の画像情報と視点情報が信号路
ｓ−２，ｓ−３を介してそれぞれ視点変換器１６−２，
１６−３（いずれも図示しない）に供給される。

【００３６】また、画像・視点情報予測復号化部１７−
１には、伝送路 L−１を介して伝送された第ｎ視点に対
応する画像の画像情報の差分値および視点情報の圧縮符
号化データと、信号路ｖを介しての第ｎ視点に対応する
画像の画像情報（予測値）とが供給され、同予測復号化
部１７−１において、上記差分値と上記画像情報の予測
値を用いて第ｎ視点の原画像（送信側で送信した第ｎ視
点の画像）に対応する画像の画像情報を再構成（加算）
して出力する。また、これと同時に、第ｎ視点に対応す
る画像の視点情報も伸長復号化により画像・視点予測復
号化部１７−１出力として出力する。

【００３７】同予測復号化部１７−１出力は、図６に示
すように、信号路ｗ−１を介し、一方では、第ｎ視点画
像出力部１８−１に供給されて同出力部から画像情報と
視点情報を取り出し得るようにし、他方では、予測画像
選択部１３にも供給される。

【００３８】復号化ブロック１９−１，１９−２，１９
−３は、いずれも同一の構成であり、それぞれ必要な視
点に対応する圧縮画像データを伝送路 L−１， L−２，
L −３を介して受信しそれぞれ伸長復号化する。復号化
ブロックの数は、送信側の符号化ブロックの数に対応し
てさらに追加することができる。

【００３９】最後に、伸長復号化装置によっては復号化
ブロックの数を低減できることを説明する。例えば、図
１（ｂ）に示すように階層的に定義された７視点におけ
る画像情報を復号化する場合、すべての視点における画
像を同時に復号化する場合には視点変換器と予測復号化
器からなる復号化ブロックが６個必要である。一方、あ
る１つの視点における画像情報だけを復号化する場合に
は、視点を階層的に定義しているので、どの視点につい
ても上位には最大２つの視点しかなく、したがって最大
２個の復号化ブロックがあれば、復号化可能である。

【００４０】多視点画像の表示装置として、観視者の観
視点の位置を検出して、その位置に応じて再生する画像
の視点位置を切り替える方式を用いる場合には、同時に
再生する視点の数は１つ、あるいは左右の眼に対応して
２つであり、必ずしもすべての視点における画像を同時
に復号化する必要はない。したがって、このように視点
を階層的に定義することにより、表示装置によっては復
号化ブロックの数を（同時に復号化が必要な視点数）×
（階層数）以下とすることができ、復号化装置の複雑さ
を低減することができる。

【００４１】

【発明の効果】本発明によれば、複数の視点に視点順位
を定義し、下位の視点に対応する画像を、上位の視点に
対応する画像の画像情報、視点情報を利用して予測符号
化を行うことで、複数の視点で観測される画像データを
効率的に圧縮符号化することができる。また、各画素に
ついて距離値を伝送し、視点変換器による座標変換を行
うことで、予測の精度を向上させることができる。結果
として、視点数を増加させたときの伝送データ量の増加
を抑えることができる。

【００４２】また、最上位に定義された視点に対応する
画像については、他の視点に対応する画像を参照するこ
となくこれを独立に符号化することで、従来の単視点画
像の復号化装置によって、この最上位の視点に対応する
画像の画素値を復号化することができる。複数の視点に
視点順位を定義し、階層的に符号化を行うことで、１つ
の視点に対応する画像を復号する際に必要な視点変換器
と予測復号化器からなる１つの復号化ブロックの数を階
層数以下とすることができる。

【００４３】また、復号化装置に具えられた復号化ブロ
ックの階層数が符号化装置での符号化ブロックの階層数
より少ない場合にも、符号化装置に具えられた階層数に
応じた視点数の画像を復号化することができる。例え
ば、図１（ｂ）に示す視点順位で多視点に対応する画像
が圧縮符号化されて伝送された場合、階層数が０の受信
機（従来の単視点用復号化器）で復号化すると視点Ｄの
みの、また、階層数が１の受信機で復号化すると視点
Ｂ，Ｄ，Ｆの、また、階層数が２の高級な受信機で復号
化するとすべての視点に対応する画像を復号化すること
が可能となる。

【図面の簡単な説明】

【図１】視点の順位を説明する図である。

【図２】本発明による多視点画像の圧縮符号化装置の一
実施形態を示すブロック図である。

【図３】図２中の視点変換部の一構成例を示すブロック
線図である。

【図４】視点変換の前提となる視点の位置と向きを規定
する座標系の一例を示す図である。

【図５】被写体上の点が撮影面上の点に投影される位置
を示す図である。

【図６】本発明による多視点画像の伸長復号化装置の一
実施形態を示すブロック図である。

【符号の説明】

１ 視点順位メモリ ２ 予測画像選択部 ３ 最上位視点画像入力部 ４ 画像・視点情報符号化部 ５−１ 第ｎ視点画像入力部 ６−１ 視点変換部 ７−１ 画像・視点情報予測符号化部 ８−１，８−２，８−３ 符号化ブロック ９−１，９−２，９−３ 座標変換器 １０−１，１０−２，１０−３ フレームメモリ １１ 比較器 １２ 選択器 １３ 予測画像選択部 １４ 画像・視点情報復号化部 １５ 最上位視点画像出力部 １６−１ 視点変換部 １７−１ 画像・視点情報予測復号化部 １８−１ 第ｎ視点画像出力部 １９−１，１９−２，１９−３ 復号化ブロック

───────────────────────────────────────────────────── フロントページの続き (72)発明者 片山 美和 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 蓼沼 眞 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 岩舘 祐一 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 野尻 裕司 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 田中 豊 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5C059 KK00 MA01 MA31 MA32 MA47 MC26 PP04 PP13 RC37 RC38 SS06 UA02 UA05 UA31 5C061 AA29 AB01 AB04 AB08 AB24

Claims (3)

【特許請求の範囲】
1. 【請求項１】 １つの視点に対応する画像を予測符号化
   する際に、他の複数の視点に対応する画像のうち、どの
   視点に対応する画像を参照画像として使用するかが記憶
   されている視点順位メモリ１と、 複数の参照候補画像のうちから、前記視点順位メモリ１
   に記憶された視点順位に従い少なくとも１つの参照画像
   を選択する予測画像選択部２と、 該予測画像選択部２によって選択された参照画像に対応
   する画像の画像情報および視点情報と前記１つの視点に
   対応する画像の視点情報とを使用して、前記選択された
   参照画像に対応する画像の画像情報を前記１つの視点に
   対応する画像の画像情報の予測値に変換する視点変換部
   ６と、 最上位視点に対応する画像の画像情報と視点情報を符号
   化する第１の符号化部４と、 前記１つの視点に対応する画像の画像情報（真値）から
   前記視点変換部６によって得られた画像情報の予測値を
   減じて得られた画像情報（差分値）と前記１つの視点に
   対応する画像の視点情報とを符号化する第２の符号化部
   ７とを少なくとも具え、 前記第１の符号化部４と前記第２の符号化部７によって
   それぞれ符号化された符号化データを局部復号化して得
   られた前記最上位視点および前記１つの視点にそれぞれ
   対応する画像の画像情報と視点情報が選択されるべき前
   記複数の参照候補画像として前記予測画像選択部２に供
   給されるように構成されていることを特徴とする多視点
   画像の圧縮符号化装置。
2. 【請求項２】 請求項１記載の多視点画像の圧縮符号化
   装置によって伝送された符号化データを復号化する復号
   化装置であって、 複数の参照候補画像のうちから、送信側から伝送される
   視点順位に従い少なくとも１つの参照画像を選択する予
   測画像選択部１３と、 該予測画像選択部１３によって選択された参照画像に対
   応する画像の画像情報および視点情報と送信側から伝送
   される前記１つの視点に対応する画像の視点情報とを使
   用して、前記選択された参照画像に対応する画像の画像
   情報を前記１つの視点に対応する画像の画像情報の予測
   値に変換する視点変換部１６と、 符号化され送信側から伝送されてきた前記最上位視点に
   対応する画像の画像情報と視点情報を復号化する第１の
   復号化部１４と、 予測符号化され送信側から伝送されてきた前記１つの視
   点に対応する画像の画像情報（差分値）に前記視点変換
   部１６によって得られた画像情報の予測値を加算して得
   られた画像情報と符号化され送信側から伝送されてきた
   前記１つの視点に対応する画像の視点情報とを復号化す
   る第２の復号化部１７とを少なくとも具え、 前記第１の復号化部１４と前記第２の復号化部１７によ
   ってそれぞれ復号化された前記最上位視点および前記１
   つの視点にそれぞれ対応する画像の画像情報と視点情報
   が選択されるべき前記複数の参照候補画像として前記予
   測画像選択部６に供給されるように構成されていること
   を特徴とする多視点画像の伸長復号化装置。
3. 【請求項３】 請求項１記載の圧縮符号化装置または請
   求項２記載の伸長復号化装置において、前記視点変換部
   ６または１６は、 参照画像の視点を基準とした座標系での画素位置と距離
   値をそれぞれ（Ｘ，Ｙ）とＺで表し、符号化しようとす
   る画像の視点を基準とした座標系の画素位置と距離値を
   それぞれ（Ｘ′，Ｙ′）とＺ′で表したとき、 【数１】 ここに、Ｍは３行４列の行例によって座標変換を行う座
   標変換器９を含んでなることを特徴とする視点変換部。