JP2012114910A - 遮蔽レイヤの拡張 - Google Patents

Abstract

【課題】階層化された深さフォーマットで２以上のカメラにより捕捉されたビジュアルデータを符号化する。
【解決手段】本発明は、階層化された深さ画像の符号化方法及び装置に関する。本装置は、階層化された深さ画像の前景のレイヤよりも大きい水平方向の幅をもつ階層化された深さ画像の少なくとも１つの遮蔽レイヤを符号化する。遮蔽レイヤの水平方向の幅は、前景のレイヤに含まれる主要な深さマップの横方向の境界領域に含まれる最大の視差の値に比例する。横方向の境界領域は、主要な深さマップの予め決定された最外部の列の数から構成される。本方法は、対応するステップを含む。
【選択図】図１

Description

本発明は、レイヤの深さフォーマットでのビジュアルデータの符号化に関する。

階層化された深さ画像（LDI: Layered Depth Image）は、３次元画像のレンダリングのために情報を符号化する方法である。同様に、階層化された深さ映像（Layered Depth Video）は、３次元映像のレンダリングのために情報を符号化する方法である。

LDI/LDVは、情報を伝達するために、前景のレイヤと少なくとも１つの後景のレイヤを使用する。後景のレイヤは、遮蔽レイヤ（Occlusion Layer）とも呼ばれる。前景のレイヤは、関連されるメインの深度マップをもつメインのカラー画像／映像を含む。少なくとも１つの後景のレイヤは、関連される後景の深度マップをもつ後景のカラー画像／ビデオを含む。一般に、遮蔽レイヤは、メインレイヤにおける前景のオブジェクトにより覆われる画像コンテンツと、前景のオブジェクトにより遮蔽される画像コンテンツの対応する深さ情報とを含む点で希薄である。

LDI又はLDVを生成する方法は、異なる視点から２以上のカメラで同じシーンを捕捉することである。次いで、２つのカメラにより捕捉された画像／映像は、歪められ、すなわちシフトされ、異なる視点間において位置される中央の視点から同じシーンを示すメインの画像／映像を生成するために融合される。

さらに、メインの画像／映像に関連されるメインの深度マップは、２つの捕捉された画像／映像フレームを使用して生成することができる。メインの深度マップは、メインの画像／映像のフレームのそれぞれの画素に、深さの値、視差の値又は視差と同質のスケーリングされた値を割り当てるものであり、割り当てられた視差の値は、それぞれの画素が属するオブジェクトのメインの画像平面からの距離に逆比例する。

従来の技術によれば、前景のレイヤと後景のレイヤとは、同じ水平の幅からなる。本発明者は、この同じサイズにより、少なくとも２つのカメラにより捕捉される画像／映像で提供される全ての情報を伝達することができないと認識している。

従って、本発明は、階層化された深さ画像／映像のフレームの少なくとも１つの遮蔽レイヤが階層化された深さ画像／映像フレームの前景のレイヤよりも大きな水平の幅を有することを可能にする階層化された深さ画像／映像のフレームのデータ構造を提案するものであり、遮蔽レイヤの水平方向の幅は、前景のレイヤに含まれるメインの深度マップの横方向の境界領域に含まれる最大の視差に比例しており、横方向の境界領域は、メインの深度マップの予め決定された最外部の列数から構成される。

さらに、本発明は、少なくとも１つの符号化された階層化された深さ画像／映像のフレームを記録する記録媒体を提案するものであり、階層化された深さ画像／映像の少なくとも１つの遮蔽レイヤは、階層化された深さ画像／映像のフレームの前景のレイヤよりも大きい水平方向の幅を有する。遮蔽レイヤの水平方向の幅は、前景のレイヤに含まれるメインの深さマップの横方向の境界領域に含まれる最大の視差の値に比例する。横方向の境界の領域は、メインの深さマップの予め決定された最外部の列数からなる。

さらに、本発明は、階層化された深さ画像／映像のフレーム符号化の方法を提案するものであり、当該方法は、階層化された深さ画像／映像のフレームの前景のレイヤよりも大きな水平方向の幅をもつ階層化された深さの画像／映像のフレームの少なくとも１つの遮蔽レイヤを符号化するステップを含んでおり、遮蔽レイヤの水平方向の幅は、前景のレイヤに含まれるメインの深度マップの横方向の境界領域に含まれる最大の視差の値に比例しており、横方向の境界領域は、メインの深さマップの予め決定された最外部の列数からなる。

同様に、階層化された深さの画像／映像のフレームの符号化の装置が提案され、当該装置は、階層化された深さ画像／映像のフレームの前景のレイヤよりも大きな水平方向の幅をもつ階層化された深さの画像／映像のフレームの少なくとも１つの遮蔽レイヤを符号化するものであり、遮蔽レイヤの水平方向の幅は、前景のレイヤに含まれるメインの深度マップの横方向の境界領域に含まれる最大の視差の値に比例しており、横方向の境界領域は、メインの深さマップの予め決定された最外部の列数からなる。

更なる水平方向の幅は、少なくとも２つのカメラにより捕捉される画像／映像で提供される情報の一部であって、前景のレイヤに含まれない情報を伝達するために使用することができる。
更なる有利な実施の形態の特徴は、従属の請求項で規定される。

本発明の例示的な実施の形態は、添付図面で例示され、以下の説明において詳細に説明される。例示的な実施の形態は、本発明を理解するためにのみ説明され、本発明の開示、範囲又は精神を限定するものではない。
深度マップを例示する図である。 マルチカメラシステムを例示する図である。 立体撮影を例示する図である。 遮蔽レイヤの拡張を例示する図である。

本発明は、相応して適合される処理装置を備える電子装置で実現される。たとえば、本発明は、携帯電話、パーソナルコンピュータ、デジタルスチルカメラシステム、又はデジタルビデオカメラシステムで実現される。

図１は、例示的な深さマップMdmを示す。深さマップMdmは、深さの値、視差の値又は、視差と同種のスケーリングされた値からなる。値は、列C[0],...,C[n]及び行R[0],…,R[m]で配列される。深さマップは、横方向の境界とも呼ばれる垂直方向の境界vbl，vbr、並びに、上及び下の境界とも呼ばれる水平方向の境界hbt，hbbを有する。左の垂直方向の境界vblの幅kの近傍の領域Nklは、列C[0],C[1],…,C[k-1]を有し、右の垂直方向の境界vbrの幅kの近傍の領域Nkrは、列C[n-k+1],C[n-k+2],…,C[n]を有する。近傍の幅について、単一の近傍が全体の深さマップMdmをカバーすること、すなわちk=nについて制限するものではなく、また、左の垂直方向の境界vblの幅klの近傍及び右の垂直方向の境界vbrの幅k2の近傍は、全体のフレームをカバーすること、k1+k2=n+1である場合を制限するものではない。また、近傍の幅は、１画素のみの列に限定される場合がある。

LDI/LDVでは、係る例示的な深さマップMdmは、例示的な画像と関連される。例示的な画像におけるそれぞれの画素について、例示的な深さマップにおいてある値が存在する。マップ及び画像のセットは、レイヤと呼ばれる。レイヤがメインレイヤとも呼ばれる前景のレイヤである場合、画像は、前景画像と呼ばれ、画素で完全に満たされている。関連される深さマップは、以下においてメインの深さマップMdmと呼ばれる。

例示的な実施の形態では、メインの深さマップMdm及び関連される前景の画像CVは、２つのビューLV，RVの処理から得られる。図２に示されるように、２つのビューLV，RVは、平行な光軸OA1，OA2、焦点距離ｆ及びカメラ内のベースライン距離２*ｂを有する２つのカメラCAM1，CAM2により捕捉される。さらに、z_convを、後処理のシフトが調整されたビューに適用されない場合に、無限の距離に位置される収束平面の深さを示すものとする。２つのカメラCAM1，CAM2は、前記２つの異なる視点に位置される。２つのビューLV，RVは、２つの異なる視点から前記シーンを示しており、色を均一にし、幾何学的な歪みを調整するために前処理される。従って、カメラの固有且つ外因性のパラメータを統一化される。２つのカメラのセットアップにおいて、前景の画像CVは、ｂである前記カメラのそれぞれに対するカメラ間の距離を有する２つのカメラCAM1，CAM2間に位置される仮想カメラCAMvで撮影されるように見える。奇数のカメラ番号のセットアップでは、前景の画像CVは、中央のカメラにより撮影された画像の調整により計算される。

これらの条件下で、深さｚで位置されるオブジェクトの視差ｄは、以下により与えられる。

ここでｈは収束平面の位置を調整するために必要とされるセンサのシフトを模倣する。前に述べたように、処理が適用されない場合、収束平面は、無限の距離で位置され、ｈはゼロに等しい。図３に例示的に示したように、z_convは、有限の距離で位置される。

メインの深さマップMdmは、視差ｄと同種のスケーリングされた値Dを含み、両者の関係は、以下に示される。

メインの深さマップに含まれるスケーリングされた値の場合、パラメータd_max及びd_minはメタデータとして送信されるか、又は対応する深さの値z_near及びz_farが送信され、式（１）に従って、以下に示される。

例示的な実施の形態は、本発明の要点の説明のためにのみ選択される。本発明は、複数のカメラにより捕捉された画像を、仮想的に平行な光軸のカメラにより仮想的に捕捉した対応する仮想的な画像に変換することで、平行でない光軸をもつ複数のカメラを備えるマルチカメラシステムに適用することができる。さらに、本発明は、調整されていないビュー及び／又は２を超えるカメラに適合することができる。本発明は、前景のレイヤの画像又はメインの深さマップがどのように決定されたかに関するものではない。

例示的な実施の形態は、メインの深さマップMdmの横方向の境界vbl，vbrの近傍領域Nkl，Nkr内で、最も近いものをオブジェクトにより決定することを含み、これは、最小の視差min(d)を決定することに対応する。視差は収束平面の前に位置するオブジェクトについて負であるので、これは、横方向の境界の近傍領域における負の視差のうちで最も大きい絶対値を決定することに対応する。

メインの深さマップMdmが視差と同種のスケーリングされた値を含む場合、｜min(d)｜は、メタデータとして送信されたパラメータを使用して、メインの深さマップMdmにおける最大のスケーリングされた値max(D)から決定される。d_max及びd_minが送信される場合、これは、以下の式に従って行われる。

z_near及びz_farが送信される場合、｜min(d)｜は、式（４），（５）及び（６）を使用して決定される。

z_convが決定されない場合、｜(min(d)−h)｜が決定される。

両方の横方向の境界vbl，vbrの近傍の領域Nkr，Nklにおける負の視差のうちで決定された最も大きい絶対値は、前景の画像に含まれない全ての情報であって、２つのビューにより提供される情報が伝達されるのを可能にするため、遮蔽レイヤの画像EOV及び／又は遮蔽レイヤの深さマップが両方の側で延長される必要がある更なる幅である。

近傍領域の幅は、異なって選択することができる。例えば、近傍領域は、最外部C[0]，C[n]のみから構成することができる。または、ロバスト性のため、近傍領域は、それぞれの側C[0],...,C[7]、及びC[n-7],...,C[n]にある８つの列から構成される。または、徹底さのため、近傍領域は、メインの深さマップに含まれる全ての負の視差の間で最も大きい絶対値が決定され、全体のメインの深さマップをカバーするように決定される。

後者の場合、決定された最も大きい絶対値の代わりに、低減された値を使用することができる。低減された値は、それぞれの最も近い横方向の境界からの最も大きい絶対値の列の距離だけ、負の視差のうちで最も大きい絶対値を補償する。すなわち、負の視差のうちで最も大きい絶対値が｜mid(d)｜であって、幅nのメインの深さマップの列ｊで発見された場合、遮蔽レイヤは、（｜min(d)｜−min(j;n+1-j)）だけ両側で拡張される。従って、遮蔽レイヤの画像EOV及び／又は遮蔽レイヤの深さマップの幅は、n+2*(｜min(d)｜−min(j;n+1-j))である。図４に例示的に示したように、遮蔽レイヤの画像EOVは希薄であり、すなわち、前景の画像に存在しない情報のみを含む。この情報は、中央のビューに投影することでコピー又はワープすることができる。

LDVの場合、遮蔽の拡張は、それぞれのフレームについて独立して決定することができる。また、グループオブフレーム又は全体の映像は、それぞれのフレームの横方向の境界の近傍領域における負の視差のうちから最も大きい絶対値について分析され、次いで、それぞれのグループオブフレーム又は全体の映像の遮蔽レイヤを拡張するために、決定された最も大きい絶対値が使用される。

横方向の境界の近傍の領域における負の視差のうちで最も大きい絶対値の分析は、遮蔽レイヤの正しい復号化についてエンコーダ側で同じやり方で、デコーダ側で実行することができる。または、拡張に関する副情報が提供される。前者は、符号化の観点でより有効であり、後者は、デコーダ側での少ない計算量を必要とする。

CAM1，CAM2：カメラ
CAMv：仮想カメラ
OA1，OA2：光軸
b：カメラ間の距離

Claims (15)

1. 階層化された深さ画像のデータ構造であって、
   前記階層化された深さ画像の少なくとも１つの遮蔽レイヤは、前記階層化された深さ画像の前景のレイヤよりも大きい水平方向の幅を有しており、
   前記遮蔽レイヤの水平方向の幅は、前記前景のレイヤに含まれる主要な深さマップの横方向の境界領域に含まれる最大の視差値に比例しており、
   前記横方向の境界領域は、前記主要な深さマップの予め決定された最外部の列の数から構成される、
   ことを特徴とするデータ構造。
2. 少なくとも符号化された階層化された深さ画像を記録する記録媒体であって、
   階層化された深さ画像の少なくとも１つの遮蔽レイヤは、前記階層化された深さ画像の前景のレイヤよりも大きい水平方向の幅を有しており、
   前記遮蔽レイヤの水平方向の幅は、前記前景のレイヤに含まれる主要な深さマップの横方向の境界領域に含まれる最大の視差の値に比例しており、
   前記横方向の境界領域は、前記主要な深さマップの予め決定された最外部の列の数から構成される、
   ことを特徴とする記録媒体。
3. 階層化された深さ画像を符号化する方法であって、
   当該方法は、階層化された深さ画像の前景のレイヤよりも大きい水平方向の幅をもつ階層化された深さ画像の少なくとも１つの遮蔽レイヤを符号化するステップを含み、
   前記遮蔽レイヤの水平方向の幅は、前記前景のレイヤに含まれる主要な深さマップの横方向の境界領域に含まれる最大の視差の値に比例しており、
   前記横方向の境界領域は、前記主要な深さマップの予め決定された最外部の列の数から構成される、
   ことを特徴とする方法。
4. 階層化された深さ画像を復号化する方法であって、
   当該方法は、階層化された深さ画像の前景のレイヤよりも大きい水平方向の幅をもつ階層化された深さ画像の少なくとも１つの遮蔽レイヤを復号化するステップを含み、
   前記遮蔽レイヤの水平方向の幅は、前記前景のレイヤに含まれる主要な深さマップの横方向の境界領域に含まれる最大の視差の値に比例しており、
   前記横方向の境界領域は、前記主要な深さマップの予め決定された最外部の列の数から構成される、
   ことを特徴とする方法。
5. 階層化された深さ画像を符号化する装置であって、
   当該装置は、階層化された深さ画像の前景のレイヤよりも大きい水平方向の幅をもつ階層化された深さ画像の少なくとも１つの遮蔽レイヤを符号化し、
   前記遮蔽レイヤの水平方向の幅は、前記前景のレイヤに含まれる主要な深さマップの横方向の境界領域に含まれる最大の視差の値に比例しており、
   前記横方向の境界領域は、前記主要な深さマップの予め決定された最外部の列の数から構成される、
   ことを特徴とする装置。
6. 階層化された深さ画像を復号化する装置であって、
   当該装置は、階層化された深さ画像の前景のレイヤよりも大きい水平方向の幅をもつ階層化された深さ画像の少なくとも１つの遮蔽レイヤを復号化し、
   前記遮蔽レイヤの水平方向の幅は、前記前景のレイヤに含まれる主要な深さマップの横方向の境界領域に含まれる最大の視差の値に比例しており、
   前記横方向の境界領域は、前記主要な深さマップの予め決定された最外部の列の数から構成される、
   ことを特徴とする装置。
7. 前記横方向の境界領域は、前記主要な深さマップの全ての列から構成される、
   請求項１記載のデータ構造、請求項２記載の記録媒体、請求項３又は４記載の方法、或いは、請求項５又は６記載の装置。
8. 前記遮蔽レイヤの水平方向の幅は、前記最大の視差の値を有する前記主要な深さマップのある列に対する、前記前景の主要な深さマップの横方向の境界の、画素に関する最小の距離に比例する、
   請求項１記載のデータ構造、請求項２記載の記録媒体、請求項３又は４記載の方法、或いは、請求項５又は６記載の装置。
9. 前記階層化された深さ画像は、同じ遮蔽レイヤの幅からなる、階層化された深さ画像の系列に含まれる、
   請求項１記載のデータ構造、請求項２記載の記録媒体、請求項３又は４記載の方法、或いは請求項５又は６記載の装置。
10. 前記遮蔽レイヤに含まれる後景のレイヤは、前記前景のレイヤに含まれる前景の画像よりも大きい水平方向の幅を有する、
    請求項１記載のデータ構造、請求項２記載の記録媒体、請求項３又は４記載の方法、或いは、請求項５又は６記載の装置。
11. 前記遮蔽レイヤに含まれる後景の深さマップは、前記前景のレイヤに含まれる前景の深さマップよりも大きい水平方向の深さを有する、
    請求項１記載のデータ構造、請求項２記載の記録媒体、請求項３又は４記載の方法、或いは、請求項５又は６記載の装置。
12. 前記水平方向の幅が異なる列の数を示す符号化された値は、前記記録媒体に記録される、
    請求項２記載の記録媒体。
13. 前記水平方向の幅が異なる列の数を示す値を復号化するステップを更に含む、
    請求項４記載の方法。
14. 前記水平方向の幅が異なる列の数を示す値を復号化する、
    請求項６記載の装置。
15. 前記階層化された深さ画像は、変化する遮蔽レイヤの幅からなる階層化された深さ画像の系列に含まれる、
    請求項１記載のデータ構造、請求項２記載の記録媒体、請求項３又は４記載の方法、或いは、請求項５又は６記載の装置。
    
    

Images