JP7708119B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

立体画像や多視点画像を表示する表示装置では、クロストークによる画像の劣化が問題となる。そのため、クロストークで生じる変換とは逆の変換を実施する逆補正処理によってクロストークを抑制する技術が提案されている。

特開２０１３－１８３４２６号公報

MIRU2007, "Focal Pre-Correction of Projected Image for Deblurring on Displayed Image on the Screen."

逆補正処理では、クロストークによって輝度が増加する画素の信号値を低減し、輝度が低下する画素の信号値を増加する画像処理が行われる。しかし、画像の階調レンジは０から２５５までに制限される。この飽和制約を超えて信号値が低減または増加される画素については、信号値が０または２５５にクリッピングされる。信号値が飽和制約を超える領域では、画像の補正が不十分になり、クロストークを良好に抑制することが難しい。

そこで、本開示では、クロストークを良好に抑制することが可能な情報処理装置、情報処理方法およびプログラムを提案する。

本開示によれば、クロストーク補正処理後の補正残差をコストとして評価するコスト評価部と、前記コストに基づいて補正範囲および補正量を決定しながら複数の異なるクロストーク補正処理を実施する補正処理部と、を有する情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理装置の情報処理をコンピュータに実現させるプログラムが提供される。

多段クロストーク補正処理の概要を説明する図である。 情報処理装置の一例を示す図である。 逆補正処理の一例を示す図である。 逆補正処理の一例を示す図である。 圧縮処理の一例を示す図である。 圧縮処理の一例を示す図である。 圧縮処理の一例を示す図である。 圧縮処理の一例を示す図である。 圧縮処理の一例を示す図である。 ぼかし処理の一例を示す図である。 ぼかし処理の一例を示す図である。 ぼかし処理の一例を示す図である。 ぼかし処理の一例を示す図である。 ぼかし処理の一例を示す図である。 多段クロストーク補正処理の一例を示す図である。 多段クロストーク補正処理の一例を示す図である。 多段クロストーク補正処理の一例を示す図である。 多段クロストーク補正処理の一例を示す図である。 多段クロストーク補正処理の一例を示す図である。 多段クロストーク補正処理の第１変形例を示す図である。 多段クロストーク補正処理の第２変形例を示す図である。 多段クロストーク補正処理の第３変形例を示す図である。 多段クロストーク補正処理の第４変形例を示す図である。 多段クロストーク補正処理の他の適用例を示す図である。 多段クロストーク補正処理の他の適用例を示す図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

なお、説明は以下の順序で行われる。
［１．多段クロストーク補正処理の概要］
［２．情報処理装置の構成］
［３．クロストーク補正処理］
［３－１．逆補正処理］
［３－２．圧縮処理］
［３－３．ぼかし処理］
［４．多段クロストーク補正処理の具体例］
［５．効果］
［６．変形例］
［６－１．変形例１］
［６－２．変形例２］
［６－３．変形例３］
［６－４．変形例４］
［６－５．変形例５］

［１．多段クロストーク補正処理の概要］
図１は、多段クロストーク補正処理の概要を説明する図である。

本開示は、知覚画像ＩＭ_ｖｉｅｗのシミュレーションとコスト評価とを繰り返すことで、複数のクロストーク補正処理を重層的に実施する手法を提案するものである。シミュレーションでは、クロストーク補正処理後の観察者の知覚画像ＩＭ_ｖｉｅｗがシミュレーションされる。知覚画像ＩＭ_ｖｉｅｗは、クロストーク補正処理後の複数の視点画像ＶＰＩがクロストークによって混合された画像である。コスト評価では、シミュレーション結果に基づいて、クロストーク補正処理後の補正残差がコストＣＳとして評価される。

補正残差は、例えば、クロストーク補正処理による信号値の飽和、および、クロストーク補正処理が持つ画質への副作用などによって生じる。副作用は、例えば、ぼかし処理によって生じる画像のぼけ、および、輝度レンジの圧縮によって生じるコントラストの低下などを意味する。補正残差は、例えば、本来表示されるべき画像（原画像ＩＭ_ｏｒｇ）とクロストーク補正処理後の知覚画像ＩＭ_ｖｉｅｗとの差分として算出される。

直近のコスト評価で得られたコストＣＳに基づいて後続のクロストーク補正処理の補正範囲および補正量が決定される。図１の例では、シミュレーションとコスト評価とがＮ回ずつ行われる（Ｎは２以上の整数）。ｉ番目（ｉは１からＮまでの整数）のシミュレーションでは、１番目からｉ番目までのｉ個のクロストーク補正処理を原画像ＩＭ_ｏｒｇに実施して得られる知覚画像ＩＭ_{ｖｉｅｗ，ｉ}がシミュレーションされる。ｉ番目のコスト評価では、知覚画像ＩＭ_{ｖｉｅｗ，ｉ}に対するコストＣＳ_ｉが評価される。

コストＣＳ_ｉに基づいて、（ｉ＋１）番目のクロストーク補正処理の補正範囲および補正量が決定される。補正範囲および補正量は、直近のコスト評価で得られたコストＣＳ_ｉよりもクロストーク補正処理後のコストＣＳ_ｉ＋１のほうが小さくなるように決定される。決定された補正範囲および補正量に基づいて、（ｉ＋１）番目のクロストーク補正処理が実施される。このようにして、コストＣＳが低減されるように補正範囲および補正量を決定しながら複数のクロストーク補正処理が実施される。

［２．情報処理装置の構成］
図２は、上述した多段クロストーク補正処理を実施するための情報処理装置１の一例を示す図である。

情報処理装置１は、処理装置１０と記憶装置２０とを有する。本開示のクロストーク補正処理は、２視点間のクロストーク、および、３視点以上の多視点間のクロストークに適用できる。２視点を対象とするディスプレイとしては、３Ｄ（Ｄｉｍｅｎｓｉｏｎ）ディスプレイが知られている。以下では、本開示の多段クロストーク補正処理が３Ｄディスプレイに適用される例を説明する。

処理装置１０は、補正処理部１１とコスト評価部１２とを有する。

補正処理部１１は、原画像ＩＭ_ｏｒｇに複数のクロストーク補正処理を実施して出力画像ＩＭ_ｏｕｔを生成する。原画像ＩＭ_ｏｒｇは、複数の視点画像ＶＰＩを含む。本実施形態では、３Ｄ表示が行われるため、原画像ＩＭ_ｏｒｇは、複数の視点画像ＶＰＩとして、左眼原画像ＬＩ_ｏｒｇおよび右眼原画像ＲＩ_ｏｒｇを含む。

補正処理部１１は、補正量決定部１３と補正画像生成部１４とを有する。

補正量決定部１３は、直近のコスト評価で得られたコストＣＳに基づいて、後続のクロストーク補正処理の補正範囲および補正量を決定する。補正量決定部１３は、補正残差が、予め設定された残差閾値よりも大きい場合に、補正残差があると判定する。補正量決定部１３は、補正残差があると判定された画像領域を補正範囲として決定し、補正残差の大きさに応じて補正量を決定する。

例えば、補正量決定部１３は、ｉ番目のコスト評価で得られたコストＣＳ_ｉに基づいて、（ｉ＋１）番目のクロストーク補正処理の補正範囲および補正量を決定する。補正量決定部１３は、クロストーク補正処理で必要となるパラメータを記憶装置２０から取得する。クロストーク補正処理で必要となるパラメータはパラメータ情報２１として記憶装置２０に記憶されている。

補正画像生成部１４は、後続のクロストーク補正処理を実施して補正画像ＩＭ_ｃを生成する。補正画像生成部１４は、直近のクロストーク補正処理で生成された補正画像ＩＭ_ｃを後続のクロストーク補正処理が実施されるまで保持する。補正画像生成部１４は、保持された直近の補正画像ＩＭ_ｃに後続のクロストーク補正処理を実施することで、新たな補正画像ＩＭ_ｃを生成する。

例えば、補正画像生成部１４は、ｉ番目のクロストーク補正処理で生成された補正画像ＩＭ_ｃ，ｉを（ｉ＋１）番目のクロストーク補正処理が実施されるまで記憶する。補正画像ＩＭ_ｃ，ｉは、原画像ＩＭ_ｏｒｇに１番目からｉ番目までのｉ個のクロストーク補正処理が施された補正画像ＩＭ_ｃである。補正画像ＩＭ_ｃ，ｉに（ｉ＋１）番目のクロストーク補正処理が実施されることで、原画像ＩＭ_ｏｒｇに１番目から（ｉ＋１）番目までの（ｉ＋１）個のクロストーク補正処理が施された補正画像ＩＭ_{ｃ，ｉ＋１}が生成される。

コスト評価部１２は、ｉ番目のクロストーク補正処理によって得られた補正画像ＩＭ_ｃ，ｉに基づいて、ｉ番目のクロストーク補正処理後の観察者の知覚画像ＩＭ_{ｖｉｅｗ，ｉ}をシミュレーションする。コスト評価部１２は、シミュレーション結果に基づいて、ｉ番目のクロストーク補正処理後の補正残差をコストＣＳ_ｉとして評価する。このように、補正処理部１１は、コストＣＳに基づいて補正範囲および補正量を決定しながら複数の異なるクロストーク補正処理を実施する。

クロストーク補正処理の数（Ｎ＋１）は、例えば、３以上である。補正処理部１１は、知覚画像ＩＭ_ｖｉｅｗの画質と演算の負荷とのバランスをとるために、クロストーク補正処理の数が予め設定された数を超えない範囲で複数のクロストーク補正処理を実施する。

［３．クロストーク補正処理］
以下、本開示の情報処理で用いられるクロストーク補正処理の一例を説明する。補正処理部１１は、クロストーク補正処理として、例えば、逆補正処理、圧縮処理、および、ぼかし処理を実施する。

［３－１．逆補正処理］
図３および図４は、逆補正処理の一例を示す図である。

逆補正処理は、入力画像ＩＭ_ＩＮに対してクロストークで生じる変換とは逆の変換を実施するクロストーク補正処理である。入力画像ＩＭ_ＩＮは、原画像ＩＭ_ｏｒｇまたは補正画像ＩＭ_ｃである。図３の例では、クロストークモデルとして、左眼入力画像ＬＩ_ＩＮと右眼入力画像ＲＩ_ＩＮとが混合率αで混合される線形混合モデルが用いられている。しかし、クロストークモデルは、図３に示すようなものに限られない。クロストークの生じる範囲を広げた非線形の混合モデルに基づいてクロストークモデルを構築してもよい。

図３のクロストークモデルでは、左眼入力画像ＬＩ_ＩＮおよび右眼入力画像ＲＩ_ＩＮの入力信号に対して、ガンマ処理、混合処理およびデガンマ処理が順に実施される。混合処理は、４×４の行列式で表される。そのため、逆補正処理では、この行列式の逆行列を用いた逆行列演算処理が実施される。補正処理部１１は、左眼入力画像ＬＩ_ＩＮおよび右眼入力画像ＲＩ_ＩＮにガンマ処理、逆行列演算処理およびデガンマ処理を順に実施し、左眼補正画像ＬＩ_ｃおよび右眼補正画像ＲＩ_ｃを生成する。補正処理部１１は、左眼補正画像ＬＩ_ｃおよび右眼補正画像ＲＩ_ｃを統合し、補正画像ＩＭ_ｃとして出力する。

ガンマ処理およびデガンマ処理で用いられるガンマ値γ、および、逆行列演算処理で用いられる混合率αの情報は、パラメータ情報２１として記憶装置２０に記憶されている。補正処理部１１は、逆補正処理を実施するにあたって、パラメータ情報２１に含まれる混合率αおよびガンマ値γの情報を記憶装置２０から取得する。

図４の左側は、逆補正処理を行わない例を示す。図４の例では、左眼入力画像ＬＩ_ＩＮの入力信号が右眼入力画像ＲＩ_ＩＮの入力信号よりも大きい。そのため、クロストークが生じると、左眼側から右眼側への入力信号の流れ込みが多くなる。この結果、左眼知覚画像ＬＩ_ｖｉｅｗの輝度が左眼原画像ＬＩ_ｏｒｇよりも小さくなり、右眼知覚画像ＲＩ_ｖｉｅｗの輝度が右眼原画像ＲＩ_ｏｒｇよりも大きくなる。

図４の右側は、逆補正処理を行う例を示す。クロストークでは、左眼側の入力信号が減少し、右眼側の入力信号が増加する。そのため、逆補正処理では、左眼側の入力信号が増加し、右眼側の入力信号が減少するような信号処理が行われる。逆補正処理後の左眼補正画像ＬＩ_ｃと右眼補正画像ＲＩ_ｃとの間にクロストークが生じると、逆補正処理による信号値の変化とクロストークによる知覚輝度の変化とが相殺する。この結果、左眼知覚画像ＬＩ_ｖｉｅｗの輝度は左眼入力画像ＬＩ_ＩＮと等しくなり、右眼知覚画像ＲＩ_ｖｉｅｗの輝度は右眼入力画像ＲＩ_ＩＮと等しくなる。これにより、クロストークが解消される。

［３－２．圧縮処理］
図５ないし図９は、圧縮処理の一例を示す図である。

圧縮処理は、補正範囲の輝度レンジを圧縮するクロストーク補正処理である。図４に示した逆補正処理では、視点画像ＶＰＩ間のコントラストが大きくないため、逆補正処理後の信号値は信号の限界値（例えば０～２５５の階調範囲）を超えない。しかし、図６に示すように、視点画像ＶＰＩ間のコントラストが大きくなると、逆補正処理後の信号値は限界値を超える場合がある。

逆補正処理後の信号値が信号の上限値（２５５）または下限値（０）を超えた場合、逆補正処理後の信号値は信号の上限値または下限値にクリッピングされる。図６の例では、逆補正処理によって、左眼補正画像ＬＩ_ｃ′の信号値は上限値を上回り、右眼補正画像ＲＩ_ｃ′の信号値は下限値を下回る。そのため、クリッピングによって、信号値が上限値および下限値に変更された左眼補正画像ＬＩ_ｃおよび右眼補正画像ＲＩ_ｃが生成される。この結果、左眼知覚画像ＬＩ_ｖｉｅｗの輝度は左眼入力画像ＬＩ_ＩＮよりも小さくなり、右眼知覚画像ＲＩ_ｖｉｅｗの輝度は右眼入力画像ＲＩ_ＩＮよりも大きくなる。

クリッピングによって信号値が変化すると、逆補正処理による信号値の変化とクロストークによる知覚輝度の変化とが相殺しなくなる。そのため、図７に示すように、クロストークが残留し、左眼知覚画像ＬＩ_ｖｉｅｗに右眼入力画像ＲＩ_ＩＮがゴーストとして現れ、右眼知覚画像ＲＩ_ｖｉｅｗに左眼入力画像ＬＩ_ＩＮがゴーストとして現れる。そのため、補正処理部１１は、クリッピングが生じないように入力信号の輝度レンジを圧縮する。

図８に示すように、補正処理部１１は、入力画像ＩＭ_ＩＮを複数の局所領域ＬＢＡに分割する。局所領域ＬＢＡは、例えば、６４画素×６４画素の矩形領域として設定されるが、局所領域ＬＢＡの大きさはこれに限られない。

補正処理部１１は、局所領域ＬＢＡ内の全ての画素について、逆補正処理後の信号値を算出する。補正処理部１１は、逆補正処理後の信号値が限界値を超える画素について、限界値を超えた部分の信号値を飽和値として算出する。補正処理部１１は、例えば、信号の上限値を上回った部分の飽和値をプラスの値として算出し、信号の下限値を下回った部分の飽和値をマイナスの値として算出する。

図９に示すように、補正処理部１１は、局所領域ＬＢＡごとに、左眼補正画像ＬＩ_ｃ′の飽和値の最大値Ｌ_ｍａｘおよび最小値Ｌ_ｍｉｎと、右眼補正画像ＲＩ_ｃ′の飽和値の最大値Ｒ_ｍａｘおよび最小値Ｒ_ｍｉｎと、をレンジパラメータとして算出する。補正処理部１１は、信号値が飽和する画素を含む１以上の局所領域ＬＢＡを選択する。補正処理部１１は、選択された局所領域ＬＢＡごとに、局所領域ＬＢＡ内の全ての画素の信号値が逆補正処理によって限界値を超えないような輝度レンジの圧縮量を圧縮処理の補正量として決定する。例えば、Ｌ_ｍａｘとＲ_ｍａｘとのうち大きい方をＬＲ_ｍａｘとし、Ｌ_ｍｉｎとＲ_ｍｉｎとのうち小さい方をＬＲ_ｍｉｎとする。補正処理部１１は、圧縮量Ｃを、Ｃ＝（２５５＋ＬＲ_ｍａｘ―ＬＲ_ｍｉｎ）／２５５として算出する。補正処理部１１は、選択された各局所領域ＬＢＡの輝度レンジを、決定された圧縮量に基づいて圧縮処理する。補正処理部１１は、信号値が飽和する画素を含まない局所領域ＬＢＡに対しては圧縮処理を行わない。

図５に示すように、補正処理部１１は、入力画像ＩＭ_ＩＮに対して１以上の局所領域ＬＢＡを圧縮処理した局所輝度圧縮画像ＢＣＩを生成する。局所輝度圧縮画像ＢＣＩでは、輝度レンジの異なる局所領域ＬＢＡの境界部に輝度段差が発生する。そのため、補正処理部１１は、入力画像ＩＭ_ＩＮの分割位置をずらしながら、局所領域ＬＢＡごとに輝度レンジが逆補正処理によって飽和しない範囲に調整された複数の局所輝度圧縮画像ＢＣＩを生成する。補正処理部１１は、複数の局所輝度圧縮画像ＢＣＩをオーバーラップさせて平均化する。これにより、複数の局所輝度圧縮画像ＢＣＩを合成した補正画像ＩＭ_ｃが生成される。補正画像ＩＭ_ｃは、局所領域ＬＢＡ間の輝度段差が低減された画像となる。局所領域ＬＢＡの大きさ及び局所領域ＬＢＡの設定位置（入力画像ＩＭ_ＩＮの分割位置）に関する情報は、パラメータ情報２１に含まれる。

［３－３．ぼかし処理］
図１０ないし図１４は、ぼかし処理の一例を示す図である。

ぼかし処理は、視点画像ＶＰＩの中心部（観察者の注視点）から視差方向に離れた視点画像ＶＰＩの外縁部をぼかすクロストーク補正処理である。「ぼかす」とは、はっきりと見えない状態にすることを意味する。ぼかし処理には、ガウシアンフィルタなどを用いた平滑化処理のほか、モザイク処理や、信号値を下げて外縁部を暗くするレベル補正処理などが含まれる。

図１０に示すように、スクリーンＳＣＲには、複数の視点画像ＶＰＩが視差方向に並ぶ。視差方向は、視差が生じる方向である。例えば、観察者の右眼と左眼とを結ぶ線をスクリーンＳＣＲに投影した線の延在方向が視差方向となる。１つの視点画像ＶＰＩは、視差方向に隣接する複数のライン画像ＬＰを含む。１つの視点画像ＶＰＩは、複数ライン画像分の幅を有する。

図１０の左側に示す例では、原画像ＩＭ_ｏｒｇに含まれる複数のライン画像ＬＰ_ｏｒｇが１つの視点画像ＶＰＩに割り当てられる。クロストーク補正処理がされていないライン画像ＬＰ_ｏｒｇがそのまま表示されるため、左眼知覚画像ＬＩ_ｖｉｅｗおよび右眼知覚画像ＲＩ_ｖｉｅｗではクロストークが強く認識される。

図１０の右側の例では、補正画像ＩＭ_ｃに含まれる複数のライン画像ＬＰ_ｃが１つの視点画像ＶＰＩに割り当てられる。補正画像ＩＭ_ｃには、ぼかし処理が施されている。ぼかし処理が施された画像がクロストークによって混入するため、左眼知覚画像ＬＩ_ｖｉｅｗおよび右眼知覚画像ＲＩ_ｖｉｅｗではクロストークが認識されにくくなる。

例えば、補正処理部１１は、ヘッドトラッキングによって検出された視点位置情報を取得する。視点位置情報は、視点画像ＶＰＩが観察される視点位置ＰＳの座標情報を含む。例えば、左眼の視点画像ＶＰＩ（左眼補正画像ＬＩ_ｃ）が観察される視点位置ＰＳ（左眼視点位置ＰＳＬ）は、左眼の瞳の中心である。右眼の視点画像ＶＰＩ（右眼補正画像ＲＩ_ｃ）が観察される視点位置ＰＳ（右眼視点位置ＰＳＲ）は、右眼の瞳の中心である。

補正処理部１１は、視点位置ＰＳに対応する視点画像ＶＰＩ上の注視点ＧＰを検出する。注視点ＧＰは、視点位置ＰＳに入射する光の経路を辿ることによって検出される。左眼注視点ＧＰＬは、左眼の視点画像ＶＰＩの中央に位置する。右眼注視点ＧＰＲは、右眼の視点画像ＶＰＩの中央に位置する。補正処理部１１は、隣接した複数のライン画像ＬＰのうち、注視点ＧＰが位置しない１以上のライン画像ＬＰを選択的にぼかす。

視点画像ＶＰＩの外縁部から放射された光は、瞳の中心からずれた位置に入射する。そのため、視点画像ＶＰＩの外縁部のライン画像ＬＰは、ほとんど観察者に認識されない。しかし、レンズＬＥの収差などの影響で光が広がり、外縁部のライン画像ＬＰがクロストーク成分として認識される場合がある。本開示では、左眼画像および右眼画像として認識される視点画像ＶＰＩの中央部を正視点と称し、正視点以外の位置を中間視点と称する。中間視点のライン画像ＬＰは、左眼画像および右眼画像として認識されにくい。そのため、補正処理部１１は、中間視点のライン画像ＬＰを選択的にぼかす。

図１１に示すように、補正処理部１１は、例えば、注視点ＧＰからの距離に応じてライン画像ＬＰのぼけの大きさを異ならせる。図１１では、左眼入力画像ＬＩ_ＩＮに含まれる５本のライン画像ＬＰにそれぞれ視点インデックスＬ１～Ｌ５が付されている。視点インデックスＬ３は左眼の正視点であり、視点インデックスＬ１，Ｌ２，Ｌ４，Ｌ５は左眼の中間視点である。右眼入力画像ＲＩ_ＩＮに含まれる５本のライン画像ＬＰには、それぞれ視点インデックスＲ１～Ｒ５が付されている。視点インデックスＲ３は右眼の正視点であり、視点インデックスＲ１，Ｒ２，Ｒ４，Ｒ５は右眼の中間視点である。

ぼかし処理としては、例えば、ガウスぼかしが採用される。ぼけの大きさは標準偏差σで表される。補正処理部１１は、注視点ＧＰから遠いライン画像ＬＰほど大きくぼかす。ぼけの大きさ（標準偏差σ）は、視点画像ＶＰＩの中心から視点画像ＶＰＩの端部に向けて単調に増加する単調関数で表される。図１１の例では、単調関数はコサインカーブまたはコサイン二乗カーブで表される。しかし、単調関数はこれに限られない。視点インデックスとぼけの大きさとの対応関係に関する情報は、パラメータ情報２１に含まれる。

図１２に示すように、補正処理部１１は、スクリーンＳＣＲの画素群と各視点画像ＶＰＩとの対応関係、視点画像ＶＰＩ内での視点インデックスの割り当て、視点画像ＶＰＩ内でのぼけの大きさ（ぼけ量）の分布を観察者の視点位置情報に基づいて決定する。補正処理部１１は、決定された情報に基づいて、注視点ＧＰからの距離に応じて多段階でぼけ量が制御された多段階ぼけ画像を生成し、補正画像ＩＭ_ｃとして出力する。

図１１では、ぼかし処理としてガウスぼかしが用いられたが、ぼかし処理はこれに限られない。例えば、図１３に示すように、中間視点のライン画像ＬＰの輝度を小さくすることによって、視点画像ＶＰＩの外縁部を中央部に比べて目立たなくすることもできる。例えば、ぼけの大きさは、ライン画像ＬＰの輝度制御値として定義される。輝度制御値は、視点画像ＶＰＩの中心から視点画像ＶＰＩの端部に向けて単調に増加する単調関数で表される。補正処理部１１は、ライン画像ＬＰに含まれる全ての画素の信号値を輝度制御値だけ小さくする。輝度制御値に関する情報はパラメータ情報２１に含まれる。

補正処理部１１は、注視点ＧＰにぼけのない画像が表示されるように、観察者の視点位置ＰＳ（観察者の頭部）が移動したタイミングに合わせて補正画像ＩＭ_ｃを変更する。しかし、視点位置ＰＳの移動速度が大きいと、補正画像ＩＭ_ｃの変更が間に合わず、観察者に中間視点のライン画像ＬＰ（ぼけ画像）が強く認識される可能性がある。そのため、図１４に示すように、補正処理部１１は、視点位置ＰＳの移動速度に応じて視点画像ＶＰＮ内のぼけ量の分布を異ならせることができる。

例えば、視点位置ＰＳの移動速度に対して、１以上の閾値が設定される。閾値ごとに、ぼけ調整値が設定される。ぼけ調整値は、視点位置ＰＳの移動速度の増加によって単調に増加する単調関数で表される。補正処理部１１は、視点位置ＰＳの移動速度が閾値よりも大きい場合に、全ての中間視点のライン画像ＬＰのぼけ量を、閾値に対応するぼけ調整値だけ小さくする。視点位置ＰＳの移動速度が大きいほど、ぼかし処理の補正量（ぼけ量）は小さくなる。閾値およびぼけ調整値に関する情報はパラメータ情報２１に含まれる。

ヘッドトラッキングによる視点位置ＰＳの計測精度が低い場合にも同様の問題が生じる可能性がある。そのため、補正処理部１１は、視点位置ＰＳの計測精度ごとに、ぼけ調整値を設定し、計測精度に応じて視点画像ＶＰＮ内のぼけ量の分布を異ならせてもよい。

［４．多段クロストーク補正処理の具体例］
図１５ないし図１９は、多段クロストーク補正処理の一例を示す図である。以下、図１５および図１９に示す処理フローを図１６ないし図１８を参照しながら説明する。

ステップＳ１において、補正処理部１１は、原画像ＩＭ_ｏｒｇに逆補正処理を施して補正画像ＩＭ_ｃを生成する。ステップＳ１の逆補正処理は、逆補正処理後の知覚画像ＩＭ_ｖｉｅｗをシミュレーションするために行われるものであり、出力画像ＩＭ_ｏｕｔを生成するために行われるものではない。

ステップＳ２において、コスト評価部１２は、逆補正処理後の知覚画像ＩＭ_ｖｉｅｗをシミュレーションする。コスト評価部１２は、シミュレーション結果に基づいて、逆補正処理後の補正残差をコストＣＳとして評価する。

ステップＳ３において、補正処理部１１は、逆補正処理後のコスト評価によって得られたコストＣＳに基づいて、ぼかし処理の補正範囲および補正量を決定する。補正処理部１１は、決定された補正範囲および補正量に基づいて原画像ＩＭ_ｏｒｇにぼかし処理を行う。

逆補正処理の補正残差シミュレーションは、例えば、図１６に示す処理フローに基づいて行われる。コスト評価部１２は、逆補正処理によって得られた左眼補正画像ＬＩ_ｃおよび右眼補正画像ＲＩ_ｃをクロストークモデルに当てはめてクロストークシミュレーションを実施する。クロストークシミュレーションにより、左眼補正画像ＬＩ_ｃおよび右眼補正画像ＲＩ_ｃをスクリーンＳＣＲに表示した場合の観察者の左眼知覚画像ＬＩ_ｖｉｅｗおよび右眼知覚画像ＲＩ_ｖｉｅｗがシミュレーションされる。

コスト評価部１２は、左眼原画像ＬＩ_ｏｒｇと左眼知覚画像ＬＩ_ｖｉｅｗとの差分に基づいて左眼補正残差（ＬＩ_ｏｒｇ－ＬＩ_ｖｉｅｗ）を算出する。コスト評価部１２は、右眼原画像ＲＩ_ｏｒｇと右眼知覚画像ＲＩ_ｖｉｅｗとの差分に基づいて右眼補正残差（ＲＩ_ｏｒｇ－ＲＩ_ｖｉｅｗ）を算出する。補正処理部１１は、左眼補正残差に基づいて、左眼原画像ＬＩ_ｏｒｇのぼかし処理に用いるぼけ量の分布を算出する。補正処理部１１は、右眼補正残差に基づいて、右眼原画像ＲＩ_ｏｒｇのぼかし処理に用いるぼけ量の分布を算出する。

ぼけ量は、例えば、図１７に示す補正カーブＣＶを用いて算出される。補正カーブＣＶは、補正残差とぼけ量（例えば、標準偏差σ）との対応関係を規定するカーブである。図１７では、補正カーブＣＶが、ある残差範囲において、ぼけ量が補正残差の増加量に比例して増加し、それ以外の残差範囲において、ぼけ量が補正残差の値によらずに一定となるカーブとして示されている。しかし、補正カーブＣＶはこれに限られない。補正カーブＣＶの形状は、例えば、ステップＳ７における設計者の主観評価によって決定される。ステップＳ７はオフライン検査で実施される。

ステップＳ４において、コスト評価部１２は、ぼかし処理後の知覚画像ＩＭ_ｖｉｅｗをシミュレーションする。例えば、コスト評価部１２は、原画像ＩＭ_ｏｒｇに逆補正処理およびぼかし処理を行って得られた左眼補正画像ＬＩ_ｃおよび右眼補正画像ＲＩ_ｃを図１８に示す点拡がり関数ＰＳＦによってぼかす。点拡がり関数ＰＳＦは、視点画像ＶＰＩの中心（レンズＬＥの中心）にピークを有する。コスト評価部１２は、点拡がり関数ＰＳＦによってぼかした左眼補正画像ＬＩ_ｃおよび右眼補正画像ＲＩ_ｃをクロストークモデルに当てはめてクロストークシミュレーションを実施する。クロストークシミュレーションにより、左眼補正画像ＬＩ_ｃおよび右眼補正画像ＲＩ_ｃをスクリーンＳＣＲに表示した場合の観察者の左眼知覚画像ＬＩ_ｖｉｅｗおよび右眼知覚画像ＲＩ_ｖｉｅｗがシミュレーションされる。

コスト評価部１２は、シミュレーション結果に基づいて、ぼかし処理後の補正残差をコストＣＳとして評価する。例えば、コスト評価部１２は、左眼原画像ＬＩ_ｏｒｇと左眼知覚画像ＬＩ_ｖｉｅｗとの差分に基づいて左眼補正残差（ＬＩ_ｏｒｇ－ＬＩ_ｖｉｅｗ）を算出する。コスト評価部１２は、右眼原画像ＲＩ_ｏｒｇと右眼知覚画像ＲＩ_ｖｉｅｗとの差分に基づいて右眼補正残差（ＲＩ_ｏｒｇ－ＲＩ_ｖｉｅｗ）を算出する。

ステップＳ５において、補正処理部１１は、ぼかし処理後のコスト評価によって得られたコストＣＳに基づいて圧縮処理の補正範囲および補正量を決定する。例えば、補正処理部１１は、左眼補正残差および右眼補正残差のある画像領域を圧縮処理の補正範囲として決定する。補正処理部１１は、補正範囲に含まれる画素が存在する１以上の局所領域ＬＢＡを選択する。補正処理部１１は、選択された局所領域ＬＢＡごとに、レンジパラメータを算出し、レンジパラメータに基づいて局所領域ＬＢＡの輝度レンジを圧縮する。補正処理部１１は、補正範囲に含まれる画素が存在しない局所領域ＬＢＡに対しては圧縮処理を行わない。

補正処理部１１は、ぼかし処理が施された補正画像ＩＭ_ｃに対して１以上の局所領域ＬＢＡを圧縮処理した局所輝度圧縮画像ＢＣＩを生成する。補正処理部１１は、局所領域ＬＢＡの設定位置がずれた複数の局所輝度圧縮画像ＢＣＩを生成する。補正処理部１１は、複数の局所輝度圧縮画像ＢＣＩをオーバーラップさせて平均化する。これにより、ぼかし処理および圧縮処理が施された補正画像ＩＭ_ｃが生成される。

ステップＳ６において、補正処理部１１は、ステップＳ５で得られた補正画像ＩＭ_ｃに逆補正処理を実施して出力画像ＩＭ_ｏｕｔを生成する。これにより、クロストークによる画質の劣化が少ない表示画像が得られる。

記憶装置２０は、例えば、処理装置１０が実行するプログラム２９と、パラメータ情報２１と、を記憶する。プログラム２９は、本開示に係る情報処理をコンピュータに実行させるプログラムである。処理装置１０は、記憶装置２０に記憶されているプログラム２９にしたがって各種の処理を行う。記憶装置２０は、処理装置１０の処理結果を一時的に記憶する作業領域として利用されてもよい。記憶装置２０は、例えば、半導体記憶媒体および磁気記憶媒体などの任意の非一過的な記憶媒体を含む。記憶装置２０は、例えば、光ディスク、光磁気ディスクまたはフラッシュメモリを含んで構成される。プログラム２９は、例えば、コンピュータにより読み取り可能な非一過的な記憶媒体に記憶されている。

処理装置１０は、例えば、プロセッサとメモリとで構成されるコンピュータである。処理装置１０のメモリには、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）が含まれる。処理装置１０は、プログラム２９を実行することにより、補正処理部１１、コスト評価部１２、補正量決定部１３および補正画像生成部１４として機能する。

［５．効果］
情報処理装置１は、コスト評価部１２と補正処理部１１とを有する。コスト評価部１２は、クロストーク補正処理後の補正残差をコストＣＳとして評価する。補正処理部１１は、コストＣＳに基づいて補正範囲および補正量を決定しながら複数の異なるクロストーク補正処理を実施する。本実施形態の情報処理方法は、上述した情報処理装置１の処理がコンピュータにより実行される。本実施形態のプログラム２９は、上述した情報処理装置１の処理をコンピュータに実現させる。

この構成によれば、重層的に実施される複数のクロストーク補正処理によって補正残差を小さくすることができる。そのため、クロストークが良好に抑制される。

補正処理部１１は、クロストーク補正処理の数が予め設定された数を超えない範囲で複数のクロストーク補正処理を実施する。

この構成によれば、クロストーク補正処理の演算の負荷を抑えつつ画質を高めることができる。

補正処理部１１は、クロストーク補正処理として、逆補正処理と圧縮処理とぼかし処理とを実施する。逆補正処理は、クロストークで生じる変換とは逆の変換を実施するクロストーク補正処理である。圧縮処理は、補正範囲の輝度レンジを圧縮するクロストーク補正処理である。ぼかし処理は、視点画像の外縁部をぼかすクロストーク補正処理である。

この構成によれば、逆補正処理によって生じる副作用をぼかし処理および圧縮処理によって低減することができる。ぼかし処理と圧縮処理とでは、補正の観点が大きく異なる。そのため、ぼかし処理と圧縮処理の寄与を調節することによって、よりよくクロストークが抑制される。

補正処理部１１は、逆補正処理後のコスト評価によって得られたコストに基づいてぼかし処理の補正範囲および補正量を決定する。補正処理部１１は、ぼかし処理後のコスト評価によって得られたコストに基づいて圧縮処理の補正範囲および補正量を決定する。

この構成によれば、圧縮処理よりも画質に対する副作用が大きいぼかし処理が２番目のクロストーク補正処理として実施される。ぼかし処理は画質に対する副作用が大きいため、補正に対するぼかし処理の寄与は小さく設定される。最終的な補正は３番目の圧縮処理によって行われるが、ぼかし処理の寄与が小さいため、圧縮処理の寄与は相対的に大きくなる。副作用が小さい圧縮処理の寄与が大きくなるため、ぼかし処理および圧縮処理が持つ副作用によって生じる画質の劣化は最小限に抑えられる。

補正処理部１１は、観察者の視点位置ＰＳの移動速度が大きいほど、ぼかし処理の補正量を小さくする。

この構成によれば、ぼかし処理による画像のぼけが観察者に認識されにくくなる。

［６．変形例］
［６－１．変形例１］
図２０は、多段クロストーク補正処理の第１変形例を示す図である。

図１５の例では、逆補正処理が、ガンマ処理、逆行列演算処理およびデガンマ処理の数値演算を実施することにより行われた。しかし、図２０に示すように、逆補正処理の演算結果を予めルックアップテーブルＬＵＴとして記憶し、ルックアップテーブルＬＵＴを参照して数値演算を省略することもできる。

本変形例では、左眼原画像ＬＩ_ｏｒｇおよび右眼原画像ＲＩ_ｏｒｇに関するあらゆる入力信号値の組み合わせについて図３の逆補正処理の演算が行われる。ガンマ値γおよび混合率αは、ディスプレイ特性およびクロストーク特性に基づいて予め計測される。ルックアップテーブルＬＵＴは、上述の演算によって求められた入力信号値と出力信号値との組み合わせを記憶する。ルックアップテーブルＬＵＴは記憶装置２０に記憶される。

［６－２．変形例２］
図２１は、多段クロストーク補正処理の第２変形例を示す図である。

図１５の例では、ぼかし処理、圧縮処理および逆補正処理の順で処理が行われた。しかし、クロストーク補正処理の順番はこれに限られない。図２１に示すように、圧縮処理、ぼかし処理および逆補正処理の順で処理が行われてもよい。

図２１の例では、補正処理部１１は、逆補正処理後のコスト評価によって得られたコストＣＳに基づいて圧縮処理の補正範囲および補正量を決定する。補正処理部１１は、圧縮処理後のコスト評価によって得られたコストＣＳに基づいてぼかし処理の補正範囲および補正量を決定する。この場合も、重層的に実施される複数のクロストーク補正処理によって補正残差を小さくすることができる。そのため、クロストークが良好に抑制される。

［６－３．変形例３］
図２２は、多段クロストーク補正処理の第３変形例を示す図である。

図１５の例では、設計者の主観評価（ステップＳ７）によって決定された補正カーブＣＶを用いて、ぼかし処理の補正量が決定された。しかし、ぼかし処理の補正量の決定方法はこれに限られない。例えば、ぼかし処理後の補正画像のぼけ感を定量的に評価し、ぼけ感の評価結果をフィードバックしながら、ぼかし処理の補正量を決定することもできる。

図２２の例では、補正処理部１１は、ぼかし処理後の補正画像ＩＭ_ｃに対してＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を実施する。補正処理部１１は、ＦＦＴの結果に基づいて、補正画像ＩＭ_ｃのぼけ感を定量的に評価する。補正画像のぼけが大きい場合には、ＦＦＴ処理によって得られる高周波成分の値は小さくなる。そのため、高周波成分の値に閾値を設けることで、ぼけ感が定量的に評価される。補正処理部１１は、ぼけ感の評価結果に基づいて、ぼかし処理の補正量を決定する。この構成によれば、補正画像のぼけ量を客観的な評価によって設定することができる。

［６－４．変形例４］
図２３は、多段クロストーク補正処理の第４変形例を示す図である。

図１５の例では、逆補正処理によって補正残差が生じた全ての画像領域についてコスト評価が実施された。しかし、クロストークが認識されやすいのは主に画像のエッジ部である。エッジ部では、エッジの境界を介して隣接する画素間の輝度差が大きい。そのため、クロストークが発生しやすい。クロストーク補正処理を実施しても、信号値が飽和しやすいため、補正の効果が得られにくい。そのため、エッジ部に対して選択的にクロストーク補正処理を実施することもできる。

図２３の例では、コスト評価部１２は、原画像ＩＭ_ｏｒｇからエッジ部を検出する。エッジ部は、ソーベルフィルタ、ラプラシアンフィルタおよびキャニーフィルタなどの公知のエッジ抽出フィルタを用いて検出される。コスト評価部１２は、画像のエッジ部の補正残差のみをコストＣＳとして評価する。この構成によれば、クロストークが認識されやすいエッジ部の画質が高まる。また、補正範囲がエッジ部に制限されるため、クロストーク補正処理による演算の負荷が小さくなる。

［６－５．変形例５］
図２４および図２５は、多段クロストーク補正処理の他の適用例を示す図である。

上述した実施形態では、本開示の多段クロストーク補正処理が裸眼３Ｄディスプレイに適用された。しかし、眼鏡型３Ｄディスプレイに本開示の情報処理が適用されてもよい。

本開示の多段クロストーク補正処理は、３視点以上の多視点間のクロストークに適用することもできる。図２４の例では、４つの視点画像ＶＰＩを表示するディスプレイに本開示の情報処理が適用されるが、視点の数は３つ、または５つ以上でもよい。図２４の例では、レンチキュラーレンズＬＥによって４つの視点画像ＶＰＩが視点位置ＰＳ１、視点位置ＰＳ２，視点位置ＰＳ３および視点位置ＰＳ４に振り分けられるが、視点画像ＶＰＩを空間分離する手段はレンチキュラーレンズＬＥに限られない。パララックスバリアを空間分離手段として用いることもできる。また、多視点画像を表示する手法として、プロジェクタアレイ方式を適用することもできる。

図２４の例では、視差は水平方向のみに生じる。そのため、視点位置ＰＳ１～ＰＳ４に対応した４つの視点画像ＶＰＩがスクリーンＳＣＲの水平方向に交互に表示される。しかし、図２５に示すように、視差は水平方向と垂直方向の２方向に生じてもよい。この場合、４つの視点画像ＶＰＩは、スクリーンＳＣＲの水平方向および垂直方向にマトリクス状に配置される。ライン画像ＬＰは、円や四角などの閉じた線状の画像となる。図２５の例では、視点画像ＶＰＩは、例えば、正方形の画像である。ライン画像ＬＰは、注視点ＧＰを中心とする四角い線状画像である。１つの視点画像ＶＰＩには、複数の画素ＰＸが含まれる。補正処理部１１は、視点画像ＶＰＩの中心が注視点ＧＰとなるように、スクリーンＳＣＲの画素群と各視点画像ＶＰＩとの対応関係を決定する。例えば、ぼけ量の分布は、注視点ＧＰを中心とした同心円状の分布として設定される。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

［付記］
なお、本技術は以下のような構成も取ることができる。
（１）
クロストーク補正処理後の補正残差をコストとして評価するコスト評価部と、
前記コストに基づいて補正範囲および補正量を決定しながら複数の異なるクロストーク補正処理を実施する補正処理部と、
を有する情報処理装置。
（２）
前記コスト評価部は、画像のエッジ部の前記補正残差のみを前記コストとして評価する
上記（１）に記載の情報処理装置。
（３）
前記補正処理部は、前記クロストーク補正処理の数が予め設定された数を超えない範囲で複数のクロストーク補正処理を実施する
上記（１）または（２）に記載の情報処理装置。
（４）
前記補正処理部は、前記クロストーク補正処理として、クロストークで生じる変換とは逆の変換を実施する逆補正処理と、前記補正範囲の輝度レンジを圧縮する圧縮処理と、視点画像の外縁部をぼかすぼかし処理と、を実施する
上記（１）ないし（３）のいずれか１つに記載の情報処理装置。
（５）
前記補正処理部は、前記逆補正処理後のコスト評価によって得られた前記コストに基づいて前記ぼかし処理の前記補正範囲および前記補正量を決定し、前記ぼかし処理後のコスト評価によって得られた前記コストに基づいて前記圧縮処理の前記補正範囲および前記補正量を決定する
上記（４）に記載の情報処理装置。
（６）
前記補正処理部は、ぼかし処理後の補正画像に対してＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を実施し、前記ＦＦＴの結果に基づいて、前記補正画像のぼけ感を定量的に評価し、前記ぼけ感の評価結果に基づいて、前記ぼかし処理の補正量を決定する
上記（４）または（５）に記載の情報処理装置。
（７）
前記補正処理部は、観察者の視点位置の移動速度が大きいほど、前記ぼかし処理の補正量を小さくする
上記（４）ないし（６）のいずれか１つに記載の情報処理装置。
（８）
クロストーク補正処理後の補正残差をコストとして評価し、
前記コストに基づいて補正範囲および補正量を決定しながら複数の異なるクロストーク補正処理を実施する、
ことを有する、コンピュータにより実行される情報処理方法。
（９）
クロストーク補正処理後の補正残差をコストとして評価し、
前記コストに基づいて補正範囲および補正量を決定しながら複数の異なるクロストーク補正処理を実施する、
ことをコンピュータに実現させるプログラム。

１ 情報処理装置
１１ 補正処理部
１２ コスト評価部
ＣＳ コスト

Claims (9)

1. クロストークとして認識される視点画像どうしの混合による観察者の知覚画像の劣化を、各視点画像の信号値の補正によって抑制するクロストーク補正処理を実施する補正処理部と、
   原画像である各視点画像と前記クロストーク補正処理後の前記知覚画像との差分である補正残差をコストとして評価するコスト評価部と、
   を有し、
   前記補正処理部は、
   前記補正残差がある画像領域を補正範囲として決定し、
   前記補正残差の大きさに応じて前記クロストーク補正処理による前記信号値の補正量を決定し、
   前記コストが順次低減されるように、前記コストに基づいて前記補正範囲および前記補正量を決定しながら複数の異なるクロストーク補正処理を順次実施する、
   情報処理装置。
2. 前記コスト評価部は、エッジ部を示す画像領域の前記補正残差のみを前記コストとして評価する
   請求項１に記載の情報処理装置。
3. 前記補正処理部は、前記クロストーク補正処理の数が予め設定された数を超えない範囲で複数のクロストーク補正処理を実施する
   請求項１に記載の情報処理装置。
4. 前記補正処理部は、前記クロストーク補正処理として、前記クロストークで生じる前記知覚画像の前記信号値の変換とは逆の変換を実施する逆補正処理と、前記補正範囲に対応する画像領域の輝度レンジを圧縮する圧縮処理と、前記視点画像の外縁部をぼかすぼかし処理と、を実施する
   請求項１に記載の情報処理装置。
5. 前記補正処理部は、前記逆補正処理後のコスト評価によって得られた前記コストに基づいて前記ぼかし処理の前記補正範囲および前記補正量を決定し、前記ぼかし処理後のコスト評価によって得られた前記コストに基づいて前記圧縮処理の前記補正範囲および前記補正量を決定する
   請求項４に記載の情報処理装置。
6. 前記補正処理部は、ぼかし処理後の補正画像に対してＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を実施し、前記ＦＦＴの結果に基づいて、前記補正画像のぼけ感を定量的に評価し、前記ぼけ感の評価結果に基づいて、前記ぼかし処理の補正量を決定する
   請求項４に記載の情報処理装置。
7. 前記補正処理部は、前記観察者によって前記視点画像が観察される視点位置の情報を取得し、前記視点位置の移動速度が大きいほど、前記ぼかし処理の補正量を小さくする
   請求項４に記載の情報処理装置。
8. クロストークとして認識される視点画像どうしの混合による観察者の知覚画像の劣化を、各視点画像の信号値の補正によって抑制するクロストーク補正処理を実施し、
   原画像である各視点画像と前記クロストーク補正処理後の前記知覚画像との差分である補正残差をコストとして評価し、
   前記補正残差がある画像領域を補正範囲として決定し、
   前記補正残差の大きさに応じて前記クロストーク補正処理による前記信号値の補正量を決定し、
   前記コストが順次低減されるように、前記コストに基づいて前記補正範囲および前記補正量を決定しながら複数の異なるクロストーク補正処理を順次実施する、
   ことを有する、コンピュータにより実行される情報処理方法。
9. クロストークとして認識される視点画像どうしの混合による観察者の知覚画像の劣化を、各視点画像の信号値の補正によって抑制するクロストーク補正処理を実施し、
   原画像である各視点画像と前記クロストーク補正処理後の前記知覚画像との差分である補正残差をコストとして評価し、
   前記補正残差がある画像領域を補正範囲として決定し、
   前記補正残差の大きさに応じて前記クロストーク補正処理による前記信号値の補正量を決定し、
   前記コストが順次低減されるように、前記コストに基づいて前記補正範囲および前記補正量を決定しながら複数の異なるクロストーク補正処理を順次実施する、
   ことをコンピュータに実現させるプログラム。