JP7346077B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、特に、背景等をぼかした画像を生成するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

従来、デジタルカメラやデジタルビデオカメラ等の画像処理装置では、主被写体である人物の撮影等で、背景をぼかしてコントラストを下げ、ピントを合わせた主被写体（人物）を強調する撮影手法や画像処理が行われている。例えば特許文献１には、デジタル画像信号にソフトフォーカス処理を行う処理が開示されている。

また、従来は、１００ｎｉｔ程度の最大表示輝度のＳＤＲ（Standard Dynamic Range）ディスプレイが利用されていた。ところが、ディスプレイ技術の向上により、近年では１０００～１００００ｎｉｔまで表示可能なＨＤＲ（High Dynamic Range）ディスプレイが利用可能となっている。これにより、表示可能なダイナミックレンジが広がってきている。例えば、特許文献２には、ＳＤＲ信号とＨＤＲ信号との違いについての詳細が開示されており、ＳＤＲ信号で表示可能な輝度は０～１００ｎｉｔであったのに、ＨＤＲ信号では０～１００００ｎｉｔまでの広いダイナミックレンジを表示できる。したがって、従来のＳＤＲディスプレイでは、幅広い輝度値の画像を表示しようとしても、最大表示輝度値が１００ｎｉｔ程度に限られるため、高輝度側の信号は、階調を圧縮して表示されていた。これに対して、ＨＤＲディスプレイでは、最大表示輝度が１００００ｎｉｔまであるので、幅広い輝度値の画像を、そのまま表示することが可能となっている。

特開平１１－３５３４７７号公報 特開２０１６－２１３８０９号公報

しかしながら、背景をボカして主被写体である人物の撮影を行う際に、背景が高輝度値であると、ＨＤＲ信号の場合には背景は高輝度値を保ったままボカされるため、背景はコントラストが高いままである。従来のＳＤＲディスプレイで表示する場合は、高輝度の階調を圧縮するので、ボケ画像領域のコントラストが低くなり、主被写体を強調することができる。

一方、ＨＤＲディスプレイの場合、階調を圧縮しないまま高輝度の画像を表示するので、背景をボカした場合でもコントラストが十分に低下しない。このため、ボケ画像領域のコントラストが高く保たれてしまい、この高いコントラストよって前景の主被写体よりも背景の高輝度部が目立ってしまい、前景の主被写体を強調することが困難という問題がある。

本発明は前述の問題点に鑑み、ＨＤＲディスプレイに表示する場合に、高輝度のボケ画像を生成して主被写体を強調できるようにすることを目的としている。

本発明に係る画像処理装置は、画像データにおいて主被写体を除いた背景領域の中から、所定値以上の輝度値である高輝度ボケ領域を検出する検出手段と、前記検出手段によって検出された高輝度ボケ領域の特徴量に応じた補正強度により、前記高輝度ボケ領域以外の背景領域よりもぼけ量が強くなるように前記画像データの高輝度ボケ領域に対して補正を行う補正手段と、を有することを特徴とする。

本発明によれば、ＨＤＲディスプレイに表示する場合に、高輝度のボケ画像を生成して主被写体を強調することができる。

実施形態に係る画像処理装置の内部構成例を示すブロック図である。 第１の実施形態の画像処理部の詳細な構成例を示すブロック図である。 第１の実施形態における画像処理の手順の一例を示すフローチャートである。 背景にぼかしを適用する画像の例を示す図である。 輝度値のプロファイルの例を示す図である。 輝度値のヒストグラムの広がりを説明するための図である。 周波数の分布を説明するための図である。 レンズからの被写体距離とレンズから結像位置までの距離ｂとの関係を示す図である。 ボケ量と画素との関係を示す図である。 第２の実施形態の画像処理部の詳細な構成例を示すブロック図である。 第２の実施形態における画像処理の手順の一例を示すフローチャートである。 第２の実施形態の方法で背景にぼかしを適用する画像の例を示す図である。 補正後の輝度値のプロファイルの例を示す図である。 輝度値のヒストグラムの広がりを説明するための図である。 コントラストの補正を行った場合の輝度値の特性を説明するための図である。

（第１の実施形態）
以下、図面を参照しながら、本発明の第１の実施形態について説明する。
図１は、本実施形態に係る画像処理装置１０１の内部構成例を示すブロック図である。
図１において、光学系１０２は、ズームレンズなどのレンズ、光学絞り、ピント調整機能などを備えている。イメージセンサー１０３は、ＣＣＤやＣＭＯＳ等の光電変換素子であり、光学系で形成された被写体の像を電気信号に変換する。画像処理部１０４は、イメージセンサー１０３からの信号に対してデベイヤ処理などの現像処理を行い、処理後の画像データを生成する。記録部１０５は、画像データを不図示の記録媒体に記録する。表示部１０６は、画像データの表示や、撮影データなどの表示を行う。制御部１０７は、画像処理装置１０１の各部に対して、必要な制御を行う。

図２（ａ）は、本実施形態における画像処理部１０４内の詳細な構成例を示すブロック図である。
図２（ａ）において、画像処理部１０４では、画像データ２０２を入力し、高輝度ボケ領域のボケ量を強めるように補正された画像データ２０３を生成する。高輝度領域検出部２０４は、画像データ２０２から輝度値の高い領域を抽出する。高輝度ボケ領域検出部２０５は、画像のボケ領域を検出し、高輝度領域検出部２０４の検出結果と合わせて、高輝度のボケ領域を検出する。補正強度決定部２０６は、高輝度のボケ領域に対する補正量の強弱を決定する。ローパスフィルター（ＬＰＦ）処理部２０７は、高輝度のボケ領域に対してローパスフィルター処理（以下、ＬＰＦ処理）を行う。

図３は、本実施形態において、画像処理部１０４による画像処理の手順の一例を示すフローチャートである。また、図４は、本実施形態の画像処理を適用した場合の画像の例を示す図であり、図５は、本実施形態の画像処理を適用した場合の画像のプロファイルを模式的に示した図である。以下、図３のフローチャートに従って本実施形態の動作を説明し、図４及び図５を用いて、本実施形態の画像処理の効果を説明する。

図４（ａ）は、主被写体である人物を撮影した場合の画像の例であり、前景に主被写体である人物があり、背景にビル群がある画像である。図４（ａ）に示す画像は、全面にピントを合わせた状態であって、レンズの絞りを絞り込んだ状態で撮影された画像である。この場合、前景の人物が背景のビル群に重なり、主被写体である人物は強調されていない。

そこで、人物撮影では、レンズの絞りを開いた状態で、人物のみにピントが合うようにして背景をボカした撮影がよく行われる。この場合、図４（ｂ）に示すように、人物に焦点が合っているのに対して、背景のビル群はぼやけており、主被写体である人物を強調することができる。

次に、このような人物撮影した場合の輝度値のプロファイルについて説明する。図４（ｃ）の線４０１に示す位置の輝度値の分布を図５に示す。図５における横軸は画像の位置を示し、縦軸は輝度値を示している。また、図５中のＨＤＲ輝度値は、ＨＤＲディスプレイで表示可能な最大輝度値を示し、ＳＤＲ輝度値は、ＳＤＲディスプレイで表示可能な最大輝度値を示している。

図５（ａ）は、図４（ａ）の画像に対応したプロファイルを示す図である。中央の範囲５０１には、被写体である人物の輝度値が示されており、この例では、人物は、中間的な輝度値を示すように撮影されたことを示している。左右の範囲５０２、５０３には、背景となるビル群の輝度値が示されており、人物に比べて明るく、最大輝度値はＨＤＲ輝度値に達している。図４（ａ）の画像は全面にピントを合わせた状態で撮影されたため、ビル群のプロファイルもエッジにメリハリがついた状態である。特に範囲５０３では、中間に画像の暗い場所（例えばビルとビルの間）があり、高輝度を保ちながら強いコントラストの画像として現れる。

図５（ｂ）は、図４（ｂ）の画像に対応するプロファイルを示す図である。この場合、人物には焦点が合っているので、範囲５０１では、図５（ａ）と同じプロファイルとなる。これに対して、背景のビル群はぼやけた状態となるので、範囲５０４、５０５のビル群のプロファイルは、図５（ａ）に比べて広がった状態のプロファイルとなる。この場合、最大輝度値はＨＤＲ輝度値となる。また、範囲５０５に示すように、中間の画像の暗い位置は画像のボケ効果により、図５（ａ）の範囲５０３よりも低いコントラストとなるが、十分な輝度差を保っている状態である。

ここで、ＨＤＲディスプレイとＳＤＲディスプレイとでの表示の違いについて説明する。ＨＤＲディスプレイでは、高輝度の表示が可能であるため、図５（ａ）及び図５（ｂ）に示すプロファイルのように、高輝度部分がある画像であっても、全ての輝度値をそのまま表示できる。したがって、範囲５０５のプロファイルのように、中間の画像の暗い場所では十分なコントラストを保ったまま表示される。

これに対して、ＳＤＲディスプレイに表示する場合は、最高表示輝度値に制限があるため、高輝度側の階調を圧縮する必要がある。例えば、図５（ｃ）に示すように、範囲５０６～５０８では、ＳＤＲ輝度値よりも大きな輝度値を持っている。このため、ＳＤＲディスプレイに出力する場合には、高輝度側の階調を圧縮する処理が行われる。図５（ｄ）には、このような圧縮処理を行った場合のプロファイルを示す。範囲５０９、５１０では、階調を圧縮した結果、最大輝度値がＳＤＲ輝度値以内に収まっている。ここで、範囲５１０にある中間の画像の暗い場所では、高輝度側の階調を圧縮したことにより低いコントラストとなり、輝度差はより小さくなっている。

ここで、中間の画像の暗い位置について、ＨＤＲディスプレイで表示した場合と、ＳＤＲディスプレイで表示した場合とで比べる。ＨＤＲディスプレイで表示した場合は、図５（ｂ）の範囲５０５に示すように、高輝度部分と低輝度部分との差が大きく、ボケ画像にしてはコントラストが高い状態が保たれてしまう。この高いコントラストのため、ＳＤＲ表示と比べると、主被写体である人物が強調されない画像となってしまう。

そこで本実施形態では、以下の手順によりＨＤＲディスプレイに表示した場合であっても主被写体である人物が強調された画像になるように画像処理を行う。以下、図３のフローチャートに従ってその手順について説明する。

まず、Ｓ３０１において、高輝度領域検出部２０４は、入力された画像データから高輝度領域を検出する。この処理では、例えば輝度値の閾値Ｙ０を設定し、画像データの画素から輝度値が所定値以上（閾値Ｙ０以上）の領域を検出する。例えば、閾値Ｙ０として、ＳＤＲ輝度値を設定した場合、図５（ｃ）で示した範囲５０６～５０８の画素が検出される。図４（ｄ）には、高輝度領域を検出した画像の例を示す。図４（ｄ）の右下がり斜線で示した領域が、高輝度領域である。

次に、Ｓ３０２において、高輝度ボケ領域検出部２０５は、高輝度領域検出部２０４の検出結果を用い、さらに画像データから高輝度のボケ領域を検出する。

ここで、ボケ領域の検出には、様々な方法が可能である。例えば、画像の小領域で輝度値のヒストグラムを求め、その広がりを見る方法がある。すなわち、図６（ａ）に示すようにヒストグラムの広がりが大きい場合は、輝度値の変化が大きく、その被写体にピントが合っている状態とみなす。これに対して、図６（ｂ）のようにヒストグラムの広がりが小さい場合は、その被写体がぼやけている状態とみなす。また、他の方法として、画像の小領域の周波数を求めてその周波数の分布によってボケ領域を検出してもよい。この場合、図７（ａ）に示すように高周波成分が多い場合は、その被写体にピントが合っている状態とみなし、図７（ｂ）に示すように低周波成分が多い場合は、その被写体がぼやけている状態とみなす。

一方、図２（ａ）に示す構成の代わりに図２（ｂ）に示す構成を適用してもよい。この構成においてボケ領域を検出する際に、画像を撮影した際の撮影情報を併用することで、ボケ領域を容易に検出することができる。つまり、図２（ｂ）において、高輝度ボケ領域検出部２０５が撮影情報２０８を利用して高輝度のボケ領域を検出する。撮影時の撮影情報としては、例えば、レンズの焦点距離、絞り、被写体の距離等があげられる。以下の式（１）に示すレンズの結像式から、ボケ量を計算することができる。
（１／ａ）＋（１／ｂ）＝（１／ｆ） ・・・（１）

ここで、式中のａはレンズから被写体までの距離、ｂはレンズから結像位置までの距離、ｆはレンズの焦点距離を表す。図８には、レンズからの被写体距離ａとレンズから結像位置までの距離ｂとの関係を示す。例えば図４（ｂ）の画像を撮影したときの撮影情報がレンズの焦点距離ｆが８５ｍｍ、レンズから主被写体（人物）までの距離ａが３０００ｍｍであった場合、レンズから結像位置までの距離ｂは、１／（１／８５－１／３０００）＝８７．４９ｍｍと計算できる。

また、背景が十分遠くにある場合は、レンズから被写体までの距離ａは無限大とみなすことができる。この場合、背景に関してはレンズから結像位置までの距離ｂは８５ｍｍとなり、主被写体（人物）の結像位置よりも２．４９ｍｍ手前にあることになる。ここで、絞りがＦ１．８であれば、背景のボケ量は、２．４９／１．８＝１．３８ｍｍと求められる。なお、このボケ量は必ずしも数値として表現するものではなく、ボケ量の強弱などの程度で求めてもよい。

また、撮影情報として、被写体や背景の距離を、多点ＡＦなどで測距した距離マップや、コンピュータービジョンなどの分野で用いられるデフォーカスマップが利用できれば、より詳細なボケ量を求めることもできる。

図３のＳ３０２の説明に戻ると、図４（ｂ）の画像の場合、背景全体がぼやけているので、ボケ領域は、図４（ｅ）の右上がり斜線の領域となる。この領域と、図４（ｄ）の高輝度領域とが一致する範囲が、高輝度のボケ領域となり、図４（ｆ）の斜め格子の領域となる。図５（ｃ）のプロファイルでは、範囲５０６～５０８に相当する。

次に、Ｓ３０３において、補正強度決定部２０６は、高輝度のボケ領域の特徴量から補正強度を決定する。ここで補正強度とは、ボケ量を強める処理として行われる補正の強度であり、本実施形態では、ＬＰＦ処理でボケ量を強める処理を行う。前述の計算ではボケ量が１．３８ｍｍであったが、本実施形態では、高輝度のボケ領域の特徴量として、１．３８ｍｍ以上にボケ量が大きくなるように設定する。例えば、このときの補正強度を２倍に決定し、ボケ量を１．３８×２＝２．７６ｍｍと決定する。

図９には、ボケ量と画素との関係を示す。図９（ａ）は、７×７画素上でボケ量が１．３８ｍｍの円を示した例である。この例では、ボケ量はおよそ３×３画素の範囲に広がっている。これに対して、図９（ｂ）は、ボケ量が２．７６ｍｍの円を示した例である。この例では、およそ５×５画素の範囲に広がる。なお、高輝度のボケ領域の特徴量としては、輝度値を用いるか、輝度値とボケ量とを併用しても良い。

なお、本実施形態では、画像の高輝度領域を求めた後に画像のボケ領域を求めて、高輝度のボケ領域を検出しているが、この順序に限るものではなく、ボケ領域を求めてから高輝度領域を求めても良く、これらの処理を並列に行っても良い。

次に、Ｓ３０４において、ＬＰＦ処理部２０７は、高輝度のボケ領域に対してＬＰＦ処理を行う。ＬＰＦ処理では、例えばボケ量が２．７６ｍｍであった場合、処理対象の画素を中心にした直径２．７６ｍｍの範囲に含まれる画素について、輝度値の平均値を求め、処理対象の画素の補正輝度値とする。例えば、図９（ｂ）に示した円の範囲内の画素値を平均すればよい。このように高輝度ボケ領域を補正した画像は、図４（ｇ）に示すように、背景のボケ量が強くなった画像となる。

図５（ｅ）に、図４（ｇ）の画像のプロファイルを示す。ボケ量が強まった結果、図５（ｅ）の範囲５１１、５１２は、図５（ｂ）の範囲５０４、５０５に比べて広がっている。さらに、範囲５１０にある中間の画像の暗い場所は、最大輝度値との輝度差がより小さくなり、コントラストが低くなっている。このため、背景をぼかしても主被写体である人物を強調できるように補正できている。

なお、ＳＤＲディスプレイに画像を表示する場合には、画像処理部１０４では、ＳＤＲ向けの処理を行うこととなる。この場合、本実施形態に示したような手順で補正処理等を行う必要はない。

以上のように本実施形態によれば、高輝度のボケ領域を検出し、ボケ量を大きくしてＬＰＦ処理を行うようにした。これにより、ＨＤＲディスプレイに表示する場合であっても、高輝度のボケ画像のコントラストを低下させ、主被写体を強調した画像を得ることができる。

（第２の実施形態）
以下、図面を参照しながら、本発明の第２の実施形態について説明する。本実施形態では、画像のコントラストを検出し、コントラストを低減するようにボケ画像を補正する例について説明する。なお、本実施形態の画像処理装置全体の構成は、図１と同様であるため、説明は省略する。

図１０は、本実施形態における画像処理部１０４の詳細な構成例を示すブロック図である。なお、図２に示した構成と重複する部分については説明を省略する。
図１０において、コントラスト検出部１００３は、高輝度ボケ領域とその周辺領域とからコントラストを検出する。補正強度決定部１００４は、高輝度ボケ領域に対する補正量の強弱を決定する。コントラスト補正部１００５は、高輝度ボケ領域のコントラストを低減するように補正する。

図１１は、本実施形態において、画像処理部１０４による画像処理の手順の一例を示すフローチャートである。図１１のＳ１１０１およびＳ１１０２の処理は、それぞれ図３のＳ３０１及びＳ３０２と同様であるため、説明は省略する。

次のＳ１１０３においては、コントラスト検出部１００３は、画像データからコントラストを検出する。この処理では、例えば高輝度のボケ領域とその周辺の画素を含めた領域とで輝度値のヒストグラムを生成し、その広がりからコントラストを検出する。ここで、周辺の画素の範囲は、ボケ量に応じて設定すればよい。例えば、図４（ｆ）に示すような高輝度のボケ領域が検出された場合に、図１２（ａ）の格子状に塗りつぶした領域について、輝度値のヒストグラムを生成する。この場合のヒストグラムの例を、図１４（ａ）及び図１４（ｂ）に示す。

図１４（ａ）は、図１２（ａ）の左側の格子状の領域での輝度値のヒストグラムの例を示す図である。この領域ではビルの間の暗い領域を含んでいるので、ヒストグラムの範囲１４０１では、コントラストが高い。これに対して、図１４（ｂ）は、図１２（ａ）の右側の格子状の領域での輝度値のヒストグラムの例を示す図である。ヒストグラムの範囲１４０２では、コントラストが低い。すなわち、図１２（ａ）の左側の格子状の領域では、高輝度のボケ領域であって、周辺画素まで含めてコントラストが高く、補正を行わないと主被写体である人物を強調することができない。

そこで、次のＳ１１０４において、補正強度決定部１００４は、高輝度のボケ領域の特徴量として、コントラストの高低に応じてコントラストの補正量を決定する。本実施形態では、ヒストグラムの広がりに応じてコントラストの補正量を決定する。なお、高輝度のボケ領域の特徴量として、第１の実施形態で説明した輝度値やボケ量を併用しても良い。

そして、Ｓ１１０５において、コントラスト補正部１００５は、Ｓ１１０４で決定した補正量に基づいてコントラストを補正する。図１２（ａ）に示した例の場合には、左側の格子状の領域においてコントラストを補正する。コントラストの補正では、図１５に示すように、入力輝度値の一定以上の範囲で、輝度の低い側を上げて、輝度の高い側を下げるようにして、コントラストを下げる処理を行う。このように本実施形態では、コントラストを下げることで実質的にボケ量を強める補正を行っていることとなる。図１５（ａ）には、範囲１５０１でコントラストの補正量が小さい場合の輝度値の特性を示し、図１５（ｂ）には、範囲１５０２でコントラストの補正量が大きい場合の輝度値の特性を示している。

図１４（ｃ）には、コントラストの補正を行った後の輝度値のヒストグラムを示す。また、図１２（ｂ）には、コントラストの補正後の画像を示し、図１３に、その輝度値のプロファイルを示す。図１３に示すように、図１２（ａ）の左側の格子状の領域に相当する位置１３０１ではコントラストが小さくなり、主被写体である人物を強調できるように補正できるようにしている。なお、図１２（ｂ）の右側の格子状の領域に相当する位置１３０２では、補正はされていない。

以上のように本実施形態によれば、高輝度のボケ領域を検出してコントラストの補正を行うようにしている。これにより、ＨＤＲディスプレイに表示する場合であっても、ぼかした領域のコントラストを低下させ、主被写体を強調させることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０４ 高輝度領域検出部
２０５ 高輝度ボケ領域検出部
２０６ 補正強度決定部
２０７ ＬＰＦ処理部

Claims (10)

1. 画像データにおいて主被写体を除いた背景領域の中から、所定値以上の輝度値である高輝度ボケ領域を検出する検出手段と、
   前記検出手段によって検出された高輝度ボケ領域の特徴量に応じた補正強度により、前記高輝度ボケ領域以外の背景領域よりもぼけ量が強くなるように前記画像データの高輝度ボケ領域に対して補正を行う補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記特徴量は、前記高輝度ボケ領域の輝度値を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、ローパスフィルター処理によって前記高輝度ボケ領域のボケ量を補正することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特徴量は、前記高輝度ボケ領域のコントラストを含むことを特徴とする請求項１に記載の画像処理装置。
5. 前記補正手段は、前記高輝度ボケ領域のコントラストを低下する補正を行うことを特徴とする請求項１又は４に記載の画像処理装置。
6. 前記検出手段は、撮影時の撮影情報を用いて前記高輝度ボケ領域を検出することを特徴とする請求項１～５の何れか１項に記載の画像処理装置。
7. 前記撮影情報は、撮影時の絞り値、レンズの焦点距離、被写体の距離、距離マップ、およびデフォーカスマップの中の少なくとも１つを含むことを特徴とする請求項６に記載の画像処理装置。
8. 前記所定値は、ＳＤＲディスプレイで表示する場合の最大輝度値であることを特徴とする請求項１～７の何れか１項に記載の画像処理装置。
9. 画像データにおいて主被写体を除いた背景領域の中から、所定値以上の輝度値である高輝度ボケ領域を検出する検出工程と、
   前記検出工程において検出された高輝度ボケ領域の特徴量に応じた補正強度により、前記高輝度ボケ領域以外の背景領域よりもぼけ量が強くなるように前記画像データの高輝度ボケ領域に対して補正を行う補正工程と、
   を有することを特徴とする画像処理方法。
10. 画像データにおいて主被写体を除いた背景領域の中から、所定値以上の輝度値である高輝度ボケ領域を検出する検出工程と、
    前記検出工程において検出された高輝度ボケ領域の特徴量に応じた補正強度により、前記高輝度ボケ領域以外の背景領域よりもぼけ量が強くなるように前記画像データの高輝度ボケ領域に対して補正を行う補正工程と、
    をコンピュータに実行させるためのプログラム。

Images