JP2011076198A - 画像処理装置、画像処理用プログラムおよび画像処理方法 - Google Patents

Abstract

【課題】画像が逆光であるか否かの判定を、画像信号のヒストグラムから、その形状の特徴を正確に抽出して、画像が逆光であるか否かを正確に判定する。
【解決手段】入力された画像信号から輝度信号のヒストグラムを作成するヒストグラム算出手段と、前記ヒストグラムから連続する階級範囲を山部として検出し、前記山部が複数ある場合の前記山部の間隔および前記山部の数を前記ヒストグラムの特徴として算出するヒストグラム特徴抽出手段と、前記ヒストグラムの特徴から前記画像信号が逆光であるか否かの逆光判定をする逆光判定手段と、前記逆光判定の結果に基づき、前記画像信号を補正する画像補正手段とを備えたものである。
【選択図】図１

Description

この発明は、入力されたデジタル画像信号を画像信号の内容に応じて逆光補正の画像処理する画像処理装置、画像処理用プログラムおよび画像処理方法に関する。

近年のデジタルカメラの普及により、デジタルカメラによる撮影や、撮影画像のプリント需要が増加している。しかし、デジタルカメラはその手軽さ故に、カメラに関して知識が十分でないユーザーでも簡単に取り扱うことが可能であり、様々な環境下で撮影を行うため、逆光のようなコントラストの強い画像など、必ずしも好適な条件で撮影された画像ばかりではない。好適でない条件で撮影した画像であっても、内容が撮影者にとって重要である場合には、廃棄できるものではなく、適切な画像補正を行い、好適な状態にして、保存、あるいはプリントすることが望まれる。

従来の画像処理装置は、人物を被写体とする画像の場合は、人物の顔領域のように画像における重要な被写体の領域とそれ以外の領域との明るさから逆光を判定し、顔領域が所定の明るさになるように画像処理していた。また、着目すべき領域が明らかでない画像、もしくは、重要な領域を自動検出困難な画像においては、輝度ヒストグラムから画像が逆光であるか否か、および、逆光の度合を判定し、その判定結果に基づいて画像処理を行っていた。

従来の画像処理装置においては、逆光判定を行うため、１６個の階級に分割した輝度ヒストグラムにおいて、低輝度域と高輝度域を設定し、各輝度域のピーク間の距離から逆光を判定する構成にしている（例えば、特許文献１参照。）。

また、予め逆光と分かっている画像のみを対象にし、輝度ヒストグラムから二極化度合を算出して逆光の度合を求め、度合に応じた画質補正を行う構成にしている（例えば、特許文献２参照。）。

特開２００８−１１８６０８号公報 特開２００２−０９２６０７号公報

従来の画像処理装置では、輝度ヒストグラムから画像の逆光判定を行う際、逆光の画像の輝度ヒストグラムの特徴を正確に算出することが困難であったため、逆光判定を誤り不適切な画像補正を施した結果、かえって違和感のある画像を生成してしまうという問題があった。

従来の画像処理装置では、低輝度域と高輝度域の各輝度域のピーク間の距離から逆光を判定する構成にしているので、低輝度域と高輝度域のいずれにおいても、ピークの数が複数存在すると、どのピーク間距離を使うべきか分からず、逆光判定に使用すべきピークを正しく検出できない問題があった。

また、輝度ヒストグラムの二極化度合いから求めた逆光度合いに応じた画質補正を行う構成にすると、二極化度合を算出する際に、輝度ヒストグラムの変化量を閾値処理しているため、輝度ヒストグラムが滑らかに変化する画像と急峻に変化する画像とで異なる結果になり、誤判定の要因になる問題があった。これは、輝度ヒストグラムの変化量は、被写体の大きさにより異なるものであり、逆光か否かには拠らないためである。これらは、いずれも、局所的に山部を判断するため、大局的に見ると誤った判断となる問題があった。

この発明は、上述のような問題を解決するためになされたもので、ヒストグラムのピークの位置や変化量によらず、ヒストグラムの形状の大局的な概略的特徴を抽出できる画像処理装置を得るものである。

この発明の画像処理装置においては、入力された画像信号から輝度信号のヒストグラムを作成するヒストグラム算出手段と、前記ヒストグラムから連続する階級範囲を山部として検出し、前記山部が複数ある場合の前記山部の間隔および前記山部の数を前記ヒストグラムの特徴として算出するヒストグラム特徴抽出手段と、前記ヒストグラムの特徴から前記画像信号が逆光であるか否かの逆光判定をする逆光判定手段と、前記逆光判定の結果に基づき、前記画像信号を補正する画像補正手段とを備えたものである。

この発明は、入力画像信号に対して、ヒストグラムのピークの位置や変化量によらず、ヒストグラムの形状の大局的な概略的特徴を抽出できる。

この発明の実施の形態１を示すブロック図である。 この発明の実施の形態１におけるピーク検出手段の動作を説明するための説明図である。 この発明の実施の形態１における山部検出手段の動作を説明するための説明図である。 この発明の実施の形態１における特徴算出手段が抽出する特徴の一例を示す図である。 この発明の実施の形態１において逆光画像のヒストグラムの特徴を説明するための説明図である。 この発明の実施の形態１における逆光判定手段の動作を示すフローチャートである。 この発明の実施の形態１における画像補正手段が画像補正に使用するガンマカーブを示す図である。 この発明の実施の形態２を示すブロック図である。 この発明の実施の形態２における逆光判定手段の動作を示すフローチャートである。

実施の形態１．
図１は、この発明を実施するための実施の形態１における画像処理装置のブロック図を示すものである。図において、画像処理装置は、入力された画像信号のヒストグラムを算出するヒストグラム算出手段１、ヒストグラム算出手段１で算出されたヒストグラムから当該ヒストグラムの形状に関する特徴を抽出するヒストグラム特徴抽出手段２、ヒストグラム特徴抽出手段２から出力されるヒストグラムの特徴に基づいて入力画像が逆光であるか否かを判定する逆光判定手段３、および逆光判定手段３の判定結果によって入力された画像信号の画像補正手段４を備える。

また、ヒストグラム特徴抽出手段２は、ヒストグラムから頻度が周囲より大きい連続する階級範囲を山部として検出し、ヒストグラムの形状の特徴を算出する。具体的には、ヒストグラム算出手段１から出力されたヒストグラムからヒストグラムの分布の極大値をピークとして検出するピーク検出手段２１、ヒストグラムからピーク検出手段２１で検出されたピークの周囲でピークの頻度に対して所定の割合以上の頻度を持つ階級（横軸の）範囲を山部として検出する山部検出手段２２、ヒストグラムとピーク情報と山部の情報とに基づき、ヒストグラムの形状に関する特徴を算出する特徴算出手段２３を備える。

次に動作について説明する。まず、ヒストグラム算出手段１は、入力された画像信号のヒストグラムを作成する。入力される画像信号は、明るさを表す信号が望ましく、例えば、輝度信号などがある。以下、本実施の形態では、ヒストグラム算出手段１が、輝度信号のヒストグラムを算出するものとして説明するが、色差信号、ＲＧＢ信号であっても良い。

次に、画像サイズによる頻度のバラツキを解消するため、ヒストグラムの正規化を行い、正規化された輝度ヒストグラムはヒストグラム特徴抽出手段２へ送られる。

ヒストグラム特徴抽出手段２は、ヒストグラム算出手段１から出力されたヒストグラムについて、分布の偏り、頻度が少ない階級などのヒストグラムの形状を表す特徴を算出する。ヒストグラム特徴抽出手段２は、ピーク検出手段２１と山部検出手段２２と特徴算出手段２３から構成される。以下は、入力画像の輝度ヒストグラムが図２の実線に示すような形状の場合を例に、図２、図３、図４を用いてそれぞれの手段の動作を説明する。図２の実線は２５６階調（０〜２５５）で表す輝度レベルに対し、階級の幅を１として作成したヒストグラムである。したがって、輝度レベルが階級値となり、各輝度レベルをもつ累積画素数がヒストグラムの頻度となっている。階調は、輝度を表す段階の数を示します。輝度信号を２５６階調で表すと、輝度レベルは０〜２５５の値をとる。ヒストグラムは、２５６階調の輝度レベルを階級の数により分割し、各階級に相当する輝度レベルを持つ画素の数が、ヒストグラムの頻度になる。階級数が８の場合には、最低階級は、輝度レベル０−３１となり、１階級の幅は輝度レベルの３２階調を含むこととなる。

図２は、ピーク検出手段２１が、ヒストグラムの分布の極大値をピークとして検出する動作を示す説明図である。図において、横軸は階級値を、縦軸は頻度を表し、実線が輝度ヒストグラム１００を示す。まず、ピーク検出手段２１は、輝度ヒストグラムの曲線の傾きを算出する。輝度ヒストグラムの曲線の傾きは、隣り合う階級との差分により算出が可能である。ピーク検出手段２１は、輝度ヒストグラムの曲線の傾きが、正から負に変わる変化点をピークとして検出する。例えば、図２の例では、図２中のヒストグラム１００の曲線上の点１０１、１０２、１０３、１０４、１０５が、ピークとして検出される。

次に、上述のピークの中から、１０２のように頻度が小さく、ヒストグラムの分布全体に対し、無視できるほどの大きさである場合はピークから除外する。除外するか否かはピークでの頻度が所定値よりも小さいかどうかで判定する。小さな分布を無視することで小さな分布の影響を受けることがなく、全体的な特徴を抽出することが可能になる。

以上のようにして、ピーク検出手段２１は、頻度が、所定値よりも大きいピーク（１０１、１０３、１０４、１０５）の階級および頻度を山部検出手段２２に出力する。以下、簡易的にピークの階級をピーク位置とし、ピーク位置での頻度をピーク頻度と呼ぶ。

図３は、山部検出手段２２の動作を説明する図である。まず、山部検出手段２２は、ヒストグラム算出手段１から出力された輝度ヒストグラム１００から、ピーク検出手段２１にて検出されたピーク位置の周辺で、頻度の高い階級を一つの山部の候補として検出する。ここで、ピーク位置の周辺とは、ピーク位置を中心に、階級値の高い側と低い側の両方につき、連続して所定の条件を満たす階級の範囲である。このとき、ピーク位置の頻度に対し、所定の割合以上の頻度を持つ階級を頻度の高い階級として、一つの山部の候補とする。ピーク位置の周辺の範囲として、隣のピーク位置までとし、所定の割合を５０％とすると、ピーク１０１の周辺の山部の候補は、図３中の範囲１０６となる。また、同様に、ピーク１０３周辺の山部の候補は、範囲１０７、ピーク１０４周辺の山部の候補は、範囲１０８、ピーク１０５周辺の山部の候補は、範囲１０９となる。これは、極大値をとる階級の周囲で、前記極大値に対して予め定めた所定の割合以上の頻度を有する階級領域を山部として検出することになる。

なお、ピーク位置の周辺は、注目したピークとその隣のピーク位置までに限らず、ピーク頻度に対して所定の割合以上の頻度を持つ連続する階級としても良い。また、最も近いピークまでの範囲としても良い。また、新たに輝度ヒストグラムの極小値を求め、ピーク位置から高輝度側と低輝度側のそれぞれにつき最も近い極小値までの範囲としても良い。ピーク位置の周辺の定義によって、求まる山部の候補の範囲は多少異なるが、輝度ヒストグラムの分布の特徴として山部の範囲を求めることが目的であるため、問題はない。

ここで、ピーク頻度に対して、所定の割合の値を使用したのには、以下の利点があるからである。山部を検出する際に、固定の閾値を用いると、山部の高さによって検出できたり、できなかったりする。また、山部の形状の特徴である、分布の尖がり度合（尖度）を算出する際、高い山部の尖度が小さく、低い山部の尖度が大きくなり、正しく算出できないという問題があった。しかし、ピーク頻度に対する所定の割合を用いると、ピークを頂点とした分布を正確に捉えることが可能になる。例えば、山部に含まれる画素の各階級値をｘ_ｉ、山部の平均輝度をｍ、標準偏差をＳ、累積頻度をｎとすると、尖度αは、次式によって求めることができる。

次に、山部検出手段２２は、山部の候補から山部を特定する。山部の候補のうち、範囲１０７〜１０９のように、山部の候補の階級が、重なり合う場合、または接している場合には、ひとつづきの山部とみなす。ひとつづきの山部とすることで、ヒストグラムの変動が多く、ピークを複数もつ分布であっても、大局的な分布を求めることが可能になる。山部検出手段２２は、以上により求めた、図３中の範囲１１０を第一の山部の幅、範囲１１１を第二の山部の幅として、その範囲の最大階級および最小階級を特徴算出手段２３に出力する。

図４は、特徴算出手段２３がヒストグラムの特徴を算出する動作を示す説明図である。ヒストグラムの特徴として、以下のものを算出する。
・山部のピーク頻度
・山部の幅および範囲（最大階級と最小階級）
・山部の尖度
・山部の数
・山部の間の距離
・概略（大まかな）分布

山部のピーク頻度は、山部に存在するピークのうち最大のピーク頻度とする。図４の場合には、第一の山部の幅は、範囲１１０であり、第一の山部のピーク頻度は、ピーク１０１の頻度である。また、第二の山部の幅は、範囲１１１であり、第二の山部のピーク頻度は、ピーク１０５の頻度である。また、山部の尖度は、簡易的に（山部のピーク頻度）／（山部の幅）としても良い。輝度ヒストグラム１００の山部の数は、２であり、山部間の距離は、図４中の階級値の差１１２に示す長さである。この方法では、上記式１より計算処理を少なくすることができる。

また、概略的な（大まかな）分布を捕らえるために、低輝度、中間輝度、高輝度など、階級を数個に分割した場合の累積頻度を算出する。この分割方法は、単純に等分割であっても良いし、目の感度にあわせて、分割しても良い。ここで、目の感度は、輝度との関係があり、画質設定の一指標となりえるものである。例えば、低輝度は、黒の色の違いを感じやすい領域に限定したり、色を感じやすい輝度範囲を中間輝度としたりすることができる。図４では、輝度値０〜６４を低輝度領域１１３とし、輝度値９６〜１９６を中間輝度領域１１５としている。このとき、低輝度の頻度は、図４中の範囲１１４で示す領域の累積頻度であり、中間輝度の頻度は、範囲１１６で示す領域の累積頻度である。ここで、累積頻度とは、ある範囲内の階級の頻度を加算したものである。

以上のようにして、ピーク検出手段２１、山部検出手段２２、特徴算出手段２３を経て抽出されたヒストグラムの特徴が、ヒストグラム特徴抽出手段２から、逆光判定手段３に出力される。

逆光判定手段３は、ヒストグラム特徴抽出手段２から出力された特徴から、入力画像が逆光であるか否かを判定する。以下では、逆光判定手段３で判定する、逆光画像のヒストグラムの特徴について説明する。

逆光画像は、光が当たった部分、または光源そのものを背に被写体を撮影した画像である。そのため、逆光画像には、高輝度の画像領域と低輝度の画像領域とが存在する。また、光の当たり方に偏りがあるため、中間の輝度を持つ画像領域は、少ないのが特徴である。ただし、逆光の程度は光が当たった部分の光量に依存し、撮影状況によって様々である。また、高輝度および低輝度の領域の割合は、被写体の大きさに依存する。光の強さと被写体の大きさのバランスによって、逆光画像は、以下の３つのタイプに分類される。
タイプ１：影になっている部分の光量が不足し、画像内に黒く潰れた領域が存在する。その他の領域は、階調差も明るさも十分である。
タイプ２：光が当たった部分の光量が強過ぎて、画像内に白く飛んだ領域が存在する。
その他の領域は、階調差も明るさも十分である。
タイプ３：光が当たった部分と影になっている部分の光量の差が小さく、低輝度と高輝度のそれぞれに、階調差は不十分であるが階調潰れまではしていない領域が存在する。

図５は、逆光画像の各タイプのヒストグラムを示す。図において、縦軸は頻度、横軸は輝度、実線は輝度ヒストグラムを表す。タイプ１の輝度ヒストグラムは、図５の（ａ）に示す形状になり、黒く潰れた部分である低輝度かつ尖度の高い（山部の）範囲２０１と、その他の尖度が高くない（山部の）範囲２０２を有する。タイプ２の輝度ヒストグラムは、図５の（ｂ）に示す形状になり、白く飛んだ部分である高輝度かつ尖度の高い（山部の）範囲２０４と、その他の尖度の高くない（山部の）範囲２０３を有する。タイプ３の輝度ヒストグラムは、図５の（ｃ）に示す形状になり、低輝度側の分布（山部の範囲）２０５と高輝度側の分布（山部の範囲）２０６を有する。

次に、逆光判定手段３の判定方法について、図６に示すフローチャートを用いて説明する。まず、ステップ６０１は、最低階級を含む山部の尖度が、高いか否かを判定する。このとき、尖度が高いか否かを判断には、所定の閾値を用いる。例えば、図２のように２５６階級で輝度ヒストグラムを作成した場合は、閾値を２０／１６とする。なお、閾値は、輝度ヒストグラムの階級の幅によって、設定する必要がある。最低階級を含む山部の尖度が高い場合には、入力画像内に黒潰れ部分があると判断し、逆光判定結果は逆光とし、ステップ６０５へ移る。最低階級を含む山部の尖度が低い場合、次の判定（ステップ６０２）に移る。

次に、ステップ６０２は、最高階級を含む山部の尖度が高いか否かを判定する。黒潰れの有無の判断と同様に、所定の閾値を設定して判定を行う。このとき、所定の閾値は、最低輝度を含む山部の尖度の判定基準と同様に、２５６階級の輝度ヒストグラムを作成した場合、閾値を２０／１６とする。最高階級を含む山部の尖度が高い場合、入力画像内に白飛びした部分があると判断し、逆光判定結果は逆光とし、ステップ６０５へ移る。最高輝度を含む山部の尖度が低い場合は、山部の数による判定（ステップ６０３）に移る。

なお、上記の閾値は、尖度を上記簡易な式で行った場合の値である。上記式１で求めた場合には、一般的に尖度αが、３以上を尖度が高いとする。

次に、ステップ６０３は、山部の数が２つであるか否かを判定する。山部の数が２つである場合には、ステップ６０４へ移る。ステップ６０４は、２つの山部の分布が離れている、すなわち、低輝度と高輝度に別れているか否かを判断する。ここで、山部の間の距離を用い、山部の間の距離が所定値以上の場合は２つの山部が離れているとし、逆光判定結果は逆光とし、ステップ６０５へ移る。山部の間の距離は、たとえば、輝度を２５６階調で表したときに輝度差にして９６以上である場合には、離れていると判定すればよい。逆に、山部間の距離が所定値未満の場合は、見やすい中間輝度に２つの山部が分布していることになり、逆光判定結果は順光とし、ステップ６０６へ移る。ステップ６０５は、逆光と判断された場合に、逆光を示す情報を画像補正手段４へ出力する。また、ステップ６０６は、順光を示す情報を画像補正手段４へ出力する。なお、順光と判断された場合の処理であるので、特段の処理を行わず出力する処理を行っても良い。

一方、ステップ６０３にて、山部の数が２つではない場合には、山部は１つないし、３つ以上であり、ヒストグラムは全輝度レベルにわたり分布しているため、順光画像と言える。よって逆光判定結果は順光として、ステップ６０６の順光の処理を行う。

なお、図６は、判定方法の一例であって、上記に示した逆光画像の特徴（タイプ１から３など）に基づき判定する方法であれば、何でもよい。

画像補正手段４は、逆光判定手段３の判定結果に基づき、入力画像を補正し、補正後の画像を出力する。逆光判定手段３の判定結果が、逆光であった場合と順光であった場合とで、補正処理を変更し、いずれの画像も見やすい画像に補正する。以下に補正処理の一例を示す。

逆光判定結果が逆光である場合には、逆光で見えにくくなった領域を見やすくするための補正をする。例えば、図７に示すように低輝度領域の階調を広げ、高輝度領域の階調を狭めるようなガンマカーブ３０１を適用すると、黒く潰れた部分が見やすくなる。また、判定結果が順光であった場合には、入力画像をそのまま出力する。こうすることで、入力画像から自動で逆光画像を選択し、逆光画像に適した補正処理を施すことが可能になる。

また、人の目は、暗いところと明るいところとでレンジを変えて見ている。この原理を応用した逆光補正処理に、局所領域毎にガンマカーブを変更し、適用する方法がある（特許第４０１１０７３号参照）。画像補正手段４において、逆光画像の補正にこの方法を用いると、逆光写真を撮影時の印象に近く、白く飛んだ領域も黒く潰れた領域も存在しない画像に補正することができる。

なお、上記は、画像補正手段４を画像処理装置に入れたが、必須の構成要素ではなく、逆光判定手段３の判定結果を出力する画像処理装置の構成にしても良い。この場合には、逆光判定手段３からの出力に基づき、外部で自由な画像補正処理を施すことができる。

なお、上記説明では、ヒストグラム算出手段１は輝度信号のヒストグラムを算出しているが、輝度信号に限らず、画像信号であれば何でもよい。ただし、画像信号によって逆光画像のヒストグラムの形状の特徴が異なるため、特徴に合わせて逆光判定手段３の逆光判定基準を変えなければならない。例えば、色差信号のヒストグラムを算出する場合、逆光画像は、順光画像と比較して、中間値の頻度が極端に高くなるため、中間値に山部があることを逆光基準とすればよい。中間値の頻度が高いのは、逆光画像が色のない無彩色に近い画像であることが多いためである。また、ＲＧＢ信号のヒストグラムを算出する場合は、Ｇ信号を輝度信号と同様に扱うことで逆光の判定が可能である。

なお、ヒストグラム算出手段１は、一種類の画像信号に限らず、複数の画像信号のヒストグラムを算出してもよい。この場合、逆光判定手段３の逆光判定基準は、一信号のヒストグラムの形状特徴による基準を組合せたものとする。こうすることで、逆光判定をより精密にすることが可能である。

また、本発明ではヒストグラムの形状を用いて、画像全体の明るさのバランスから逆光を判定しているが、画像における重要な被写体とその領域が既知である場合は、重要な被写体の領域を優先した従来の逆光判定方法を併用してもよい。このとき、画像信号をヒストグラム算出手段１に入力する前に、重要な被写体の領域情報の入力の有無を確認する手段を追加する。例えば、重要な被写体を人物の顔とする場合、顔領域が検出されれば従来の逆光判定を行い、顔領域が検出されなければ、画像信号をヒストグラム算出手段１に入力し、ヒストグラムの形状から逆光を判定するようにする。

以上は、画像処理装置として説明したが、各手段として計算機を機能させる画像処理用プログラムを記憶装置に記憶し、このプログラムを読み出して計算機に各手段を実行させるようにしても良い。

以上のように、実施の形態１によれば、逆光か否か不明である画像に対し、自動で逆光判定ができ、逆光判定結果に応じて画像に適した補正をすることが出来る。

また、本実施の形態の画像処理装置によれば、入力された画像信号のヒストグラムの形状の特徴を山部の数、山部の間の距離によって把握するようにしたので、ヒストグラムの概略的特徴を抽出できる効果がある。

また、本実施の形態の画像処理装置によれば、ヒストグラムのピークの位置や変化量によらず、入力された画像信号のヒストグラムの形状の特徴を山部の数、山部の間の距離によって把握するようにしたので、人が行う逆光などの画像に対する評価に近い、ヒストグラムの大局的な概略的特徴を抽出できる効果がある。

また、本実施の形態の画像処理装置によれば、ヒストグラムを算出し、ヒストグラムの特徴として頻度が所定値より大きい部分を山部として検出する際、ヒストグラムの極大値を利用しているため、正確に山部の位置を検出することができ、入力画像の逆光判定を精度よく行える。すなわち、極大値に対する所定の割合以上の頻度を有する階級領域を山部とすることで、一定の値で山部を検出する場合よりもより正確にヒストグラムの分布の特徴を捉えることができる。これは、極大値の所定割合の頻度を有する階級範囲を山部の範囲とするので、画像特徴に応じて（極大値に応じて）山部と判断する閾値が変化するため、多様な画像特徴（ヒストグラム形状）を有する画像について、適切に判断できる。

また、本実施の形態の画像処理装置によれば、極大値の頻度を持つ階級の周囲であって、極大値に対する所定の割合以上の頻度を有する階級領域を山部の候補とするため、隣接する極大値の頻度を持つ階級の山部の候補を１つの山部と判断することができ、ヒストグラムの形状の大局的な特徴を抽出できる効果がある。

また、本実施の形態の画像処理装置によれば、ヒストグラムのピークの位置や変化量によらず、入力された画像信号のヒストグラムの形状の特徴を山部の数、山部の間の距離によって把握するようにしたので、ヒストグラムの形状の大局的な概略的特徴を抽出でき、人が行う逆光補正と同等の逆光補正を行うことができる。

また、本実施の形態の画像処理装置によれば、色を表す信号のヒストグラムの特徴を逆光判定に用いるので、より正確にヒストグラムの特徴を捉えることができる。

実施の形態２．
上記、実施の形態１では、入力画像が逆光であるか、または、順光であるかを判定する方法を示した。実施の形態２では、ヒストグラムの特徴に合わせて、入力画像をより細かく分類し、各々の特徴に適した補正を施す方法を示す。ここでは、５つに分類する場合において、以下にその動作を説明する。

図８は、この発明の実施の形態２の画像処理装置を示すブロック図である。図において、図１の実施の形態１と同一部分には同一符号を付して、説明を省略する。図８において、図１と相違する点は、逆光判定手段３ａおよび画像補正手段４ａである。以下、逆光判定手段３ａと画像補正手段４ａの動作について説明する。

逆光判定手段３ａは、ヒストグラム特徴抽出手段２から出力された特徴から入力画像がヒストグラムの特徴により分類し得る５つのタイプに分類する。この５つのタイプは次の画像補正手段４ａにおいて、同一処理を行うものを同一タイプとしている。逆光判定手段３の判定方法について、図９に示すフローチャートを用いて説明する。

まず、ステップ９０１は、最低階級を含む山部の尖度が、所定の閾値より高いか否かを判定する。山部の尖度が閾値より高い場合には、入力画像をタイプ１に分類する（ステップ９０８へ移る）。タイプ１は入力画像内に黒潰れした部分があり、上記に示した逆光画像のタイプの一種である。山部の尖度が閾値以下の場合には、次の判定（ステップ９０２へ）に移る。

次に、ステップ９０２は、最高階級を含む山部の尖度が所定の閾値より高いか否かを判定する。山部の尖度が所定の閾値より高い場合には、ステップ９０３にて、中間輝度の累積頻度が少ないか否かを判定する。これも閾値を設定し、閾値を下回るとき、中間輝度の累積頻度が少ないとする。例えば、図２の輝度ヒストグラムのように階級の幅が１の場合、中間輝度が少ないか否かを判定する閾値は、累積頻度が３５％とするとよい。ステップ９０３は、中間輝度の頻度が少ない場合、入力画像をタイプ２に分類する（ステップ９０９へ移る）。また、中間輝度の頻度が高い場合、入力画像をタイプ５に分類する（ステップ９１２へ移る）。

タイプ２もタイプ５も入力画像内に白飛びした部分があり、ともに上記に示した逆光画像のタイプの一種であるが、タイプ５は、中間階調の分布が多く、逆光補正の必要がない場合があるため、タイプ２とは別のタイプとみなせる。

実施の形態１の判定方法を基準として、タイプ２およびタイプ５をいずれも逆光とみなした場合と、タイプ２を逆光、タイプ５を順光とした場合について、分類実験を行った。実験は、順光画像と逆光画像を各１５０枚ずつの計３００枚の画像を用いて、上記判定方法により自動分類した結果と、人が主観で逆光か否かを判断した結果とを比較して行った。自動分類結果と、手動の判定結果とが合致する割合を正答率として算出した結果、タイプ２とタイプ５を逆光とする判定方法は正答率が８５％、タイプ２を逆光、タイプ５を順光とする判定方法は正答率が９２％であった。よって、白飛びがある画像は、最低輝度を含む山部の尖度に加え、中間階調の分布が少ないことを逆光判定の条件にしたほうが、精度良く判定が出来る。

ここで、判定方法に中間階調の分布のような概略分布を使用するため、ヒストグラム特徴抽出手段２は、概略分布として、ヒストグラムから高輝度、中間輝度、低輝度の画素の割合を算出する。なお、高輝度領域、中間輝度領域、低輝度領域の階級値（又は輝度）は予め設定する。この各輝度領域の予め設定する階級の領域または輝度の領域は、人の目の感度の特性上、感じやすい輝度領域をより広くすると、人の感覚に合致した判断ができる。具体的には、人の目の感度の特性に合わせて、輝度領域の範囲の広い順に、中間輝度領域、低輝度領域、高輝度領域とすると良い。なお、各輝度領域の範囲間の差は、全体輝度の１／８〜１／１６程度、または１／８以下とすることで、実験上、人の感覚に合致する良好な結果が得られている。

この概略分布は、山部の数や山部間の間隔といった相対関係を表す特徴とは異なり、階級値という絶対値に関する特徴であるため、分布が多い輝度レベルおよび分布の少ない輝度レベルを把握でき、より多様な分類に対応することが可能になる。また、山部の数や山部間の間隔といった相対関係だけでは、山部間の間隔が所定値以上であるが、最高階級を有する山が、中間輝度にある場合も、逆光と誤判断する可能性がある。中間輝度領域にある画素の割合が、所定値以下である条件をも満たす場合に、逆光と判断するという条件を加えることで、山部の絶対的位置（階級）を考慮でき、上記誤判断を防ぐことができる。

また、上記中間輝度領域にある画素の割合によって、逆光と判断するための所定値（閾値）は、全ての輝度階調（または階級）に対する中間輝度領域の輝度階調（または階級）の割合（以下、輝度割合と呼ぶ。）を基準に考えることができる。例えば、逆光と判断するための所定値として、輝度割合、輝度割合×０．８、輝度割合×０．５とすることができ、一般に、輝度割合以下とすると良好な結果が得られる。

一方、最高階級を含む山部の尖度が所定値以下の場合、山部の数にて分類する。まず、ステップ９０４は、山部の数が２つであるか否かを判定する。山部の数が２つである場合、ステップ９０５にて、２つの山部の分布が離れているかどうかを判定する。山部間の距離を用い、山部間の距離が所定値以上の場合は２つの山部が離れているとし、入力画像をタイプ３に分類する（ステップ９１０へ移る）。タイプ３は上記に示した逆光画像の一種である。逆に、ステップ９０５にて、山部間の距離が所定値未満の場合は、入力画像をタイプ５に分類する（ステップ９１２へ移る）。このとき、入力画像は中間輝度の画素が大半を占め、補正をしなくてもよい画像である。また、ステップ９０４にて、山部の数が２つでない場合は次の判定（ステップ９０６）に移る。

次に、ステップ９０６は、山部の数が１つであるか否かを判定する。山部の数が１つである場合、ステップ９０７にて、その山部が低輝度に位置するものかを調べる。低輝度の頻度が多い場合、入力画像をタイプ４に分類する（ステップ９１１へ移る）。タイプ４は、低輝度と高輝度の両方に分布を持つ逆光画像ではないものの、大半が低輝度に分布するため、画像全体が暗い印象になり、何らかの補正が必要である。また、低輝度の頻度が少ない場合は、入力画像をタイプ５に分類する（ステップ９１２へ移る）。このとき、入力画像は前輝度レベルにわたり万遍なく分布した画像であるため、補正をしなくてもよい画像である。

最後に、山部の数が１つではない場合、入力画像をタイプ５に分類する（ステップ９１２へ移る）。このとき、入力画像のヒストグラムは、３つ以上の山部を持ち、ゆえに、ヒストグラムは全輝度レベルにわたり分布しているため、順光画像と言え、補正をしなくてもよい画像である。

このようにして、逆光判定手段３ａはヒストグラム特徴抽出手段２から出力された特徴に基づいて入力画像を５つに分類する。

なお、上記説明では、逆光判定手段３ａは入力画像を５つのタイプに分類しているが、ヒストグラム特徴抽出手段２から出力された特徴を用いて分類し得る数であれば、分類する数に制限はない。

また、上記実施の形態１の図６において、ステップ６０２でＹｅｓと判断された場合に、上記図９のステップ９０３と同様の判断を入れても良い。この場合には、ステップ６０２で、高輝度に尖度の高い山部があり、かつ上記中間輝度の範囲に入る画素の割合が、所定値以下の場合に、逆光と判断して、ステップ６０５の処理を行うようにする。このようにすることで、最高階級を含む山部が尖度の高くても、この山部の階級が中間輝度の範囲に入るような場合に、逆光と誤判断することを防ぐことができる。

また、いずれかのタイプに決定する必要はなく、各タイプへの寄与率を求め、各タイプに適用する画像処理の強度（パラメーターなど）を前記寄与率に合わせて設定すると、より細やかな画像処理が可能である。寄与率の算出方法の一例を以下に示す。

タイプ１は、最低階級を含む山部の尖度が閾値以上の画像である。例えば、閾値が２０／１６の場合、山部の尖度が０／１６のときに寄与率を０％、２０／１６以上のときに寄与率を１００％とし、０／１６〜２０／１６の間は寄与率が線形に変化するようにする。すなわち、尖度が８／１６のとき、寄与率は４０％となる。同様にして、タイプ２、タイプ３、タイプ４への寄与率を算出する。タイプ２の場合は、中間輝度の累積頻度が３０％以上、かつ、最高階級を含む山部の尖度が０／１６のときに寄与率を０％、中間輝度の累積頻度が０％、かつ、最高階級を含む山部の尖度が２０／１６のときに寄与率１００％とする。タイプ３の場合は、山部間の距離を輝度差で表現し、輝度差が０のときに寄与率０％、輝度差１００以上のときに寄与率１００％とする。タイプ４の場合は、低輝度の累積頻度が２５％以下のときに寄与率０％、７５％のときに寄与率１００％とする。

また、各タイプへの寄与率の合計を１００％になるよう正規化して、画像を処理し過ぎないようにしてもよい。例えば、タイプ１の寄与率が７５％、タイプ２の寄与率が３０％、タイプ４の寄与率が４５％のとき、タイプ１の処理を５０％、タイプ２の処理を２０％、タイプ４の処理を３０％の割合で行う。

画像補正手段４ａは、逆光判定手段３ａの分類結果に基づき、入力画像を補正し、補正後の画像を出力する。入力画像を明るく、かつ、階調潰れがない画像に補正することを目的とした場合の補正処理の一例を以下に示す。

逆光判定手段３ａの分類結果がタイプ１の場合、ヒストグラムは、図５の（ａ）に示す形状をしているため、低輝度の階調のみを広げるような補正を行う。例えば、低輝度の傾きが大きいガンマカーブを画面全体に適用する。この傾きが大きいほど、補正画像は入力画像に比べ大きく変化するため、傾きを補正処理の強度とすることが可能であり、これを段階的に変化させることで、上記で示した寄与率による補正が可能である。

逆光判定手段３ａの分類結果がタイプ２の場合、ヒストグラムは、図５の（ｂ）に示す形状をしているため、低輝度の階調を全体的に持ち上げ、高輝度の階調を広げるような補正を行う。例えば、図７の３０２に示す画質補正マッピングカーブを適用する。また、実施の形態１にて示した局所領域毎にガンマカーブを変更する処理を行ってもいい。

逆光判定手段３ａの分類結果がタイプ３の場合、ヒストグラムは、図５の（ｃ）に示す形状をしているため、低輝度側の山部を高輝度側に広げ、高輝度側の山部を低輝度側に広げるような補正を行う。これもタイプ２の場合と同様の処理で、中間階調の画素が多い見やすい画像に変換することができる。

逆光判定手段３ａの分類結果がタイプ４の場合、ヒストグラムは、低輝度に１つの山部がある形状をしているため、それを高輝度側へ広げるような補正を行う。例えば、タイプ１の場合とは逆に高輝度の傾きが大きいガンマカーブを画面全体に適用する。分類結果がタイプ５の場合には、補正処理を行わない。

なお、上記に示した画像補正手段４ａの補正処理は、画像全体もしくは局所的に適用するガンマカーブを変更したり、画像信号に一定値を加算したりすることで、実現可能である。

以上のように、本実施の形態の画像処理装置によれば、逆光と順光の２つに分類するのではなく、同じ逆光であっても、低輝度側の階調が潰れた黒潰れが存在するもの、逆に高輝度側の階調がつぶれた白飛びが存在するもの、中間階調が抜けたものなど、ヒストグラムの形状から画像信号の特徴をより細かく分類する。これにより、各々の特徴に適した画像補正が可能になる。

また、本実施の形態の画像処理装置によれば、高輝度、中間輝度、低輝度の範囲を指定し、各輝度の累積頻度を算出して判定に用いるようにしたので、同じ特徴（タイプ２とタイプ５の分類でいう白飛びした部分）を持っていても、最適な補正方法に合わせて判定することが可能になる。

また、本実施の形態の画像処理装置によれば、中間輝度領域にある画素の割合が、所定値以下である条件をも満たす場合に、逆光と判断することで、山部のヒストグラム上の絶対的位置（階級）を考慮でき、人の目の感度特性と合致する逆光判断ができる効果がある。特に、人の目の感度に合わせるように、高輝度領域、中間輝度領域および低輝度領域の輝度の範囲の幅を、中間輝度領域、低輝度領域、高輝度領域の順に予め広く設定しておくことによって、より人の目の感度特性に合う逆光判断ができる。

１ ヒストグラム算出手段、 ２ ヒストグラム特徴抽出手段、 ３，３ａ 逆光判定手段、 ３，４ａ 画像補正手段、 ２１ ピーク検出手段、 ２２ 山部検出手段、
２３ 特徴算出手段、 １００ 輝度ヒストグラム、 １１３ 低輝度領域、 １１５ 中間輝度領域、 ３０１、３０２ 画質補正用ガンマカーブ。

Claims (12)

1. 入力された画像信号から輝度信号のヒストグラムを作成するヒストグラム算出手段と、
   前記ヒストグラムから連続する階級範囲を山部として検出し、前記山部が複数ある場合の前記山部の間隔および前記山部の数を前記ヒストグラムの特徴として算出するヒストグラム特徴抽出手段と、
   前記ヒストグラムの特徴から前記画像信号が逆光であるか否かの逆光判定をする逆光判定手段と、
   前記逆光判定の結果に基づき、前記画像信号を補正する画像補正手段とを備えた画像処理装置。
2. ヒストグラム特徴抽出手段は、ヒストグラムから頻度の極大値を検出し、前記極大値をとる階級の周囲で、前記極大値に対して予め定めた所定の割合以上の頻度を有する階級領域を山部として検出することを特徴とする請求項１に記載の画像処理装置。
3. ヒストグラム特徴抽出手段は、検出した山部のうち最低の階級を含む前記山部の突出度合いおよび最高の階級を含む前記山部の突出度合いをヒストグラムの特徴として算出することを特徴とする請求項１または２に記載の画像処理装置。
4. ヒストグラム特徴抽出手段は、互いに重複のない高輝度領域、中間輝度領域および低輝度領域の３つの輝度領域を予め設け、画像信号の全画素の中で輝度値が前記各輝度領域内の輝度値を持つ画素の割合をヒストグラムの特徴として算出し、
   前記中間輝度領域の輝度の範囲は、前記高輝度領域および前記低輝度領域の輝度範囲より広いことを特徴とする請求項３に記載の画像処理装置。
5. 逆光判定手段は、ヒストグラムの特徴に基づいて、
   最低階級を含む山部の前記突出度合いが予め定めた第一の所定値以上である場合と、
   最高階級を含む前記山部の前記突出度合いが予め定めた第二の所定値以上である場合と、
   前記山部の数が２であり、前記山部の間隔が予め定めた第三の所定値以上である場合とを逆光であると判定することを特徴とする請求項３に記載の画像処理装置。
6. 逆光判定手段は、ヒストグラムの特徴に基づいて、
   最低階級を含む山部の前記突出度合いが予め定めた第一の所定値以上である場合と、
   最高階級を含む前記山部の前記突出度合いが予め定めた第二の所定値以上であり、かつ中間輝度領域の画素の割合が予め定めた第四の所定値より小さい場合と、
   前記山部の数が２であり、前記山部の間隔が予め定めた第三の所定値以上である場合とを逆光であると判定することを特徴とする請求項４に記載の画像処理装置。
7. 画像補正手段は、逆光判定手段にて逆光と判定された画像信号に対して輝度ヒストグラムにおける山部の突出度合いが予め定めた第五の所定値以上である前記山部の階級の値の差を広げるガンマカーブである補正カーブを前記画像に適用することを特徴とする請求項３ないし６のいずれか１項に記載の画像処理装置。
8. ヒストグラムの階級は、輝度レベルであり、
   画像補正手段は、平均輝度が山部の輝度レベルに該当する画素に対応する局所領域に補正カーブを適用することを特徴とする請求項７に記載の画像処理装置。
9. 逆光判定手段は、ヒストグラムの特徴から２以上の数の種類に判定することを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
10. ヒストグラム算出手段は、色差信号またはＲＧＢ信号のヒストグラムを算出することを特徴とする請求項１ないし９のいずれか１項に画像処理装置。
11. 入力された画像信号から輝度信号のヒストグラムを作成するヒストグラム算出手段と、
    前記ヒストグラムから連続する階級範囲を山部として検出し、前記山部が複数ある場合の前記山部の間隔および前記山部の数を前記ヒストグラムの特徴として算出するヒストグラム特徴抽出手段と、
    前記ヒストグラムの特徴から前記画像信号が逆光であるか否かの逆光判定をする逆光判定手段と、
    前記逆光判定の結果に基づき、前記画像信号を補正する画像補正手段として計算機を機能させる画像処理用プログラム。
12. 入力された画像信号から輝度信号のヒストグラムを作成するヒストグラム算出ステップと、
    前記ヒストグラムから連続する階級範囲を山部として検出し、前記山部が複数ある場合の前記山部の間隔および前記山部の数を前記ヒストグラムの特徴として算出するヒストグラム特徴抽出ステップと、
    前記ヒストグラムの特徴から前記画像信号が逆光であるか否かの逆光判定をする逆光判定ステップと、
    前記逆光判定の結果に基づき、前記画像信号を補正する画像補正ステップとを備えた画像処理方法。

Images