JP6110574B2 - ハイダイナミックレンジ画像化方法及びカメラ - Google Patents

Description

開示されている実施形態は、概してハイダイナミックレンジ（ＨＤＲ）画像化に関し、より詳細には、時間とコストの効率が高い方法で画像のセットを混合ＨＤＲ画像に結合するためのシステム及び方法に関するが、これに限定されるものではない。

ハイダイナミックレンジ（ＨＤＲ）は、画像化及び写真撮影で使用される技術のセットであって、通常の写真技術よりも高い輝度レベルを記録するために利用できる。ＨＤＲ機能がない従来のカメラは限られたダイナミックレンジで写真を撮影するので、シーンの詳細が失われてしまう。例えば、非ＨＤＲ写真を撮影する際に露出不足は通常暗部で起こり、露出過剰は通常、最も明るい部分で発生する。これは、センサーのダイナミックレンジ機能が限られているためである。通常、一般的な電荷結合素子（ＣＣＤ）センサーと相補型金属酸化膜半導体（ＣＭＯＳ）センサーを含むセンサーは、明るさの強度の約１:１０００、つまり６０ｄＢのダイナミックレンジを獲得できる。すなわち、最大電荷は最も暗い信号の約１０００倍である。しかし、多くの用途では１：１００００、つまり８０ｄＢ等のより広いダイナミックレンジのシーンでの作業を必要とする。ＨＤＲ画像化技術は、階調範囲がより広い単一の画像を作り出すために、異なる露出レベルで複数の写真をキャプチャし、それらの写真を結合することによって詳細の損失を補償する。ダイナミックレンジがより低い装置で容易にＨＤＲ画像を表示するために、トーンマッピング方法が適用され、集中化したコントラストを保持した画像を生成する。

ＨＤＲ画像化用に複数の写真を得るために、現代のカメラはダイナミックレンジがはるかに大きいオート露出ブラケット（ＡＥＢ）機能を提供する。この機能に基づいて、露出不足から露出過度まで露出レベルが増加した写真のセットを実現することは容易である。

ＨＤＲ画像化用に撮影された複数の写真を表示するために、従来のプロセスはＰＣで実行するアプリケーションソフトウェアを使用することによって達成される。今日では、現代のカメラの内部の画像信号プロセッサ（ＩＳＰ）は以前に比べてはるかに強力になっている。このことが、ベンダが内蔵ＨＤＲ機能を可能にするためにより高速のＨＤＲ画像化方法を開発する動機になっている。この傾向は写真撮影の利便性と効率を著しく強化している。さらに、ＨＤＲ画像化をリアルタイムで計算し、表示することができれば、ＨＤＲビデオ録画も可能になる。

典型的なＨＤＲプロセスは通常次の３つのステップを含む。つまり、（１）カメラ反応機能の推定、（２）ＨＤＲ画像化用の画像のセットの複数の露出の組合せ、及び（３）結合されたＨＤＲ画像のためのトーンマッピングである。カメラの画像化プロセスは、方 程式（１）
によって示されるシーン放射輝度
Ｅ_ｉ
及び露出構成
ｋ_ｊ
からピクセル明るさ
Ｚ_ｉ
への非線形マッピング
ｇ（Ｘ）
としてモデル化される。

方程式（１）

上式では、
ｋ_ｊ
は、開口部Ａ（Ｆ−値）、露出時間ｔ、及びＩＳＯ速度Ｓに関連付けられる。方程式（１）は、未知数よりも多くの方程式があり最小二乗法によって解くことができるため、過剰決定される。通常、
ｇ（Ｘ）は、グレースケールから放射輝度へルックアップテーブル（ＬＵＴ）を用いて実装される。

方程式（１）を解いた後、複数の露出の組合せは方程式（２）によって表すことができる。

方程式（２）

上式で、
ｗ（Ｘ）は、
明るさの重み関数であり、シーン放射輝度を回復するときの
ｚ_ｉ，ｊ
の重みを示す。図８には、通常の重み関数の結果を示す曲線が示されている。

方程式（２）の参考文献には多くのトーンマッパーが記載されている。通常のディスプレイの場合、簡略なトーンマッピング演算子は方程式（３）に示される。

方程式（３）

上式では、

は、スケーリングされた輝度であり、α＝０．１８である。

方程式（１）〜（３）で見られるように、従来のＨＤＲ画像化方法は、通常大量の計算リソースを必要とする。例えば、従来の方法では通常、特異値分解またはＱＲ分解によって解かれる最小二乗法が使用される。さらに、方程式（２）と方程式（３）はピクセルに関する指数演算と対数演算を必要とする。したがって、内蔵ＨＤＲ機能にとっては計算上の複雑さが主たる問題となり、その複雑さがＨＤＲビデオを不可能にしている。

さらに、「赤、緑、青」（ＲＧＢ）色空間に基づくＨＤＲ画像化のための従来の方法にはいくつかの不利な点が含まれている。第１に、すべてのＲＧＢチャネルは輝度に相互に関連付けられているため、カメラ反応機能の推定は３つすべてのチャネルの下で行われなければならず、したがって計算的に高価である。第２に、サンプリングがグレースケールの範囲をカバーするのは困難である。サンプリングバイアスによって、推定の性能が下がることがある。第３に、微小光での色の雑音が推定の性能を下げることがある。最後に、トーンマッピングは白のアンバランス等、色の歪みにつながることがある。

したがって、ＨＤＲ画像化のために品質を保ちつつ時間とコストの効率が高い方法で画像のセットを混合ＨＤＲ画像に結合するためのシステム及び方法の必要性がある。

本発明の開示は、ハイダイナミックレンジ画像化のための方法及び装置を提示する。由来に基づき、本発明の開示は、以前の方法により使用されていたハイダイナミックレンジ放射輝度マップの回復を放棄することが可能になったことを指摘する。輝度チャネルはそれぞれの混合曲線と異なる露出を結合することによって高速計算される。輝度チャネルは既存の方法と比べて大量の計算リソースを節約する。提案されている方式は、輝度（Ｙ）、青輝度（Ｕ）、及び赤輝度（Ｖ）（ＹＵＶ）色空間で実行されると、以前の方法が被っていた色のミスバランスと輝度アーチファクト等の問題を克服するための特別な後処理を必要としない。

本明細書に開示される主題の第１の態様に従って、ハイダイナミックレンジ（ＨＤＲ）画像化のための方法が提供される。その方法は、ルックアップテーブル（ＬＵＴ）のセットに基づきＹＵＶ色空間で画像のセットのＹ成分の重みを計算すること、混合されたＹ成分を生成するために画像のセットのＹ成分を重みと混合すること、及びＹＵＶ色空間で単一の画像を生成するために混合されたＹ成分を対応するＵＶ成分と結合することを含む。

いくつかの実施形態によると、その方法はさらに、ＨＤＲ画像化用の画像のセットの露出構成に基づいてルックアップテーブル（ＬＵＴ）のセットを初期化することを含む。

いくつかの実施形態によると、その方法はさらに、各画像が固有の露出構成となるように異なる露出構成でＲＧＢ色空間内の画像のセットを露出すること、及び計算の前に画像のセットをＲＧＢ色空間からＹＵＶ色空間に変換することを含む。

いくつかの実施形態によると、その方法はさらに、平均化されたＵＶ成分を達成するためにＹＵＶ色空間で画像のセットのＵＶ成分の値を平均化することを含む。

いくつかの実施形態によると、結合することは、ＹＵＶ色空間で単一のＨＤＲ画像を生成するために混合Ｙ成分を平均化ＵＶ成分と結合することを含む。

いくつかの実施形態によると、その方法はさらに、ＲＧＢ色空間でＨＤＲ画像を生成するために単一のＨＤＲ画像をＹＵＶ色空間からＲＧＢ色空間に変換することを含む。

その方法のいくつかの実施形態によると、Ｙ成分の重みを計算することは、各画像の露出構成に基づいて複数の関数から選択された１つの関数を用いてＹ成分を計算することを含む。

その方法のいくつかの実施形態によると、各画像の露出構成に基づいて複数の関数から選択された１つの関数を用いてＹ成分を計算することは、第１の修正シグモイド関数を最大の露出不足画像のＹ成分の計算に適用すること、第１のシグモイド関数の導関数を正常露出画像のＹ成分の計算に適用すること、第２の修正シグモイド関数を最大の露出過度画像のＹ成分の計算に適用することを含む。

その方法のいくつかの実施形態によると、各画像の露出構成に基づいて複数の関数から選択された１つの関数を用いてＹ成分を計算することはさらに、第１の修正シグモイド関数と第１の修正シグモイド関数の導関数との間の第１の補間関数を露出不足画像のＹ成分の計算に適用すること、及び第１の修正シグモイド関数の導関数と第２の修正シグモイド関数との間の第２の補間関数を用いて露出過度画像のＹ成分の計算に適用することを含む。

その方法のいくつかの実施形態によると、最大露出不足画像のＹ成分を計算することは、Ｓ（ｘ，ａ）
の関数を最大露出不足画像のＹ成分の計算に適用することを含み、正常露出画像のＹ成分を計算することは、

の関数を正常露出画像のＹ成分の計算に適用することを含み、最大露出過度画像のＹ成分を計算することは、Ｓ（２５５−ｘ、ａ）
の関数をＹ成分に適用することを含む。

その方法のいくつかの実施形態によると、露出不足画像関数のＹ成分の計算に適用することは、



の関数をＹ成分の計算に適用することを含み、露出過度画像のＹ成分の計算に適用することは、

の関数をＹ成分の計算に適用することを含む。

いくつかの実施形態によると、係数αは［０−１］の範囲内にあり、係数βは［０−１］の範囲内にある。

いくつかの実施形態によると、その方法はさらに、Ｙ成分の計算された重みを平滑化することを含む。

その方法のいくつかの実施形態によると、平滑化することは、Ｙ成分の計算された重みを用いてガウスフィルターを適用することを含む。

その方法のいくつかの実施形態によると、ＵＶ成分を平均化することは平均計算

を画像のセットの各ＵＶ成分に適用することを含む。

本明細書に開示される主題の第２の態様によると、ハイダイナミックレンジ画像化容量を備えた画像化カメラが提供される。カメラは上述の実施形態のいずれかに説明される方法のいずれかの方法を実行するためのＨＤＲモジュールを備える。

ＨＤＲ画像を撮影するために使用される、ＨＤＲ機能を備えたカメラの実施形態を示す例示的なトップレベルモジュール図である。 ＨＤＲビデオを撮影するために使用される図１のカメラの代替実施形態を示す例示的なトップレベルモジュール図である。 異なる露出の５つの画像のセットがＨＤＲ画像化のために撮影される、図１のカメラの別の代替実施形態を示す例示的なトップレベルモジュール図である。 異なる露出の７つの画像のセットがＨＤＲ画像化のために撮影される、図１のカメラのさらに別の代替実施形態を示す例示的なトップレベルモジュール図である。 ＹＵＶ色空間の画像のセットを１つのＨＤＲ画像に結合することを含む、図１または図２に示されるＨＤＲモジュールで実装される方法の実施形態を示す例示的なフローチャートである。 画像のセットのＵＶ成分を平均化すること、及び露出構成のためにＬＵＴを初期化することを含む、図５の方法の実施形態を示す例示的なフローチャートである。 ＲＧＢ色空間の画像のセットをＲＧＢ色空間のＨＤＲ画像に結合することを含む、図５または図６の方法の実施形態を示す例示的なフローチャートである。 重み計算を実装することを含む、図５、図６、または図７の方法の代替実施形態を示す例示的なフローチャートである。 各モジュールに適用可能な方程式が示される、図８の方法の実施形態をさらに示す例示的なフローチャートである。 ５つ以上の画像がＨＤＲ画像のための画像の１つのセットに含まれる、図８の方法の実施形態をさらに示す例示的なフローチャートである。 各モジュールに適用可能な方程式が示される、図１０の方法の実施形態をさらに示す例示的なフローチャートである。 ＨＤＲ画像化のための従来の方法によって使用される典型的な重み関数のための混合曲線を示す曲線図である。 本明細書に開示される方法の実施形態について ａ＝−０．０５のときの重み関数の混合曲線を示す曲線図である。 ３つの露出、−１ＥＶ（図１４Ａ）、０ＥＶ（図１４Ｂ）、＋１ＥＶ（図１４Ｃ）の３つの画像のセット、並びにそれぞれ図１４Ｄ、図１４Ｅ、及び図１４Ｆに示される対応する視覚化されたそれらの重みを示す図である。 ３つの画像（−１ＥＶ、０ＥＶ、＋１ＥＶ）のセットがＨＤＲ画像を生成するために使用される、提案されている方法を使用するＨＤＲ画像化の例を示す図である。 ３つの画像（−１ＥＶ、０ＥＶ、＋１ＥＶ）のセットがＨＤＲ画像を生成するために使用される、提案されている方法を使用するＨＤＲ画像化の例を示す図である。 ３つの画像（−１ＥＶ、０ＥＶ、＋１ＥＶ）のセットがＨＤＲ画像を生成するために使用される、提案されている方法を使用するＨＤＲ画像化の例を示す図である。

図が縮尺通りに描かれていないこと、及び類似する構造または機能の要素が、概して図の全体を通じて例示的な目的のために類似する参照番号で表されることに留意すべきである。また、図が好ましい実施形態の説明を容易にすることだけを目的としていることにも留意すべきである。図は説明される実施形態のあらゆる態様を示すわけではなく、本開示の範囲を制限しない。

本開示は、ハイダイナミックレンジ画像化用の高速適応混合のためのシステムと方法を説明している。そのシステムと方法は、ハイダイナミックレンジ画像化のために異なる露出が指定された画像のセットを撮影可能なあらゆる画像撮影装置に概して適用できるが、例示的な目的のためだけに露出不足から露出過度へ露出レベルが増分する画像のセットを撮影できるカメラに関して図示され、説明される。

本明細書に説明されるシステムと方法の目的を示すために、図１４はそれぞれ図１４Ａ、図１４Ｂ、及び図１４Ｃを用いて増分露出（−１ＥＶ、０ＥＶ、＋１ＥＶ）の３つの画像のセットの例を提示する。３つの画像のそれぞれがシーンの特定の部分（複数の場合がある）の詳細をキャプチャする。例えば、シーンの空は図１４Ａにキャプチャされ、シーンの川は図１４Ｂにキャプチャされ、シーンの建物とボートは図１４Ｃにキャプチャされる。そのシステムと方法の目的は、露出が異なるその３つの画像を、３つの画像のそれぞれのそれらの詳細をもつ部分を保持する１つのＨＤＲ画像に結合することである。

図１は、ＨＤＲ画像化のための上述した目的を達成するためのカメラ１００を示す。カメラ１００は、シーン１９８を表す光を受光するためのレンズ１０２を有するとして図１に示されている。レンズ１０２を介して受光された光は、データフロー１３３を生成するための光信号１３１を通してセンサー１０４に提供される。データフロー１３３はシーン１９８の画像信号を表す。データフロー１３３は画像信号プロセッサ（ＩＳＰ）１１０の画像化パイプライン１１２に転送される。画像信号プロセッサ（ＩＳＰ）１１０はＨＤＲモジュール１１４を備えたチップを含む。画像信号プロセッサ１１０の自動露出モジュール１１６は、生成され、メモリ１０６に記憶される各画像の露出を制御する。図１に示されるように、例えば露出不足画像１０６Ａ、正常露出画像１０６Ｂ、及び露出過度画像１０６Ｃの３つの画像のセットはセンサー１０４及び画像信号プロセッサ１１０によって生成できる。３つの画像のセットはメモリ１０６に記憶される。画像のセットは次に画像化パイプライン１１２によってＨＤＲモジュール１１４にパイプラインで送られる。ＨＤＲモジュール１１４は単一のＨＤＲ画像を生成するために画像のセットを結合する。パイプラインで送られた画像のセットは、画像のそれぞれの露出構成を含む。したがって、ＨＤＲモジュール１１４の目的はその露出構成だけではなく特定のシーンを表す画像のセットを撮影すること、及び単一のＨＤＲ画像１９９を生成することである。

同様にＨＤＲビデオを撮影するために、カメラ１００は、シーン１９８を表す光を受光するためのレンズ１０２を有するとして図２に示される。レンズ１０２を介して受光された光はデータフロー１３１を生成するためにセンサー１０４に提供される。データフロー１３１は、画像の連続セットの流れを表す。制御システム１２０は、ビデオの特定のフレームに異なる露出の画像のセットを得るために、改変利得モジュール１１８を介してセンサー１０４の利得値を改変する。図２に示されるように、例えば、露出不足画像１０６Ａ、正常露出画像１０６Ｂ、及び露出過度画像１０６Ｃの３つの画像のセットはデータフロー１３４を介してカメラのメモリ１０６のビデオのフレームごとに生成できる。制御システム１２０は画像化パイプライン１１２によってメモリ１０６からのデータフロー１３６を制御する。パイプラインで送られた画像のセットは、３つの画像と画像のそれぞれの露出構成を含む。パイプラインで送られた画像はデータフロー１３５を介してＩＳＰ１１０のＨＤＲモジュール１１４に提供される。ＨＤＲモジュール１１４は、次にビデオのフレームを表す単一のＨＤＲ画像１９９を生成するために露出構成を鑑みて特定のフレームのための画像のセットを結合する。ビデオの中の各フレーム、つまりＨＤＲ１９９はビデオクリップを表すＨＤＲ画像、つまりフレームの連続的な流れを生成するために説明されるように処理される。

図１及び図２の構成は、例示の目的のためだけに３つの画像のセットに基づいてＨＤＲ画像化を実現するとして示され、説明されているが、本明細書に開示される方法は任意の数の画像と共に使用するのに適している。開示された方法は、通常、奇数のＨＤＲ画像と使用される。例えば、本明細書に開示される方法は、ＨＤＲ画像のための露出値が異なる５つ以上の画像のセットに適用できる。オート露出ブラケット（ＡＥＢ）機能を備えたＨＤＲ画像化用の典型的な露出構成では、シーン１９８を露光するときに露出ブラケットが使用される。露出は任意の適切な順序（またはシーケンス）で取ることができるが、通常、正常露出が先に決定される。次に、選択した正常露出に基づいて、正常露出の画像を含む一連の画像を形成するために正の方向と負の方向の両方で一定間隔で露出補正を用いて複数の画像が撮影される。画像のシーケンスの露出値が等差数列を形成する。例えば、５つの画像のシーケンスの場合、正常露出値を０ＥＶに設定することが可能で、露出補正の一定間隔は１として選択する。その場合、画像のシーケンスの露出値は（−２ＥＶ、−１ＥＶ、０ＥＶ、＋１ＥＶ、＋２ＥＶ）となり得る。同じ例で、間隔定数が２として選択される場合、画像のシーケンスの露出値は（−４ＥＶ、−２ＥＶ、０ＥＶ、＋２ＥＶ、＋４ＥＶ）となり得る。言い換えると、間隔定数は画像のシーケンスを生成するための任意の適切な数を含むことがある。

同じ概念は７つ以上の画像のシーケンスに適用する。７つの画像のシーケンスで、正常露出値が０ＥＶに設定され、間隔定数が１として選択されると、画像のシーケンスの露出値は（−３ＥＶ、−２ＥＶ、−１ＥＶ、０ＥＶ、＋１ＥＶ、＋２ＥＶ、３ＥＶ）となり得る。同様に、間隔定数が２として選択されると、シーケンスは（−６ＥＶ、−４ＥＶ、−２ＥＶ、０ＥＶ、＋２ＥＶ、＋４ＥＶ、６ＥＶ）となるだろう。本開示の目的のため、画像のシーケンスは画像のセットと同等である。

図３は、上述の段落に説明されるように複数の露出構成の５つの画像のセットでＨＤＲ画像を撮影するカメラ１００を示す。５つの画像のセットは２つの露出不足画像１０６Ａ、１０６Ｄ、１つの正常露出画像１０６Ｂ、及び２つの露出過度画像１０６Ｅ、１０６Ｃを含む。１０６Ａ、１０６Ｄ、１０６Ｂ、１０６Ｅ、及び１０６Ｃの露出値は上述されたように等差数列を形成する。図４は、３つの露出不足画像１０６Ａ、１０６Ｆ、１０６Ｄ、１つの正常露出画像１０６Ｂ、及び３つの露出過度画像１０６Ｅ、１０６Ｇ、１６Ｃを含んだ７つの画像のセットでＨＤＲ画像を撮影するカメラ１００を示す。図３及び図４に示されるプロセスは、ＨＤＲ画像化のためのセットの中の画像の数を除き、図１に示されるプロセスと同じである。１０６Ａ、１０６Ｆ、１０６Ｄ、１０６Ｂ、１０６Ｅ、１０６Ｇ、及び１０６Ｃの露出値が等差数列を形成する。

ここで、カメラ１００がＨＤＲ画像を処理する１つの方法が、ＨＤＲモジュール１１４（図１及び図２に図示）によって実行される方法２００の実施形態を示す図５を用いて示される。図５で、方法２００は画像のセットを処理するために２つの処理分岐を提供する。第１の処理分岐２０１Ａは画像のセットのＹ成分を処理し、第２の分岐２０１Ｃは画像のセットの露出構成を取得する。ＨＤＲモジュール１１４（図１及び図２に図示）がその露出構成とともにＹＵＶ色空間で画像のセットを受信すると、２１９で、ＨＤＲモジュール１１４は画像のセットから選択された画像ごとにＹ成分を選択する。次に、２２０で、ＨＤＲモジュール１１４は、２２９で取得される露出構成を用いて重み計算を調整することによって画像のセットのＹ成分ごとに重みを計算する。２２０の重み計算は図８、図９、図１０、及び図１１で説明される。

２２０で計算された重みに基づき、ＨＤＲモジュール１１４は、２０６で１つの混合された（つまり複合）Ｙ成分を生成するために画像のセットの各画像のＹ成分を混合する。次にステップ２０８で、ＨＤＲモジュール１１４は、ＹＵＶ色空間でＨＤＲ画像を生成するために混合したＹ成分を画像のセットの対応するＵＶ成分と結合する。

図５の方法２００の別の実施形態が図６を用いてさらに示される。ＨＤＲ画像用に撮影されたＹＵＶ色空間の画像のセットを処理するために、方法２００は画像のセットを処理するための３つの処理分岐を提供する。つまり、第１の処理分岐２０１Ａは画像のセットのＹ成分を処理し、第２の処理分岐２０１Ｂは画像のセットの露出構成を処理し、第３の処理分岐２０１Ｃは画像のセットのＵＶ成分を処理する。ＨＤＲモジュール１１４（図１及び図２に図示）がＹＵＶ色空間の画像のセットをそれらの露出構成ととともに受信すると、２０２でＨＤＲモジュール１１４は、画像のセットから選択される１つの画像の露出構成ごとにルックアップテーブル（ＬＵＴ）を初期化する。次に、２２０で、図２Ａと同様に、ＨＤＲモジュール１１４は露出構成を用いて重み計算を調整することによって画像のセットのＹ成分ごとに重みを計算する。２２０で計算された重みに基づいて、ＨＤＲモジュール１１４は、２０６で１つの混合された（つまり複合）Ｙ成分を生成するために画像のセットの画像ごとにＹ成分を混合する。

方法２００の処理分岐２０１Ａで、ＨＤＲモジュール１１４は、２０９で画像の同じセットのＵＶ成分を選択し、２１０で画像の中の選択されたＵＶ成分の値の平均を計算し、平均化されたＵＶ成分を生成する。２０８で、ＨＤＲモジュール１１４は、ＹＵＶ色空間で単一のＨＤＲ画像を生成するために混合Ｙ成分と平均化ＵＶ成分を結合する。

図７に示される方法２００の別の実施形態では、ＨＤＲモジュール１１４は赤‐青‐緑（ＲＧＢ）色空間でのＨＤＲ画像化用の画像のセットを処理する。図６に説明される内容と同様に、方法２００も画像のセットを処理するための３つの処理分岐を提供する。第１の処理分岐２０１Ａは画像のセットのＹ成分を処理し、第２の処理分岐２０１Ｂは画像のセットのＵＶ成分を処理し、第３の処理分岐２０１Ｃは画像のセットの露出構成を処理する。図６に関して上述されるように、ステップ２０２でＨＤＲモジュール１１４は画像のセットから選択された１つの画像の露出構成ごとにルックアップテーブル（ＬＵＴ）を初期化する。図６に説明されるのとは違い、本実施形態の下でのＨＤＲモジュールは、画像のセットの画像ごとにＹ成分の重みを計算する前に、２０１でＲＧＢ色空間からＹＵＶ色空間に画像のセットを変換する。ＲＧＢをＹＵＢに変換するための技術で使用可能ないずれの従来の方法も２０１で使用できる。

ＲＧＢからＹＵＶ色空間に変換した後、ＨＤＲモジュール１１４はＹＵＶ色空間で画像のセットから選択された画像ごとにＹ成分の重みを計算する。図５及び図Ｂに説明される内容と同様に、２２０でＨＤＲモジュール１１４は露出構成を用いて重み計算を調整することによって重みを計算する。図５及び図６に説明される内容に加えて、２０５でＨＤＲモジュール１１４は潜在的なアーチファクトを削減するために平滑化演算を実行する。２０５での平滑化の後に、ＨＤＲモジュール１１４は２０６で１つの混合されたＹ成分を生成するために画像のセットの画像ごとにＹ成分を混合する。

図６に関して上述された方法では、ＨＤＲモジュール１１４は２１０でＵＶ成分の値を平均して平均ＵＶ成分を生成するために、同じセット画像のＵＶ成分を取る。２０８で、ＨＤＲモジュール１１４は、ＹＵＶ色空間で単一のＨＤＲ画像を生成するために混合Ｙ成分と平均化ＵＶ成分を結合する。最後に、２０９で、ＨＤＲモジュール１１４はＨＤＲ画像を生成するために、結合されたＹＵＶ色空間をＲＧＢ色空間に変換する。

方法２００の上記実施形態は、背景技術の項で説明されたＨＤＲ画像化用の既存の方法の方程式（３）をさらに演繹することに基づき作成される。一実施形態では、図５、図６、及び図７の方法２００は以下に方程式（３）を書き換えることによって実装できる。

本実施形態では、方法２００は方程式（２）及び方程式（３）について説明されたトーンマッピングを排除する。従来のＨＤＲ方法では、それらのトーンマッピングは放射輝度マップの回復後に実行されるため、このような回復は計算的に高価になる。本開示では、
ｆ（Ｘ）が
以下となるように近似を満たすための特性を満たすと仮定する。

方程式（４）

概して以下と仮定するのが妥当であり、

ここでは
δ_ｊ
は正常露出で小さく、露出不足で正であり、露出過度で負である。したがって、方程式（４）は方程式（５）として書き換えることができる。

方程式（５）

上式では

はパラメータ

と関連付けられた歪みである。露出のセットが対称であり、シーン１９８が大きな範囲のグレースケールを対象とすると仮定する場合、

であり、歪み

は省略できる。したがって、ＨＤＲ画像化は異なる露出の混合に簡略化できる。

背景技術の項で説明された上述の方法とは異なり、本開示で使用される重み関数は画像と関連付けられた露出構成を考慮に入れる。数学的には、

が

で置き換えられる。以下を

修正シグモイド関数とすると、１つの露出不足、１つの正常露出、及び１つの露出過度として選択された３つの画像があるとき、提案されている重み関数は方程式（６Ａ）で定義される。

方程式（６Ａ）

上式で、
Ｓ’（ｘ，ａ）
は、
Ｓ（ｘ，ａ）
の導関数であり、
そして、
ａ
は、曲線の形状を制御するために使用される。

と

は、露出値に線形比例する混合係数である。

方程式（６Ａ）に基づいた計算の一実施形態は図８に示される。図８は、図６に関しで上述されるように、２２０で重みを計算するモジュール、２０６でＹ成分を混合するモジュールのための１つの方法の詳細を示すフローチャートである。２２１で、ＨＤＲモジュール１１４（図１及び図２に示される）は３つの画像のセット、つまり最大露出不足画像１０６Ａ、正常露出画像１０６Ｂ、及び最大露出過度画像１０６Ｃ（集合的に図１〜図２に図示）をとる。各画像の異なる露出構成に基づき、ＨＤＲモジュール１１４は３つの画像のセットから選択された画像ごとに重みを計算する上で異なる方程式を適用できる。最大露出不足画像の場合、ＨＤＲモジュール１１４は２２３で第１の修正シグモイド関数、Ｓ（ｘ，ａ）を適用する。正常露出画像の場合、ＨＤＲモジュール１１４は、２２５で第１の修正シグモイド関数の導関数

を適用する。最大露出過度画像の場合、ＨＤＲモジュール１１４は、２２８で第２の修正シグモイド関数Ｓ（２５５−ｘ，ａ）を適用する。画像のそれぞれのＹ成分は、図５、図６、及び図７を参照して上述された方法で混合Ｙ成分を生成するために、２０６で、計算された重みに基づいて混合できる。

方程式（６Ａ）について上記に示された説明に基づき、計算（６Ａ）は以下に要約できる。

方程式（６Ｂ）

方程式（６Ｂ）に係る方法の実施形態は図９に示される。Ｙ成分の重みを計算するとき、本実施形態の下のＨＤＲモジュール１１４は２２３で最大露出不足画像に第１の修正シグモイド関数を適用し、２２５で正常露出画像に第１の修正シグモイド関数の導関数を適用し、２２８で最大露出過度画像に第２の修正関数を適用する。

方法２００の別の実施形態は、ＨＤＲ画像化用に撮影された５つの画像の処理を含む。本実施形態では、５つの画像は異なった通常は対称的な露出、つまり図１及び図２に説明され、図３に示されるように２つの露出不足画像、１つの正常露出画像、及び２つの露出過度画像で撮影される。本実施形態の目的のため、最小の露出の画像が最大露出不足画像１０６Ａ（図３に図示）として選択され、正常露出画像が正常露出画像１０６Ｂとして選択され、最大露出の画像が最大露出過度画像１０６Ｃとして選択される。さらに、他の露出不足画像が露出不足画像１０６Ｄとして選択され、他の露出過度画像が露出過度画像１０６Ｅとして選択される。５つの画像のセットに重み係数を提供するための一実施形態が、方程式（７Ａ）に関して以下に説明される。

方程式（７Ａ）

上式で、
Ｓ’（ｘ，ａ）
は
Ｓ（ｘ，ａ）
の導関数であり、
ａ
は、曲線形状を制御するために使用され、

は露出値に線形比例する混合係数である。

方程式（７Ａ）に従ってＹ成分に適用される重みを計算するための１つの方法２２０の実施形態が図１０に示される。図１０では、ＨＤＲモジュール１１４（図１から図２に図示）はＨＤＲ画像のために５つの画像のセットをとる。図８に説明された３つの画像に加えて、図１０では最大露出不足処理モジュール２２３と正常露出処理モジュール２２５との間に１つの露出不足処理モジュール２２４がある。また、図１０では正常露出モジュール２２５と最大露出過度処理モジュール２２８との間に１つの露出過度処理モジュール２２７がある。露出不足画像１０６Ｄの場合、２２４で、ＨＤＲモジュール１１４は第１の補間関数

を適用し、これは第１の修正シグモイド関数
Ｓ（ｘ，ａ）
の補間関数であり、第１の修正シグモイド関数

の導関数である。露出過度画像１０６Ｅの場合、２２７で、ＨＤＲモジュール１１４は第２の補間関数

を適用し、これは第１の修正シグモイド関数の導関数

及び第２の修正シグモイド関数
Ｓ（２５５−ｘ，ａ）
の補間関数である。５つの画像のそれぞれのＹ成分は、混合Ｙ成分を生成するために、２０６で、計算された重みに基づいて混合される。

計算（７Ａ）は以下に要約できる。

方程式（７Ｂ）

（７Ｂ）に係る方法２２０の実施形態は図１１に示される。本実施形態では、最大露出不足画像１０６Ａ、正常露出画像１０６Ｂ、及び最大露出過度画像１０６Ｃの重みを、図９に関して上述された方法で計算できる。露出不足画像１０６Ｄの場合、ＨＤＲモジュール１１４は図９に関して上述されたように補間関数を適用する。露出過度画像１０６Ｅの場合、ＨＤＲモジュール１１４は図９に関して上述されたように第２の補間関数を適用する。５つの画像のそれぞれのＹ成分は、混合Ｙ成分を生成するために、２０６で、計算された重みに基づいて混合される。

図１０及び図１１の実施形態は５つの画像のセットを用いて示されているが、７つ以上（通常は奇数）の画像のセットも方法２００で処理できる。７つの画像のセットを処理するための第１の例示的な実施形態では、７つの画像は図１〜図４に関して上述された方法で露出される。

本実施形態の目的のため、最大露出不足画像、正常露出画像、及び最大露出過度画像が図１０及び図１１に関して説明されるように選択できる。最大露出不足画像と正常露出画像との間の２つの画像の内の一方は露出不足画像１０６Ｄとして選択でき、正常露出画像と最大露出過度画像との間の２つの画像の内の一方は露出過度画像１０６Ｅとして選択できる。露出不足画像１０６Ｄと露出過度画像１０６Ｅは、通常、正常露出画像１０６Ｂを基準に対称に選択される。本実施形態では、選択されていない他方の２つの画像は無視される。選択された画像の重み計算は図１０及び図１１に関して上述された方法で求めることができる。重み計算のための選択画像のＹ成分は混合画像を生成するために２０６で混合される。

７つ以上の画像のセットのプロセスも方法２２０の別の実施形態で利用できる。７つの画像のセット、露出構成、及び選択を処理するための実施形態の下で、最大露出不足画像１０６Ａ、正常露出画像１０６Ｂ、及び最大露出過度画像１０６Ｃは７つの画像のセットを処理するための第１の例示的な実施形態に関して説明されたのと同じである。本実施形態の下では、最大露出不足画像１０６Ａと正常露出画像１０６Ｂとの間の２つの露出不足画像（１０６Ｆ、１０６Ｄ）はともに露出不足画像として選択される。正常露出画像１０６Ｂと最大露出過度画像との間の２つの露出過度画像（１０６Ｅ、１０６Ｇ）は露出過度画像として選択される。

同じ実施形態によると、露出不足画像及び露出過度画像に方程式（７Ａ）を適用するとき、係数αを求める簡略な例示的な方法は、最大露出を除くすべての露出不足補正の合計（つまり最大露出を除く露出過度補正値）に対する各露出補正値の割合を用いて係数αを計算することである。例えば、画像１０６Ａ、１０６Ｆ、１０６Ｄ、１０６Ｂ、１０６Ｅ、１０６Ｇ、及び１０６Ｃに対応する（３ＥＶ、−２ＥＶ、−１ＥＶ、０ＥＶ、＋１ＥＶ、＋２ＥＶ、３ＥＶ）の露出シーケンスでは、最大露出１０６Ｆ、１０６Ｄを除くすべての露出不足補正の合計は‐３であり、１０６Ｆの露出補正値は‐２である。したがって、係数αは３分の２、２／３である。１０６Ｆの重みを計算するとき、方程式（７Ａ）は以下になる。

１０６Ｄの露出補正値は‐１である。したがって、係数αは３分の１、１／３である。１０６Ｆの重みを計算するとき、方程式（７Ａ）は以下になる。

同じ手法は露出過度画像１０６Ｅと１０６Ｇに適用する。本実施形態ではセット中の７つすべての画像のＹ成分が２０６で混合される。

方程式（６Ａ）〜（７Ｂ）に基づく２０６での混合方式は、特にシーン１９８のコントラストが特に高いときに、混合Ｙ成分にアーチファクトを生じさせることがある。方法２００の一実施形態は、アーチファクトを削減しようとして計算される重みを平滑化するための演算を含むことがある。重み（図７に図示）を平滑化するための演算は、図８と図９の２２３、２２５、及び２２８と、図１０と図１１の２２３、２２４、２２５、２２７及び２２８等の重み計算の内の１つまたは複数の後に、並びに図８〜図１１の２０６での混合演算の前に起こることがある。例示的な例として、ガウスフィルターが、混合時のアーチファクトを削減する、またはアーチファクトを克服するためにも、計算された重みを平滑化するために使用できる。

上述されたように、画像品質の損失を回避し、ＨＤＲ画像化プロセスを加速するために、提案されている方法の実施形態ではＹＵＶ色空間の画像を処理する。ダイナミックレンジを計算するためにはＹ成分だけをとられる。ＵＶ成分については、普通のすべての結合方法を使用できる。方法２００の一実施形態では、ＵＶ成分は以下の方程式（８）に示される簡略な平均計算で結合される。

方程式（８）

図６及び図７を参照し直すと、処理されている画像のセットのＵＶ成分は２１０で簡単に平均化される。２１０での平均化演算の後、ＵＶ成分は２０８で単一のＨＤＲ画像を生成するために、２０８で混合Ｙ成分と結合される。

方法２００の一実施形態の下の最大露出不足画像、正常露出画像、及び最大露出過度画像の重み曲線を示す典型的な例の図が図１３に示される。

図１４は、最終結果だけではなく、３つの露出（−１ＥＶ、０ＥＶ、＋１ＥＶ）の３つの画像の重みを視覚化するための例を提示する。図１４は、ＨＤＲ画像のための３つの画像のセットを示し、図１４Ａは露出不足画像であり、図１４Ｂは正常露出画像であり、図１４Ｃは露出過度画像である。図１４の右側で、図１４Ｄは方法２００の下の混合方式での図１４Ａの重みを視覚的に示す。図１４Ｅは混合方式での図１４Ｂの重みを視覚的に示す。図１４Ｆは混合方式での図１４Ｃの重みを視覚的に示す。右側画像の明るい領域は、例えば図１４Ａの空、左真中の画像の川、及び図１４Ｃの建物とボート等、左側画像の同じ領域に対するより大きな重みを示す。

図１４の視覚化された重みは、シーン１９８（図１と図２に図示）の詳細のすべてが方法２００（図８と図９に図示）による３つの画像の結合でキャプチャされたことを示す。例えば、図１４Ａの露出不足画像はシーンの最も明るい部分の詳細をキャプチャし、その部分は空である。図１４Ｄは、図１４Ａの空の部分に画像の他の部分に比べて大きな重みが与えられていることを示す。同様に、図１４Ｂの正常炉修画像は川の詳細をキャプチャし、図１４Ｅは、図１４Ｂの川部分がより大きな重みを与えられていることを示す。図１４Ｃの露出過度画像は、建物とボートである最も暗い部分の詳細をキャプチャし、図１４Ｆは建物とボートにより大きな重みが与えられていることを示す。

図１５、図１６、及び図１７は、方法２００の実施形態を使用した３つの画像のセット及び結果として生じたＨＤＲ画像を示す３つの例である。図１５Ａ、図１６Ａ、及び図１７Ａは最大露出不足画像（−１ＥＶ）１０６Ａとして選択される。図１５Ｂ、図１６Ｂ、及び図１７Ｂは正常露出画像（０ＥＶ）１０６Ｂとして選択される。図１５Ｃ、図１６Ｃ、及び図１７Ｃは最大露出過度画像（＋１ＥＶ）１０６Ｃとして選択される。図１５Ｄ、図１６Ｄ、及び図１７Ｄは結果として生じたＨＤＲ画像１９９である。図１５、図１６、及び図１７の例から、シーンの最も明るい部分と暗部のダイナミックレンジがＨＤＲ画像１９９では補正され、したがって３つの画像のセットのそれぞれの画像でキャプチャされた詳細がＨＤＲ画像１９９に反映されていることが分かる。

我々の試験結果によると、ＡＲＭ Ｃｏｒｔｅｘ Ａ９プロセッサで評価されるとき、提案されている方法は、ＨＤＲ放射輝度マップの回復を必要とする従来の方法よりも約１０倍速い。

本主題の開示は、カメラとカメラ付き携帯電話を含むが、これに限定されることのない、画像とビデオのＨＤＲ画像化で幅広く使用できるだろう。本主題開示が他の幅広いダイナミックレンジ画像化システムにも適用できることは排除されない。

説明されている実施形態は、多様な変更形態及び代替形式を受け入れることができ、その特定の実施例は図面に例として示され、本明細書に詳細に説明されている。ただし、説明されている実施形態が、開示されている特定の形式または方法に制限されず、逆に、本開示がすべての変更形態、同等物、及び代替物を対象とすることが理解されるべきである。

Claims (13)

1. ハイダイナミックレンジ（ＨＤＲ）画像化方法であって、
   ルックアップテーブル（ＬＵＴ）のセットに基づきＹＵＶ色空間の画像のセットのＹ成分の重みを計算するステップと、
   混合Ｙ成分を生成するために画像の前記セットのＹ成分を前記重みで混合するステップと、
   ＹＵＶ色空間で単一のＨＤＲ画像を生成するために前記混合Ｙ成分を対応するＵＶ成分と結合するステップと、
   を含み、
   Ｙ成分の重みを前記計算するステップが、画像の前記セットの各画像の露出構成に基づいて複数の関数から選択された１つの関数を用いて前記Ｙ成分を計算するステップを含み、
   各画像の前記露出構成に基づいて複数の関数から選択された１つの関数を用いて前記Ｙ成分を前記計算するステップが、
   第１の修正シグモイド関数を最大露出不足画像の前記Ｙ成分の計算に適用するステップと、
   前記第１の修正シグモイド関数の導関数を正常露出画像の前記Ｙ成分の計算に適用するステップと、
   第２の修正シグモイド関数を最大露出過度画像の前記Ｙ成分の計算に適用するステップと、
   前記第１の修正シグモイド関数と前記第１の修正シグモイド関数の前記導関数との間の第１の補間関数を露出不足画像の前記Ｙ成分の計算に適用するステップと、
   前記第１の修正シグモイド関数の前記導関数と前記第２の修正シグモイド関数との間の第２の補間関数を露出過度画像の前記Ｙ成分の計算に適用するステップと、
   を含むハイダイナミックレンジ画像化方法。
2. 画像の前記セットの露出構成に基づいて前記ルックアップテーブル（ＬＵＴ）の前記セットを初期化するステップをさらに含む、請求項１に記載のハイダイナミックレンジ画像化方法。
3. 各画像が固有の露出構成を有するように、異なる露出構成でＲＧＢ色空間の画像の前記セットを露出するステップと、
   前記計算の前にＲＧＢ色空間からＹＵＶ色空間に画像の前記セットを変換するステップと、
   をさらに含む、請求項１または請求項２に記載のハイダイナミックレンジ画像化方法。
4. 平均化ＵＶ成分を達成するために前記ＹＵＶ色空間で画像の前記セットのＵＶ成分の値を平均化するステップ、
   をさらに含む、請求項１から３のいずれか１つに記載の前記ハイダイナミックレンジ画像化方法。
5. 前記結合するステップが、ＹＵＶ色空間で単一のＨＤＲ画像を生成するために前記混合Ｙ成分を前記平均化ＵＶ成分と結合するステップを含む、請求項４に記載の前記ハイダイナミックレンジ画像化方法。
6. ＲＧＢ色空間でＨＤＲ画像を生成するためにＹＵＶ色空間からＲＧＢ色空間に前記単一のＨＤＲ画像を変換するステップ、
   をさらに含む、請求項５に記載の前記ハイダイナミックレンジ画像化方法。
7. 最大露出不足画像の前記Ｙ成分の計算に前記適用するステップが、
   Ｓ（ｘ，ａ）
   の関数を適用するステップを含み、
   正常露出画像の前記Ｙ成分の計算に前記適用するステップが、
   の関数を適用するステップを含み、
   最大露出過度画像の前記Ｙ成分の計算に前記適用するステップが、
   Ｓ（２５５−ｘ，ａ）
   の関数を適用するステップを含む、請求項１から６のいずれか１つに記載の前記方法。
8. 露出不足画像関数の前記Ｙ成分の計算に前記適用するステップが、
   の関数を適用するステップを含み、
   露出過度画像の前記Ｙ成分の計算に前記適用するステップが、
   の関数を適用するステップを含む、請求項７に記載の前記ハイダイナミックレンジ画像化方法。
9. 前記係数αが［０〜１］の範囲内にあり、前記係数βが［０〜１］の範囲内にある、請求項８に記載の前記ハイダイナミックレンジ画像化方法。
10. Ｙ成分の前記計算された重みを平滑化するステップをさらに含む、請求項１から９のいずれか１つに記載の前記ハイダイナミックレンジ画像化方法。
11. 前記平滑化が、
    Ｙ成分の前記計算された重みとガウスフィルターを適用するステップ、
    を含む、請求項１０に記載の前記ハイダイナミックレンジ画像化方法。
12. 前記ＵＶ成分を前記平均化するステップが、
    平均化計算
    を画像の前記セットの各ＵＶ成分に適用するステップ
    を含む、請求項４から６のいずれか１つに記載の前記ハイダイナミックレンジ画像化方法。
13. 請求項１から１２のいずれか１つの前記ハイダイナミックレンジ画像化方法を実行するためのＨＤＲモジュール、
    を備える、カメラ。