JP7720751B2 - 画像処理装置、撮像装置、制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特には高ダイナミックレンジ画像信号の合成技術に関する。

異なる露出量でシーンを撮影した複数枚の標準ダイナミックレンジ（ＳＤＲ）画像を合成することで、ダイナミックレンジを拡張した高ダイナミックレンジ（ＨＤＲ）合成画像を生成する技術がある。特許文献１では、適正露出の撮影で得られた適性画像、アンダー露出で得られたアンダー画像、オーバー露出で得られたオーバー画像の３種類のＳＤＲ画像を、予め定められた合成割合に従って合成することで、ＨＤＲ（High Dynamic Range）合成画像を生成している。より詳しくは、合成基準の輝度閾値Ｙ１、Ｙ２、Ｙ３、Ｙ４（特許文献１の図１０）を定め、Ｙ１より暗い輝度域はオーバー画像を、Ｙ２～Ｙ３の輝度域は適性画像を、Ｙ４より明るい輝度域はアンダー画像をそれぞれ使用するよう合成が制御される。またＹ１～Ｙ２及びＹ３～Ｙ４の中間領域については、それぞれオーバー画像と適性画像、適性画像とアンダー画像の合成比率（加重加算係数）を徐々に変化させるよう、合成が制御される。このような合成制御により、３種類の露出条件のＳＤＲ画像から、好適にダイナミックレンジを拡張したＨＤＲ合成画像を得ることができる。

また近年ではＬＥＤ等の発光素子の性能が向上しており、従来よりも表示輝度のダイナミックレンジが広いＨＤＲディスプレイと呼ばれる表示装置が登場している。このような表示装置では、高輝度域の色やディテールを有する画像（ＨＤＲ画像）を、より忠実に表示することができる。ＨＤＲ画像における映像信号レベルと表示輝度との関係を表す信号特性は、ＥＯＴＦ（Electro-Optical Transfer Function：電気光伝達関数）で規定されており、以下の２種類の方式が採用されている。１つは、ＡＲＩＢ ＳＴＤ－Ｂ６７で規格化されているＨＬＧ（Hybrid Log Gamma）方式であり、映像信号レベルを表示輝度の相対値に変換するため、表示装置が出力可能な最大輝度に応じた表示輝度になる。もう１つは、ＳＭＰＴＥ ＳＴ ２０８４またはＩＴＵ－Ｒ ＢＴ．２１００で規格化されているＰＱ（Perceptual Quantization）方式であり、映像信号レベルを最大１００００ｎｉｔ（またはｃｄ／ｍ²）の範囲で表示輝度の絶対値に変換する。従って、シーンを撮影して得られたＨＤＲ画像を表示する場合、前者の方式では、表示装置が出力可能な最大輝度に応じた表示輝度にシーン輝度が変換され、後者の方式では、表示装置によらず絶対的に定まる表示輝度にシーン輝度が変換される。故に、ＰＱ方式が採用された表示装置での表示を想定する場合、例えば撮像装置でのエンコードにおいて、絶対的な輝度値を示すようにシーン輝度の画像信号を変換し、ＨＤＲ画像を生成する必要がある。

特開２０１３－２４００３１号公報

ところで、シーンについて、露出量を異ならせてこのようなＨＤＲ画像を取得して合成することで、さらにダイナミックレンジを拡張した合成画像を生成することもできる。即ち、特許文献１と同様に、適正露出の撮影で得られた適性ＨＤＲ画像、アンダー露出で得られたアンダーＨＤＲ画像、オーバー露出で得られたオーバーＨＤＲ画像の３種類のＨＤＲ画像を合成することで、よりディテールを表現した合成画像を生成できる。

一方で、シーン輝度を絶対的に表現するＰＱ方式のエンコードでは、同一のシーンを撮影したとしても、露出量の違いによりＨＤＲ画像に含まれるピーク輝度（表示輝度の最大値、出力ダイナミックレンジの最大値）が変化し得る。これは、センサ出力が飽和するシーン輝度が露出量に応じて変化するため、同一のシーン輝度に絶対的な表示輝度を割り当てるべく、変換に用いられるガンマカーブが異なることに依る。例えば、図１に示されるように、露出量の異なる２種類の撮影モードについての入出力特性（入力段数と出力輝度の関係）は、ピーク輝度（出力輝度の最大値）が異なる。ここで、露出量の高い撮影モードにおける入出力特性１１が実線で表され、露出量の低い撮影モードにおける入出力特性１２が一点鎖線で示されている。図示されるように、２つの撮影モードでは、高輝度域以外は共通の入出力特性を示し、露出量によらず同一の表示輝度に変換されるのに対し、高輝度域では飽和する輝度の違いに応じ、ピーク輝度が値１３と１４で異なる。なお、値１５は、１０ｂｉｔにおける最大値（１０２３）を示しており、ＰＱ方式における最大表示輝度の１００００ｎｉｔに対応している。

従って、特許文献１のような合成方法を単純に適用したとしても、好適な合成画像が生成されない可能性がある。より詳しくは、特許文献１の合成方法は、露出条件ごとに最大値が２５５の画素値を割り当てた８ｂｉｔのＳＤＲ画像を前提としているため、２種類の画像を合成する輝度域において、該当の画像の双方の画素値を常に参照することができた。しかしながら、露出量の異なるＨＤＲ画像を合成する場合、２種類の画像を合成する輝度域において、高露出のＨＤＲ画像にピーク輝度を超える被写体が表現されないことがあり、好適な合成結果が得られない可能性がある。

例えば、図２のヒストグラム２４に示されるように適性ＨＤＲ画像の輝度が分布している（適性ＨＤＲ画像のピーク輝度が２５である）態様について、特許文献１の合成割合を適用した場合を考える。図において、二点鎖線２１、実線２２及び一点鎖線２３は、それぞれ特許文献１の合成割合に対応した、オーバーＨＤＲ画像の加重加算係数、適性ＨＤＲ画像の加重加算係数、アンダーＨＤＲ画像の加重加算係数を示しており、全輝度域で係数の総和は１である。このとき、図示されるように、適性ＨＤＲ画像とアンダーＨＤＲ画像が合成される輝度域（Ｙ３～Ｙ４）に適性ＨＤＲ画像のピーク輝度２５が含まれる場合、当該ピーク輝度～Ｙ４までの輝度域では適性ＨＤＲ画像が合成されないため、好適な合成結果とならない。換言すれば、適性ＨＤＲ画像は、センサ出力の飽和によりピーク輝度２５以上の画素を含まないため、合成画像の当該ピーク輝度近辺の被写体が分布する領域において、不自然な表現がなされる可能性があった。

以上説明した例のように、ピーク輝度が異なる複数の画像を合成した場合、不自然な画像となる可能性があった。

本発明は、上述の問題点に鑑みてなされたものであり、ダイナミックレンジを拡張した合成画像の生成について好適な合成割合を決定する画像処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、異なる露出量で撮影された複数のＨＤＲ（High Dynamic Range）画像であって、シーン輝度が絶対輝度方式で表現された複数のＨＤＲ画像を合成する画像処理装置であって、複数のＨＤＲ画像のそれぞれについて、出力ダイナミックレンジの上限値を示す信号値を特定する特定手段と、特定手段により特定された信号値に基づいて、複数のＨＤＲ画像の合成割合を決定する決定手段と、複数のＨＤＲ画像のそれぞれの合成割合の傾向を切り替える基準の信号閾値を取得する取得手段と、を有し、特定手段は、複数のＨＤＲ画像のそれぞれが撮影された際の撮影モードの設定に基づく情報から出力ダイナミックレンジの上限値を示す信号値を特定し、決定手段は、複数のＨＤＲ画像の各々の出力ダイナミックレンジの上限値を示す信号値に基づいて、取得手段により取得された信号閾値を変更し、当該変更後の信号閾値に基づいて合成割合を決定することを特徴とする。

このような構成により本発明によれば、ダイナミックレンジを拡張した合成画像の生成について好適な合成割合を決定することが可能となる。

露出量の異なる２種類の撮影モードについての入出力特性を説明するための図 ＳＤＲ画像基準の加重加算割合をＨＤＲ画像の合成処理に適用する態様を示した図 本発明の実施形態及び変形例に係る画像処理装置１００のハードウェア構成を例示したブロック図 本発明の実施形態１に係る合成処理のモジュール構成を例示したブロック図 本発明の実施形態１に係る合成処理を例示したフローチャート 撮影の露出量に応じて適用されるＯＥＴＦと合成画像の生成に係り適用されるＯＥＴＦの特性の違いを説明するための図 本発明の実施形態に係る基準Ｍｉｘテーブル及び変更Ｍｉｘテーブルを説明するための図 本発明の実施形態及び変形例に係る合成画像の出力ファイル形式を例示した図 撮影モードに応じて定められたＭａｘＤＲＬを例示した図 本発明の実施形態２に係る合成処理のモジュール構成を例示したブロック図 本発明の実施形態２に係る現像処理のモジュール構成を例示したブロック図 本発明の変形例２に係る基準Ｍｉｘテーブルを説明するための図 本発明の変形例２に係る変更Ｍｉｘテーブルを説明するための図 本発明の変形例２に係る変更Ｍｉｘテーブルを説明するための別の図

［実施形態１］
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下に説明する一実施形態は、画像処理装置の一例としての、ＰＱ方式でエンコードされたＨＤＲ画像を合成してさらにダイナミックレンジを拡張した合成画像を生成可能な画像処理装置に、本発明を適用した例を説明する。しかし、本発明は、当該合成画像の生成に係る各ＨＤＲ画像の合成割合を導出することが可能な任意の機器に適用可能である。

また、本明細書において、「ＨＤＲ画像」とは、特に断りのない限り、ＰＱ方式のエンコードが適用され、デコードにより絶対表示輝度を取得可能に構成された画像（ＰＱ信号）であるものとして説明する。またＨＤＲ画像を合成することで得られる、さらにダイナミックレンジを拡張した画像を、従来のＳＤＲ画像を合成することで得られたＨＤＲ合成画像や、入力である（合成元の）ＨＤＲ画像と峻別すべく、単に「合成画像」として説明する。以下の説明において、合成画像はＨＤＲ画像と同様にＰＱ信号であるものとする。

ここで、ＨＤＲ特性をＰＱ信号で表すには最低限１０ｂｉｔの深度が必要となり、ＨＤＲ画像や合成画像は、ＪＰＥＧフォーマットのような８ｂｉｔの画像を格納するファイルではないものとする。例えば、ＨＤＲ画像や合成画像は、Moving Picture Experts Group（ＭＰＥＧ）によって開発されＭＰＥＧ－Ｈ Ｐａｒｔ １２（ＩＳＯ／ＩＥＣ ２３００８－１２）で定義された画像ファイルフォーマットであるHigh Efficiency Image File Format（以降、ＨＥＩＦと称す）のコンテナを用いて格納されたＨＥＩＦファイルであってよい。ＨＥＩＦは、本画像だけでなく、サムネイルや複数の時間的に関連ある画像やＥＸＩＦ、ＸＭＰといったメタデータも１つのファイルの中に格納することができる。また、ＨＥＩＦは、ＨＥＶＣでエンコードされた１０ｂｉｔのイメージシーケンスも格納できるため本発明におけるＨＤＲ画像や合成画像の格納に適しているといえる。なお、本発明の実施は、これに限られるものではなく、ＨＤＲ画像や合成画像は、ＲＡＷデータや現像処理後のＴＩＦＦデータ等、１０ｂｉｔ以上の画像データを格納可能であればいずれの形式であってもよい。

《画像処理装置のハードウェア構成》
図３は、本実施形態に係る画像処理装置１００のハードウェア構成を示したブロック図である。図示されるように、本実施形態の画像処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、記録装置１０４、操作Ｉ／Ｆ１０５、表示装置１０６及びシステムバス１０７を有する。

ＣＰＵ１０１は、画像処理装置１００の全体的な制御を行う。ＲＯＭ１０２は、画像処理装置１００の起動に必要なＢＩＯＳ等の制御プログラムや、変更を必要としないプログラム、パラメータ及びデータを格納する記憶装置である。ＲＡＭ１０３は、ＣＰＵ１０１のワーク領域、各種データを一時的に記憶する一次記憶領域、各種プログラムのロード領域等を有する記憶装置である。

記録装置１０４は、ＯＳプログラム、各種の制御プログラム、ＯＳプログラム上で実行可能な各種ソフトウェアのプログラム、後述の合成処理に使用するＨＤＲ画像及び合成処理の結果に得られた合成画像等の各種データを格納する記録装置である。記録装置１０４は、例えば、画像処理装置１００に内蔵または着脱可能に接続されたハードディスクやフラッシュメモリ、着脱可能に接続されたフレキシブルディスクや光学ディスク、光磁気ディスク、ＩＣカード、メモリーカード等を含む。従って、ＣＰＵ１０１は、ＲＯＭ１０２または記録装置１０４に格納された各種プログラムをＲＡＭ１０３に展開して実行することにより画像処理装置１００の制御を行うことができる。

操作Ｉ／Ｆ１０５は、例えば、キーボードやマウス、タッチパネル等の画像処理装置１００が備えるユーザインタフェースである。操作Ｉ／Ｆ１０５は、ユーザによる操作入力がなされたことを検出すると、該当の操作に係る制御信号をＣＰＵ１０１に送出する。表示装置１０６は、例えば液晶ディスプレイであり、画像処理装置１００上で動作しているＯＳやソフトウェアに係るグラフィカルユーザインタフェースをはじめとして、各種の情報を表示する。システムバス１０７は、画像処理装置１００を構成する各ブロックを通信可能に接続する。

画像処理装置１００は、撮影済みのＲＡＷ画像を現像及び編集する専用装置であってもよく、その場合、ＲＯＭ１０２に合成処理のプログラムを格納することができる。また、汎用のパーソナルコンピュータ（ＰＣ）は、ＣＰＵ１０１が記録装置１０４に格納された合成処理のプログラムをＲＡＭ１０３に展開することによって、画像処理装置１００として機能することができる。さらに、撮像によりＲＡＷ画像を取得可能な撮像装置は、その制御ユニットが合成処理のプログラムを実行することによって、あるいは合成処理を行う画像処理ユニットが規定の動作を行うことで、画像処理装置１００としても機能することができる。

《合成処理》
次に、本実施形態に係る画像処理装置１００において実行される、露出量を異ならせて撮影された複数のＨＤＲ画像を合成して合成画像を生成する合成処理について、図を参照して詳細を説明する。本合成処理は、ＣＰＵ１０１が、ＲＯＭ１０２または記録装置１０４から合成処理のプログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現される。図４は、合成処理の実行中に実現されるモジュール構成を例示し、図５は、当該合成処理の流れを説明するためのフローチャートを例示した図である。

以下、合成処理の入力として用いられる、露出量を異ならせて撮影された複数のＨＤＲ画像は、いずれもＰＱ方式でエンコードされたＨＤＲＰＱ画像（以下、ＰＱ画像として言及）であるものとして説明する。また、本実施形態の合成処理では入力のＰＱ画像は、適正露出の撮影で得られた適性ＰＱ画像４０２、オーバー露出の撮影で得られたオーバーＰＱ画像４０１、及びアンダー露出の撮影で得られたアンダーＰＱ画像４０３の３種類であるものとする。オーバーＰＱ画像４０１、適性ＰＱ画像４０２及びアンダーＰＱ画像４０３は、合成画像の合成用に、共通のシーンについて順次、露出設定を異ならせた撮影モードで撮影が行われることにより得られた画像であってよい。本実施形態では、露出設定を異ならせた撮影を、便宜上、撮影モードを異ならせた撮影であるものとして説明するが、本発明の実施はこれに限られるものではないことは理解されよう。

なお、本実施形態では、入力であるＰＱ画像の各々には、当該ＰＱ画像の撮影時における撮像装置の露出設定を示す露出情報と、当該ＰＱ画像のエンコードに用いられたＯＥＴＦ（Opt-Electronic Transfer Function：光電伝達関数）の情報とがメタデータとして付されているものとする。露出情報は、例えば撮像時に設定されていた絞り、シャッタ秒時、ＩＳＯ感度の情報であってよい。ＯＥＴＦは、各露出設定について予め設定された、あるいはユーザ設定による出力画像の制作意図に基づいたＯＯＴＦ（Opt-Optical Transfer Function：光光伝達関数）と、ＩＴＵ－Ｒ ＢＴ．２１００で定義されるリファレンスのＥＯＴＦの逆関数の積である。またさらに、各ＰＱ画像には、特開２０２０－０３９１１８号公報に記載のＭａｘＤＲＬ（Maximum Dynamic Range Level）がメタデータとして付されているものとする。ＭａｘＤＲＬは、撮影された画像信号の現像及びエンコードにおいて、対応するＯＥＴＦを適用した後のＰＱ信号出力値の最大値であり、各ＰＱ画像で表現可能なダイナミックレンジのピーク輝度値（上限値）である。本実施形態ではピーク輝度値であるものとして説明するが、ＭａｘＤＲＬは、ピーク輝度値に対応するｎｉｔ値を示す値であってもよい。ＭａｘＤＲＬは、ＨＤＲ画像をよりダイナミックレンジの狭いＨＤＲやＳＤＲの信号にトーンマッピングする際等に、入力画像のダイナミックレンジを知るために使用される。入力である３種類のＰＱ画像は、本明細書ではそれぞれ異なるＨＥＩＦファイルで入力されるものであってもよいし、１つのＨＥＩＦファイルに格納されているものであってもよい。

Ｓ５０１で、記録装置１０４からオーバーＰＱ画像４０１、適性ＰＱ画像４０２及びアンダーＰＱ画像４０３が読み出され、ＲＡＭ１０３に展開される。本ステップの処理により、合成画像の合成対象となるＰＱ画像の入力がなされる。

Ｓ５０２で、３種類のＰＱ画像の露出合わせが行われる。ここではＰＱ画像という非線形な信号のままでは露出合わせの精度が低下し得るため、一旦ＰＱ画像を線形化して露出合わせを行う。より具体的には、３種類のＰＱ画像の露出合わせは、ＰＱデガンマモジュール４０４による線形化、露出合わせモジュール４０５による露出合わせ、及びＰＱガンマモジュール４０６による非線形化により実現される。

ＰＱデガンマモジュール４０４による線形化は、各ＰＱ画像に付された、エンコードに用いられたＯＥＴＦの情報を参照し、その逆関数（デガンマ）を適用することで行われればよい。

また露出合わせモジュール４０５による露出合わせは、線形化された各画像について、露出段差に基づくゲインを適用することで行われる。本実施形態では、適性露出（適性ＰＱ画像４０２の取得に用いられた露出）を基準に露出合わせが行われるものとし、線形化されたオーバー露出に係る画像とアンダー露出に係る画像についてゲインが適用され、それぞれ適正露出と同じ露出に補正される。例えば、適性ＰＱ画像４０２が絞りＦ５．６、シャッタ秒時１／６０、ＩＳＯ感度２００、アンダーＰＱ画像４０３が絞りＦ５．６、シャッタ秒時１／５００、ＩＳＯ感度２００で撮影されている場合、露出段差は３段差である。このため、露出合わせモジュール４０５は、アンダーＰＱ画像４０３を線形化した画像を３段分ゲインアップすることで、適性ＰＱ画像４０２と同じ露出に補正する。

またその後、ＰＱガンマモジュール４０６は、露出を補正後の各画像に対して共通のＯＥＴＦを適用することで、非線形化する。ＰＱガンマモジュール４０６により適用されるＯＥＴＦは、図６に示されるように、入力されたＰＱ画像について適用されたＯＥＴＦ（実線６０１）に比べて、広いダイナミックレンジに対応するＯＥＴＦ（一点鎖線６０３）である。図示されるように、ＰＱガンマモジュール４０６が適用するＯＥＴＦは、後の合成処理においてダイナミックレンジを拡張した合成画像を得るべく、より高い輝度６０４に対応するものであってよい。ここで、ＰＱガンマモジュール４０６が適用するＯＥＴＦは、例えばＩＴＵ－Ｒ ＢＴ．２１００で定義されるリファレンスのＥＯＴＦの逆関数のように予め固定に設けられるものであってもよい。あるいは、当該ＯＥＴＦは、アンダーＰＱ画像４０３’に応じて最大輝度（輝度６０４）が設定されるよう、適応的に変更されるものであってもよい。

Ｓ５０２の処理が行われることで、露出の揃ったオーバーＰＱ画像、適性ＰＱ画像及びアンダーＰＱ画像が得られる。以下、便宜上、Ｓ５０２の処理後の各ＰＱ画像を、オーバーＰＱ画像４０１’、適性ＰＱ画像４０２’、アンダーＰＱ画像４０３’として言及する。ここで、オーバーＰＱ画像４０１’は暗部において適性ＰＱ画像４０２’よりもノイズが少なく、アンダーＰＱ画像４０３’は明部において適性ＰＱ画像４０２’よりも白飛びが少なく、階調を有する画像となっている。

Ｓ５０３で、ずれ補正モジュール４０７は、オーバーＰＱ画像４０１’と適性ＰＱ画像４０２’との間、アンダーＰＱ画像４０３’と適性ＰＱ画像４０２’との間の位置ずれを検出し、位置ずれが生じている場合にはそれを補正する処理を行う。位置ずれの検出及び補正は、公知のいずれかの手法が用いられてよい。例えば、ブロック分割してエッジ抽出し、ブロックごとに画素値の差の絶対値の総和（ＳＡＤ：Sum of Absolute Difference）が最も小さくなる動きベクトルを導出する。そして当該動きベクトルに基づいて得られたアフィン係数を用いて、補正対象の画像をアフィン変換することで位置ずれ補正が行われてよい。適性ＰＱ画像４０２’を基準に位置ずれの補正を行う場合、アフィン変換はそれ以外の画像、即ち、オーバーＰＱ画像４０１’及びアンダーＰＱ画像４０３’に対して行われればよい。なお、本実施形態では画像間の明るさの差分を小さくすることで検出精度が向上するため、Ｓ５０２の処理後に位置ずれ検出及び補正を行うものとして説明するが、これらに依存関係はないため、処理の順序を入れ替えてもよいことは理解されよう。

Ｓ５０４で、割合変更モジュール４０８は、各画像の合成割合（加重加算割合、加重加算係数）を決定する。本実施形態では各画像の加重加算割合は、図７（ａ）に示されるような基準Ｍｉｘテーブル４０９を変更すること変更Ｍｉｘテーブルを構成し、当該変更Ｍｉｘテーブルを参照して決定される。図示されるように、基準Ｍｉｘテーブル４０９は、特許文献１と同様に、輝度値に応じてオーバーＰＱ画像４０１’、適性ＰＱ画像４０２’、アンダーＰＱ画像４０３’の加重加算割合が異なるよう分布する。基準Ｍｉｘテーブル４０９は、ＰＱ方式の表示輝度域（上限１００００ｎｉｔに対応）について、各画像の加重加算割合を示す、オーバー画像割合７０１（二点鎖線）、適性画像割合７０２（実線）及びアンダー画像割合７０３（一点鎖線）を含む。ここで、基準Ｍｉｘテーブル４０９における各画像の加重加算割合は、輝度値のそれぞれにおいて合計が１（１００％）になるように構成されている。従って、各輝度域は、オーバーＰＱ画像４０１’のみを使用する値域、オーバーＰＱ画像４０１’と適性ＰＱ画像４０２’を合成する値域、適性ＰＱ画像４０２’のみを使用する値域、適性ＰＱ画像４０２’及びアンダーＰＱ画像４０３’を合成する値域、アンダーＰＱ画像４０３’のみを使用する値域に区分される。これらの値域の区分は、各画像について設定された、合成の傾向を切り替える基準点（輝度閾値）に基づいて定義される。

割合変更モジュール４０８は、例えばＲＯＭ１０２または記録装置１０４から基準Ｍｉｘテーブル４０９を読み出し、続いてオーバーＰＱ画像４０１、適性ＰＱ画像４０２、アンダーＰＱ画像４０３の各々に付された露出情報及びＭａｘＤＲＬを取得する。そして割合変更モジュール４０８は、基準Ｍｉｘテーブル４０９中に設けられた所定の輝度閾値を、取得した露出情報及びＭａｘＤＲＬに基づいて変更することで、後段の合成モジュール４１０の合成結果を好適にせしめる加重加算割合を示すテーブルを構成する。本実施形態では所定の輝度閾値として、オーバーＰＱ画像４０１’の加重加算割合が０％になる輝度閾値７０４と、適性ＰＱ画像４０２’の加重加算割合が０％になる輝度閾値７０５が設けられ、変更の対象となる。

上述したように、オーバーＰＱ画像４０１’と適性ＰＱ画像４０２’とを合成する輝度域、適性ＰＱ画像４０２’とアンダーＰＱ画像４０３’とを合成する輝度域については、高い露出量で撮影された画像に適切な輝度値の信号として表れない可能性がある。つまり、一方の画像に該当の輝度域の表現がないにもかかわらず、当該画像に０％を上回る加重加算割合を適用する、あるいは、他方の画像に１００％に満たない加重加算割合を適用することは、好適でない合成結果を生じさせる可能性がある。従って、本実施形態の割合変更モジュール４０８は、輝度閾値７０４及び輝度閾値７０５を、それぞれ対応する画像で表現可能な最大の表示輝度を超えない値とするように変更する。

ここで、本実施形態では適性ＰＱ画像４０２を基準にオーバーＰＱ画像４０１及びアンダーＰＱ画像４０３の露出を調整しているため、適性ＰＱ画像４０２’に係る最大の表示輝度は適性ＰＱ画像４０２のＭａｘＤＲＬである。一方、オーバーＰＱ画像４０１’に係る最大の表示輝度は、Ｓ５０２における露出調整によりオーバーＰＱ画像４０１のＭａｘＤＲＬと異なっているため、割合変更モジュール４０８は以下の式で導出する。
即ち、割合変更モジュール４０８は、Ｓ５０２と同様に、オーバーＰＱ画像４０１のＭａｘＤＲＬにＥＯＴＦ（ＯＥＴＦ^-1）を適用して線形化し、オーバーＰＱ画像４０１と適性ＰＱ画像４０２との露出段差に係るゲイン適用する。その後、割合変更モジュール４０８は、得られた値にＯＥＴＦを適用して非線形化して、オーバーＰＱ画像４０１’に係る最大の表示輝度を導出する。

従って、割合変更モジュール４０８は、このようにして得られたオーバーＰＱ画像４０１’及び適性ＰＱ画像４０２’に係る最大の表示輝度に輝度閾値７０４及び輝度閾値７０５のそれぞれを変更し、図７（ｂ）のような新たな変更Ｍｉｘテーブルを得る。より詳しくは、割合変更モジュール４０８は、オーバー画像割合７０１を輝度閾値７０４が輝度閾値７１４（オーバーＰＱ画像４０１’に係る最大の表示輝度）となるように線形スケーリングすることで、変更後のオーバー画像割合７１１を得る。割合変更モジュール４０８は、適性画像割合７０２を輝度閾値７０５が輝度閾値７１５（適性ＰＱ画像４０２’に係る最大の表示輝度）となるように線形スケーリングすることで、変更後の適性画像割合７１２を得る。また割合変更モジュール４０８は、アンダー画像割合７０３についても適性画像割合７１２と同様の比率で線形スケーリングすることで、変更後のアンダー画像割合７１３を得る。

なお、このとき、オーバー画像割合７１１と適性画像割合７１２とで適用されるスケーリングの比率が異なり得るため、オーバーＰＱ画像４０１’と適性ＰＱ画像４０２’とを合成する輝度域については、オーバー画像割合７１１を基準に定められてよい。即ち、適性画像割合７１２における該輝度域は、輝度閾値７１４において適性ＰＱ画像４０２’の加重加算割合が１００％になるように変更されればよい。また当該輝度域は、オーバー画像割合７１１における加重加算割合の低下が始まる輝度値７１６において適性ＰＱ画像４０２’の加重加算割合が０％から上昇が始まるように変更されればよい。即ち、いずれの輝度値においても、合成対象の画像の加重加算割合の合計が１００％となるよう、特に高露出側の画像を基準に調整されて変更Ｍｉｘテーブルが構成されればよい。

Ｓ５０５で、合成モジュール４１０は、Ｓ５０４において構成された変更Ｍｉｘテーブルに基づいて、位置合わせ後のオーバーＰＱ画像４０１’、適性ＰＱ画像４０２’及びアンダーＰＱ画像４０３’を用いて輝度別合成処理を行い、合成画像を生成する。即ち、合成モジュール４１０は、暗部領域（オーバー画像割合７１１が１００％の輝度域）については位置合わせ後のオーバーＰＱ画像４０１’の同位置の画素値を格納する。また合成モジュール４１０は、中間調領域（適性画像割合７１２が１００％の輝度域）については適性ＰＱ画像４０２’の同位置の画素値を格納する。また合成モジュール４１０は、明部領域（アンダー画像割合７１３が１００％の輝度域）についてはアンダーＰＱ画像４０３’の同位置の画素値を格納する。また合成モジュール４１０は、暗部～中間調の領域については、適性ＰＱ画像４０２’及び位置合わせ後のオーバーＰＱ画像４０１’の同位置の画素値にそれぞれの加重加算係数をかけたものを加算することで、画素値を導出して格納する。また合成モジュール４１０は、中間調～明部の領域については、適性ＰＱ画像４０２’及び位置合わせ後のアンダーＰＱ画像４０３’の同位置の画素値にそれぞれの加重加算係数をかけたものを加算することで、画素値を導出して格納する。これにより、画像間の切り替わりが生じる輝度域の表現が滑らかになった、暗部から明部まで好適な態様でシーンが表現された合成画像を得ることができる。

なお、生成された合成画像は、例えば新たなＰＱ画像としてＨＥＩＦ形式の画像ファイルとして記録装置１０４に格納されてもよい。ＨＥＩＦ形式の画像ファイルは、図８（ａ）に示されるようなファイル構造を有する。即ち、ＨＥＩＦ形式のファイルは、ファイル形式を示すｆｔｙｐボックス８０１と、サムネイル画像８１１を含むメタデータを格納するｍｅｔａボックス８０２と、符号化データ（本画像８１２）を格納するｍｄａｔボックス８０３とで構成される。従って、合成モジュール４１０は、生成した合成画像をＰＱ方式にエンコードしたデータをｍｄａｔボックス８０３に格納し、合成画像のサムネイル画像及び合成画像に係るＭａｘＤＲＬをｍｅｔａボックス８０２に格納し、ファイルを生成する。

ここで、合成画像に係るＭａｘＤＲＬは、例えばアンダーＰＱ画像４０３’に係る最大の表示輝度であってよい。即ち、合成画像のダイナミックレンジの上限は主としてゲインアップして合成されたアンダーＰＱ画像４０３に基づいて定まるため、合成モジュール４１０は、以下の式により当該最大の表示輝度の情報を導出し、ＭａｘＤＲＬとして用いてもよい。
即ち、アンダーＰＱ画像４０３のＭａｘＤＲＬに対して、エンコードに用いられたＯＥＴＦの逆特性を適用して線形化した値に変換し、当該値をゲインアップして共通のＯＥＴＦを適用して非線形化した値が、合成画像のＭａｘＤＲＬとして格納される。

あるいは、ＭａｘＤＲＬは画像のＭａｘＤＲＬベースで定められる必要はなく、例えば、入力されるＰＱ画像の取得に用いられた撮影モードについて、図９に示されるように予めＭａｘＤＲＬの情報が格納され、該当の値を採用するものであってもよい。例えば、撮影モードが±３段の通常モードで撮影された３枚のＰＱ画像が入力される場合、合成モジュール４１０は、記録装置１０４に格納された情報（最大信号ＰＱコード値）に基づいて、合成画像のＭａｘＤＲＬを８８８（２９０６ｎｉｔ）と決定できる。これにより、出力される合成画像を、容易に利用可能な態様のファイルとすることができる。

［実施形態２］
上述した実施形態では、合成処理の対象となる入力のＨＤＲ画像がＰＱ画像である態様について説明したが、本発明の実施はこれに限られるものではない。即ち、入力画像は、ＳＤＲ画像のように露出条件に依らず固定の値域を割り当てる方式とは異なる方式でシーン輝度が表現されるＨＤＲ画像であればよく、例えばＰＱ画像（１０ｂｉｔ）よりも分解能が高いＲＡＷ画像（１２～１４ｂｉｔ）であってもよい。この場合、例えば図１０に示されるようなモジュール構成で、露出量を異ならせた撮影で得られた複数のＲＡＷ画像を入力として合成処理を実現すればよい。ここで、入力のＲＡＷ画像は、適正露出の撮影で得られた適性ＲＡＷ画像１００２、オーバー露出の撮影で得られたオーバーＲＡＷ画像１００１、及びアンダー露出の撮影で得られたアンダーＲＡＷ画像１００３の３種類であるものとする。また図９では、実施形態１の合成処理に係るモジュール構成と共通の構成については同一の参照番号を付し、以下での詳細な説明を省略する。

本実施形態の合成処理は、入力された現像前の３種類のＲＡＷ画像に対し、現像処理モジュール１００４によるＰＱ画像への変換（現像処理）を含む。現像処理モジュール１００４により実行される現像処理は、図１１に示される機能モジュールによる処理に細分される。具体的には、入力されたＲＡＷ画像に対し、ホワイトバランスモジュール１１０１が白を白くするホワイトバランス処理を実行し、白くあるべき領域のＲ、Ｇ、Ｂが同じ信号値になるようなゲインがＲ、Ｇ、Ｂの各々にかけられる。そして、ノイズ低減モジュール１１０２が、入力された画像に対して、被写体像に由来しないセンサ起因のノイズ等を低減するノイズ低減処理を行う。そして色補間モジュール１１０３が、入力された色モザイク画像に色補間処理を適用し、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像に対して、マトリクス変換モジュール１１０４によるマトリクス変換処理、及びガンマ変換モジュール１１０５によるガンマ変換処理を経て基本的なカラー画像が生成される。ここで、ガンマ変換モジュール１１０５によるガンマ変換処理には、例えば各ＲＡＷ画像に付された、撮影モードに対応するＯＥＴＦが用いられる。その後、色調整モジュール１１０６により、例えば、彩度強調、色相補正、エッジ強調等の画像の見栄えを改善するための画像補正処理がカラー画像に対して適用されて、ＰＱ画像が出力される。

このように、線形なＲＡＷ画像が入力される態様であっても、一旦、ＯＥＴＦを適用してＰＱ画像に変換することで、実施形態１の合成処理に係る機能モジュールを用いて同様に好適な合成画像を生成することができる。

なお、本実施形態では実施形態１の合成処理と併用可能なよう、実施形態１の合成処理に係る機能モジュールを流用する態様について説明したが、本発明の実施がこれに限られるものではないことは容易に理解されよう。即ち、合成割合の決定に係る各画像の輝度域の情報は、線形化された画像を露出合わせして行われるものであるため、現像処理モジュール１００４による現像処理及びＰＱデガンマモジュール４０４による線形化処理は行われなくてもよい。

［変形例１］
上述した実施形態では、合成処理の入力であるＨＤＲ画像について、現像・エンコードに使用された／使用するＯＥＴＦが取得可能である態様について説明した。一方で、ＯＥＴＦの情報（あるいはその逆特性に対応するＥＯＴＦの情報）をメタデータとして画像ファイルに含めることはファイルサイズを増大させる要因になり得るため、当該情報が含まれないこともある。この場合、ＰＱデガンマモジュール４０４による線形化に用いられるＯＥＴＦの逆関数は、精度は低下し得るが、ＩＴＵ－Ｒ ＢＴ．２１００で定義されているリファレンスのＥＯＴＦを使用してもよい。またこのとき、ＰＱガンマモジュール４０６による非線形化には、リファレンスのＥＯＴＦの逆関数が用いられてもよい。

［変形例２］
また上述した実施形態及び変形例では、合成処理の入力であるＨＤＲ画像が、露出量を異ならせた撮影により得られ、ダイナミックレンジのピーク輝度値の大小関係が合成処理に適合した態様に分布しているものとして説明した。即ち、露出合わせしたＨＤＲ画像のＭａｘＤＲＬに基づいて基準Ｍｉｘテーブル４０９のスケーリングを行うことで、入力画像を好適に合成可能な加重加算割合が導出されるものとして説明した。

しかしながら、例えば入力されるＨＤＲ画像が、撮影後に適用されたレタッチにより輝度変換特性が変更されている（ＭａｘＤＲＬが変わる）場合では、２種類の画像を合成する輝度域が抑圧され、画像間の切り替えを滑らかに表現できない可能性がある。即ち、切り替わりに割り当てられる輝度域が狭小であれば、当該輝度域における加重加算割合の変化が急峻となり、生成された合成画像において不自然な表現（以下、切り替わり段差として言及）を生じさせる可能性がある。

また、例えば変形例１のように入力のＨＤＲ画像についてＯＥＴＦが取得できない場合や、輝度変換特性を異ならせる（線形化に必要となるＥＯＴＦが変化する）ようなレタッチが適用された場合では、線形化や露出合わせが不十分になり得る。即ち、各ＨＤＲ画像の飽和輝度近辺の被写体について適切な輝度を割り当てることができないため、合成画像において色曲がり等が発生する可能性がある。

本変形例では、合成画像におけるこのような切り替わり段差や色曲がりの発生を防止すべく、各ＨＤＲ画像の加重加算割合の決定に係る変更Ｍｉｘテーブルの生成方法について、図を参照して説明する。即ち、本変形例では、入力のＨＤＲ画像のＭａｘＤＲＬだけでなく、さらにその組み合わせに応じて各画像の加重加算割合を好適に設定可能ならしめる態様を説明する。

本実施形態では、上述した実施形態とは異なり、入力画像の参照画素のＲ、Ｇ、Ｂのいずれかの色信号の最大値であるＭａｘ（Ｒ，Ｇ，Ｂ）について、図１２に示されているような基準Ｍｉｘテーブルが設けられているものとする。図１２の基準Ｍｉｘテーブルは、図７（ａ）に示した基準Ｍｉｘテーブル４０９と同様に、二点鎖線１２０１がオーバーＨＤＲ画像、実線１２０２が適性ＨＤＲ画像、一点鎖線１２０３がアンダーＨＤＲ画像についての加重加算割合を示している。図７（ａ）に示した基準Ｍｉｘテーブル４０９と異なる点は、図１２の基準Ｍｉｘテーブルが輝度値ではなくＲ、Ｇ、Ｂのうちの最大の信号値（Ｍａｘ（Ｒ，Ｇ，Ｂ））について規定されている点である。以下では、説明を簡易にすべく、オーバーＨＤＲ画像の加重加算割合が１００％から減少しはじめ、適性ＨＤＲ画像の加重加算割合が０％から増加しはじめる信号閾値１２０６、またはこれに対応する閾値を、Ｏｖｅｒ_1Endとして言及することがある。またオーバーＨＤＲ画像の加重加算割合が０％に至り、適性ＨＤＲ画像の加重加算割合が１００％に至る信号閾値１２０４、またはこれに対応する閾値を、Ｓｕｉｔ_1Startとして言及することがある。また、適性ＨＤＲ画像の加重加算割合が１００％から減少しはじめ、アンダーＨＤＲ画像の加重加算割合が０％から増加しはじめる信号閾値１２０７、またはこれに対応する閾値を、Ｓｕｉｔ_1Endとして言及することがある。また適性ＨＤＲ画像の加重加算割合が０％に至り、アンダーＨＤＲ画像の加重加算割合が１００％に至る信号閾値１２０５、またはこれに対応する閾値を、Ｕｎｄｅｒ_1Startとして言及することがある。本変形例の割合変更モジュール４０８は、これら指定した信号閾値１２０４～１２０７を調整することで、合成モジュール４１０における合成処理用の変更Ｍｉｘテーブルを構成する。

《変更Ｍｉｘテーブル構成の概要》
ここで、本変形例における、基準Ｍｉｘテーブルを用いた各ＨＤＲ画像の加重加算割合を定める変更Ｍｉｘテーブルの構成について、概要を説明する。

上述したような色曲がりの発生は、図６に示したように、主として飽和輝度値近辺における非線形の変換（出力カーブの寝かせ具合の変化）により生じる。故に、現像時に適用された変換特性またはレタッチを加味した変換特性を取得できない場合、入力のＨＤＲ画像の輝度値の線形化を正確に行うことができず、該当の値域の合成において画像間の整合性が担保されない。一方で、飽和輝度値近辺を除外すれば線形的な変換がなされている可能性が高い。このため、本変形例の割合変更モジュール４０８は、非線形な変換がなされる可能性がある段数（合成回避段数）を定数として定め、オーバーＨＤＲ画像と適性ＨＤＲ画像について当該合成回避段数を加味して最大の表示輝度値（換算ＭａｘＤＲＬ）を導出する。より詳しくは、割合変更モジュール４０８は、入力画像のＭａｘＤＲＬに例えばリファレンスのＥＯＴＦを適用して線形化した値から、合成回避段数の値分だけ減少させることで換算ＭａｘＤＲＬを導出し、これに基づいて基準Ｍｉｘテーブルの変更を行う。

また上述したような切り替わり段差の発生は、信号閾値１２０６～信号閾値１２０４で規定される信号域と、信号閾値１２０７～信号閾値１２０５で規定される信号域が抑圧されることで生じ得る。特に、本変形例のように、飽和輝度近辺の輝度域を除外するように設定された換算ＭａｘＤＲＬを用いて基準Ｍｉｘテーブルの変更を行う場合、信号域の抑圧が発生する。アンダーＨＤＲ画像については飽和する信号値まで余裕があるため、本変形例では割合変更モジュール４０８は、適性ＨＤＲ画像の換算ＭａｘＤＲＬに対応する信号値に基づいてオーバーＨＤＲ画像及び適性ＨＤＲ画像の加重加算割合の割り当てを行う。故に、信号値０から適性ＨＤＲ画像の換算ＭａｘＤＲＬに対応する信号値までの値域には、以下の２種類の値域が含まれることになる。一方は、オーバーＨＤＲ画像の加重加算割合が１００％の値域及び０％～１００％の値域（以下、オーバー使用域として言及）である。他方は、適性ＨＤＲ画像の加重加算割合が１００％の値域及び０％～１００％の値域（以下、適性使用域として言及）である。本変形例では、オーバー使用域及び適性使用域について、滑らかな合成を行うために確保すべき信号域の幅について閾値Ｗを設け、少なくとも適性使用域が閾値Ｗ分の値域幅となるよう各信号閾値を調整することで、変更Ｍｉｘテーブルが構成される。

割合変更モジュール４０８で行われる処理としては、まずオーバーＨＤＲ画像と適性ＨＤＲ画像とについて、換算ＭａｘＤＲＬを以下の式により導出する。
具体的には、各画像のＭａｘＤＲＬに例えばリファレンスのＥＯＴＦを適用して線形化した値について、適性露出との差及び合成回避段数に応じたゲインダウンを行って共通のＯＥＴＦを適用して非線形化することで、各画像の換算ＭａｘＤＲＬが導出される。即ち、入力画像の現像時に使用されＯＥＴＦの逆特性と線形化に適用されるＥＯＴＦとの特性の違いにより発生する不整合を回避すべく、割合変更モジュール４０８は、合成回避段数分ゲインダウンさせることで、飽和輝度近辺を除外した換算ＭａｘＤＲＬを得る。

そして割合変更モジュール４０８は、基準Ｍｉｘテーブルの各信号閾値を、オーバーＨＤＲ画像と適性ＨＤＲ画像のそれぞれについて得られた換算ＭａｘＤＲＬに基づいてスケーリングし、変更Ｍｉｘテーブル用の各信号閾値を導出する。より詳しくは、割合変更モジュール４０８は、基準Ｍｉｘテーブルの信号値０～信号閾値１２０４の値域を正規化し、これにオーバーＨＤＲ画像の換算ＭａｘＤＲＬに対応する信号値を乗算する。これにより、オーバーＨＤＲ画像について、換算ＭａｘＤＲＬに基づいたＯｖｅｒ_1End（信号閾値１２０６に対応）及びＳｕｉｔ_1Start（信号閾値１２０４に対応）が得られる。また割合変更モジュール４０８は、基準Ｍｉｘテーブルの信号値０～信号閾値１２０５の値域を正規化し、これに適性ＨＤＲ画像の換算ＭａｘＤＲＬに対応する信号値を乗算する。これにより、適性ＨＤＲ画像について、換算ＭａｘＤＲＬに基づいたＳｕｉｔ_1End（信号閾値１２０７に対応）及びＵｎｄｅｒ_1Start（信号閾値１２０５に対応）が得られる。

このように各画像の換算ＭａｘＤＲＬに基づいて得られた４種類の信号閾値（Ｏｖｅｒ_1End、Ｓｕｉｔ_1Start、Ｓｕｉｔ_1End及びＵｎｄｅｒ_1Start）は、オーバー使用域及び適性使用域が閾値Ｗ分の値域幅を有するのであれば調整する必要はない。即ち、当該４種類の信号閾値に基づいて変更Ｍｉｘテーブルが構成されても、切り替わり段差の発生を回避した合成画像を得ることができる。一方で、各使用域について値域幅の条件が満たされないのであれば、切り替わり段差が発生し得るため、割合変更モジュール４０８は当該４種類の信号閾値を用いて、例えば以下のように調整が必要であるか否かの判断及び調整を行う。

極端な例として、Ｓｕｉｔ_1StartとＵｎｄｅｒ_1Startとが同一であった場合を考える。この場合、割合変更モジュール４０８が単純に変更Ｍｉｘテーブルを構成すると、図１３（ａ）のようになる。当該変更Ｍｉｘテーブルによると、特に適性ＨＤＲ画像とアンダーＨＤＲ画像を合成する値域（Ｓｕｉｔ_1End～Ｕｎｄｅｒ_1Start）が十分に確保されず、切り替わり段差が発生し得る。本変形例の割合変更モジュール４０８は、このような状況を回避すべく、図１３（ｂ）に示される通り、適性使用域が閾値Ｗ分の値域幅を有するようにＳｕｉｔ_1Startを調整する。即ち、Ｓｕｉｔ_1Startを適性ＨＤＲ画像の換算ＭａｘＤＲＬに対応する信号値（Ｕｎｄｅｒ_1Start）から閾値Ｗ減算した値に変更することで適性使用域が確保される。結果、適性ＨＤＲ画像とアンダーＨＤＲ画像を合成する値域が確保され、切り替わり段差の発生が回避される。

一方で、適性使用域を優先して確保することで、オーバー使用域が抑圧されることも考えられる。図１３（ａ）の態様においてＵｎｄｅｒ_1Startが閾値Ｗの２倍を上回る場合には、図１３（ｂ）のような調整を行っても適性使用域とオーバー使用域とについて、閾値Ｗの値域を確保できる。しかしながら、図１４（ａ）に示されるようにＵｎｄｅｒ_1Startが閾値Ｗの２倍以下の場合には、適性使用域について閾値Ｗの値域を確保することでオーバー使用域が抑圧され得る（図１４（ｂ））。より詳しくは、Ｕｎｄｅｒ_1Startが閾値Ｗの２倍以下、かつ、Ｓｕｉｔ_1StartがＵｎｄｅｒ_1Startの１／２以上である場合には、適性使用域が閾値Ｗの幅を有するよう調整することで、オーバー使用域が抑圧される。結果、オーバーＨＤＲ画像と適性ＨＤＲ画像を合成する値域が確保されず、切り替わり段差が発生し得る。従って、このような場合に割合変更モジュール４０８は、オーバー使用域及び適性使用域における切り替わり段差の発生を可能な限り回避すべく、図１４（ｃ）に示されるように、例えば信号値０～Ｕｎｄｅｒ_1Startの値域を均等に分割するよう調整を行う。具体的には割合変更モジュール４０８は、Ｓｕｉｔ_1StartをＵｎｄｅｒ_1Startの１／２の値に調整する。

換言すれば、本変形例の割合変更モジュール４０８は、オーバーＨＤＲ画像及び適性ＨＤＲ画像の換算ＭａｘＤＲＬに基づいた４種類の信号閾値を導出した後、以下のようにして変更Ｍｉｘテーブルを構成する。
（１）Ｕｎｄｅｒ_1Start＞閾値Ｗ×２、かつ、Ｕｎｄｅｒ_1Start－Ｓｕｉｔ_1Start＜閾値Ｗであれば、適性使用域が閾値ＷとなるようにＳｕｉｔ_1Startを調整（図１３（ｂ））して変更Ｍｉｘテーブルを構成
（２）Ｕｎｄｅｒ_1Start≦閾値Ｗ×２、かつ、Ｓｕｉｔ_1Start≧Ｕｎｄｅｒ_1Start×１／２であれば、オーバー使用域と適性使用域が均等幅になるよう各信号閾値を調整（図１４（ｃ））して変更Ｍｉｘテーブルを構成
（３）それ以外であれば、各信号値域を調整せずに変更Ｍｉｘテーブルを構成
なお、変更Ｍｉｘテーブルの構成に際して、割合変更モジュール４０８は、基準Ｍｉｘテーブルにおける各信号閾値の相対関係が維持されるよう、Ｏｖｅｒ_1End及びＳｕｉｔ_1Endを調整するものとする。このようにすることで、同一のＨＤＲ画像の組み合わせの合成が行われる信号域のそれぞれについて、閾値Ｗの幅または均等な幅を確保した変更Ｍｉｘテーブルを構成することができる。

このように構成された変更Ｍｉｘテーブルに係る加重加算割合を使用することで、合成モジュール４１０において、切り替わり段差や色曲がりの発生を低減させた合成画像を生成できる。なお、本変形例では各使用域について閾値Ｗを設けて信号閾値の調整及び変更Ｍｉｘテーブルの構成を行うものとして説明したが、本発明の実施はこれに限られるものではない。例えば、ＨＤＲ画像の合成を行う信号域について加重加算割合の変化が線形的に定められる場合、当該線形関数の傾き（加重加算割合の変化率）について閾値を設け、調整及び変更Ｍｉｘテーブルの構成を行ってもよい。

以上の実施形態及び変形例で説明したように、本発明に係る画像処理装置によれば、ＨＤＲ画像に基づく、さらにダイナミックレンジを拡張した合成画像の生成について好適な合成割合を決定することができる。

なお、本明細書では合成処理の入力が、露出量を異ならせて撮影された３種類のＨＤＲ画像であるものとして説明したが、本発明の実施がこれに限られるものではなく、任意の複数のＨＤＲ画像の合成処理に適用可能であることは言うまでもない。また合成画像の生成において、１つの信号域について合成されるＨＤＲ画像の最大数は２種類に限定されるものではなく、加重加算割合の総和が１００％に収まれば２以上であってもよい。

また、本明細書では基準Ｍｉｘテーブルを変更して変更Ｍｉｘテーブルを構成することで、各ＨＤＲ画像の加重加算割合を取得可能にせしめる態様について説明したが、本発明の実施はこれに限られるものではない。即ち、本発明の実施に際し、各ＨＤＲ画像の加重加算割合はテーブルの態様で定義されるものである必要はなく、都度演算を行って加重加算割合を導出する関数等で定義されるものであってもよい。

また本明細書では、ＰＱ方式のＨＤＲ画像を合成して合成画像を生成するため、ＰＱガンマモジュール４０６において、同方式に係る共通のガンマを適用して非線形化するものとして説明した。しかしながら、加重加算割合の決定に際して当該非線形化が必須ではないことは理解されよう。即ち、各ＨＤＲ画像の加重加算割合は、合成処理において合成されるＨＤＲ画像の形式、あるいは生成する合成画像の形式に応じて定められるものであればよい。

また、合成処理を行って出力される合成画像のファイル形式は、少なくとも当該合成画像に係るダイナミックレンジの上限値を共に格納可能であればよく、例えば図８（ｂ）のようなＭＰ４形式を採用してもよい。この場合、ｍｄａｔボックス８２１中のｍｅｔａデータ８２２に上限値が格納されればよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：画像処理装置、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：記録装置、４０４：ＰＱデガンマモジュール、４０５：露出合わせモジュール、４０６：ＰＱガンマモジュール、４０８：割合変更モジュール、４１０：合成モジュール

Claims (19)

1. 異なる露出量で撮影された複数のＨＤＲ（High Dynamic Range）画像であって、シーン輝度が絶対輝度方式で表現された複数のＨＤＲ画像を合成する画像処理装置であって、
   前記複数のＨＤＲ画像のそれぞれについて、出力ダイナミックレンジの上限値を示す信号値を特定する特定手段と、
   前記特定手段により特定された前記信号値に基づいて、前記複数のＨＤＲ画像の合成割合を決定する決定手段と、
   前記複数のＨＤＲ画像のそれぞれの前記合成割合の傾向を切り替える基準の信号閾値を取得する取得手段と、
   を有し、
   前記特定手段は、前記複数のＨＤＲ画像のそれぞれが撮影された際の撮影モードの設定に基づく情報から前記出力ダイナミックレンジの上限値を示す前記信号値を特定し、
   前記決定手段は、前記複数のＨＤＲ画像の各々の前記出力ダイナミックレンジの上限値を示す前記信号値に基づいて、前記取得手段により取得された前記信号閾値を変更し、当該変更後の信号閾値に基づいて前記合成割合を決定することを特徴とする画像処理装置。
2. 前記決定手段は、さらに前記複数のＨＤＲ画像の露出量に基づいて、前記複数のＨＤＲ画像の合成割合を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段は、前記複数のＨＤＲ画像の露出合わせを行うことで、前記出力ダイナミックレンジの上限値を示す前記信号値を特定することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記複数のＨＤＲ画像のそれぞれの前記出力ダイナミックレンジの上限値を示す前記信号値を当該画像の露出量に基づいて補正し、前記複数のＨＤＲ画像の前記補正後の出力ダイナミックレンジの上限値を示す信号値に基づいて前記複数のＨＤＲ画像の合成割合を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記補正は、ゲインを調整することで、前記複数のＨＤＲ画像のいずれかの露出量に他のＨＤＲ画像の露出量を合わせる処理であることを特徴とする請求項４に記載の画像処理装置。
6. 前記決定手段は、前記複数のＨＤＲ画像のそれぞれの前記補正後の出力ダイナミックレンジの上限値を超える信号域について当該画像を合成しないよう、前記合成割合を決定することを特徴とする請求項４または５に記載の画像処理装置。
7. 前記複数のＨＤＲ画像を合成する信号域について、前記複数のＨＤＲ画像のそれぞれの合成割合の傾向を切り替える基準の信号閾値を定義した基準Ｍｉｘテーブルを取得する手段をさらに有し、
   前記決定手段は、前記複数のＨＤＲ画像の前記補正後の出力ダイナミックレンジの上限値を示す信号値に基づいて前記基準Ｍｉｘテーブルの前記信号閾値を変更して変更Ｍｉｘテーブルを構成し、当該変更Ｍｉｘテーブルに基づいて前記合成割合を決定する
   ことを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
8. 前記複数のＨＤＲ画像のそれぞれは、ガンマが適用されて信号値が非線形化された画像であり、
   前記決定手段は、前記複数のＨＤＲ画像のそれぞれの前記出力ダイナミックレンジの上限値を示す前記信号値にデガンマを適用して線形化した後に前記補正を行う
   ことを特徴とする請求項４乃至７のいずれか１項に記載の画像処理装置。
9. 前記特定手段は、前記複数のＨＤＲ画像のそれぞれの前記出力ダイナミックレンジの上限値を示す前記信号値を、当該画像の撮像時に設定されていた撮像モードに応じて特定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記特定手段が前記複数のＨＤＲ画像のそれぞれについて特定する前記出力ダイナミックレンジの上限値を示す前記信号値は、当該画像のビット深度における最大信号値より低いことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記決定手段により前記合成割合が決定される信号域は、輝度域であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記決定手段により前記合成割合が決定される信号域は、いずれかの色信号の信号域であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記決定手段により決定された前記合成割合に基づいて前記複数のＨＤＲ画像を合成して合成画像を生成する合成手段と、
    前記合成手段により生成された前記合成画像を画像ファイルとして出力する出力手段と、
    をさらに有し、
    前記出力手段は、前記合成画像の出力ダイナミックレンジの上限値を示す信号値の情報を前記画像ファイルに含めて出力する
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記特定手段は、前記複数のＨＤＲ画像のうちの最も低露出で撮像されたＨＤＲ画像の前記出力ダイナミックレンジの上限値を示す信号値を特定し、
    前記合成画像の出力ダイナミックレンジの上限値は、前記複数のＨＤＲ画像のうちの最も低露出で撮像されたＨＤＲ画像の前記出力ダイナミックレンジの上限値を示す信号値及び当該画像の露出量に基づいて決定されることを特徴とする請求項１３に記載の画像処理装置。
15. 前記露出量は、画像を撮像時の絞り、シャッタ秒時、ＩＳＯ感度に基づいて定まることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 前記複数のＨＤＲ画像のそれぞれは、ＰＱ（Perceptual Quantization）方式で表現された画像であることを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 請求項１乃至１６のいずれか１項に記載の画像処理装置と、
    露出量を異ならせて前記複数のＨＤＲ画像を撮像する撮像手段と、
    を有することを特徴とする撮像装置。
18. 異なる露出量で撮影された複数のＨＤＲ（High Dynamic Range）画像であって、シーン輝度が絶対輝度方式で表現された複数のＨＤＲ画像を合成する画像処理装置の制御方法であって、
    前記複数のＨＤＲ画像のそれぞれについて、出力ダイナミックレンジの上限値を示す信号値を特定する特定工程と、
    前記特定工程において特定された前記信号値に基づいて、前記複数のＨＤＲ画像の合成割合を決定する決定工程と、
    前記複数のＨＤＲ画像のそれぞれの前記合成割合の傾向を切り替える基準の信号閾値を取得する取得工程と、
    を有し、
    前記特定工程において、前記複数のＨＤＲ画像のそれぞれが撮影された際の撮影モードの設定に基づく情報から前記出力ダイナミックレンジの上限値を示す前記信号値が特定され、
    前記決定工程において、前記複数のＨＤＲ画像の各々の前記出力ダイナミックレンジの上限値を示す前記信号値に基づいて、前記取得工程において取得された前記信号閾値が変更され、当該変更後の信号閾値に基づいて前記合成割合が決定されることを特徴とする制御方法。
19. コンピュータを、請求項１乃至１６のいずれか１項に記載の画像処理装置の各手段として機能させるプログラム。