JP5480025B2 - 撮像装置、撮像システム、撮像方法 - Google Patents

Description

本発明は、長時間露光と短時間露光とを交互に繰り返すことにより広ダイナミックレンジの画像データを合成可能な撮像を行う撮像装置、撮像システム、撮像方法に関する。

近年、短時間露光（ＳＥ：Short Exposure）と長時間露光（ＬＥ：Long Exposure）とを行って露光時間が異なる２枚の画像を取得し、得られた２枚の画像を合成することにより広ダイナミックレンジの静止画像を得るようにしたデジタルカメラが提案され、市販されている。

ここに、ＬＥ画像は、明るい被写体部分は白飛びしたり階調に乏しかったりすることがあり得るが、暗い被写体部分は黒つぶれが少なく階調も豊かであると期待できる。これとは逆に、ＳＥ画像は、暗い被写体部分は黒つぶれしたり階調に乏しかったりすることがあり得るが、明るい被写体部分は白飛びが少なく階調も豊かであると期待できる。そこで、広ダイナミックレンジ画像の生成は、一般に、階調が豊かな画像部分同士、すなわちＬＥ画像における暗い画像部分とＳＥ画像における明るい画像部分とを合成することにより行われる。

このような広ダイナミックレンジ画像を、動画像について得るための提案も、近年種々なされている。

例えば、特開２００８−２２８０５８号公報には、１フィールド期間内にＬＥ画像とＳＥ画像とを撮像して、これらＬＥ画像およびＳＥ画像を用いて１フィールドの合成画像を生成し、生成した合成画像中の黒つぶれや白飛びを検出して、露出補正を行い画質を向上させる技術が記載されている。

また例えば、特開２００３−４６８５７号公報には、１フレーム毎にＬＥ画像とＳＥ画像とが交互に得られるように撮像を行い、得られた画像群に対して異なる２つの合成アルゴリズムを交互に使用することにより、実質的に１フレームの原画像から１フレームの広ダイナミックレンジ画像が生成されるように（つまり、原画像と同じフレームレートで広ダイナミックレンジ画像が生成されるように）する技術が記載されている。ここに、該公報に記載の合成アルゴリズムは、撮像時刻の異なる２フレームの画像をそのまま単純加算平均するものではなく、同一撮像時刻に得られるはずの画像を予測して生成した後に合成するものである。従って例えば、あるフレームでは標準輝度背景かつ高輝度動体の動体部分に、低輝度背景かつ標準輝度動体の動体部分を位置予測して合成し、次のフレームでは低輝度背景かつ標準輝度動体の背景部分に、標準輝度背景かつ高輝度動体の背景部分を位置予測して合成する、などが行われるために、交互に使用される異なる２つの合成アルゴリズムが必要となっている。

ところで、露光後の画像読み出しは、その後の画像処理と同期させるために、垂直同期信号ＶＤが発生してから予め定められた時間が経過した時点で開始されるように行われるのが一般的である（一般的な画像読出タイミング）。これにより、画像処理部は、垂直同期信号ＶＤが発生されてから所定時間後に画像データが１画素毎に順次入力してくるものとして画像処理を開始すれば、画像読出と同期させることが可能となる。

特開２００８−２２８０５８号公報 特開２００３−４６８５７号公報

しかしながら、上記特開２００８−２２８０５８号公報に記載の撮像装置は、１フィールド期間内にＬＥ画像およびＳＥ画像、つまり２枚の画像を撮像して１フィールドの合成画像を生成しているために、撮像される画像枚数に対してフィールド数が半減したものとなってしまい、動画像の動きが、撮像される画像枚数から期待されるよりも滑らかでなくなってしまうことになる。

また、上記特開２００３−４６８５７号公報に記載の技術では、撮像されたＬＥ画像とＳＥ画像とに対して異なる２つの合成アルゴリズムを適応的に使用しているために、プログラム選択を判断するための処理が煩雑になる。

さらに、上述したような一般的な画像読出タイミングで画像を読み出す場合には、露光開始時刻を制御することにより対象となる露光をＬＥにするかＳＥにするかを決定することになるために、ＬＥが終了した後にＳＥを開始するまでの露光間隔と、ＳＥが終了した後にＬＥを開始するまでの露光間隔と、が相違することになる。従って、動いている物体を撮像したときには、動画像における該物体の動きが不自然になり、例え自然な動きとなるように補正しようとしても限界が生じることになる。そして、上記従来の技術では、こうしたＬＥとＳＥとの間の露光間隔の相違に起因する動画像の不自然さに関しては、一切考慮されていなかった。

また、広ダイナミックレンジ静止画像や上記特開２００８−２２８０５８号公報に記載された広ダイナミックレンジ動画像における露出補正は、暗い画像部分が使用されるＬＥに対して黒つぶれを低減するように行われ、明るい画像部分が使用されるＳＥに対して白飛びを低減するように行われる。しかし、このような露出補正が適切となるのは、基本的に、被写体が静止している場合である。なぜならば、動いている被写体が撮像範囲内に存在する場合には、ＬＥ画像とＳＥ画像との一方にしか撮像されていない部分（動いている被写体自体、あるいは動いている被写体の背景部分など）が生じることになる。この場合には、該当部分が暗い画像部分であってもＳＥ画像を使用せざるを得なかったり、明るい画像部分であってもＬＥ画像を使用せざるを得なかったりする可能性がある。従って、ＬＥ画像であっても白飛び部分は少ない方が望ましく、同様に、ＳＥ画像であっても黒つぶれ部分は少ない方が望ましい。このような点に関しても、従来においては十分に考慮されているとはいえなかった。

本発明は上記事情に鑑みてなされたものであり、白飛びや黒つぶれが抑制された自然な動きの広ダイナミックレンジ動画像を、原画像のフレームレートを落とすことなく得ることが可能な撮像装置、撮像システム、撮像方法を提供することを目的としている。

上記の目的を達成するために、本発明のある態様による撮像装置は、広ダイナミックレンジの画像データを合成可能とするために、長時間露光と短時間露光とを交互に繰り返す撮像を行う撮像装置において、露光時間を変更可能な撮像素子と、上記撮像素子を駆動するタイミングの基礎となる垂直同期信号を発生する同期信号生成部と、連続する３つの上記垂直同期信号によって定まる連続する２つの垂直同期期間に、上記短時間露光と上記長時間露光とを１回ずつ行わせるように上記撮像素子を駆動する駆動部と、長時間露光画像と短時間露光画像のそれぞれについて、白飛びである画素の割合および黒つぶれである画素の割合を算出する画像輝度判定部と、上記画像輝度判定部の判定結果に基づいて、長時間露光の露光時間と短時間露光の露光時間との少なくとも一方と、短時間露光の終了からその直後の長時間露光の開始までの第１の時間間隔と該長時間露光の終了からその直後の短時間露光の開始までの第２の時間間隔とを等しくする時間間隔とを、上記垂直同期期間を再計算の前後で変化させない制限の下に、再計算する露光間隔再計算部と、上記露光間隔再計算部の再計算結果に基づいて、上記駆動部に上記撮像素子を駆動させるよう制御する制御部と、を具備したものである。

本発明の他の態様による撮像システムは、上記撮像装置と、該撮像装置による相前後するタイミングの長時間露光と短時間露光とにより得られた２つの画像データを処理して、広ダイナミックレンジの画像データを合成する合成処理部と、を具備したものである。

本発明のさらに他の態様による撮像方法は、広ダイナミックレンジの画像データを合成可能とするために、長時間露光と短時間露光とを交互に繰り返す撮像を行う撮像方法において、露光時間を変更可能な撮像素子を駆動するタイミングの基礎となる垂直同期信号を発生する同期信号生成ステップと、連続する３つの垂直同期信号によって定まる連続する２つの垂直同期期間に、上記短時間露光と上記長時間露光とを１回ずつ行うように上記撮像素子を駆動する駆動ステップと、長時間露光画像と短時間露光画像のそれぞれについて、白飛びである画素の割合および黒つぶれである画素の割合を算出する画像輝度判定ステップと、上記画像輝度判定ステップの判定結果に基づいて、長時間露光の露光時間と短時間露光の露光時間との少なくとも一方と、短時間露光の終了からその直後の長時間露光の開始までの第１の時間間隔と該長時間露光の終了からその直後の短時間露光の開始までの第２の時間間隔とを等しくする時間間隔とを、上記垂直同期期間を再計算の前後で変化させない制限の下に、再計算する露光間隔再計算ステップと、上記露光間隔再計算ステップの再計算結果に基づいて、上記駆動ステップに上記撮像素子を駆動させるよう制御する制御ステップと、を有している。

本発明の撮像装置、撮像システム、撮像方法によれば、白飛びや黒つぶれが抑制された自然な動きの広ダイナミックレンジ動画像を、原画像のフレームレートを落とすことなく得ることが可能となる。

本発明の実施形態１における撮像装置の構成の一例を示すブロック図。 上記実施形態１において、ダイナミックレンジ拡大撮像モード時の撮像装置の処理を示すフローチャート。 上記実施形態１において、ＬＥ画像判定および再設定の処理を示すフローチャート。 上記実施形態１において、ＳＥ画像判定および再設定の処理を示すフローチャート。 上記実施形態１における画像の輝度ヒストグラムの一例を示す線図。 上記実施形態１において、黒つぶれ／白飛び画素数の比と撮像モードとに応じたＬＥシャッタ速度の増減の一例を示す図表。 上記実施形態１において、白飛び／黒つぶれ画素数の比と撮像モードとに応じたＳＥシャッタ速度の増減の一例を示す図表。 上記実施形態１において、広ダイナミックレンジ動画像を撮像するときの、再計算を行う前の各信号の様子を示すタイミングチャート。 上記実施形態１において、広ダイナミックレンジ動画像を撮像するときの、ＬＥ時間の再計算を行った後の各信号の様子を示すタイミングチャート。 上記実施形態１において、広ダイナミックレンジ動画像を撮像するときの、ＳＥ時間の再計算を行った後の各信号の様子を示すタイミングチャート。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１０は本発明の実施形態１を示したものであり、図１は撮像装置の構成の一例を示すブロック図である。

図１に示す撮像装置は、レンズ１と、撮像素子２と、同期信号生成部３と、駆動部４と、画像処理部５と、記録部６と、表示部７と、指示部８と、システム制御部９と、を備えている。なお、本実施形態の撮像装置は、デジタルカメラやデジタルビデオカメラ、監視カメラ、撮影機能付きの携帯電話など、動画表示や動画撮影の機能を備える各種の機器に広く適用することができる。

レンズ１は、光学的な被写体像を撮像素子２の撮像面上に結像するための撮影光学系であり、絞りやフォーカスレンズ等を含んで構成されている。

撮像素子２は、複数の画素が配列された撮像面を備え、レンズ１により結像された光学的な被写体像を光電変換して電気的な画像信号を生成するものである。ここに、撮像素子２は、画素単位やライン単位での画素リセット（電子シャッタ先幕）および画素読み出し（電子シャッタ後幕）を所望のタイミングで順次行うことができる、つまり露光時間を変更可能な、撮像素子となっている。この撮像素子２の具体例としては、ＣＭＯＳ撮像素子等のＸＹアドレス型撮像素子を挙げることができるが、勿論、これに限定されるものではない。

同期信号生成部３は、システム制御部９の制御の下に、撮像素子２を駆動するタイミングの基礎となる垂直同期信号ＶＤ（図８〜図１０を参照）を生成するものである。ここに、システム制御部９は、指示部８からの入力に基づいて定まる垂直同期期間（撮像フレームレートに対応する垂直同期期間）がある場合にはその垂直同期期間を、一方ない場合には予め定められた垂直同期期間（例えば、標準値として与えられている撮像フレームレートに対応する垂直同期期間、あるいは撮像素子２の駆動に今現在用いられている撮像フレームレートに対応する垂直同期期間など）を同期信号生成部３に設定して、設定された垂直同期期間の垂直同期信号ＶＤを発生させるように同期信号生成部３を制御するようになっている。

駆動部４は、システム制御部９の制御の下に、同期信号生成部３によって生成された垂直同期信号ＶＤをタイミングの基礎として、読出開始パルスや電子シャッタ開始パルス（図８〜図１０を参照）を発生して撮像素子２を駆動するものである。この駆動部４は、短時間露光（ＳＥ：Short Exposure）と長時間露光（ＬＥ：Long Exposure）とを交互に繰り返して行わせるように、かつ、連続する３つの垂直同期信号ＶＤによって定まる連続する２つの垂直同期期間にＳＥとＬＥとを１回ずつ行わせるように、撮像素子２を駆動する。

画像処理部５は、撮像素子２により撮像されて読み出された画像信号に各種の画像処理を施すものであり、合成処理部１１と画素レベル判定部１２とを含んで構成されている。ここに、合成処理部１１は、交互に繰り返して行われるＳＥおよびＬＥの内の、相前後するタイミングのＳＥとＬＥとにより得られた２つの画像データ（先行がＳＥ、後行がＬＥである場合と、先行がＬＥ、後行がＳＥである場合と、の２通りある）を処理して１フレームの広ダイナミックレンジの画像データを合成することを、各フレームについて行うものである。この合成処理部１１が行う合成処理としては、同一撮像時刻に得られるはずの画像を予測して合成する処理が一例として挙げられる。また、画素レベル判定部１２は、撮像素子２により撮像された画像（ＬＥ画像、ＳＥ画像）の各画素の画素値が、白飛びであると判定される白飛び閾値以上であるか、および黒つぶれであると判定される黒つぶれ閾値以下であるか、を判定し、判定結果をシステム制御部９へ送信するものである。なお、画素レベル判定部１２による判定は、撮像素子２がモノクロ撮像素子である場合には撮像して得られた画像データをそのまま使用すれば良いが、カラー撮像素子である場合には輝度信号を算出して使用するか、または輝度相当信号（例えばＧ（緑）信号など）を使用することになる。

記録部６は、画像処理部５により記録用に処理された画像データを不揮発に記憶するものであり、例えばメモリカードなどの撮像装置の外部に搬出し得るリムーバブルメモリとして構成されている。従って、記録部６は、撮像装置に固有の構成でなくても構わない。

表示部７は、画像処理部５により表示用に処理された画像や、この撮像装置の操作に係るメニューの表示などを行う表示デバイスである。

指示部８は、この撮像装置に対する操作入力を行うためのユーザーインタフェースであり、電源のオン／オフを指示するための電源ボタンや撮影開始を指示するための撮影ボタン、ダイナミックレンジ拡大撮像モード（より詳細なモードとしては、ダイナミックレンジ拡大夜景モードやダイナミックレンジ拡大動画優先モードなどがある）等を設定するための撮像モード設定ボタン、その他各種の設定ボタンなどが含まれている。

システム制御部９は、白飛び黒つぶれ判定部１３と露光間隔再計算部１４とを備え、指示部８から入力されたユーザーからの指示や、画像処理部５に入力される画像データに基づいて得られる撮像された被写体に係る情報（例えばＡＦ情報やＡＥ情報、画素レベル判定結果の情報）等に基づいて、この撮像装置全体の制御を行う制御部である。ここに、システム制御部９の白飛び黒つぶれ判定部１３は、画素レベル判定部１２の判定結果に基づいて、ＬＥ画像とＳＥ画像のそれぞれについて、白飛びであると判定された画素の割合および黒つぶれであると判定された画素の割合を算出する。また、露光間隔再計算部１４は、ＡＥ情報や画素レベル判定部１２の判定結果などに基づいて、ＬＥ時間ｃとＳＥ時間ｂ（図８等参照）との少なくとも一方と、ＳＥ終了からその直後のＬＥ開始までの第１の時間間隔と該ＬＥ終了からその直後のＳＥ開始までの第２の時間間隔とを等しくする時間間隔ｅとを、垂直同期信号ＶＤの垂直同期期間ｘを再計算の前後で変化させない制限の下に、再計算する。そして、システム制御部９は、露光間隔再計算部１４の再計算結果に基づいて、読出開始パルスおよび電子シャッタ開始パルスの各タイミングを駆動部４に設定し、撮像素子２を駆動させるよう駆動部４を制御する。さらに、システム制御部９は、合成処理部１１を制御して、相前後するタイミングのＬＥとＳＥとにより得られた２つの画像データを処理して、広ダイナミックレンジの画像データを合成させる。

なお、ＬＥ画像とＳＥ画像のそれぞれについて、白飛びである画素の割合および黒つぶれである画素の割合を算出する画像輝度判定部は、上述した画素レベル判定部１２と白飛び黒つぶれ判定部１３とを含んで構成されている。

次に、図２はダイナミックレンジ拡大撮像モード時の撮像装置の処理を示すフローチャート、図８は広ダイナミックレンジ動画像を撮像するときの、再計算を行う前の各信号の様子を示すタイミングチャートである。

このダイナミックレンジ拡大撮像モードが開始されると、システム制御部９は、撮像フレームレートの設定を行う。具体的には、システム制御部９は、撮像開始前から予め定められている例えば標準値の垂直同期期間ｘ（この垂直同期期間ｘは、図８におけるａ／２に等しい）を、上述したように同期信号生成部３に設定する（ステップＳ１）。

続いて、システム制御部９は、このダイナミックレンジ拡大撮像モードによる撮像を開始する前から予め定められている（例えば、標準値として予め定められている、あるいは、通常撮像モードにおけるＡＥ情報に基づいて標準的に決定された）ＬＥ時間ｃとＳＥ時間ｂ（ここにｂおよびｃは、ｂ＋ｃ＜ａ＝２ｘの制限を満たすものとする）を設定する（ステップＳ２）。

さらに、システム制御部９の露光間隔再計算部１４が、ＳＥ終了からその直後のＬＥ開始までの第１の時間間隔と、該ＬＥ終了からその直後のＳＥ開始までの第２の時間間隔と、を等しくする時間間隔ｅを、次の数式１
［数１］
ｅ＝（ａ−ｂ−ｃ）／２
により算出する（ステップＳ３）。ここに、ｂとｃは上述したようにｂ＋ｃ＜ａを満たしているために、この時間間隔ｅは正の値であることが保証される。なお、ａ，ｂ，ｃが予め記憶された値である場合には、時間間隔ｅについても予め記憶しておいて、ここでは読み出すだけにするようにしても（つまり、計算を行って求めなくても）構わない。

そして、システム制御部９は、ＳＥの電子シャッタｅｓの開始タイミングと読出の開始タイミング、およびＬＥの電子シャッタｅｓの開始タイミングと読出の開始タイミングを算出する（ステップＳ４）。

ここに、同期信号生成部３によりある垂直同期信号ＶＤが発生されてから、駆動部４がＳＥの読出開始パルスを発生させるまでの時間ｙ１は、撮像開始前に予め設定されている。

このＳＥの読出開始パルスが発生された時点から上述した時間間隔ｅが経過した時点（つまり、垂直同期信号ＶＤが発生されてからｙ１＋ｅが経過した時点）が、ＬＥの電子シャッタ開始パルスを発生させるタイミングとなる。

次に、システム制御部９は、同期信号生成部３により次の垂直同期信号ＶＤが発生されてから、駆動部４がＬＥの読出開始パルスを発生させるまでの時間ｙ３を、次の数式２
［数２］
ｙ３＝ｙ１＋ｅ＋ｃ−ｘ
に示すように設定する。

このＬＥの読出開始パルスが発生された時点から上述した時間間隔ｅが経過した時点（つまり、垂直同期信号ＶＤが発生されてからｙ３＋ｅが経過した時点）が、次のＳＥの電子シャッタ開始パルスを発生させるタイミングとなる。

なお、ＳＥ画像またはＬＥ画像の画像データの読み出しが開始されてから終了するまでの時間は、撮像素子２の読み出し速度や、読み出すライン数などによって予め定まっており、この図８や後述する図９、図１０のデータ出力を示す部分において、ｄとして図示している。また、ｙ２はＳＥ画像の読み出しが終了してから次の垂直同期信号ＶＤが発生するまでの時間、図８のｙ４（および、後述する図９のｙ４’、図１０のｙ４”）はＬＥ画像の読み出しが終了してから次の垂直同期信号ＶＤが発生するまでの時間である。

このようにして撮像素子２を駆動制御することにより、ＳＥの終了からその直後のＬＥの開始までの第１の時間間隔と、このＬＥの終了からその直後のＳＥの開始までの第２の時間間隔と、が等しく時間間隔ｅとなった繰り返し撮像が、垂直同期期間ｘの下で図８に示すように開始されることになる。

すなわち、ＬＥ画像とＳＥ画像の何れを先に撮像しても構わないが、例えばここでは、まずＬＥ画像の撮像を行うものとする（ステップＳ５）。

そして、撮像して読み出されたＬＥ画像の判定および再設定の処理を行う（ステップＳ６）。この処理について、図３および図５を参照して説明する。ここに図３は、ＬＥ画像判定および再設定の処理を示すフローチャート、図５は画像の輝度ヒストグラムの一例を示す線図である。

画素レベルの最大値をＬｍａｘとすると、各画素は０〜Ｌｍａｘの画素レベル（画素値）を保持しており、そのヒストグラムが例えば図５に示すようになる。

一方、システム制御部９は、黒つぶれであると判定するための黒つぶれ閾値ＬＢと、白飛びであると判定するための白飛び閾値ＬＷとを、予め保持しているか、または必要に応じて生成する。システム制御部９は、黒つぶれ閾値ＬＢおよび白飛び閾値ＬＷを画素レベル判定部１２へ送信して、画素レベル判定部１２に各画素が黒つぶれまたは白飛びに該当するか否かの判定を行わせるように制御する。

すると、画素レベル判定部１２は、黒つぶれの画素数をカウントするための黒つぶれカウンタと白飛びの画素数をカウントするための白飛びカウンタとをリセットした後に、撮像素子２により撮像された画像の各画素の画素値が黒つぶれ閾値ＬＢ以下であるか否かを判定する。そして、黒つぶれ閾値ＬＢ以下である場合には黒つぶれカウンタをインクリメントする処理を行う。同様に、画素レベル判定部１２は、画像の各画素の画素値が白飛び閾値ＬＷ以上であるか否かを判定する。そして、白飛び閾値ＬＷ以上である場合には白飛びカウンタをインクリメントする処理を行う。この処理が画像中の全画素に対して終了すると、黒つぶれカウンタの値は図５に示すような黒つぶれと判定される画素数Ｂｎを、白飛びカウンタの値は同様に白飛びと判定される画素数Ｗｎを、それぞれ保持していることになる。

なお、ここでは画素レベル判定部１２による画素レベルの判定を画像に含まれる全画素について行う例を説明したが、これに限るものではなく、画素間引きによって例えば複数画素に１画素の割合で画像全体の画素レベルの判定を行っても良いし、画素レベル判定を行うエリアを選択して、そのエリア内の全画素または間引き後の画素について判定を行うようにしても構わない。

そして、画素レベル判定部１２は、黒つぶれ画素数Ｂｎと白飛び画素数Ｗｎとを白飛び黒つぶれ判定部１３へ送信する。

白飛び黒つぶれ判定部１３は、ＬＥ画像の黒つぶれ画素数Ｂｎと画素レベル判定を行った総画素数Ａｎとの比ＬＢｎを次の数式３
［数３］
ＬＢｎ＝（Ｂｎ／Ａｎ）
に示すように求めて、この比ＬＢｎが所定割合（この所定割合は、黒つぶれが無視し得る程度の割合であるか否かを判定するための閾値である）、例えば１０％以上であるか否かを判定する（ステップＳ２１）。

ここで、比ＬＢｎが所定割合未満の場合には、次に、ＬＥ画像の白飛び画素数Ｗｎと画素レベル判定を行った総画素数Ａｎとの比ＬＷｎを次の数式４
［数４］
ＬＷｎ＝（Ｗｎ／Ａｎ）
に示すように求めて、この比ＬＷｎが所定割合（この所定割合は、白飛びが無視し得る程度の割合であるか否かを判定するための閾値である）、例えば１０％以上であるか否かを判定する（ステップＳ２２）。

ここで、比ＬＷｎが所定割合未満の場合には、ＬＥ画像中に黒つぶれおよび白飛びが存在しないかもしくは無視し得る程度である（以下、代表して「無視し得る」という）として、そのままこの処理をリターンする。

また、比ＬＷｎが所定割合以上である場合には、黒つぶれは無視し得るが、白飛びは無視し得ないほど存在していることを意味している。そこで、システム制御部９は、ＬＥ画像中の白飛びの割合を減少させるために、ＬＥ時間ｃを減少する設定を行う（ステップＳ２３）。このＬＥ時間ｃの減少は、具体的には、ＬＥ時間ｃを所定割合だけ減少させるようにしても良いし、ＬＷｎの値に応じてＬＥ時間ｃを減少させる割合を変更する（ＬＷｎの値が大きい程、大きな割合でＬＥ時間ｃを減少させる）ようにしても構わない（ただし、ＬＥ時間ｃ＞ＳＥ時間ｂを満たす範囲内で減少させることは勿論である）。

一方、ステップＳ２１において、比ＬＢｎが所定割合以上である場合にも、上述したステップＳ２２と同様に白飛び画素数Ｗｎと総画素数Ａｎとの比ＬＷｎを求めて、この比ＬＷｎが所定割合、例えば１０％以上であるか否かを判定する（ステップＳ２４）。

ここで、比ＬＷｎが所定割合未満の場合には、白飛びは無視し得るが、黒つぶれは無視し得ないほど存在していることを意味している。そこで、システム制御部９は、ＬＥ画像中の黒つぶれの割合を減少させるために、ＬＥ時間ｃを増加する設定を行う（ステップＳ２５）。このＬＥ時間ｃの増加は、具体的には、ＬＥ時間ｃを所定割合だけ増加させるようにしても良いし、ＬＢｎの値に応じてＬＥ時間ｃを増加させる割合を変更する（ＬＢｎの値が大きい程、大きな割合でＬＥ時間ｃを増加させる）ようにしても構わない（ただし、画像をフレーム単位で読み出し得る範囲内で増加させることは勿論である）。

また、ステップＳ２４において、比ＬＷｎが所定割合以上である場合には、黒つぶれと白飛びとの両方ともが、無視し得ないほど存在していることを意味している。

この場合には、白飛び黒つぶれ判定部１３は、黒つぶれ画素数Ｂｎと白飛び画素数Ｗｎとの比ＬＢＷを次の数式５
［数５］
ＬＢＷ＝（Ｂｎ／Ｗｎ）
に示すように求める（ステップＳ２６）。

そして、システム制御部９が、この比ＬＢＷに基づき、現在設定されているより詳細な撮像モードに応じたＬＥ時間ｃの増減を設定する（ステップＳ２７）。このステップＳ２７におけるＬＥ時間ｃの増減について、図６を参照して説明する。図６は、黒つぶれ／白飛び画素数の比と撮像モードとに応じたＬＥシャッタ速度の増減の一例を示す図表である。なお、図６におけるＨＤは、１水平走査時間を表している。

この図６に示す例において、比ＬＢＷが１であるとき、つまり黒つぶれ画素数Ｂｎと白飛び画素数Ｗｎとが等しいときには、ダイナミックレンジ拡大夜景モードに設定されている場合に４０ＨＤだけＬＥ時間ｃを増加させて黒つぶれしている夜景部分が描画されるように設定し、一方、ダイナミックレンジ拡大動画優先モードに設定されている場合に６０ＨＤだけＬＥ時間ｃを減少させて移動する被写体の被写体ブレ等を軽減するように設定する。また、ＬＢＷ＞１のとき（つまり黒つぶれ領域が白飛び領域よりも大きいとき）には、ＬＢＷの大きさに応じてＬＥ時間ｃの値をＬＢＷ＝１のときよりも増加させ、逆に、ＬＢＷ＜１のとき（つまり白飛び領域が黒つぶれ領域よりも大きいとき）には、ＬＢＷの小ささに応じてＬＥ時間ｃの値をＬＢＷ＝１のときよりも減少させるように設定する。

ステップＳ２３、ステップＳ２５、またはステップＳ２７の処理が終了したら、露光間隔再計算部１４が、ＳＥ時間ｂと変更後のＬＥ時間ｃ’とに基づいて、駆動部４が撮像素子２を駆動するために必要な各パラメータを算出する（ステップＳ２８）。

具体的には、露光間隔再計算部１４は、このステップＳ２８において、まず、設定変更前のＬＥ時間ｃと設定変更後のＬＥ時間ｃ’との差分の１／２であるΔｃを、次の数式６
［数６］
Δｃ＝（ｃ−ｃ’）／２
により求める。

すると、各パラメータは次のようになる。
まず、ある垂直同期信号ＶＤが発生されてから、駆動部４がＳＥの読出開始パルスを発生させるまでの時間は、設定変更前と変わりなく、ｙ１である。

このＳＥの読出開始パルスが発生された時点から時間間隔ｅ’＝（ｅ＋Δｃ）が経過した時点（つまり、垂直同期信号ＶＤが発生されてからｙ１＋ｅ’が経過した時点）が、ＬＥの電子シャッタ開始パルスを発生させるタイミングとなる。

続いて、同期信号生成部３により次の垂直同期信号ＶＤが発生されてから、駆動部４がＬＥの読出開始パルスを発生させるまでの時間ｙ３’は、次の数式７
［数７］
ｙ３’＝ｙ１＋ｅ’＋ｃ’−ｘ
＝ｙ１＋（ｅ＋Δｃ）＋（ｃ−２Δｃ）−ｘ
＝（ｙ１＋ｅ＋ｃ−ｘ）−Δｃ
＝ｙ３−Δｃ
により表される。

このＬＥの読出開始パルスが発生された時点から上述した時間間隔ｅ’が経過した時点（つまり、垂直同期信号ＶＤが発生されてからｙ３’＋ｅ’＝ｙ３＋ｅが経過した時点（つまり、設定変更前と同じ時点））が、次のＳＥの電子シャッタ開始パルスを発生させるタイミングとなる。

このようにして撮像素子２を駆動制御することにより、ＬＥ時間を設定変更した後にも、ＳＥの終了からその直後のＬＥの開始までの第１の時間間隔と、このＬＥの終了からその直後のＳＥの開始までの第２の時間間隔と、が等しく時間間隔ｅ’となった繰り返し撮像が、垂直同期期間ｘの下で図９に示すように行われることになる。ここに、図９は広ダイナミックレンジ動画像を撮像するときの、ＬＥ時間の再計算を行った後の各信号の様子を示すタイミングチャートである。これにより、被写体の滑らかな動きを維持しながら、より適切な輝度範囲のＬＥ画像を用いた広ダイナミックレンジ動画像を得ることができる。

なお、以上の説明においては、ＬＥ時間ｃや時間間隔ｅ等が変更されたことを示すために「ｃ’」、「ｅ’」などと記載したが、以降は再び単に「ｃ」、「ｅ」などと記載することにする。

ステップＳ２８の処理が終了したら図２に示す処理に戻って、ステップＳ５において撮像したＬＥ画像とその前のフレームで撮像したＳＥ画像とを用いて、合成処理部１１によりダイナミックレンジ拡大合成処理を行う（ステップＳ７）。ただし、図２に示すダイナミックレンジ拡大撮像モードを開始した直後は前フレームのＳＥ画像が存在しないために、このときにはこのステップＳ７の処理をスキップすることになる。

その後、ステップＳ７において処理した画像を表示部７に表示するとともに記録部６に記録する（ステップＳ８）。

続いて、ステップＳ６において行われた再設定に基づいて、ＳＥ画像の撮像を行う（ステップＳ９）。

そして、撮像して読み出されたＳＥ画像の判定および再設定の処理を行う（ステップＳ１０）。この処理について、図４を参照して説明する。ここに図４は、ＳＥ画像判定および再設定の処理を示すフローチャートである。

画素レベル判定部１２が、ＳＥ画像中の黒つぶれ画素と白飛び画素とをカウントして、黒つぶれ画素数Ｂｎと白飛び画素数Ｗｎとを白飛び黒つぶれ判定部１３へ送信するところまでは、図３を参照して説明したＬＥ画像判定および再設定の処理と同様である。ただし、黒つぶれであると判定するための黒つぶれ閾値ＬＢと、白飛びであると判定するための白飛び閾値ＬＷとは、ＬＥ画像を判定するときと同じ値を用いても良いが、異なる値を用いても構わない。

白飛び黒つぶれ判定部１３は、ＳＥ画像の白飛び画素数Ｗｎと画素レベル判定を行った総画素数Ａｎとの比ＳＷｎを次の数式８
［数８］
ＳＷｎ＝（Ｗｎ／Ａｎ）
に示すように求めて、この比ＳＷｎが所定割合（この所定割合は、白飛びが無視し得る程度の割合であるか否かを判定するための閾値であり、ＬＥと同一の値でも良いし異なる値であっても構わない）、例えば１０％以上であるか否かを判定する（ステップＳ３１）。

ここで、比ＳＷｎが所定割合未満の場合には、次に、ＳＥ画像の黒つぶれ画素数Ｂｎと画素レベル判定を行った総画素数Ａｎとの比ＳＢｎを次の数式９
［数９］
ＳＢｎ＝（Ｂｎ／Ａｎ）
に示すように求めて、この比ＳＢｎが所定割合（この所定割合は、黒つぶれが無視し得る程度の割合であるか否かを判定するための閾値であり、ＬＥと同一の値でも良いし異なる値であっても構わない）、例えば１０％以上であるか否かを判定する（ステップＳ３２）。

ここで、比ＳＢｎが所定割合未満の場合には、ＳＥ画像中の黒つぶれおよび白飛びを無視し得るとして、そのままこの処理をリターンする。

また、比ＳＢｎが所定割合以上である場合には、白飛びは無視し得るが、黒つぶれは無視し得ないほど存在していることを意味している。そこで、システム制御部９は、ＳＥ画像中の黒つぶれの割合を減少させるために、ＳＥ時間ｂを増加する設定を行う（ステップＳ３３）。このＳＥ時間ｂの増加は、具体的には、ＳＥ時間ｂを所定割合だけ増加させるようにしても良いし、ＳＢｎの値に応じてＳＥ時間ｂを増加させる割合を変更する（ＳＢｎの値が大きい程、大きな割合でＳＥ時間ｂを増加させる）ようにしても構わない（ただし、ＳＥ時間ｂ＜ＬＥ時間ｃを満たす範囲内で増加させることは勿論である）。

一方、ステップＳ３１において、比ＳＷｎが所定割合以上である場合にも、上述したステップＳ３２と同様に黒つぶれ画素数Ｂｎと総画素数Ａｎとの比ＳＢｎを求めて、この比ＳＢｎが所定割合、例えば１０％以上であるか否かを判定する（ステップＳ３４）。

ここで、比ＳＢｎが所定割合未満の場合には、黒つぶれは無視し得るが、白飛びは無視し得ないほど存在していることを意味している。そこで、システム制御部９は、ＳＥ画像中の白飛びの割合を減少させるために、ＳＥ時間ｂを減少する設定を行う（ステップＳ３５）。このＳＥ時間ｂの減少は、具体的には、ＳＥ時間ｂを所定割合だけ減少させるようにしても良いし、ＳＷｎの値に応じてＳＥ時間ｂを減少させる割合を変更する（ＳＷｎの値が大きい程、大きな割合でＳＥ時間ｂを減少させる）ようにしても構わない。

また、ステップＳ３４において、比ＳＢｎが所定割合以上である場合には、黒つぶれと白飛びとの両方ともが、無視し得ないほど存在していることを意味している。

この場合には、白飛び黒つぶれ判定部１３は、白飛び画素数Ｗｎと黒つぶれ画素数Ｂｎとの比ＳＷＢを次の数式１０
［数１０］
ＳＷＢ＝（Ｗｎ／Ｂｎ）
に示すように求める（ステップＳ３６）。

そして、システム制御部９が、この比ＳＷＢに基づき、現在設定されているより詳細な撮像モードに応じたＳＥ時間ｂの増減を設定する（ステップＳ３７）。このステップＳ３７におけるＳＥ時間ｂの増減について、図７を参照して説明する。図７は、白飛び／黒つぶれ画素数の比と撮像モードとに応じたＳＥシャッタ速度の増減の一例を示す図表である。なお、ＨＤが１水平走査時間を表すのは図６と同様である。

この図７に示す例において、比ＳＷＢが１であるとき、つまり白飛び画素数Ｗｎと黒つぶれ画素数Ｂｎとが等しいときには、図６に示した例と同様に、ダイナミックレンジ拡大夜景モードに設定されている場合に４０ＨＤだけＳＥ時間ｂを増加させて黒つぶれしている夜景部分が描画されるように設定し、一方、ダイナミックレンジ拡大動画優先モードに設定されている場合に６０ＨＤだけＳＥ時間ｂを減少させて移動する被写体の被写体ブレ等を軽減するように設定する。また、ＳＷＢ＞１のとき（つまり白飛び領域が黒つぶれ領域よりも大きいとき）には、ＳＷＢの大きさに応じてＳＥ時間ｂの値をＳＷＢ＝１のときよりも減少させ、逆に、ＳＷＢ＜１のとき（つまり黒つぶれ領域が白飛び領域よりも大きいとき）には、ＳＷＢの小ささに応じてＳＥ時間ｂの値をＳＷＢ＝１のときよりも増加させるように設定する。

なお、上述した図６やこの図７においては、詳細な撮像モードに応じたＬＥ時間ｃ、ＳＥ時間ｂの増減を示したが、これはもちろん一例を示したものであり、撮像装置、撮像システム、撮像方法毎に露光時間変更ステップの比やシャッタ速の変更割合などを最適化することが望ましい。そして、これら図６、図７に示した以外の詳細な撮像モードにさらに応じてＬＥ時間ｃ、ＳＥ時間ｂを増減するようにしても良いし、詳細な撮像モードによることなく露光時間の増減をダイナミックレンジ拡大撮像モードで共通に行うようにしても構わない。さらに、システム制御部９は、図６、図７に示したようなデータをテーブルとして記憶していても良いが、算出等により適応的に求めても構わない。

ステップＳ３３、ステップＳ３５、またはステップＳ３７の処理が終了したら、露光間隔再計算部１４が、ＳＥ時間ｂと変更後のＳＥ時間ｂ’とに基づいて、駆動部４が撮像素子２を駆動するために必要な各パラメータを算出する（ステップＳ３８）。

具体的には、露光間隔再計算部１４は、このステップＳ３８において、まず、設定変更前のＳＥ時間ｂと設定変更後のＳＥ時間ｂ’との差分の１／２であるΔｂを、次の数式１１
［数１１］
Δｂ＝（ｂ−ｂ’）／２
により求める。

すると、各パラメータは次のようになる。
まず、ある垂直同期信号ＶＤが発生されてから、駆動部４がＳＥの読出開始パルスを発生させるまでの時間は、設定変更前と変わりなく、ｙ１である。

このＳＥの読出開始パルスが発生された時点から時間間隔ｅ”＝（ｅ＋Δｂ）が経過した時点（つまり、垂直同期信号ＶＤが発生されてからｙ１＋ｅ”が経過した時点）が、ＬＥの電子シャッタ開始パルスを発生させるタイミングとなる。

続いて、同期信号生成部３により次の垂直同期信号ＶＤが発生されてから、駆動部４がＬＥの読出開始パルスを発生させるまでの時間ｙ３”は、次の数式１２
［数１２］
ｙ３”＝ｙ１＋ｅ”＋ｃ−ｘ
＝ｙ１＋（ｅ＋Δｂ）＋ｃ−ｘ
＝（ｙ１＋ｅ＋ｃ−ｘ）＋Δｂ
＝ｙ３＋Δｂ
により表される。

このＬＥの読出開始パルスが発生された時点から上述した時間間隔ｅ”が経過した時点（つまり、垂直同期信号ＶＤが発生されてからｙ３”＋ｅ”が経過した時点）が、次のＳＥの電子シャッタ開始パルスを発生させるタイミングとなる。

このようにして撮像素子２を駆動制御することにより、ＳＥ時間を設定変更した後にも、ＳＥの終了からその直後のＬＥの開始までの第１の時間間隔と、このＬＥの終了からその直後のＳＥの開始までの第２の時間間隔と、が等しく時間間隔ｅ”となった繰り返し撮像が、垂直同期期間ｘの下で図１０に示すように行われることになる。ここに、図１０は広ダイナミックレンジ動画像を撮像するときの、ＳＥ時間の再計算を行った後の各信号の様子を示すタイミングチャートである。これにより、被写体の滑らかな動きを維持しながら、より適切な輝度範囲のＳＥ画像を用いた広ダイナミックレンジ動画像を得ることができる。

なお、以上の説明においても、ＳＥ時間ｂや時間間隔ｅ等が変更されたことを示すために「ｂ’」、「ｅ”」などと記載したが、以降は再び単に「ｂ」、「ｅ」などと記載することにする。

ステップＳ３８の処理が終了したら図２に示す処理に戻って、ステップＳ９において撮像したＳＥ画像とその前のフレームで撮像したＬＥ画像とを用いて、合成処理部１１によりダイナミックレンジ拡大合成処理を行う（ステップＳ１１）。

その後、ステップＳ１１において処理した画像を表示部７に表示するとともに記録部６に記録する（ステップＳ１２）。

続いて、ダイナミックレンジ拡大撮像モードの終了判定を行う（ステップＳ１３）。この終了判定においては、まず、撮像モード設定ボタンの状態を検出し、ユーザがダイナミックレンジ拡大撮像モードから通常撮像モードへ設定変更している場合には、このダイナミックレンジ拡大撮像モードを終了して通常撮像モードへ移行する処理を行う。また、撮像モード設定ボタンの状態がダイナミックレンジ拡大撮像モードのままである場合でも、ここではさらに以下のような処理を行う。

すなわち、ＬＥ時間ｃとＳＥ時間ｂとの比である露光時間比ｑを、次の数式１３
［数１３］
ｑ＝（ｃ／ｂ）
により求めて、このｑを所定値ｑ０（ただしｑ０は、ｑ０＞１の条件を満たすが、この条件の下にどのような値とするかは、適用する撮像装置、撮像システム、撮像方法毎に最適化することが望ましい。）と比較する。

そして、ｑ≦ｑ０である場合には、ＬＥとＳＥの露光時間にあまり違いがなくダイナミックレンジ拡大撮像モードを継続する必要がないと判定して、このダイナミックレンジ拡大撮像モードを抜けて、一時的通常撮像モードへ移行する処理を行う。ここに、一時的通常撮像モードは、通常撮像モードの処理ルーチン中に、ダイナミックレンジ拡大撮像モードへ再び復帰するか否かを判定する処理を追加したものである。そして、一時的通常撮像モードにおいてダイナミックレンジ拡大撮像モードへ復帰すると判定された場合には、この図２に示す処理を再び開始することになる。なお、この露光時間比ｑの処理は、図２のステップＳ１３に示したタイミングで行うに限るものではなく、例えばＬＥ時間ｃとＳＥ時間ｂとの少なくとも一方が変更された直後のタイミングに行うようにすると良い。

また、ｑ≦ｑ０である場合に、上述ではダイナミックレンジ拡大撮像モードを抜けて一時的通常撮像モードへ移行するようにしたが、これに限らず、直前に変更したＬＥ時間ｃまたはＳＥ時間ｂの変更を取り消してダイナミックレンジ拡大撮像モードを続行するようにしても構わない。さらに、ダイナミックレンジ拡大撮像モードを抜けるか続行するかの判断を、システム制御部９が行うようにしても構わない。例えば、撮像装置がパンやチルトの動作を行われたことにより、ダイナミックレンジ拡大撮像モードによる撮像が一時的に不適切となった場合には、その後に間もなく、ダイナミックレンジ拡大撮像モードによる撮像が再び適切な状態に戻る可能性がある。そこで、撮像装置内に設けられた例えば角速度センサ等のデータに基づいて、システム制御部９がこれを判定し、ダイナミックレンジ拡大撮像モードを続行するように判断する、などの例が考えられる。

また、ステップＳ１３の終了判定において、ダイナミックレンジ拡大撮像モードを終了しないと判定された場合には、ステップＳ５へ戻ってこのダイナミックレンジ拡大撮像モードの処理を継続して行うことになる。

なお、図１に示した構成例では、撮像装置内に合成処理部１１を設けたが、これに限るものではなく、撮像装置の外部に設けるようにしても構わない。すなわち、撮像装置と、例えば合成処理プログラムを実行するコンピュータなどで構成される外部合成処理部と、を組み合わせて撮像システムを構成しても良い。そして、ＬＥおよびＳＥを交互に繰り返して行うことにより得られた画像データを、ダイナミックレンジ拡大撮像モードにおいて取得された画像データである旨の情報とともに、メモリカード等で構成される記録部６や図示しない通信回線等を介して外部合成処理部へ伝達し、外部合成処理部において、相前後するタイミングのＳＥとＬＥとにより得られた２つの画像データを処理して１フレームの広ダイナミックレンジの画像データを合成することを、各フレームについて行えば良い。

さらに、撮像装置や撮像システムに限らず、同様の機能を実現する撮像方法、撮像プログラム、撮像プログラムを記録する記録媒体等であっても勿論構わない。

このような実施形態１によれば、白飛びや黒つぶれが抑制された自然な動きの広ダイナミックレンジ動画像を、原画像のフレームレートを落とすことなく得ることが可能となる。

また、ＳＥに対するＬＥの露光時間比を算出して、この露光時間比が１よりも大きい所定値以下である場合には、広ダイナミックレンジの画像データを合成可能とするための撮像を行うダイナミックレンジ拡大撮像モードを終了して通常撮像モード（一時通常撮像モード）へ移行するようにしたために、十分に有効な合成用の画像データを取得できるとはいえない場合に、撮像処理を簡単にしたり合成処理を不要にしたりすることができる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…レンズ
２…撮像素子
３…同期信号生成部
４…駆動部
５…画像処理部
６…記録部
７…表示部
８…指示部
９…システム制御部（制御部）
１１…合成処理部
１２…画素レベル判定部（画像輝度判定部）
１３…白飛び黒つぶれ判定部（画像輝度判定部）
１４…露光間隔再計算部

Claims (8)

1. 広ダイナミックレンジの画像データを合成可能とするために、長時間露光と短時間露光とを交互に繰り返す撮像を行う撮像装置において、
   露光時間を変更可能な撮像素子と、
   上記撮像素子を駆動するタイミングの基礎となる垂直同期信号を発生する同期信号生成部と、
   連続する３つの上記垂直同期信号によって定まる連続する２つの垂直同期期間に、上記短時間露光と上記長時間露光とを１回ずつ行わせるように上記撮像素子を駆動する駆動部と、
   長時間露光画像と短時間露光画像のそれぞれについて、白飛びである画素の割合および黒つぶれである画素の割合を算出する画像輝度判定部と、
   上記画像輝度判定部の判定結果に基づいて、長時間露光の露光時間と短時間露光の露光時間との少なくとも一方と、短時間露光の終了からその直後の長時間露光の開始までの第１の時間間隔と該長時間露光の終了からその直後の短時間露光の開始までの第２の時間間隔とを等しくする時間間隔とを、上記垂直同期期間を再計算の前後で変化させない制限の下に、再計算する露光間隔再計算部と、
   上記露光間隔再計算部の再計算結果に基づいて、上記駆動部に上記撮像素子を駆動させるよう制御する制御部と、
   を具備したことを特徴とする撮像装置。
2. 上記露光間隔再計算部は、上記白飛びである画素の割合（白飛び割合）が第１の所定割合以上であるか否かを判定するとともに、上記黒つぶれである画素の割合（黒つぶれ割合）が第２の所定割合以上であるか否かを判定し、
   白飛び割合が第１の所定割合以上であってかつ黒つぶれ割合が第２の所定割合未満である場合には該割合を算出した長または短時間露光（対象露光）の露光時間を減少させ、
   白飛び割合が第１の所定割合未満であってかつ黒つぶれ割合が第２の所定割合以上である場合には該対象露光の露光時間を増加させるように設定するものであることを特徴とする請求項１に記載の撮像装置。
3. 上記露光間隔再計算部は、さらに、白飛び割合が第１の所定割合以上であってかつ黒つぶれ割合が第２の所定割合以上である場合には、白飛び割合に対する黒つぶれ割合の比が大きくなるにつれて上記対象露光の露光時間を増加させるように設定するものであることを特徴とする請求項２に記載の撮像装置。
4. 上記制御部は、上記露光間隔再計算部による再計算を行った際に、再計算された短時間露光に対する長時間露光の露光時間比を算出し、算出した露光時間比が１よりも大きい所定値以下である場合には、広ダイナミックレンジの画像データを合成可能とするための撮像を行うダイナミックレンジ拡大撮像モードを終了して通常撮像モードへ移行するように制御するものであることを特徴とする請求項１に記載の撮像装置。
5. 上記画像輝度判定部は、
   上記撮像素子により撮像された画像の各画素の画素値が、白飛びであると判定される白飛び閾値以上であるか、および黒つぶれであると判定される黒つぶれ閾値以下であるか、を判定する画素レベル判定部と、
   上記画素レベル判定部による判定結果に基づいて、長時間露光画像と短時間露光画像のそれぞれについて、白飛びであると判定された画素の割合および黒つぶれであると判定された画素の割合を算出する白飛び黒つぶれ判定部と、
   備えたものであることを特徴とする請求項１に記載の撮像装置。
6. 相前後するタイミングの長時間露光と短時間露光とにより得られた２つの画像データを処理して、広ダイナミックレンジの画像データを合成する合成処理部をさらに具備したことを特徴とする請求項１に記載の撮像装置。
7. 請求項１に記載の撮像装置と、
   上記撮像装置による相前後するタイミングの長時間露光と短時間露光とにより得られた２つの画像データを処理して、広ダイナミックレンジの画像データを合成する合成処理部と、
   を具備したことを特徴とする撮像システム。
8. 広ダイナミックレンジの画像データを合成可能とするために、長時間露光と短時間露光とを交互に繰り返す撮像を行う撮像方法において、
   露光時間を変更可能な撮像素子を駆動するタイミングの基礎となる垂直同期信号を発生する同期信号生成ステップと、
   連続する３つの垂直同期信号によって定まる連続する２つの垂直同期期間に、上記短時間露光と上記長時間露光とを１回ずつ行うように上記撮像素子を駆動する駆動ステップと、
   長時間露光画像と短時間露光画像のそれぞれについて、白飛びである画素の割合および黒つぶれである画素の割合を算出する画像輝度判定ステップと、
   上記画像輝度判定ステップの判定結果に基づいて、長時間露光の露光時間と短時間露光の露光時間との少なくとも一方と、短時間露光の終了からその直後の長時間露光の開始までの第１の時間間隔と該長時間露光の終了からその直後の短時間露光の開始までの第２の時間間隔とを等しくする時間間隔とを、上記垂直同期期間を再計算の前後で変化させない制限の下に、再計算する露光間隔再計算ステップと、
   上記露光間隔再計算ステップの再計算結果に基づいて、上記駆動ステップに上記撮像素子を駆動させるよう制御する制御ステップと、
   を有することを特徴とする撮像方法。

Images