JP3748031B2 - 映像信号処理装置及び映像信号処理方法 - Google Patents
映像信号処理装置及び映像信号処理方法 Download PDFInfo
- Publication number
- JP3748031B2 JP3748031B2 JP2000170838A JP2000170838A JP3748031B2 JP 3748031 B2 JP3748031 B2 JP 3748031B2 JP 2000170838 A JP2000170838 A JP 2000170838A JP 2000170838 A JP2000170838 A JP 2000170838A JP 3748031 B2 JP3748031 B2 JP 3748031B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- color video
- standard exposure
- standard
- exposure color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Cameras In General (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像信号処理装置に関し、特に、露光時間の異なる映像信号を合成することにより広ダイナミックレンジの映像信号を生成する映像信号処理装置に関する。
【０００２】
【従来の技術】
近年、ビデオカメラや電子スチルカメラ等の画像取込手段として、ＣＣＤ撮像素子をはじめとする固体撮像素子が多く利用されている。ところが、固体撮像素子のダイナミックレンジは、銀塩写真に比べて狭く、コントラストの強い被写体を撮像する場合など、撮影条件によっては画質が著しく劣化する。この問題を解決するために、ダイナミックレンジを拡大する方法がある。
【０００３】
従来のダイナミックレンジ拡大手段としては、特開平7-131718号公報に開示された画像合成装置が知られている。これは、同一シーンにおける露光量の異なる複数の画像を撮影し、この露光量の異なる映像信号に対して、共通の合成領域を設けて、非標準露光の映像信号と標準露光の映像信号を合成することで、ダイナミックレンジの拡大された映像信号を得るものである。
【０００４】
しかし、この方法を単純に３板式のビデオカメラ及びＲＧＢ処理方式の単板ビデオカメラに応用した場合には、忠実な色再現ができずに、偽色になってしまう場合がある。
【０００５】
図１８から図２０を用いて、従来のダイナミックレンジ拡大信号処理装置を、３板式ビデオカメラに適応した例を説明する。ここでは、フレーム単位でのダイナミックレンジ拡大処理の場合を示す。なお、同じ番号で同じ名称の構成要素は、同機能を有するものである。
【０００６】
図１８に示す従来の信号処理装置の構成を説明する。プリズム1000は、光をＲＧＢに分離するプリズムである。撮像素子1010は、ＲＧＢの３系統に分離された各色の光について、光量を電気信号に変換するとともに、露光時間が標準と非標準の２種類の映像信号をフレーム単位で交互に出力する撮像素子である。撮像素子駆動手段1020は、ＲＧＢ毎の撮像素子1010を駆動し、図１９（Ｄ）に示すように、標準露光時と非標準露光時で露光時間を示す露光時間識別信号1021を出力する手段である。
【０００７】
前処理手段1030は、ＲＧＢ毎に、ＣＤＳ手段とＡＧＣ手段とクランプ回路等で構成される手段である。ＣＤＳ手段は、撮像素子出力のアナログ信号のノイズ成分を、相関２重サンプリングにより削除する手段である。ＡＧＣ手段は、ノイズ成分が除去されたアナログ映像信号が一定の信号レベルを保持するように、振幅調整を行なう手段である。クランプ回路は、振幅調整されたアナログ映像信号に対して、Ａ／Ｄ変換するためにクランプする回路である。
【０００８】
Ａ／Ｄ変換器1040は、ＲＧＢ毎に、前処理手段1030の出力をディジタル映像信号に変換する手段である。同時化手段1050は、図１９（Ａ）に示すように、１フレーム分の映像信号を遅延するためのメモリー手段10511と、セレクタ手段10513と、セレクタ手段10514から構成され、同時化処理を行なう手段である。
【０００９】
映像信号合成手段1080は、ＲＧＢ毎に、標準露光映像信号1060と非標準露光映像信号1070とを、輝度レベルに応じて合成し、合成映像信号1081を生成する手段である。カメラプロセス1090は、ＲＧＢ毎の合成映像信号1081に対して、ガンマ補正や輪郭補正等を行ない、輝度信号や色差信号やＲＧＢ信号等の出力信号を生成する手段である。
【００１０】
図１９（Ａ）に示す同時化手段1050の動作を説明する。ＲＧＢ毎の同時化手段1050では、Ａ／Ｄ変換器出力1041が、メモリー手段10511とセレクタ手段10513へ与えられる。図１９（Ｂ）に示すような、１フレーム毎に交互に出力される露光時間の異なる映像信号を、メモリー手段10511で、図１９（Ｃ）に示すように、１フレーム分遅延させる。メモリー手段出力10512を、セレクタ手段10514とセレクタ手段10513に与える。図１９（Ｄ）に示すような露光時間識別信号1021によって、セレクタ手段10514とセレクタ手段10513を切り替える。図１９（Ｅ）、（Ｆ）に示すように、セレクタ手段10513の出力が、常に標準露光映像信号1060となり、セレクタ手段10514の出力が、常に非標準露光映像信号1070となる。このように２系統に分離され、同一タイミングで出力される。
【００１１】
図２０を参照して、従来の映像信号合成手段1080における、標準露光映像信号1060と非標準露光映像信号1070の合成の方法を説明する。図２０において、標準露光映像信号1060は、非標準露光映像信号1070より露光時間が長いのでＬＯＮＧと呼び、非標準露光映像信号1070は、標準露光映像信号1060より露光時間が短いのでＳＨＯＲＴと呼ぶことにする。
【００１２】
図２０（Ａ）は、ＬＯＮＧの入出力特性である。入射光量が飽和光量を超えると、出力は一定値で飽和し、白つぶれが生じやすい。ただし、飽和光量までは通常の標準の映像信号が得られる。
【００１３】
図２０（Ｂ）は、ＳＨＯＲＴの入出力特性である。これは、シャッター時間を標準露光より短くするか、感度をＬＯＮＧより下げることにより、その分だけ撮像素子が飽和する入射光量を高めることができる。ただし、入射光量の少ない部分はＳ／Ｎが悪く、黒つぶれしやすい。
【００１４】
そこで、この２つの特性を利用して、映像信号のダイナミックレンジを拡大する。例えば、ＬＯＮＧが飽和しない領域ではＬＯＮＧだけ出力し、ＬＯＮＧが飽和し始める領域（ＭＩＸ領域）では、ＬＯＮＧとＳＨＯＲＴをＫ（映像信号合成制御信号）で内分した値を出力とし、ＬＯＮＧが完全に飽和した領域では、ＳＨＯＲＴだけを出力するように制御する。
【００１５】
合成映像信号1081をＯＵＴとし、ＭＩＸ領域の開始レベルをＹthとし、ＬＯＮＧの飽和レベルをＳＡＴとする。ＭＩＸ領域内でＬＯＮＧとＳＨＯＲＴを交差させ、自然に映像信号を合成させるためのオフセット値をＯＦＦＳＥＴ１とし、Ｋを映像信号合成制御信号とする。Ｋは、ＭＩＸ領域の下限ではＬＯＮＧとなり、上限ではＳＨＯＲＴとなるように、なめらかに変化させるための制御信号である。
【００１６】
図２０（Ｃ）に、ＳＨＯＲＴ＋ＯＦＦＳＥＴ１の様子を示す。図２０（Ｄ）に、Ｋ（映像信号合成制御信号）による映像信号合成の様子を示す。図２０（Ｅ）に、Ｋ（映像信号合成制御信号）の特性を示す。図２０（Ｆ）に、最終的に得られる合成映像信号1081を示す。
【００１７】
この合成映像信号1081（ＯＵＴ）を得るための制御を式で表すと、下記（１）〜（３）式のようになる。ＬＯＮＧ≦Ｙthの場合（ＬＯＮＧが飽和していない領域）は、
ＯＵＴ＝ＬＯＮＧ （１）
となる。Ｙth≦ＬＯＮＧ≦ＳＡＴの場合（ＭＩＸ領域）は、
ＯＵＴ＝(１−Ｋ)×ＬＯＮＧ＋Ｋ×(ＳＨＯＲＴ＋ＯＦＦＳＥＴ１) （２）となる。ここで、
Ｋ＝（ＬＯＮＧ−Ｙth）／（ＳＡＴ−Ｙth）
である。ＬＯＮＧ≧ＳＡＴの場合（ＬＯＮＧが飽和した領域）は、
ＯＵＴ＝ＳＨＯＲＴ＋ＯＦＦＳＥＴ１ （３）
となる。
【００１８】
従来は、このようにして映像信号を合成し、広ダイナミックレンジの映像信号を得ていた。
【００１９】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、ＲＧＢ毎の各信号にばらつきがあると、偽色を生じるという問題がある。すなわち、ＲＧＢ毎の標準露光映像信号と非標準露光映像信号には、撮像素子及び前処理手段のばらつきや、Ａ／Ｄ変換するために映像信号に付加するオフセットレベルのばらつきや、映像信号（撮像素子出力）の黒レベルの基準となるＯＢ(Optical Black)レベルのばらつき等に起因するばらつきが含まれる可能性がある。ＲＧＢの映像信号毎に、このようなばらつきがあると、ＲＧＢ毎に標準露光映像信号と非標準露光映像信号を合成する際に基準となる映像信号レベルがずれた状態となる。この状態のまま、映像信号合成手段で、標準露光映像信号と非標準露光映像信号映像信号を合成すると、適切な合成処理が行なわれない。そのため、ＲＧＢ毎の色相が崩れてしまい、偽色が生じる。ＯＢレベルやオフセットレベルのばらつきは、単板方式の撮像装置にもあり、同様に偽色が生じる。
【００２０】
また、ＲＧＢ毎の標準露光映像信号と非標準露光映像信号映像信号に、フリッカやホワイトバランスの相異がある場合にも、偽色が生じやすいという問題がある。すなわち、フリッカやホワイトバランスの相異があると、合成処理の基準となる映像信号レベルがずれた状態となる。この状態で、ＲＧＢ毎に標準露光映像信号と非標準露光映像信号を合成すると、適切な合成処理が行なわれない。したがって、さらにＲＧＢ毎の色相が崩れやすく、偽色が生じやすくなる。
【００２１】
本発明は、上記の問題点を解決して、標準露光映像信号と非標準露光映像信号を合成する際に基準となる映像信号レベルのずれを改善して、偽色の低減された広ダイナミックレンジの良好な映像信号を生成する映像信号処理装置を提供することを目的とする。
【００２２】
【課題を解決するための手段】
上記の課題を解決するために、本発明では、標準の露光時間で撮影された標準露光映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成する手段と、標準露光映像信号と非標準露光映像信号とを用いてダイナミックレンジが拡大された合成映像信号を生成する手段とを有する映像信号処理装置に、標準露光カラー映像信号と非標準露光カラー映像信号のオフセットレベルを算出するオフセットレベル検出手段と、標準露光カラー映像信号と非標準露光カラー映像信号からオフセットレベルを減算して減算後標準露光カラー映像信号と減算後非標準露光カラー映像信号とを算出するレベル減算手段と、標準露光カラー映像信号の飽和を判定して飽和判定信号を出力する飽和判定手段と、標準感光カラー映像信号が飽和する直前のオフセットレベルを予め保持しておくとともに飽和判定信号に応答してオフセットレベル減算手段に出力するオフセットレベル保持手段と、標準露光カラー映像信号と非標準感光カラー映像信号との露光時間比に応じて減算後非標準露光カラー映像信号に対してゲイン調整を行なって調整後非標準露光カラー映像信号を生成するゲイン調整手段と、減算後標準露光カラー映像信号と調整後非標準露光カラー映像信号とを合成して広ダイナミックレンジのカラー映像信号を生成するカラー映像信号合成手段とを備える構成とした。
【００２３】
このように構成したことにより、標準露光映像信号と非標準露光映像信号の基準信号レベルを共通にして映像信号合成を行なうことで、合成画像の偽色を改善できる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について、図１〜図１７を参照しながら詳細に説明する。
【００２５】
（第１の実施の形態）
本発明の第１の実施の形態は、映像信号のＯＢレベルを算出して、標準露光映像信号と非標準露光映像信号から減算し、減算後の非標準露光映像信号に対して露光時間比に応じたゲイン調整を行ない、減算後の標準露光映像信号とゲイン調整後の非標準露光映像信号とを合成して広ダイナミックレンジの映像信号を生成する映像信号処理装置である。
【００２６】
図１は、本発明の第１の実施の形態における映像信号処理装置の機能ブロック図である。図１８に示した従来の映像信号処理装置に、ゲイン調整手段1130と、露光比演算手段1100と、ＯＢレベル検出手段1110とＯＢレベル減算手段1120を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【００２７】
図１において、プリズム1000は、光をＲＧＢに分離するプリズムである。撮像素子1010は、ＲＧＢ３系統に分離された光の光量を電気信号に変換するとともに、各色毎に露光時間が標準と非標準の２種類の映像信号をフレーム単位で交互に出力する素子である。撮像素子駆動手段1020は、撮像素子1010を駆動し、図１９（Ｄ）に示すように、標準露光時と非標準露光時で露光時間を示す露光時間識別信号1021を出力する手段である。
【００２８】
前処理手段1030は、ＣＤＳ手段とＡＧＣ手段とクランプ回路等で構成される手段である。ＣＤＳ手段は、撮像素子出力のアナログ信号のノイズ成分を相関２重サンプリングにより削除する手段である。ＡＧＣ手段は、ノイズ成分が除去されたアナログ映像信号が一定の信号レベルを保持するように、振幅調整を行なう手段である。クランプ回路は、振幅調整されたアナログ映像信号に対してＡ／Ｄ変換するためにクランプする回路である。
【００２９】
Ａ／Ｄ変換器1040は、ＲＧＢ毎に、前処理手段1030の出力をディジタル映像信号に変換する手段である。同時化手段1050は、図１９（Ａ）に示すように、ＲＧＢ毎に、１フレーム分の映像信号を遅延するためのメモリー手段10511と、セレクタ手段10513と、セレクタ手段10514とから構成される手段である。
【００３０】
ＯＢレベル検出手段1110は、ＲＧＢ毎の非標準露光映像信号1070と標準露光映像信号に対して、映像信号の黒レベルの基準となるＯＢレベルを検出する手段である。ＯＢレベル減算手段1120は、ＲＧＢ毎の非標準露光映像信号1070と標準露光映像信号から、ＯＢレベル検出手段1110で検出されたＯＢレベルを減算する手段である。映像信号合成手段1080は、ＲＧＢ毎の標準露光映像信号1060と非標準露光映像信号1070とを信号レベルに応じて合成し、合成映像信号1081を生成する手段である。カメラプロセス1090は、ＲＧＢ毎に３系統の合成映像信号1081に対して、ガンマ補正や輪郭補正等を行ない、輝度信号や色差信号やＲＧＢ信号等の出力信号を生成する手段である。
【００３１】
図２（Ａ）は、露光時間識別信号の特性を示す図であり、図２（Ｂ）は、ゲイン制御信号の特性を示す図である。
【００３２】
図３（Ａ）は、標準露光映像信号の特性を示す図であり、図３（Ｂ）は、非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図であり、図３（Ｃ）は、信号処理装置による合成映像信号の特性を示す図である。
【００３３】
図４（Ａ）は、従来の映像信号処理装置によるＲＧＢ毎の映像信号に対する合成映像信号を示す図であり、図４（Ｂ）は、映像信号処理装置によるＲＧＢ毎の信号に対する合成映像信号を示す図である。
【００３４】
図５（Ａ）は、ＯＢレベルが調整されていない標準露光映像信号の特性を示す図であり、図５（Ｂ）は、ＯＢレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図であり、図５（Ｃ）は、ＯＢレベルが調整されていない合成映像信号の特性を示す図である。
【００３５】
図６（Ａ）は、ＯＢレベルが調整されていない標準露光映像信号の特性を示す図であり、図６（Ｂ）は、ＯＢレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図であり、図６（Ｃ）は、ＯＢレベルが調整されている標準露光映像信号の特性を示す図であり、図６（Ｄ）は、ＯＢレベルが調整されている非標準露光映像信号の特性を示す図であり、図６（Ｅ）は、ＯＢレベルが調整されている合成映像信号の特性を示す図であり、図６（Ｆ）は、撮像素子出力に占めるＯＢ領域を示す図である。
【００３６】
上記のように構成された本発明の第１の実施の形態における映像信号処理装置の動作を説明する。プリズム1000は、光をＲＧＢに分離する。ＲＧＢ毎の撮像素子1010は、撮像素子駆動手段1020によって駆動され、プリズム1000によりＲＧＢの３系統に分離された光の光量を、それぞれ電気信号に変換する。それとともに、露光時間が標準と非標準の２種類の映像信号を、フレーム単位で交互に出力する。ＲＧＢ毎の撮像素子駆動手段1020は、撮像素子を駆動するとともに、図１９（Ｄ）に示すように、撮像素子1010の露光時間を示す露光時間識別信号1021を生成する。
【００３７】
ＲＧＢ毎の前処理手段1030のＣＤＳ回路で、撮像素子出力のアナログ信号のノイズ成分を、相関２重サンプリングにより削除する。ノイズ成分が除去されたアナログ映像信号が一定の信号レベルを保持するように、ＡＧＣ回路で振幅調整を行なう。振幅調整されたアナログ映像信号に対して、Ａ／Ｄ変換するために、クランプ回路でクランプする。ＲＧＢ毎のＡ／Ｄ変換器1040は、クランプされたアナログ映像信号を、ディジタル映像信号に変換する。
【００３８】
ＲＧＢ毎の同時化手段1050では、Ａ／Ｄ変換器出力1041が、メモリー手段10511とセレクタ手段10513へ与えられる。すなわち、図１９（Ｂ）に示すように、１フレーム毎に交互に、露光時間の異なる映像信号が入力される。この映像信号を、メモリー手段10511で、図１９（Ｃ）に示すように、１フレーム分遅延させる。メモリー手段出力10512を、セレクタ手段10513とセレクタ手段10514に与える。さらに、同時化手段1050では、セレクタ手段10513とセレクタ手段10514を、露光時間識別信号1021によって切り替える。
【００３９】
例えば、図１９（Ａ）のセレクタ手段10513では、露光時間識別信号1021が64のとき、標準露光映像信号1060を出力し、露光時間識別信号1021が２のとき、非標準露光映像信号1070を出力する。また、セレクタ手段10514では、露光時間識別信号1021が64のとき、非標準露光映像信号1070を出力し、露光時間識別信号1021が２のとき、標準露光映像信号1060を出力する。
【００４０】
この際、図１９（Ｄ）に示す露光時間識別信号1021を、Ａ／Ｄ変換器出力1051に対応させて、標準露光時は64となり、非標準露光時は２となるように、露光時間に応じて重み付けしておく。このようにしておけば、図１９（Ｅ）、（Ｆ）に示すように、セレクタ手段10513の出力は常に標準露光映像信号1060となり、セレクタ手段10514の出力は常に非標準露光映像信号1070となるように、２系統に分離して、同一タイミングで出力できる。このようにして、ＲＧＢ毎の同時化手段1050では、標準露光と非標準露光の映像信号の同時化を行なう。
【００４１】
次に、標準露光映像信号1060と非標準露光映像信号1070について説明する。図３（Ａ）に、標準露光映像信号1060の特性を示し、図３（Ｂ）に、非標準露光映像信号1070の特性を示す。図３（Ａ）、（Ｂ）から分かるように、非標準露光映像信号1070と標準露光映像信号1060は、入射光量に対する撮像素子出力の特性が異なるために、従来の手法で映像信号を合成しても、低輝度域から高輝度域まで、図３（Ｃ）に示すような線形特性を持った合成映像信号1081を得ることはできない。
【００４２】
例えば、３板式撮像装置の場合には、図４（Ａ）の（Ｒ）、（Ｇ）、（Ｂ）に示すように、入射光量のＲＧＢ比がＲ：Ｂ：Ｇ＝10：１：１であったものが、従来の手法で映像信号を合成した場合、ＲＧＢ毎の合成映像信号1081では、ＲＧＢの比はＲ：Ｂ：Ｇ＝７：１：１となり、本来あるべきＲ：Ｇ：Ｂの比（色相）が変わってしまう。このため、偽色が発生する。
【００４３】
そこで、偽色を改善するために、ＲＧＢ毎の標準露光映像信号1060と非標準露光映像信号1070を合成しても、低輝度域から高輝度域まで線形特性を持った映像信号を得られるようにする。非標準露光映像信号1070の入射光量に対する出力特性を、標準露光映像信号1060が飽和しない領域の入射光量に対する出力特性と同等にするために、撮像素子駆動手段1020から、図２（Ａ）に示すような露光時間識別信号1021を得て、それに基づいて、図１の露光比演算手段1100で、図２（Ｂ）に示すようなゲイン制御信号1101を生成する。
【００４４】
非標準露光映像信号1070を、図３（Ｃ）に示すような線形特性に近づけるよう、図２（Ｂ）に示すゲイン制御信号1101に応じたゲインを、ＲＧＢ毎のゲイン調整手段1130で、図３（Ｂ）に示すように、非標準露光映像信号1070に乗算する。例えば、図１９（Ａ）〜（Ｆ）に示すように、露光時間識別信号1021が、標準露光映像信号1060を64と重み付けし、非標準露光映像信号1070を２と重み付けしているとする。その場合は、その露光比から、ＲＧＢ毎の非標準露光映像信号1070を32倍するように制御する。こうして、ＲＧＢ毎に３系統のゲイン調整された非標準露光映像信号1070を得る。
【００４５】
これによって、ＲＧＢ毎の標準露光映像信号1060と、ゲイン調整後の非標準露光映像信号1070は、傾きを同等にできる。これを基に、ＲＧＢ毎の標準露光映像信号1060と、ゲイン調整後の非標準露光映像信号1070を、ＲＧＢ毎の映像信号合成手段1080で、信号レベルに応じて映像信号を合成する。このようにして、ＲＧＢ毎の合成映像信号1081は、図３（Ｃ）に示すように、低輝度域から高輝度域まで線形特性を保った映像信号になる。
【００４６】
これにより、図４（Ｂ）の（Ｒ’）、（Ｇ’）、（Ｂ’）に示すように、入射時にＲＧＢの光量比が10：１：１であったものは、合成後においても10：１：１を保つ。したがって、本来あるべき入射時のＲ：Ｇ：Ｂの光量比（色相）は変わらない。よって、これ以降のカメラプロセス1090でガンマ補正や輪郭補正を施しても、低輝度域から高輝度域まで偽色のない広ダイナミックレンジの映像を得ることができる。
【００４７】
また、黒レベルの基準となるＯＢレベルは、撮像素子1010のばらつきや、前処理手段1030等の信号処理によって、ノイズ成分の影響を受けて、図５（Ａ）、（Ｂ）のように、非標準露光映像信号1070と標準露光映像信号1060の黒レベルの基準であるＯＢレベルがずれてしまう場合がある。このようなときに、ゲイン制御信号1101に応じたゲインを、図５（Ｂ）のように、非標準露光映像信号1070に乗算すると、非標準露光映像信号1070のＯＢレベルがずれてしまう。ＯＢレベルがずれたままの状態で、映像信号合成手段1080で、信号レベルに応じて、標準露光映像信号1060と非標準露光映像信号1070を合成すると、図５（Ｃ）のように、低輝度域から高輝度域まで線形特性を保てない。これがＲＧＢの色相に影響を与えると、偽色を生じる。
【００４８】
そこで、ＯＢレベルがずれている２つの信号、図６（Ａ）に示す標準露光映像信号1060と、図６（Ｂ）に示す非標準露光映像信号1070とから、図１のＯＢレベル検出手段1110でＯＢレベルを検出する。このＯＢレベルを、標準露光映像信号1060と、非標準露光映像信号1070から、ＯＢレベル減算手段1120で減算する。その結果、図６（Ｃ）、（Ｄ）に示すように、ＯＢレベルが調整される。このようにして、合成の基準となる信号レベルを調整した上で、標準露光映像信号1060と非標準露光映像信号1070を、図６（Ｅ）に示すように合成する。
【００４９】
例えば、黒レベルの基準となるＯＢ領域は、図６（Ｆ）に示すように、１画面中の特定の領域を占めているので、ＯＢレベル検出手段1110では、１フレーム毎に、このＯＢ領域中の平均値を算出する。このＯＢレベル検出手段1110で算出された、１フレーム毎のＯＢレベルを、ＯＢレベル減算手段1120で減算する。
【００５０】
このように、１フレーム毎のＯＢレベルの平均値生成処理とＯＢレベル減算処理を行なった上で、標準露光映像信号1060と非標準露光映像信号1070とを合成すれば、図６（Ｅ）に示すように、低輝度域から高輝度域まで線形特性を持った広ダイナミックレンジの合成映像信号を生成することができる。したがって、標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルのずれによる偽色が改善できる。
【００５１】
よって、これ以降のカメラプロセス1090で、ガンマ補正や輪郭補正を施しても、低輝度域から高輝度域まで偽色のない、黒レベルの調整された広ダイナミックレンジの映像信号を得ることができる。
【００５２】
本実施の形態では、三板方式の映像信号処理装置について説明したが、単板方式の映像信号処理装置でも同様に、ＯＢレベルを調整した後に、標準露光映像信号1060と非標準露光映像信号1070とを合成すればよい。フレーム単位の処理だけでなく、フィールド単位やライン単位や１画素単位の処理でもよい。
【００５３】
上記のように、本発明の第１の実施の形態では、映像信号処理装置を、映像信号のＯＢレベルを算出して、標準露光映像信号と非標準露光映像信号から減算し、減算後の非標準露光映像信号に対して露光時間比に応じたゲイン調整を行ない、減算後の標準露光映像信号とゲイン調整後の非標準露光映像信号とを合成して広ダイナミックレンジの映像信号を生成する構成としたので、映像信号合成の基準となる信号レベルのずれによる偽色が改善できる。
【００５４】
（第２の実施の形態）
本発明の第２の実施の形態は、映像信号のオフセットレベルを算出して、標準露光映像信号と非標準露光映像信号から減算し、減算後の非標準露光映像信号に対して露光時間比に応じたゲイン調整を行ない、減算後の標準露光映像信号とゲイン調整後の非標準露光映像信号とを合成して広ダイナミックレンジの映像信号を生成する映像信号処理装置である。
【００５５】
図７は、本発明の第２の実施の形態における映像信号処理装置の機能ブロック図である。図１８に示した従来の映像信号処理装置に、ゲイン調整手段1130と、露光比演算手段1100と、オフセットレベル検出手段1140と、オフセットレベル減算手段1150を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【００５６】
図８（Ａ）は、オフセットレベルが調整されていない標準露光映像信号の特性を示す図であり、図８（Ｂ）は、オフセットレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図であり、図８（Ｃ）は、オフセットレベルが調整されていない合成映像信号の特性を示す図である。
【００５７】
図９（Ａ）は、オフセットレベルが調整されていない標準露光映像信号の特性を示す図であり、図９（Ｂ）は、オフセットレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図であり、図９（Ｃ）は、オフセットレベルが調整されている標準露光映像信号の特性を示す図であり、図９（Ｄ）は、オフセットレベルが調整されている非標準露光映像信号の特性を示す図であり、図９（Ｅ）は、オフセットレベルが調整されている合成映像信号の特性を示す図である。
【００５８】
図１０は、標準露光映像信号と非標準露光映像信号に含まれるオフセット成分の特性を示す図である。
【００５９】
上記のように構成された本発明の第２の実施の形態における映像信号処理装置の動作を説明する。通常の映像信号処理装置では、映像の低輝度域を見やすくするために、オフセットを付加している。しかし、このオフセットは、アナログ処理部のばらつきや、撮像素子のばらつき等のために、常に一定の信号レベルを保持していない。
【００６０】
映像信号に含まれるオフセット成分を、オフセットレベル検出手段1140で算出する。算出されたオフセット値を、オフセットレベル減算手段1150により、標準露光映像信号1060と非標準露光映像信号1070から減算する。図９の（Ａ）（Ｂ）に示すようなオフセットレベルのずれのために、基準となる信号レベルにずれが生じる。図９（Ｃ）（Ｄ）のように、オフセットレベルをそれぞれの映像信号から減算する。標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルを調整した上で合成する。
【００６１】
標準露光映像信号1060と非標準露光映像信号1070には、図１０に示すように、本来、同等のオフセットを含んでいるものとする。オフセットレベル検出手段1140では、その露光時間の比からオフセットを検出すればよい。
【００６２】
標準露光映像信号1060と非標準露光映像信号1070は、それぞれ同じオフセットを含んでいるため、それぞれ（４）、（５）式で示されるような関係にある。さらに、標準露光映像信号1060と非標準露光映像信号1070は、（６）式に示すような関係にある。（４）,（５）,（６）式より、オフセットは（７）式で求めることができる。
【００６３】
なお、この（４）,（５）,（６）式では、標準露光映像信号1060をＬＯＮＧ’とし、非標準露光映像信号1070をＳＨＯＲＴ’とし、オフセットをＯＦＦＳＥＴとし、オフセットを含まない標準露光映像信号1060をＬＯＮＧとし、オフセットを含まない非標準露光映像信号1070をＳＨＯＲＴとし、非標準露光映像信号1070の露光時間に対する標準露光映像信号1060の露光時間の比をＮとする。
ＬＯＮＧ＝ＬＯＮＧ'−ＯＦＦＳＥＴ （４）
ＳＨＯＲＴ＝ＳＨＯＲＴ'−ＯＦＦＳＥＴ （５）
ＬＯＮＧ＝Ｎ（ＳＨＯＲＴ） （６）
（４）,（５）,（６）式よりオフセットを算出すると、
ＯＦＦＳＥＴ＝{Ｎ（ＳＨＯＲＴ’）−ＬＯＮＧ’}/（Ｎ−１） （７）
となる。
【００６４】
（４）〜（７）式によるオフセット（ＯＦＦＳＥＴ）算出処理を、オフセットレベル検出手段1140で行なう。求めたオフセット（ＯＦＦＳＥＴ）を、オフセットレベル減算手段1150により、標準露光映像信号1060と非標準露光映像信号1070から減算する。これにより、図９（Ｃ）、（Ｄ）に示すように、標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルを合わせることができる。
【００６５】
例えば、図８（Ａ）、（Ｂ）に示すように、標準露光映像信号1060と非標準露光映像信号1070に含まれるオフセット成分の信号レベルが異なっているとする。この場合に、標準露光映像信号1060と非標準露光映像信号1070の露光比に相当するゲインを、非標準露光映像信号1070に乗算してから、標準露光映像信号1060と非標準露光映像信号1070を合成しても、標準露光映像信号1060と非標準露光映像信号1070とで、合成の基準となる信号レベルが異なるため、図８（Ｃ）に示すように、低輝度域から高輝度域まで線形特性を保てず、非線形特性になってしまい、ＲＧＢの色相に影響を与え、偽色の要因となる。このような場合でも、オフセットレベルのずれを改善して、偽色を軽減できる。
【００６６】
また、合成の基準となる信号レベルを調整した上で合成できるため、合成映像信号は、図９（Ｅ）のように、低輝度域から高輝度域まで線形特性を保つことができる。よって、偽色のない広ダイナミックレンジの映像信号を得ることができる。
【００６７】
なお、ここでは、三板方式の映像信号処理装置について説明したが、単板方式の映像信号処理装置でも同様に、オフセットレベルを調整した後に、標準露光映像信号1060と非標準露光映像信号1070とを合成すればよい。
【００６８】
また、信号処理装置の処理としては、フレーム単位のみの処理だけでなく、ライン単位やフィールド単位や１画素単位の処理でもよい。（４）〜（７）式による演算に関しても、フィールド単位やライン単位や１画素単位で行なってもよい。標準露光映像信号1060と非標準露光映像信号1070から、画面中の任意の領域の平均値を算出し、その平均値を、標準露光映像信号1060と非標準露光映像信号1070として代用して演算してもよい。
【００６９】
上記のように、本発明の第２の実施の形態では、映像信号処理装置を、映像信号のオフセットレベルを算出して、標準露光映像信号と非標準露光映像信号から減算し、減算後の非標準露光映像信号に対して露光時間比に応じたゲイン調整を行ない、減算後の標準露光映像信号とゲイン調整後の非標準露光映像信号とを合成して広ダイナミックレンジの映像信号を生成する構成としたので、映像信号合成の基準となる信号レベルのずれによる偽色が改善できる。
【００７０】
（第３の実施の形態）
本発明の第３の実施の形態は、標準露光映像信号が飽和する直前のオフセットレベルを予め保持しておき、飽和した場合には、保持しているオフセットレベルを標準露光映像信号と非標準露光映像信号から減算し、ゲイン調整して合成する映像信号処理装置である。
【００７１】
図１１は、本発明の第３の実施の形態における映像信号処理装置の機能ブロック図である。図７に示した第２の実施の形態における映像信号処理装置に、飽和判定手段1160とオフセットレベル保持手段1170を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【００７２】
図１１において、飽和判定手段1160は、標準露光映像信号が飽和レベルを超えたら、飽和と判定する手段である。オフセットレベル保持手段1170は、標準露光映像信号が飽和する直前のオフセットを保持する手段である。
【００７３】
上記のように構成された本発明の第３の実施の形態における映像信号処理装置の動作を説明する。（６）式に示した、標準露光映像信号1060と非標準露光映像信号1070と露光比Ｎの関係は、標準露光映像信号1060が飽和した場合には成り立たない。つまり（７）式も成り立たなくなる。
【００７４】
そこで、図１１に示すように、標準露光映像信号1060に対して飽和判定手段1160を設ける。これにより、標準露光映像信号1060が、図９（Ａ）に示すような飽和レベルを超えたら、飽和と判定する。この飽和と判定した情報を、図１１の非標準露光映像信号1070に付随しているオフセットレベル検出手段1140にも伝達する。標準露光映像信号1060と非標準露光映像信号1070に付随するオフセットレベル検出手段1140では、（７）式によるオフセットレベルの検出を停止する。
【００７５】
オフセットレベル保持手段1170には、標準露光映像信号1060が飽和する直前のオフセットを保持させておく。このオフセットレベルは、（７）式の関係が満たされたものであるため、（７）式によるオフセットレベルの検出が停止している場合は、適切なオフセット値を保持していることになる。また、オフセットは、フィールドやフレームや１画素単位で頻繁に変化するものではないため、例えば、標準露光映像信号1060が飽和する１フレーム前のオフセットを保持していてもよい。
【００７６】
標準露光映像信号1060が飽和した場合でも、オフセットレベル保持手段1170で保持しているオフセット値を用いて、オフセットレベルの調整が行なえる。標準露光映像信号1060と非標準露光映像信号1070から、オフセットレベル保持手段1170で保持しているオフセットを減算した後、映像信号合成手段1080で合成する。標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルを調整した上で合成が行なえるため、図９（Ｅ）のように、低輝度域から高輝度域まで線形特性を保つことができる。合成映像信号1081には、合成時の基準となる信号レベルのずれによる偽色が少なくなる。よって、偽色のない広ダイナミックレンジの映像信号を得ることができる。
【００７７】
なお、飽和判定手段1160では、標準露光映像信号1060に対して、１画素単位で、信号レベルに応じて標準露光映像信号1060が飽和しているか否か判定できるようにしたが、１フレーム単位や１フィールド単位で、標準露光映像信号1060と標準露光映像信号1060の飽和していない画素数を数えておき、飽和していない画素が極端に少ない場合には、そのフィールドの標準露光映像信号1060は飽和していると判定するように構成し、（７）式によるオフセットレベル検出を停止させてもよい。
【００７８】
三板方式の映像信号処理装置に関して説明したが、単板方式の映像信号処理装置でも同様に、オフセットレベルを調整した後に、標準露光映像信号1060と非標準露光映像信号1070とを合成してもよい。フレーム単位の処理だけでなく、フィールド単位やライン単位や１画素単位の処理でもよい。
【００７９】
上記のように、本発明の第３の実施の形態では、映像信号処理装置を、標準露光映像信号が飽和する直前のオフセットレベルを予め保持しておき、飽和した場合には、保持しているオフセットレベルを標準露光映像信号と非標準露光映像信号から減算し、ゲイン調整して合成する構成としたので、標準露光映像信号が飽和した場合でも、合成時の基準となる信号レベルのずれによる偽色を軽減できる。
【００８０】
（第４の実施の形態）
本発明の第４の実施の形態は、オフセットレベルの算出前の標準露光映像信号と非標準露光映像信号とに対して、信号レベルに応じた制限を加え、常に精度のよいオフセットレベルを、標準露光映像信号と非標準露光映像信号から減算し、ゲイン調整して合成する映像信号処理装置である。
【００８１】
図１２は、本発明の第４の実施の形態における映像信号処理装置の機能ブロック図である。図１１に示した映像信号処理装置の飽和判定手段1160の代わりに、入力制限手段1180を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【００８２】
図１２において、入力制限手段1180は、標準露光映像信号と非標準露光映像信号に対して上限値と下限値を設定し、上限値か下限値を超える場合は、オフセット値の算出を行なわないように制限する手段である。
【００８３】
上記のように構成された本発明の第４の実施の形態における映像信号処理装置の動作を説明する。図１２に示すように、標準露光映像信号1060と非標準露光映像信号1070に対して、入力制限手段1180で制限する。すなわち、低輝度域のＳ／Ｎの悪い映像信号や、高輝度域の飽和レベルにある映像信号を除外した上で、オフセットレベル検出手段1140で、（７）式によるオフセットを検出する。
【００８４】
一般的に、映像信号は暗いほどＳ／Ｎが悪い。このため、オフセットレベル検出手段1140で、オフセット値を１フィールド単位で生成するとき、被写体が暗い場合には、オフセット自体がノイズ成分の影響を受け、精度が劣化する。標準露光映像信号1060が飽和するようなレベルの映像信号から、１フィールドの画面平均値を基に、（６）式によりオフセットを算出しても、画面が飽和している部分を含んで算出されたものなので、オフセットの精度は劣化したものになる。
【００８５】
そこで、図１２の入力制限手段1180では、標準露光映像信号1060と非標準露光映像信号1070に対して、上限値と下限値を設定する。標準露光映像信号1060と非標準露光映像信号1070が上限値か下限値を超える場合は、（７）式によるオフセット値の算出を行なわないようにし、精度の高いオフセットを算出する。
【００８６】
上限値と下限値を超えないフィールドのオフセットを、オフセットレベル保持手段1170に常に保持しておく。標準露光映像信号1060と非標準露光映像信号1070が上限値と下限値を超える場合は、これを使う。
【００８７】
よって、オフセットレベル減算手段1150は、精度の高いオフセット値を基に、標準露光映像信号1060と非標準露光映像信号1070に対するオフセット減算処理ができる。標準露光映像信号1060と非標準露光映像信号1070からオフセットを減算した後に、映像信号合成手段1080で合成すれば、標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルを調整した上で合成が行なえる。そのため、図９（Ｅ）のように、低輝度域から高輝度域まで線形特性を保つことができ、合成時の基準となる信号レベルのずれによる偽色が改善できる。精度の良いオフセット調整が施された広ダイナミックレンジの映像信号を得ることができる。
【００８８】
三板方式の映像信号処理装置に関して説明したが、単板方式の映像信号処理装置でも同様に、オフセットレベルを調整した後に、標準露光映像信号1060と非標準露光映像信号1070とを合成してもよい。フレーム単位の処理だけでなく、フィールド単位やライン単位や１画素単位の処理でもよい。
【００８９】
上記のように、本発明の第４の実施の形態では、映像信号処理装置を、オフセットレベルの算出前の標準露光映像信号と非標準露光映像信号とに対して、信号レベルに応じた制限を加え、常に精度のよいオフセットレベルを、標準露光映像信号と非標準露光映像信号から減算し、ゲイン調整して合成する構成としたので、低輝度域のＳ／Ｎの悪い映像信号や、高輝度域の飽和レベルにある映像信号を除外して、低輝度域から高輝度域までの広ダイナミックレンジの映像信号を得ることができる。
【００９０】
（第５の実施の形態）
本発明の第５の実施の形態は、フリッカを補正した標準露光映像信号と非標準露光映像信号とに対して、信号レベルに応じた制限を加え、常に精度のよいオフセットレベルを、標準露光映像信号と非標準露光映像信号から減算し、ゲイン調整して合成する映像信号処理装置である。
【００９１】
図１３は、本発明の第５の実施の形態における映像信号処理装置の機能ブロック図である。図１２に示した映像信号処理装置に、フリッカ補正手段1190を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【００９２】
図１３において、フリッカ補正手段1190は、標準露光映像信号と非標準露光映像信号が平均値と等しくなるようにゲインを乗算してフリッカを補正する手段である。
【００９３】
上記のように構成された本発明の第５の実施の形態における映像信号処理装置の動作を説明する。図１３に示すように、フリッカ補正手段1190によりフリッカ補正を行なって、オフセットレベル検出手段1140におけるオフセットの精度を高める。
【００９４】
非標準露光映像信号1070は、標準露光映像信号に1060に比べて、撮像素子1010の露光時間が短い信号であり、フリッカが生じやすい。また、標準露光映像信号1060にフリッカを生じている場合には、映像信号がフィールド毎に変動するため、（７）式を単純に適用できず、精度の良いオフセットを得ることができない。そのため、オフセットレベル検出手段1140で、（７）式を基にオフセットを算出する場合にも、フリッカ補正手段1190でフリッカ補正を施してから、オフセット値を算出する。
【００９５】
フリッカ補正手段1190では、ＲＧＢ毎に、標準露光映像信号1060と非標準露光映像信号1070それぞれの３フィールド連続した画像の平均値を算出する。次に、各フィールドの映像信号が、算出した平均値と同等になるように、フリッカを補正するためのゲインを算出する。ＲＧＢ毎の標準露光映像信号1060と非標準露光映像信号1070に、このゲインを乗算する。
【００９６】
これにより、ＲＧＢ毎の標準露光映像信号1060と非標準露光映像信号1070のフリッカは補正できる。このフリッカ補正された、ＲＧＢ毎の標準露光映像信号1060と非標準露光映像信号1070を基に、オフセットレベル検出手段1140でオフセットを算出すれば、フリッカの影響を受けることなく、オフセットを算出できる。そして、このオフセットを、オフセットレベル減算手段1150で減算すれば、フリッカを生じるような被写体であっても、精度よくオフセットを適切に減算した上で、標準露光映像信号1060と非標準露光映像信号1070を、映像信号合成手段1080で合成できる。
【００９７】
よって、オフセットレベル減算手段1150では、精度の高いオフセット値を基に、標準露光映像信号1060と非標準露光映像信号1070に対するオフセット減算処理ができる。標準露光映像信号1060と非標準露光映像信号1070から、オフセット減算後に、映像信号合成手段1080で合成する。標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルを調整した上で合成が行なえる。その結果、フリッカのある場合でも、図９（Ｅ）のように、低輝度域から高輝度域まで線形特性を有する広ダイナミックレンジの映像信号を得ることができ、合成時の基準となる信号レベルのずれによる偽色が改善できる。
【００９８】
三板方式の映像信号処理装置に関して説明したが、単板方式の映像信号処理装置でも同様に、オフセットレベルを調整した後に、標準露光映像信号1060と非標準露光映像信号1070とを合成してもよい。フレーム単位のみでの処理だけでなく、フィールド単位やライン単位や１画素単位の処理でもよい。
【００９９】
上記のように、本発明の第５の実施の形態では、映像信号処理装置を、フリッカを補正した標準露光映像信号と非標準露光映像信号とに対して、信号レベルに応じた制限を加え、常に精度のよいオフセットレベルを、標準露光映像信号と非標準露光映像信号から減算し、ゲイン調整して合成する構成としたので、フリッカのある場合でも、広ダイナミックレンジの映像信号を得ることができる。
【０１００】
（第６の実施の形態）
本発明の第６の実施の形態は、標準露光映像信号と非標準露光映像信号のＯＢレベルを算出して減算し、さらにオフセットレベルを算出して減算し、ゲイン調整して合成する映像信号処理装置である。
【０１０１】
図１４は、本発明の第６の実施の形態における映像信号処理装置の機能ブロック図である。図１２に示した映像信号処理装置に、ＯＢレベル検出手段1110とＯＢレベル減算手段1120とを設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【０１０２】
図１４において、ＯＢレベル検出手段1110は、ＲＧＢ毎の非標準露光映像信号1070と標準露光映像信号に対して、映像信号の黒レベルの基準となるＯＢレベルを検出する手段である。ＲＧＢ毎の非標準露光映像信号1070と標準露光映像信号から、ＯＢレベル検出手段1110で検出されたＯＢレベルを減算する手段である。
【０１０３】
上記のように構成された本発明の第６の実施の形態における映像信号処理装置の動作を説明する。映像信号のノイズ成分のために、オフセットレベル検出手段1140のみで、（７）式によるオフセット算出を行なうと、オフセットの精度が劣化する。オフセットレベル検出手段1140のみで算出したオフセットを基に、標準露光映像信号1060と非標準露光映像信号1070からオフセットを減算し、映像信号合成手段1080で合成すると、映像信号のノイズによる偽色が生ずる。
【０１０４】
映像信号に含まれるノイズ成分の影響を軽減するために、ＯＢレベル検出手段1110で、映像信号のＯＢレベルを算出する。標準露光映像信号1060と非標準露光映像信号1070から、ＯＢレベル減算手段1120により、ＯＢレベルを減算する。ＯＢレベル検出手段1110とＯＢレベル減算手段1120により、標準露光映像信号1060と非標準露光映像信号1070のＯＢレベルの調整が行なわれ、標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルを適切に保持できる。
【０１０５】
映像信号にノイズ成分がある場合でも、合成映像信号1081は、図９（Ｅ）のように、低輝度域から高輝度域まで線形特性を保つことができる。したがって、広ダイナミックレンジの映像信号を得ることができ、合成時の基準となる信号レベルのずれによる偽色が改善できる。
【０１０６】
三板方式の映像信号処理装置に関して説明したが、単板方式の映像信号処理装置でも同様に、オフセットレベルを調整した後に、標準露光映像信号1060と非標準露光映像信号1070とを合成してもよい。フレーム単位のみの処理だけでなく、フィールド単位やライン単位や１画素単位の処理でもよい。
【０１０７】
上記のように、本発明の第６の実施の形態では、映像信号処理装置を、標準露光映像信号と非標準露光映像信号のＯＢレベルを算出して減算し、さらにオフセットレベルを算出して減算し、ゲイン調整して合成する構成としたので、映像信号にノイズ成分がある場合でも、低輝度域から高輝度域まで広ダイナミックレンジの映像信号を得ることができ、偽色が改善できる。
【０１０８】
（第７の実施の形態）
本発明の第７の実施の形態は、標準露光映像信号と非標準露光映像信号からＯＢレベルを減算し、フリッカを補正して、さらにオフセットレベルを減算して、ゲイン調整して合成する映像信号処理装置である。
【０１０９】
図１５は、本発明の第７の実施の形態における映像信号処理装置の機能ブロック図である。図１４に示した信号処理装置に、フリッカ補正手段1190を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【０１１０】
図１５において、フリッカ補正手段1190は、標準露光映像信号と非標準露光映像信号が平均値と等しくなるようにゲインを乗算してフリッカを補正する手段である。
【０１１１】
上記のように構成された本発明の第７の実施の形態における映像信号処理装置の動作を説明する。フリッカ補正手段1190を設けているので、映像信号にフリッカの影響がある場合でも、フリッカの影響をオフセットレベル検出手段1140に与えない。その結果、オフセットレベル検出手段1140で精度よくオフセットの算出ができる。
【０１１２】
また、映像信号にフリッカが生じているような場合でも、ＯＢレベル検出手段1110とＯＢレベル減算手段1120により、標準露光映像信号1060と非標準露光映像信号1070のＯＢレベルの調整が適切に行なえる。
【０１１３】
したがって、標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルを適切に保持できる。合成映像信号1081は、フリッカやノイズ成分がある場合でも、図９（Ｅ）のように、低輝度域から高輝度域まで線形特性を保つことができる。広ダイナミックレンジの良好な映像信号を得ることができ、信号レベルのずれによる偽色を改善できる。
【０１１４】
三板方式の映像信号処理装置に関して説明したが、単板方式の映像信号処理装置でも同様に、フリッカ補正した後にオフセットレベルを算出し、オフセットレベルを調整した後に、標準露光映像信号1060と非標準露光映像信号1070とを合成すればよい。フレーム単位の処理だけでなく、フィールド単位やライン単位や１画素単位の処理でもよい。
【０１１５】
上記のように、本発明の第７の実施の形態では、映像信号処理装置を、標準露光映像信号と非標準露光映像信号からＯＢレベルを減算し、フリッカを補正して、さらにオフセットレベルを減算して、ゲイン調整して合成する構成としたので、フリッカやノイズ成分がある場合でも、低輝度域から高輝度域まで広ダイナミックレンジの良好な映像信号を得ることができ、偽色を改善できる。
【０１１６】
（第８の実施の形態）
本発明の第８の実施の形態は、標準露光映像信号と非標準露光映像信号からＯＢレベルを減算し、ホワイトバランスを調整し、フリッカを補正して、さらにオフセットレベルを減算して、ゲイン調整して合成する映像信号処理装置である。
【０１１７】
図１６は、本発明の第８の実施の形態における映像信号処理装置の機能ブロック図である。図１５に示した映像信号処理装置に、ホワイトバランス調整手段1200を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【０１１８】
図１６において、ホワイトバランス調整手段1200は、標準露光映像信号と非標準露光映像信号それぞれに対して、Ｇの映像信号の平均値を基にホワイトバランスを調整する手段である。
【０１１９】
上記のように構成された本発明の第８の実施の形態における映像信号処理装置の動作を説明する。ＲＧＢ毎のホワイトバランス調整手段1200では、標準露光映像信号1060と非標準露光映像信号1070それぞれに対して、フレーム毎にＲＧＢ毎に１画面分の平均値（ＲAVE,ＧAVE，ＢAVE）を算出する。Ｇの映像信号の平均値であるＧAVEを基に、ＲＧＢ毎にホワイトバランスを調整するためのホワイトバランス調整ゲインを算出する。
【０１２０】
例えば、ホワイトバランス調整ゲイン（ＲＷgain,ＧＷgain,ＢＷgain）は、Ｇを基準に、以下の（８）〜（10）式で、
ＲＷgain＝(ＧAVE)／(ＲAVE) （８）
ＧＷgain＝(ＧAVE)／(ＧAVE)＝1.0 （９）
ＢＷgain＝(ＧAVE)／(ＢAVE) （10）
のように算出する。
【０１２１】
このように、ＲＧＢ毎の標準露光映像信号1060と非標準露光映像信号1070それぞれに対して、ホワイトバランス調整ゲインを算出する。ＲＧＢ毎の標準露光映像信号1060と非標準露光映像信号1070のホワイトバランスを調整する。
【０１２２】
また、この構成により、ＯＢレベル調整とフリッカ補正とオフセットレベル調整も適切に行なえる。映像信号のホワイトバランスがずれているか、ノイズやフリッカの影響がある場合でも、標準露光映像信号1060と非標準露光映像信号1070の映像信号を合成する際の基準となる信号レベルを適切に保てる。
【０１２３】
したがって、合成映像信号1081は、映像信号にホワイトバランスのずれやフリッカやノイズ成分がある場合でも、図９（Ｅ）のように、低輝度域から高輝度域まで線形特性を保つことができる。標準露光映像信号1060と非標準露光映像信号1070の映像信号を合成する際の基準となる信号レベルのずれによる偽色を改善でき、広ダイナミックレンジの良好な映像信号を得ることができる。
【０１２４】
なお、入射光量が強く、標準露光映像信号1060が飽和レベル以上に達しているような場合には、非標準露光映像信号1070は飽和しないので、非標準露光映像信号1070のホワイトバランスで、標準露光映像信号1060のホワイトバランスを代用してもよい。標準露光映像信号1060が飽和レベルに達する直前のフレームのホワイトバランスを保持しておき、代用してもよい。
【０１２５】
三板方式の映像信号処理装置に関して説明したが、単板方式の映像信号処理装置でも同様に、ホワイトバランスを調整した後に、オフセットレベルを算出してオフセット調整を行ない、標準露光映像信号1060と非標準露光映像信号1070とを合成すればよい。フレーム単位の処理だけでなく、フィールド単位やライン単位や１画素単位の処理でもよい。
【０１２６】
上記のように、本発明の第８の実施の形態では、映像信号処理装置を、標準露光映像信号と非標準露光映像信号からＯＢレベルを減算し、ホワイトバランスを調整し、フリッカを補正して、さらにオフセットレベルを減算して、ゲイン調整して合成する構成としたので、映像信号にホワイトバランスのずれやフリッカやノイズ成分がある場合でも、低輝度域から高輝度域まで広ダイナミックレンジの良好な映像信号を得ることができ、偽色を改善できる。
【０１２７】
（第９の実施の形態）
本発明の第９の実施の形態は、標準露光映像信号と非標準露光映像信号からＯＢレベルを減算し、ホワイトバランスを調整し、フリッカを補正して、さらにオフセットレベルを減算して、ゲイン調整して合成した映像信号の画像処理を行なう画像処理装置である。
【０１２８】
図１７は、本発明の第９の実施の形態における画像処理装置の機能ブロック図である。図１６に示した映像信号処理装置に、画像処理手段を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。図１７において、画像処理手段1210は、物体の識別などの画像処理を行なう手段である。
【０１２９】
上記のように構成された本発明の第９の実施の形態における映像信号処理装置の動作を説明する。三板方式の映像信号処理装置を用いた画像処理装置を説明する。この画像処理装置では、標準露光映像信号1060と非標準露光映像信号1070を、映像信号合成手段1080で合成する前段の処理で、ＯＢ調整とフリッカ補正とオフセット調整とホワイトバランス調整がなされる。そのため、合成映像信号1081は、広ダイナミックレンジの良好な映像信号として得られる。
【０１３０】
画像処理手段1210は、広ダイナミックレンジの良好な映像信号を基に画像処理が行なえる。物体の識別などの画像処理を行なう際には、誤検出の少ない高精度な画像処理ができる。ノイズやフリッカがある場合にも、正確に認識処理ができる。特に、コントラストが強い画像から対象物の色を判断して識別する場合にも、精度よく識別できる。
【０１３１】
三板方式の映像信号処理装置に画像処理手段を付加した例を説明したが、単板方式の映像信号処理装置に画像処理手段を付加しても、高精度な画像処理装置を構成することができる。
【０１３２】
上記のように、本発明の第９の実施の形態では、画像処理装置を、標準露光映像信号と非標準露光映像信号からＯＢレベルを減算し、ホワイトバランスを調整し、フリッカを補正して、さらにオフセットレベルを減算して、ゲイン調整して合成した映像信号の画像処理を行なう構成としたので、誤検出の少ない高精度な画像処理ができる。
【０１３３】
【発明の効果】
以上の説明から明らかなように、本発明では、標準の露光時間で撮影された標準露光映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成する手段と、標準露光映像信号と非標準露光映像信号とを用いてダイナミックレンジが拡大された合成映像信号を生成する手段とを有する映像信号処理装置に、標準露光映像信号と非標準露光映像信号を合成する際の信号レベルを調整するための基準調整レベルを算出するレベル検出手段と、標準露光映像信号と非標準露光映像信号から基準調整レベルを減算し、減算後標準露光映像信号と減算後非標準露光映像信号とを生成するレベル減算手段と、標準露光映像信号と非標準露光映像信号との露光時間比に応じて減算後非標準露光映像信号に対してゲイン調整を行なって調整後非標準露光映像信号を生成するゲイン調整手段と、減算後標準露光映像信号と調整後非標準露光映像信号とを合成して広ダイナミックレンジの映像信号を生成する映像信号合成手段とを備える構成としたので、撮像素子のばらつきやアナログ信号処理のばらつきがあって、映像信号のＯＢレベルやオフセットレベルがずれているような場合でも、標準露光映像信号と非標準露光映像信号の合成時の基準信号レベルを共通にして映像信号合成を行なって、合成画像の偽色を改善でき、広ダイナミックレンジの良好な映像信号を得ることができるという効果が得られる。
【０１３４】
また、標準露光映像信号と非標準露光映像信号のフリッカを補正するフリッカ補正手段を設けたので、標準露光映像信号と非標準露光映像信号にフリッカがある場合でも、信号レベルのずれによる偽色を改善でき、広ダイナミックレンジの良好な映像信号を得ることができるという効果が得られる。
【０１３５】
また、標準露光映像信号と非標準露光映像信号の信号レベルの平均値に基づいてホワイトバランスを算出するホワイトバランス算出手段を設けたので、標準露光映像信号と非標準露光映像信号にホワイトバランスのずれがある場合でも、信号レベルのずれによる偽色を改善でき、広ダイナミックレンジの良好な映像信号を得ることができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における映像信号処理装置の機能ブロック図、
【図２】（Ａ）露光時間識別信号の特性を示す図、
（Ｂ）ゲイン制御信号の特性を示す図、
【図３】（Ａ）標準露光映像信号の特性を示す図、
（Ｂ）非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図、
（Ｃ）本発明の第１の実施の形態における映像信号処理装置による合成映像信号の特性を示す図、
【図４】（Ａ）従来の映像信号処理装置によるＲＧＢ毎の映像信号に対する合成映像信号を示す図、
（Ｂ）本発明の第１の実施の形態における映像信号処理装置によるＲＧＢ毎の信号に対する合成映像信号を示す図、
【図５】（Ａ）ＯＢレベルが調整されていない標準露光映像信号の特性を示す図、
（Ｂ）ＯＢレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図、
（Ｃ）ＯＢレベルが調整されていない合成映像信号の特性を示す図、
【図６】（Ａ）ＯＢレベルが調整されていない標準露光映像信号の特性を示す図、
（Ｂ）ＯＢレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図、
（Ｃ）ＯＢレベルが調整されている標準露光映像信号の特性を示す図、
（Ｄ）ＯＢレベルが調整されている非標準露光映像信号の特性を示す図、
（Ｅ）ＯＢレベルが調整されている合成映像信号の特性を示す図、
（Ｆ）撮像素子出力に占めるＯＢ領域を示す図、
【図７】本発明の第２の実施の形態における映像信号処理装置の機能ブロック図、
【図８】（Ａ）オフセットレベルが調整されていない標準露光映像信号の特性を示す図、
（Ｂ）オフセットレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図、
（Ｃ）オフセットレベルが調整されていない合成映像信号の特性を示す図、
【図９】（Ａ）オフセットレベルが調整されていない標準露光映像信号の特性を示す図、
（Ｂ）オフセットレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図、
（Ｃ）オフセットレベルが調整されている標準露光映像信号の特性を示す図、（Ｄ）オフセットレベルが調整されている非標準露光映像信号の特性を示す図、
（Ｅ）オフセットレベルが調整されている合成映像信号の特性を示す図、
【図１０】標準露光映像信号と非標準露光映像信号に含まれるオフセット成分の特性を示す図、
【図１１】本発明の第３の実施の形態における映像信号処理装置の機能ブロック図、
【図１２】本発明の第４の実施の形態における映像信号処理装置の機能ブロック図、
【図１３】本発明の第５の実施の形態における映像信号処理装置の機能ブロック図、
【図１４】本発明の第６の実施の形態における映像信号処理装置の機能ブロック図、
【図１５】本発明の第７の実施の形態における映像信号処理装置の機能ブロック図、
【図１６】本発明の第８の実施の形態における映像信号処理装置の機能ブロック図、
【図１７】本発明の第９の実施の形態における画像処理装置の機能ブロック図、
【図１８】従来の映像信号処理装置の機能ブロック図、
【図１９】（Ａ）同時化手段の構成を示す機能ブロック図、
（Ｂ）Ａ／Ｄ変換器出力を示す図、
（Ｃ）メモリー手段出力を示す図、
（Ｄ）露光時間識別信号を示す図、
（Ｅ）非標準露光映像信号を示す図、
（Ｆ）標準露光映像信号を示す図、
【図２０】（Ａ）標準露光映像信号の特性を示す図、
（Ｂ）非標準露光映像信号の特性を示す図、
（Ｃ）非標準露光映像信号にオフセットを加算した場合の特性を示す図、
（Ｄ）標準露光映像信号と非標準露光映像信号の合成を示す図、
（Ｅ）映像信号合成制御信号の特性を示す図、
（Ｆ）合成映像信号の特性を示す図である。
【符号の説明】
1000 プリズム
1010 撮像素子
1020 撮像素子駆動手段
1021 露光時間識別信号
1030 前処理手段
1040 Ａ／Ｄ変換器
1041 Ａ／Ｄ変換器出力
1050 同時化手段
10511 メモリー手段
10512 メモリー出力
10513 セレクタ手段
10514 セレクタ手段
1060 標準露光映像信号
1070 非標準露光映像信号
1080 映像信号合成手段
1081 合成映像信号
1090 カメラプロセス
1100 露光比演算手段
1101 ゲイン制御信号
1110 ＯＢレベル検出手段
1120 ＯＢレベル減算手段
1130 ゲイン調整手段
1140 オフセットレベル検出手段
1150 オフセットレベル減算手段
1160 飽和判定手段
1170 オフセットレベル保持手段
1180 入力制限手段
1190 フリッカ補正手段
1200 ホワイトバランス調整手段
1210 画像処理手段
【発明の属する技術分野】
本発明は、映像信号処理装置に関し、特に、露光時間の異なる映像信号を合成することにより広ダイナミックレンジの映像信号を生成する映像信号処理装置に関する。
【０００２】
【従来の技術】
近年、ビデオカメラや電子スチルカメラ等の画像取込手段として、ＣＣＤ撮像素子をはじめとする固体撮像素子が多く利用されている。ところが、固体撮像素子のダイナミックレンジは、銀塩写真に比べて狭く、コントラストの強い被写体を撮像する場合など、撮影条件によっては画質が著しく劣化する。この問題を解決するために、ダイナミックレンジを拡大する方法がある。
【０００３】
従来のダイナミックレンジ拡大手段としては、特開平7-131718号公報に開示された画像合成装置が知られている。これは、同一シーンにおける露光量の異なる複数の画像を撮影し、この露光量の異なる映像信号に対して、共通の合成領域を設けて、非標準露光の映像信号と標準露光の映像信号を合成することで、ダイナミックレンジの拡大された映像信号を得るものである。
【０００４】
しかし、この方法を単純に３板式のビデオカメラ及びＲＧＢ処理方式の単板ビデオカメラに応用した場合には、忠実な色再現ができずに、偽色になってしまう場合がある。
【０００５】
図１８から図２０を用いて、従来のダイナミックレンジ拡大信号処理装置を、３板式ビデオカメラに適応した例を説明する。ここでは、フレーム単位でのダイナミックレンジ拡大処理の場合を示す。なお、同じ番号で同じ名称の構成要素は、同機能を有するものである。
【０００６】
図１８に示す従来の信号処理装置の構成を説明する。プリズム1000は、光をＲＧＢに分離するプリズムである。撮像素子1010は、ＲＧＢの３系統に分離された各色の光について、光量を電気信号に変換するとともに、露光時間が標準と非標準の２種類の映像信号をフレーム単位で交互に出力する撮像素子である。撮像素子駆動手段1020は、ＲＧＢ毎の撮像素子1010を駆動し、図１９（Ｄ）に示すように、標準露光時と非標準露光時で露光時間を示す露光時間識別信号1021を出力する手段である。
【０００７】
前処理手段1030は、ＲＧＢ毎に、ＣＤＳ手段とＡＧＣ手段とクランプ回路等で構成される手段である。ＣＤＳ手段は、撮像素子出力のアナログ信号のノイズ成分を、相関２重サンプリングにより削除する手段である。ＡＧＣ手段は、ノイズ成分が除去されたアナログ映像信号が一定の信号レベルを保持するように、振幅調整を行なう手段である。クランプ回路は、振幅調整されたアナログ映像信号に対して、Ａ／Ｄ変換するためにクランプする回路である。
【０００８】
Ａ／Ｄ変換器1040は、ＲＧＢ毎に、前処理手段1030の出力をディジタル映像信号に変換する手段である。同時化手段1050は、図１９（Ａ）に示すように、１フレーム分の映像信号を遅延するためのメモリー手段10511と、セレクタ手段10513と、セレクタ手段10514から構成され、同時化処理を行なう手段である。
【０００９】
映像信号合成手段1080は、ＲＧＢ毎に、標準露光映像信号1060と非標準露光映像信号1070とを、輝度レベルに応じて合成し、合成映像信号1081を生成する手段である。カメラプロセス1090は、ＲＧＢ毎の合成映像信号1081に対して、ガンマ補正や輪郭補正等を行ない、輝度信号や色差信号やＲＧＢ信号等の出力信号を生成する手段である。
【００１０】
図１９（Ａ）に示す同時化手段1050の動作を説明する。ＲＧＢ毎の同時化手段1050では、Ａ／Ｄ変換器出力1041が、メモリー手段10511とセレクタ手段10513へ与えられる。図１９（Ｂ）に示すような、１フレーム毎に交互に出力される露光時間の異なる映像信号を、メモリー手段10511で、図１９（Ｃ）に示すように、１フレーム分遅延させる。メモリー手段出力10512を、セレクタ手段10514とセレクタ手段10513に与える。図１９（Ｄ）に示すような露光時間識別信号1021によって、セレクタ手段10514とセレクタ手段10513を切り替える。図１９（Ｅ）、（Ｆ）に示すように、セレクタ手段10513の出力が、常に標準露光映像信号1060となり、セレクタ手段10514の出力が、常に非標準露光映像信号1070となる。このように２系統に分離され、同一タイミングで出力される。
【００１１】
図２０を参照して、従来の映像信号合成手段1080における、標準露光映像信号1060と非標準露光映像信号1070の合成の方法を説明する。図２０において、標準露光映像信号1060は、非標準露光映像信号1070より露光時間が長いのでＬＯＮＧと呼び、非標準露光映像信号1070は、標準露光映像信号1060より露光時間が短いのでＳＨＯＲＴと呼ぶことにする。
【００１２】
図２０（Ａ）は、ＬＯＮＧの入出力特性である。入射光量が飽和光量を超えると、出力は一定値で飽和し、白つぶれが生じやすい。ただし、飽和光量までは通常の標準の映像信号が得られる。
【００１３】
図２０（Ｂ）は、ＳＨＯＲＴの入出力特性である。これは、シャッター時間を標準露光より短くするか、感度をＬＯＮＧより下げることにより、その分だけ撮像素子が飽和する入射光量を高めることができる。ただし、入射光量の少ない部分はＳ／Ｎが悪く、黒つぶれしやすい。
【００１４】
そこで、この２つの特性を利用して、映像信号のダイナミックレンジを拡大する。例えば、ＬＯＮＧが飽和しない領域ではＬＯＮＧだけ出力し、ＬＯＮＧが飽和し始める領域（ＭＩＸ領域）では、ＬＯＮＧとＳＨＯＲＴをＫ（映像信号合成制御信号）で内分した値を出力とし、ＬＯＮＧが完全に飽和した領域では、ＳＨＯＲＴだけを出力するように制御する。
【００１５】
合成映像信号1081をＯＵＴとし、ＭＩＸ領域の開始レベルをＹthとし、ＬＯＮＧの飽和レベルをＳＡＴとする。ＭＩＸ領域内でＬＯＮＧとＳＨＯＲＴを交差させ、自然に映像信号を合成させるためのオフセット値をＯＦＦＳＥＴ１とし、Ｋを映像信号合成制御信号とする。Ｋは、ＭＩＸ領域の下限ではＬＯＮＧとなり、上限ではＳＨＯＲＴとなるように、なめらかに変化させるための制御信号である。
【００１６】
図２０（Ｃ）に、ＳＨＯＲＴ＋ＯＦＦＳＥＴ１の様子を示す。図２０（Ｄ）に、Ｋ（映像信号合成制御信号）による映像信号合成の様子を示す。図２０（Ｅ）に、Ｋ（映像信号合成制御信号）の特性を示す。図２０（Ｆ）に、最終的に得られる合成映像信号1081を示す。
【００１７】
この合成映像信号1081（ＯＵＴ）を得るための制御を式で表すと、下記（１）〜（３）式のようになる。ＬＯＮＧ≦Ｙthの場合（ＬＯＮＧが飽和していない領域）は、
ＯＵＴ＝ＬＯＮＧ （１）
となる。Ｙth≦ＬＯＮＧ≦ＳＡＴの場合（ＭＩＸ領域）は、
ＯＵＴ＝(１−Ｋ)×ＬＯＮＧ＋Ｋ×(ＳＨＯＲＴ＋ＯＦＦＳＥＴ１) （２）となる。ここで、
Ｋ＝（ＬＯＮＧ−Ｙth）／（ＳＡＴ−Ｙth）
である。ＬＯＮＧ≧ＳＡＴの場合（ＬＯＮＧが飽和した領域）は、
ＯＵＴ＝ＳＨＯＲＴ＋ＯＦＦＳＥＴ１ （３）
となる。
【００１８】
従来は、このようにして映像信号を合成し、広ダイナミックレンジの映像信号を得ていた。
【００１９】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、ＲＧＢ毎の各信号にばらつきがあると、偽色を生じるという問題がある。すなわち、ＲＧＢ毎の標準露光映像信号と非標準露光映像信号には、撮像素子及び前処理手段のばらつきや、Ａ／Ｄ変換するために映像信号に付加するオフセットレベルのばらつきや、映像信号（撮像素子出力）の黒レベルの基準となるＯＢ(Optical Black)レベルのばらつき等に起因するばらつきが含まれる可能性がある。ＲＧＢの映像信号毎に、このようなばらつきがあると、ＲＧＢ毎に標準露光映像信号と非標準露光映像信号を合成する際に基準となる映像信号レベルがずれた状態となる。この状態のまま、映像信号合成手段で、標準露光映像信号と非標準露光映像信号映像信号を合成すると、適切な合成処理が行なわれない。そのため、ＲＧＢ毎の色相が崩れてしまい、偽色が生じる。ＯＢレベルやオフセットレベルのばらつきは、単板方式の撮像装置にもあり、同様に偽色が生じる。
【００２０】
また、ＲＧＢ毎の標準露光映像信号と非標準露光映像信号映像信号に、フリッカやホワイトバランスの相異がある場合にも、偽色が生じやすいという問題がある。すなわち、フリッカやホワイトバランスの相異があると、合成処理の基準となる映像信号レベルがずれた状態となる。この状態で、ＲＧＢ毎に標準露光映像信号と非標準露光映像信号を合成すると、適切な合成処理が行なわれない。したがって、さらにＲＧＢ毎の色相が崩れやすく、偽色が生じやすくなる。
【００２１】
本発明は、上記の問題点を解決して、標準露光映像信号と非標準露光映像信号を合成する際に基準となる映像信号レベルのずれを改善して、偽色の低減された広ダイナミックレンジの良好な映像信号を生成する映像信号処理装置を提供することを目的とする。
【００２２】
【課題を解決するための手段】
上記の課題を解決するために、本発明では、標準の露光時間で撮影された標準露光映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成する手段と、標準露光映像信号と非標準露光映像信号とを用いてダイナミックレンジが拡大された合成映像信号を生成する手段とを有する映像信号処理装置に、標準露光カラー映像信号と非標準露光カラー映像信号のオフセットレベルを算出するオフセットレベル検出手段と、標準露光カラー映像信号と非標準露光カラー映像信号からオフセットレベルを減算して減算後標準露光カラー映像信号と減算後非標準露光カラー映像信号とを算出するレベル減算手段と、標準露光カラー映像信号の飽和を判定して飽和判定信号を出力する飽和判定手段と、標準感光カラー映像信号が飽和する直前のオフセットレベルを予め保持しておくとともに飽和判定信号に応答してオフセットレベル減算手段に出力するオフセットレベル保持手段と、標準露光カラー映像信号と非標準感光カラー映像信号との露光時間比に応じて減算後非標準露光カラー映像信号に対してゲイン調整を行なって調整後非標準露光カラー映像信号を生成するゲイン調整手段と、減算後標準露光カラー映像信号と調整後非標準露光カラー映像信号とを合成して広ダイナミックレンジのカラー映像信号を生成するカラー映像信号合成手段とを備える構成とした。
【００２３】
このように構成したことにより、標準露光映像信号と非標準露光映像信号の基準信号レベルを共通にして映像信号合成を行なうことで、合成画像の偽色を改善できる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について、図１〜図１７を参照しながら詳細に説明する。
【００２５】
（第１の実施の形態）
本発明の第１の実施の形態は、映像信号のＯＢレベルを算出して、標準露光映像信号と非標準露光映像信号から減算し、減算後の非標準露光映像信号に対して露光時間比に応じたゲイン調整を行ない、減算後の標準露光映像信号とゲイン調整後の非標準露光映像信号とを合成して広ダイナミックレンジの映像信号を生成する映像信号処理装置である。
【００２６】
図１は、本発明の第１の実施の形態における映像信号処理装置の機能ブロック図である。図１８に示した従来の映像信号処理装置に、ゲイン調整手段1130と、露光比演算手段1100と、ＯＢレベル検出手段1110とＯＢレベル減算手段1120を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【００２７】
図１において、プリズム1000は、光をＲＧＢに分離するプリズムである。撮像素子1010は、ＲＧＢ３系統に分離された光の光量を電気信号に変換するとともに、各色毎に露光時間が標準と非標準の２種類の映像信号をフレーム単位で交互に出力する素子である。撮像素子駆動手段1020は、撮像素子1010を駆動し、図１９（Ｄ）に示すように、標準露光時と非標準露光時で露光時間を示す露光時間識別信号1021を出力する手段である。
【００２８】
前処理手段1030は、ＣＤＳ手段とＡＧＣ手段とクランプ回路等で構成される手段である。ＣＤＳ手段は、撮像素子出力のアナログ信号のノイズ成分を相関２重サンプリングにより削除する手段である。ＡＧＣ手段は、ノイズ成分が除去されたアナログ映像信号が一定の信号レベルを保持するように、振幅調整を行なう手段である。クランプ回路は、振幅調整されたアナログ映像信号に対してＡ／Ｄ変換するためにクランプする回路である。
【００２９】
Ａ／Ｄ変換器1040は、ＲＧＢ毎に、前処理手段1030の出力をディジタル映像信号に変換する手段である。同時化手段1050は、図１９（Ａ）に示すように、ＲＧＢ毎に、１フレーム分の映像信号を遅延するためのメモリー手段10511と、セレクタ手段10513と、セレクタ手段10514とから構成される手段である。
【００３０】
ＯＢレベル検出手段1110は、ＲＧＢ毎の非標準露光映像信号1070と標準露光映像信号に対して、映像信号の黒レベルの基準となるＯＢレベルを検出する手段である。ＯＢレベル減算手段1120は、ＲＧＢ毎の非標準露光映像信号1070と標準露光映像信号から、ＯＢレベル検出手段1110で検出されたＯＢレベルを減算する手段である。映像信号合成手段1080は、ＲＧＢ毎の標準露光映像信号1060と非標準露光映像信号1070とを信号レベルに応じて合成し、合成映像信号1081を生成する手段である。カメラプロセス1090は、ＲＧＢ毎に３系統の合成映像信号1081に対して、ガンマ補正や輪郭補正等を行ない、輝度信号や色差信号やＲＧＢ信号等の出力信号を生成する手段である。
【００３１】
図２（Ａ）は、露光時間識別信号の特性を示す図であり、図２（Ｂ）は、ゲイン制御信号の特性を示す図である。
【００３２】
図３（Ａ）は、標準露光映像信号の特性を示す図であり、図３（Ｂ）は、非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図であり、図３（Ｃ）は、信号処理装置による合成映像信号の特性を示す図である。
【００３３】
図４（Ａ）は、従来の映像信号処理装置によるＲＧＢ毎の映像信号に対する合成映像信号を示す図であり、図４（Ｂ）は、映像信号処理装置によるＲＧＢ毎の信号に対する合成映像信号を示す図である。
【００３４】
図５（Ａ）は、ＯＢレベルが調整されていない標準露光映像信号の特性を示す図であり、図５（Ｂ）は、ＯＢレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図であり、図５（Ｃ）は、ＯＢレベルが調整されていない合成映像信号の特性を示す図である。
【００３５】
図６（Ａ）は、ＯＢレベルが調整されていない標準露光映像信号の特性を示す図であり、図６（Ｂ）は、ＯＢレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図であり、図６（Ｃ）は、ＯＢレベルが調整されている標準露光映像信号の特性を示す図であり、図６（Ｄ）は、ＯＢレベルが調整されている非標準露光映像信号の特性を示す図であり、図６（Ｅ）は、ＯＢレベルが調整されている合成映像信号の特性を示す図であり、図６（Ｆ）は、撮像素子出力に占めるＯＢ領域を示す図である。
【００３６】
上記のように構成された本発明の第１の実施の形態における映像信号処理装置の動作を説明する。プリズム1000は、光をＲＧＢに分離する。ＲＧＢ毎の撮像素子1010は、撮像素子駆動手段1020によって駆動され、プリズム1000によりＲＧＢの３系統に分離された光の光量を、それぞれ電気信号に変換する。それとともに、露光時間が標準と非標準の２種類の映像信号を、フレーム単位で交互に出力する。ＲＧＢ毎の撮像素子駆動手段1020は、撮像素子を駆動するとともに、図１９（Ｄ）に示すように、撮像素子1010の露光時間を示す露光時間識別信号1021を生成する。
【００３７】
ＲＧＢ毎の前処理手段1030のＣＤＳ回路で、撮像素子出力のアナログ信号のノイズ成分を、相関２重サンプリングにより削除する。ノイズ成分が除去されたアナログ映像信号が一定の信号レベルを保持するように、ＡＧＣ回路で振幅調整を行なう。振幅調整されたアナログ映像信号に対して、Ａ／Ｄ変換するために、クランプ回路でクランプする。ＲＧＢ毎のＡ／Ｄ変換器1040は、クランプされたアナログ映像信号を、ディジタル映像信号に変換する。
【００３８】
ＲＧＢ毎の同時化手段1050では、Ａ／Ｄ変換器出力1041が、メモリー手段10511とセレクタ手段10513へ与えられる。すなわち、図１９（Ｂ）に示すように、１フレーム毎に交互に、露光時間の異なる映像信号が入力される。この映像信号を、メモリー手段10511で、図１９（Ｃ）に示すように、１フレーム分遅延させる。メモリー手段出力10512を、セレクタ手段10513とセレクタ手段10514に与える。さらに、同時化手段1050では、セレクタ手段10513とセレクタ手段10514を、露光時間識別信号1021によって切り替える。
【００３９】
例えば、図１９（Ａ）のセレクタ手段10513では、露光時間識別信号1021が64のとき、標準露光映像信号1060を出力し、露光時間識別信号1021が２のとき、非標準露光映像信号1070を出力する。また、セレクタ手段10514では、露光時間識別信号1021が64のとき、非標準露光映像信号1070を出力し、露光時間識別信号1021が２のとき、標準露光映像信号1060を出力する。
【００４０】
この際、図１９（Ｄ）に示す露光時間識別信号1021を、Ａ／Ｄ変換器出力1051に対応させて、標準露光時は64となり、非標準露光時は２となるように、露光時間に応じて重み付けしておく。このようにしておけば、図１９（Ｅ）、（Ｆ）に示すように、セレクタ手段10513の出力は常に標準露光映像信号1060となり、セレクタ手段10514の出力は常に非標準露光映像信号1070となるように、２系統に分離して、同一タイミングで出力できる。このようにして、ＲＧＢ毎の同時化手段1050では、標準露光と非標準露光の映像信号の同時化を行なう。
【００４１】
次に、標準露光映像信号1060と非標準露光映像信号1070について説明する。図３（Ａ）に、標準露光映像信号1060の特性を示し、図３（Ｂ）に、非標準露光映像信号1070の特性を示す。図３（Ａ）、（Ｂ）から分かるように、非標準露光映像信号1070と標準露光映像信号1060は、入射光量に対する撮像素子出力の特性が異なるために、従来の手法で映像信号を合成しても、低輝度域から高輝度域まで、図３（Ｃ）に示すような線形特性を持った合成映像信号1081を得ることはできない。
【００４２】
例えば、３板式撮像装置の場合には、図４（Ａ）の（Ｒ）、（Ｇ）、（Ｂ）に示すように、入射光量のＲＧＢ比がＲ：Ｂ：Ｇ＝10：１：１であったものが、従来の手法で映像信号を合成した場合、ＲＧＢ毎の合成映像信号1081では、ＲＧＢの比はＲ：Ｂ：Ｇ＝７：１：１となり、本来あるべきＲ：Ｇ：Ｂの比（色相）が変わってしまう。このため、偽色が発生する。
【００４３】
そこで、偽色を改善するために、ＲＧＢ毎の標準露光映像信号1060と非標準露光映像信号1070を合成しても、低輝度域から高輝度域まで線形特性を持った映像信号を得られるようにする。非標準露光映像信号1070の入射光量に対する出力特性を、標準露光映像信号1060が飽和しない領域の入射光量に対する出力特性と同等にするために、撮像素子駆動手段1020から、図２（Ａ）に示すような露光時間識別信号1021を得て、それに基づいて、図１の露光比演算手段1100で、図２（Ｂ）に示すようなゲイン制御信号1101を生成する。
【００４４】
非標準露光映像信号1070を、図３（Ｃ）に示すような線形特性に近づけるよう、図２（Ｂ）に示すゲイン制御信号1101に応じたゲインを、ＲＧＢ毎のゲイン調整手段1130で、図３（Ｂ）に示すように、非標準露光映像信号1070に乗算する。例えば、図１９（Ａ）〜（Ｆ）に示すように、露光時間識別信号1021が、標準露光映像信号1060を64と重み付けし、非標準露光映像信号1070を２と重み付けしているとする。その場合は、その露光比から、ＲＧＢ毎の非標準露光映像信号1070を32倍するように制御する。こうして、ＲＧＢ毎に３系統のゲイン調整された非標準露光映像信号1070を得る。
【００４５】
これによって、ＲＧＢ毎の標準露光映像信号1060と、ゲイン調整後の非標準露光映像信号1070は、傾きを同等にできる。これを基に、ＲＧＢ毎の標準露光映像信号1060と、ゲイン調整後の非標準露光映像信号1070を、ＲＧＢ毎の映像信号合成手段1080で、信号レベルに応じて映像信号を合成する。このようにして、ＲＧＢ毎の合成映像信号1081は、図３（Ｃ）に示すように、低輝度域から高輝度域まで線形特性を保った映像信号になる。
【００４６】
これにより、図４（Ｂ）の（Ｒ’）、（Ｇ’）、（Ｂ’）に示すように、入射時にＲＧＢの光量比が10：１：１であったものは、合成後においても10：１：１を保つ。したがって、本来あるべき入射時のＲ：Ｇ：Ｂの光量比（色相）は変わらない。よって、これ以降のカメラプロセス1090でガンマ補正や輪郭補正を施しても、低輝度域から高輝度域まで偽色のない広ダイナミックレンジの映像を得ることができる。
【００４７】
また、黒レベルの基準となるＯＢレベルは、撮像素子1010のばらつきや、前処理手段1030等の信号処理によって、ノイズ成分の影響を受けて、図５（Ａ）、（Ｂ）のように、非標準露光映像信号1070と標準露光映像信号1060の黒レベルの基準であるＯＢレベルがずれてしまう場合がある。このようなときに、ゲイン制御信号1101に応じたゲインを、図５（Ｂ）のように、非標準露光映像信号1070に乗算すると、非標準露光映像信号1070のＯＢレベルがずれてしまう。ＯＢレベルがずれたままの状態で、映像信号合成手段1080で、信号レベルに応じて、標準露光映像信号1060と非標準露光映像信号1070を合成すると、図５（Ｃ）のように、低輝度域から高輝度域まで線形特性を保てない。これがＲＧＢの色相に影響を与えると、偽色を生じる。
【００４８】
そこで、ＯＢレベルがずれている２つの信号、図６（Ａ）に示す標準露光映像信号1060と、図６（Ｂ）に示す非標準露光映像信号1070とから、図１のＯＢレベル検出手段1110でＯＢレベルを検出する。このＯＢレベルを、標準露光映像信号1060と、非標準露光映像信号1070から、ＯＢレベル減算手段1120で減算する。その結果、図６（Ｃ）、（Ｄ）に示すように、ＯＢレベルが調整される。このようにして、合成の基準となる信号レベルを調整した上で、標準露光映像信号1060と非標準露光映像信号1070を、図６（Ｅ）に示すように合成する。
【００４９】
例えば、黒レベルの基準となるＯＢ領域は、図６（Ｆ）に示すように、１画面中の特定の領域を占めているので、ＯＢレベル検出手段1110では、１フレーム毎に、このＯＢ領域中の平均値を算出する。このＯＢレベル検出手段1110で算出された、１フレーム毎のＯＢレベルを、ＯＢレベル減算手段1120で減算する。
【００５０】
このように、１フレーム毎のＯＢレベルの平均値生成処理とＯＢレベル減算処理を行なった上で、標準露光映像信号1060と非標準露光映像信号1070とを合成すれば、図６（Ｅ）に示すように、低輝度域から高輝度域まで線形特性を持った広ダイナミックレンジの合成映像信号を生成することができる。したがって、標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルのずれによる偽色が改善できる。
【００５１】
よって、これ以降のカメラプロセス1090で、ガンマ補正や輪郭補正を施しても、低輝度域から高輝度域まで偽色のない、黒レベルの調整された広ダイナミックレンジの映像信号を得ることができる。
【００５２】
本実施の形態では、三板方式の映像信号処理装置について説明したが、単板方式の映像信号処理装置でも同様に、ＯＢレベルを調整した後に、標準露光映像信号1060と非標準露光映像信号1070とを合成すればよい。フレーム単位の処理だけでなく、フィールド単位やライン単位や１画素単位の処理でもよい。
【００５３】
上記のように、本発明の第１の実施の形態では、映像信号処理装置を、映像信号のＯＢレベルを算出して、標準露光映像信号と非標準露光映像信号から減算し、減算後の非標準露光映像信号に対して露光時間比に応じたゲイン調整を行ない、減算後の標準露光映像信号とゲイン調整後の非標準露光映像信号とを合成して広ダイナミックレンジの映像信号を生成する構成としたので、映像信号合成の基準となる信号レベルのずれによる偽色が改善できる。
【００５４】
（第２の実施の形態）
本発明の第２の実施の形態は、映像信号のオフセットレベルを算出して、標準露光映像信号と非標準露光映像信号から減算し、減算後の非標準露光映像信号に対して露光時間比に応じたゲイン調整を行ない、減算後の標準露光映像信号とゲイン調整後の非標準露光映像信号とを合成して広ダイナミックレンジの映像信号を生成する映像信号処理装置である。
【００５５】
図７は、本発明の第２の実施の形態における映像信号処理装置の機能ブロック図である。図１８に示した従来の映像信号処理装置に、ゲイン調整手段1130と、露光比演算手段1100と、オフセットレベル検出手段1140と、オフセットレベル減算手段1150を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【００５６】
図８（Ａ）は、オフセットレベルが調整されていない標準露光映像信号の特性を示す図であり、図８（Ｂ）は、オフセットレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図であり、図８（Ｃ）は、オフセットレベルが調整されていない合成映像信号の特性を示す図である。
【００５７】
図９（Ａ）は、オフセットレベルが調整されていない標準露光映像信号の特性を示す図であり、図９（Ｂ）は、オフセットレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図であり、図９（Ｃ）は、オフセットレベルが調整されている標準露光映像信号の特性を示す図であり、図９（Ｄ）は、オフセットレベルが調整されている非標準露光映像信号の特性を示す図であり、図９（Ｅ）は、オフセットレベルが調整されている合成映像信号の特性を示す図である。
【００５８】
図１０は、標準露光映像信号と非標準露光映像信号に含まれるオフセット成分の特性を示す図である。
【００５９】
上記のように構成された本発明の第２の実施の形態における映像信号処理装置の動作を説明する。通常の映像信号処理装置では、映像の低輝度域を見やすくするために、オフセットを付加している。しかし、このオフセットは、アナログ処理部のばらつきや、撮像素子のばらつき等のために、常に一定の信号レベルを保持していない。
【００６０】
映像信号に含まれるオフセット成分を、オフセットレベル検出手段1140で算出する。算出されたオフセット値を、オフセットレベル減算手段1150により、標準露光映像信号1060と非標準露光映像信号1070から減算する。図９の（Ａ）（Ｂ）に示すようなオフセットレベルのずれのために、基準となる信号レベルにずれが生じる。図９（Ｃ）（Ｄ）のように、オフセットレベルをそれぞれの映像信号から減算する。標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルを調整した上で合成する。
【００６１】
標準露光映像信号1060と非標準露光映像信号1070には、図１０に示すように、本来、同等のオフセットを含んでいるものとする。オフセットレベル検出手段1140では、その露光時間の比からオフセットを検出すればよい。
【００６２】
標準露光映像信号1060と非標準露光映像信号1070は、それぞれ同じオフセットを含んでいるため、それぞれ（４）、（５）式で示されるような関係にある。さらに、標準露光映像信号1060と非標準露光映像信号1070は、（６）式に示すような関係にある。（４）,（５）,（６）式より、オフセットは（７）式で求めることができる。
【００６３】
なお、この（４）,（５）,（６）式では、標準露光映像信号1060をＬＯＮＧ’とし、非標準露光映像信号1070をＳＨＯＲＴ’とし、オフセットをＯＦＦＳＥＴとし、オフセットを含まない標準露光映像信号1060をＬＯＮＧとし、オフセットを含まない非標準露光映像信号1070をＳＨＯＲＴとし、非標準露光映像信号1070の露光時間に対する標準露光映像信号1060の露光時間の比をＮとする。
ＬＯＮＧ＝ＬＯＮＧ'−ＯＦＦＳＥＴ （４）
ＳＨＯＲＴ＝ＳＨＯＲＴ'−ＯＦＦＳＥＴ （５）
ＬＯＮＧ＝Ｎ（ＳＨＯＲＴ） （６）
（４）,（５）,（６）式よりオフセットを算出すると、
ＯＦＦＳＥＴ＝{Ｎ（ＳＨＯＲＴ’）−ＬＯＮＧ’}/（Ｎ−１） （７）
となる。
【００６４】
（４）〜（７）式によるオフセット（ＯＦＦＳＥＴ）算出処理を、オフセットレベル検出手段1140で行なう。求めたオフセット（ＯＦＦＳＥＴ）を、オフセットレベル減算手段1150により、標準露光映像信号1060と非標準露光映像信号1070から減算する。これにより、図９（Ｃ）、（Ｄ）に示すように、標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルを合わせることができる。
【００６５】
例えば、図８（Ａ）、（Ｂ）に示すように、標準露光映像信号1060と非標準露光映像信号1070に含まれるオフセット成分の信号レベルが異なっているとする。この場合に、標準露光映像信号1060と非標準露光映像信号1070の露光比に相当するゲインを、非標準露光映像信号1070に乗算してから、標準露光映像信号1060と非標準露光映像信号1070を合成しても、標準露光映像信号1060と非標準露光映像信号1070とで、合成の基準となる信号レベルが異なるため、図８（Ｃ）に示すように、低輝度域から高輝度域まで線形特性を保てず、非線形特性になってしまい、ＲＧＢの色相に影響を与え、偽色の要因となる。このような場合でも、オフセットレベルのずれを改善して、偽色を軽減できる。
【００６６】
また、合成の基準となる信号レベルを調整した上で合成できるため、合成映像信号は、図９（Ｅ）のように、低輝度域から高輝度域まで線形特性を保つことができる。よって、偽色のない広ダイナミックレンジの映像信号を得ることができる。
【００６７】
なお、ここでは、三板方式の映像信号処理装置について説明したが、単板方式の映像信号処理装置でも同様に、オフセットレベルを調整した後に、標準露光映像信号1060と非標準露光映像信号1070とを合成すればよい。
【００６８】
また、信号処理装置の処理としては、フレーム単位のみの処理だけでなく、ライン単位やフィールド単位や１画素単位の処理でもよい。（４）〜（７）式による演算に関しても、フィールド単位やライン単位や１画素単位で行なってもよい。標準露光映像信号1060と非標準露光映像信号1070から、画面中の任意の領域の平均値を算出し、その平均値を、標準露光映像信号1060と非標準露光映像信号1070として代用して演算してもよい。
【００６９】
上記のように、本発明の第２の実施の形態では、映像信号処理装置を、映像信号のオフセットレベルを算出して、標準露光映像信号と非標準露光映像信号から減算し、減算後の非標準露光映像信号に対して露光時間比に応じたゲイン調整を行ない、減算後の標準露光映像信号とゲイン調整後の非標準露光映像信号とを合成して広ダイナミックレンジの映像信号を生成する構成としたので、映像信号合成の基準となる信号レベルのずれによる偽色が改善できる。
【００７０】
（第３の実施の形態）
本発明の第３の実施の形態は、標準露光映像信号が飽和する直前のオフセットレベルを予め保持しておき、飽和した場合には、保持しているオフセットレベルを標準露光映像信号と非標準露光映像信号から減算し、ゲイン調整して合成する映像信号処理装置である。
【００７１】
図１１は、本発明の第３の実施の形態における映像信号処理装置の機能ブロック図である。図７に示した第２の実施の形態における映像信号処理装置に、飽和判定手段1160とオフセットレベル保持手段1170を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【００７２】
図１１において、飽和判定手段1160は、標準露光映像信号が飽和レベルを超えたら、飽和と判定する手段である。オフセットレベル保持手段1170は、標準露光映像信号が飽和する直前のオフセットを保持する手段である。
【００７３】
上記のように構成された本発明の第３の実施の形態における映像信号処理装置の動作を説明する。（６）式に示した、標準露光映像信号1060と非標準露光映像信号1070と露光比Ｎの関係は、標準露光映像信号1060が飽和した場合には成り立たない。つまり（７）式も成り立たなくなる。
【００７４】
そこで、図１１に示すように、標準露光映像信号1060に対して飽和判定手段1160を設ける。これにより、標準露光映像信号1060が、図９（Ａ）に示すような飽和レベルを超えたら、飽和と判定する。この飽和と判定した情報を、図１１の非標準露光映像信号1070に付随しているオフセットレベル検出手段1140にも伝達する。標準露光映像信号1060と非標準露光映像信号1070に付随するオフセットレベル検出手段1140では、（７）式によるオフセットレベルの検出を停止する。
【００７５】
オフセットレベル保持手段1170には、標準露光映像信号1060が飽和する直前のオフセットを保持させておく。このオフセットレベルは、（７）式の関係が満たされたものであるため、（７）式によるオフセットレベルの検出が停止している場合は、適切なオフセット値を保持していることになる。また、オフセットは、フィールドやフレームや１画素単位で頻繁に変化するものではないため、例えば、標準露光映像信号1060が飽和する１フレーム前のオフセットを保持していてもよい。
【００７６】
標準露光映像信号1060が飽和した場合でも、オフセットレベル保持手段1170で保持しているオフセット値を用いて、オフセットレベルの調整が行なえる。標準露光映像信号1060と非標準露光映像信号1070から、オフセットレベル保持手段1170で保持しているオフセットを減算した後、映像信号合成手段1080で合成する。標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルを調整した上で合成が行なえるため、図９（Ｅ）のように、低輝度域から高輝度域まで線形特性を保つことができる。合成映像信号1081には、合成時の基準となる信号レベルのずれによる偽色が少なくなる。よって、偽色のない広ダイナミックレンジの映像信号を得ることができる。
【００７７】
なお、飽和判定手段1160では、標準露光映像信号1060に対して、１画素単位で、信号レベルに応じて標準露光映像信号1060が飽和しているか否か判定できるようにしたが、１フレーム単位や１フィールド単位で、標準露光映像信号1060と標準露光映像信号1060の飽和していない画素数を数えておき、飽和していない画素が極端に少ない場合には、そのフィールドの標準露光映像信号1060は飽和していると判定するように構成し、（７）式によるオフセットレベル検出を停止させてもよい。
【００７８】
三板方式の映像信号処理装置に関して説明したが、単板方式の映像信号処理装置でも同様に、オフセットレベルを調整した後に、標準露光映像信号1060と非標準露光映像信号1070とを合成してもよい。フレーム単位の処理だけでなく、フィールド単位やライン単位や１画素単位の処理でもよい。
【００７９】
上記のように、本発明の第３の実施の形態では、映像信号処理装置を、標準露光映像信号が飽和する直前のオフセットレベルを予め保持しておき、飽和した場合には、保持しているオフセットレベルを標準露光映像信号と非標準露光映像信号から減算し、ゲイン調整して合成する構成としたので、標準露光映像信号が飽和した場合でも、合成時の基準となる信号レベルのずれによる偽色を軽減できる。
【００８０】
（第４の実施の形態）
本発明の第４の実施の形態は、オフセットレベルの算出前の標準露光映像信号と非標準露光映像信号とに対して、信号レベルに応じた制限を加え、常に精度のよいオフセットレベルを、標準露光映像信号と非標準露光映像信号から減算し、ゲイン調整して合成する映像信号処理装置である。
【００８１】
図１２は、本発明の第４の実施の形態における映像信号処理装置の機能ブロック図である。図１１に示した映像信号処理装置の飽和判定手段1160の代わりに、入力制限手段1180を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【００８２】
図１２において、入力制限手段1180は、標準露光映像信号と非標準露光映像信号に対して上限値と下限値を設定し、上限値か下限値を超える場合は、オフセット値の算出を行なわないように制限する手段である。
【００８３】
上記のように構成された本発明の第４の実施の形態における映像信号処理装置の動作を説明する。図１２に示すように、標準露光映像信号1060と非標準露光映像信号1070に対して、入力制限手段1180で制限する。すなわち、低輝度域のＳ／Ｎの悪い映像信号や、高輝度域の飽和レベルにある映像信号を除外した上で、オフセットレベル検出手段1140で、（７）式によるオフセットを検出する。
【００８４】
一般的に、映像信号は暗いほどＳ／Ｎが悪い。このため、オフセットレベル検出手段1140で、オフセット値を１フィールド単位で生成するとき、被写体が暗い場合には、オフセット自体がノイズ成分の影響を受け、精度が劣化する。標準露光映像信号1060が飽和するようなレベルの映像信号から、１フィールドの画面平均値を基に、（６）式によりオフセットを算出しても、画面が飽和している部分を含んで算出されたものなので、オフセットの精度は劣化したものになる。
【００８５】
そこで、図１２の入力制限手段1180では、標準露光映像信号1060と非標準露光映像信号1070に対して、上限値と下限値を設定する。標準露光映像信号1060と非標準露光映像信号1070が上限値か下限値を超える場合は、（７）式によるオフセット値の算出を行なわないようにし、精度の高いオフセットを算出する。
【００８６】
上限値と下限値を超えないフィールドのオフセットを、オフセットレベル保持手段1170に常に保持しておく。標準露光映像信号1060と非標準露光映像信号1070が上限値と下限値を超える場合は、これを使う。
【００８７】
よって、オフセットレベル減算手段1150は、精度の高いオフセット値を基に、標準露光映像信号1060と非標準露光映像信号1070に対するオフセット減算処理ができる。標準露光映像信号1060と非標準露光映像信号1070からオフセットを減算した後に、映像信号合成手段1080で合成すれば、標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルを調整した上で合成が行なえる。そのため、図９（Ｅ）のように、低輝度域から高輝度域まで線形特性を保つことができ、合成時の基準となる信号レベルのずれによる偽色が改善できる。精度の良いオフセット調整が施された広ダイナミックレンジの映像信号を得ることができる。
【００８８】
三板方式の映像信号処理装置に関して説明したが、単板方式の映像信号処理装置でも同様に、オフセットレベルを調整した後に、標準露光映像信号1060と非標準露光映像信号1070とを合成してもよい。フレーム単位の処理だけでなく、フィールド単位やライン単位や１画素単位の処理でもよい。
【００８９】
上記のように、本発明の第４の実施の形態では、映像信号処理装置を、オフセットレベルの算出前の標準露光映像信号と非標準露光映像信号とに対して、信号レベルに応じた制限を加え、常に精度のよいオフセットレベルを、標準露光映像信号と非標準露光映像信号から減算し、ゲイン調整して合成する構成としたので、低輝度域のＳ／Ｎの悪い映像信号や、高輝度域の飽和レベルにある映像信号を除外して、低輝度域から高輝度域までの広ダイナミックレンジの映像信号を得ることができる。
【００９０】
（第５の実施の形態）
本発明の第５の実施の形態は、フリッカを補正した標準露光映像信号と非標準露光映像信号とに対して、信号レベルに応じた制限を加え、常に精度のよいオフセットレベルを、標準露光映像信号と非標準露光映像信号から減算し、ゲイン調整して合成する映像信号処理装置である。
【００９１】
図１３は、本発明の第５の実施の形態における映像信号処理装置の機能ブロック図である。図１２に示した映像信号処理装置に、フリッカ補正手段1190を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【００９２】
図１３において、フリッカ補正手段1190は、標準露光映像信号と非標準露光映像信号が平均値と等しくなるようにゲインを乗算してフリッカを補正する手段である。
【００９３】
上記のように構成された本発明の第５の実施の形態における映像信号処理装置の動作を説明する。図１３に示すように、フリッカ補正手段1190によりフリッカ補正を行なって、オフセットレベル検出手段1140におけるオフセットの精度を高める。
【００９４】
非標準露光映像信号1070は、標準露光映像信号に1060に比べて、撮像素子1010の露光時間が短い信号であり、フリッカが生じやすい。また、標準露光映像信号1060にフリッカを生じている場合には、映像信号がフィールド毎に変動するため、（７）式を単純に適用できず、精度の良いオフセットを得ることができない。そのため、オフセットレベル検出手段1140で、（７）式を基にオフセットを算出する場合にも、フリッカ補正手段1190でフリッカ補正を施してから、オフセット値を算出する。
【００９５】
フリッカ補正手段1190では、ＲＧＢ毎に、標準露光映像信号1060と非標準露光映像信号1070それぞれの３フィールド連続した画像の平均値を算出する。次に、各フィールドの映像信号が、算出した平均値と同等になるように、フリッカを補正するためのゲインを算出する。ＲＧＢ毎の標準露光映像信号1060と非標準露光映像信号1070に、このゲインを乗算する。
【００９６】
これにより、ＲＧＢ毎の標準露光映像信号1060と非標準露光映像信号1070のフリッカは補正できる。このフリッカ補正された、ＲＧＢ毎の標準露光映像信号1060と非標準露光映像信号1070を基に、オフセットレベル検出手段1140でオフセットを算出すれば、フリッカの影響を受けることなく、オフセットを算出できる。そして、このオフセットを、オフセットレベル減算手段1150で減算すれば、フリッカを生じるような被写体であっても、精度よくオフセットを適切に減算した上で、標準露光映像信号1060と非標準露光映像信号1070を、映像信号合成手段1080で合成できる。
【００９７】
よって、オフセットレベル減算手段1150では、精度の高いオフセット値を基に、標準露光映像信号1060と非標準露光映像信号1070に対するオフセット減算処理ができる。標準露光映像信号1060と非標準露光映像信号1070から、オフセット減算後に、映像信号合成手段1080で合成する。標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルを調整した上で合成が行なえる。その結果、フリッカのある場合でも、図９（Ｅ）のように、低輝度域から高輝度域まで線形特性を有する広ダイナミックレンジの映像信号を得ることができ、合成時の基準となる信号レベルのずれによる偽色が改善できる。
【００９８】
三板方式の映像信号処理装置に関して説明したが、単板方式の映像信号処理装置でも同様に、オフセットレベルを調整した後に、標準露光映像信号1060と非標準露光映像信号1070とを合成してもよい。フレーム単位のみでの処理だけでなく、フィールド単位やライン単位や１画素単位の処理でもよい。
【００９９】
上記のように、本発明の第５の実施の形態では、映像信号処理装置を、フリッカを補正した標準露光映像信号と非標準露光映像信号とに対して、信号レベルに応じた制限を加え、常に精度のよいオフセットレベルを、標準露光映像信号と非標準露光映像信号から減算し、ゲイン調整して合成する構成としたので、フリッカのある場合でも、広ダイナミックレンジの映像信号を得ることができる。
【０１００】
（第６の実施の形態）
本発明の第６の実施の形態は、標準露光映像信号と非標準露光映像信号のＯＢレベルを算出して減算し、さらにオフセットレベルを算出して減算し、ゲイン調整して合成する映像信号処理装置である。
【０１０１】
図１４は、本発明の第６の実施の形態における映像信号処理装置の機能ブロック図である。図１２に示した映像信号処理装置に、ＯＢレベル検出手段1110とＯＢレベル減算手段1120とを設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【０１０２】
図１４において、ＯＢレベル検出手段1110は、ＲＧＢ毎の非標準露光映像信号1070と標準露光映像信号に対して、映像信号の黒レベルの基準となるＯＢレベルを検出する手段である。ＲＧＢ毎の非標準露光映像信号1070と標準露光映像信号から、ＯＢレベル検出手段1110で検出されたＯＢレベルを減算する手段である。
【０１０３】
上記のように構成された本発明の第６の実施の形態における映像信号処理装置の動作を説明する。映像信号のノイズ成分のために、オフセットレベル検出手段1140のみで、（７）式によるオフセット算出を行なうと、オフセットの精度が劣化する。オフセットレベル検出手段1140のみで算出したオフセットを基に、標準露光映像信号1060と非標準露光映像信号1070からオフセットを減算し、映像信号合成手段1080で合成すると、映像信号のノイズによる偽色が生ずる。
【０１０４】
映像信号に含まれるノイズ成分の影響を軽減するために、ＯＢレベル検出手段1110で、映像信号のＯＢレベルを算出する。標準露光映像信号1060と非標準露光映像信号1070から、ＯＢレベル減算手段1120により、ＯＢレベルを減算する。ＯＢレベル検出手段1110とＯＢレベル減算手段1120により、標準露光映像信号1060と非標準露光映像信号1070のＯＢレベルの調整が行なわれ、標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルを適切に保持できる。
【０１０５】
映像信号にノイズ成分がある場合でも、合成映像信号1081は、図９（Ｅ）のように、低輝度域から高輝度域まで線形特性を保つことができる。したがって、広ダイナミックレンジの映像信号を得ることができ、合成時の基準となる信号レベルのずれによる偽色が改善できる。
【０１０６】
三板方式の映像信号処理装置に関して説明したが、単板方式の映像信号処理装置でも同様に、オフセットレベルを調整した後に、標準露光映像信号1060と非標準露光映像信号1070とを合成してもよい。フレーム単位のみの処理だけでなく、フィールド単位やライン単位や１画素単位の処理でもよい。
【０１０７】
上記のように、本発明の第６の実施の形態では、映像信号処理装置を、標準露光映像信号と非標準露光映像信号のＯＢレベルを算出して減算し、さらにオフセットレベルを算出して減算し、ゲイン調整して合成する構成としたので、映像信号にノイズ成分がある場合でも、低輝度域から高輝度域まで広ダイナミックレンジの映像信号を得ることができ、偽色が改善できる。
【０１０８】
（第７の実施の形態）
本発明の第７の実施の形態は、標準露光映像信号と非標準露光映像信号からＯＢレベルを減算し、フリッカを補正して、さらにオフセットレベルを減算して、ゲイン調整して合成する映像信号処理装置である。
【０１０９】
図１５は、本発明の第７の実施の形態における映像信号処理装置の機能ブロック図である。図１４に示した信号処理装置に、フリッカ補正手段1190を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【０１１０】
図１５において、フリッカ補正手段1190は、標準露光映像信号と非標準露光映像信号が平均値と等しくなるようにゲインを乗算してフリッカを補正する手段である。
【０１１１】
上記のように構成された本発明の第７の実施の形態における映像信号処理装置の動作を説明する。フリッカ補正手段1190を設けているので、映像信号にフリッカの影響がある場合でも、フリッカの影響をオフセットレベル検出手段1140に与えない。その結果、オフセットレベル検出手段1140で精度よくオフセットの算出ができる。
【０１１２】
また、映像信号にフリッカが生じているような場合でも、ＯＢレベル検出手段1110とＯＢレベル減算手段1120により、標準露光映像信号1060と非標準露光映像信号1070のＯＢレベルの調整が適切に行なえる。
【０１１３】
したがって、標準露光映像信号1060と非標準露光映像信号1070を合成する際の基準となる信号レベルを適切に保持できる。合成映像信号1081は、フリッカやノイズ成分がある場合でも、図９（Ｅ）のように、低輝度域から高輝度域まで線形特性を保つことができる。広ダイナミックレンジの良好な映像信号を得ることができ、信号レベルのずれによる偽色を改善できる。
【０１１４】
三板方式の映像信号処理装置に関して説明したが、単板方式の映像信号処理装置でも同様に、フリッカ補正した後にオフセットレベルを算出し、オフセットレベルを調整した後に、標準露光映像信号1060と非標準露光映像信号1070とを合成すればよい。フレーム単位の処理だけでなく、フィールド単位やライン単位や１画素単位の処理でもよい。
【０１１５】
上記のように、本発明の第７の実施の形態では、映像信号処理装置を、標準露光映像信号と非標準露光映像信号からＯＢレベルを減算し、フリッカを補正して、さらにオフセットレベルを減算して、ゲイン調整して合成する構成としたので、フリッカやノイズ成分がある場合でも、低輝度域から高輝度域まで広ダイナミックレンジの良好な映像信号を得ることができ、偽色を改善できる。
【０１１６】
（第８の実施の形態）
本発明の第８の実施の形態は、標準露光映像信号と非標準露光映像信号からＯＢレベルを減算し、ホワイトバランスを調整し、フリッカを補正して、さらにオフセットレベルを減算して、ゲイン調整して合成する映像信号処理装置である。
【０１１７】
図１６は、本発明の第８の実施の形態における映像信号処理装置の機能ブロック図である。図１５に示した映像信号処理装置に、ホワイトバランス調整手段1200を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。三板方式の映像信号処理装置であり、フレーム単位でのダイナミックレンジ拡大処理を行なう装置である。
【０１１８】
図１６において、ホワイトバランス調整手段1200は、標準露光映像信号と非標準露光映像信号それぞれに対して、Ｇの映像信号の平均値を基にホワイトバランスを調整する手段である。
【０１１９】
上記のように構成された本発明の第８の実施の形態における映像信号処理装置の動作を説明する。ＲＧＢ毎のホワイトバランス調整手段1200では、標準露光映像信号1060と非標準露光映像信号1070それぞれに対して、フレーム毎にＲＧＢ毎に１画面分の平均値（ＲAVE,ＧAVE，ＢAVE）を算出する。Ｇの映像信号の平均値であるＧAVEを基に、ＲＧＢ毎にホワイトバランスを調整するためのホワイトバランス調整ゲインを算出する。
【０１２０】
例えば、ホワイトバランス調整ゲイン（ＲＷgain,ＧＷgain,ＢＷgain）は、Ｇを基準に、以下の（８）〜（10）式で、
ＲＷgain＝(ＧAVE)／(ＲAVE) （８）
ＧＷgain＝(ＧAVE)／(ＧAVE)＝1.0 （９）
ＢＷgain＝(ＧAVE)／(ＢAVE) （10）
のように算出する。
【０１２１】
このように、ＲＧＢ毎の標準露光映像信号1060と非標準露光映像信号1070それぞれに対して、ホワイトバランス調整ゲインを算出する。ＲＧＢ毎の標準露光映像信号1060と非標準露光映像信号1070のホワイトバランスを調整する。
【０１２２】
また、この構成により、ＯＢレベル調整とフリッカ補正とオフセットレベル調整も適切に行なえる。映像信号のホワイトバランスがずれているか、ノイズやフリッカの影響がある場合でも、標準露光映像信号1060と非標準露光映像信号1070の映像信号を合成する際の基準となる信号レベルを適切に保てる。
【０１２３】
したがって、合成映像信号1081は、映像信号にホワイトバランスのずれやフリッカやノイズ成分がある場合でも、図９（Ｅ）のように、低輝度域から高輝度域まで線形特性を保つことができる。標準露光映像信号1060と非標準露光映像信号1070の映像信号を合成する際の基準となる信号レベルのずれによる偽色を改善でき、広ダイナミックレンジの良好な映像信号を得ることができる。
【０１２４】
なお、入射光量が強く、標準露光映像信号1060が飽和レベル以上に達しているような場合には、非標準露光映像信号1070は飽和しないので、非標準露光映像信号1070のホワイトバランスで、標準露光映像信号1060のホワイトバランスを代用してもよい。標準露光映像信号1060が飽和レベルに達する直前のフレームのホワイトバランスを保持しておき、代用してもよい。
【０１２５】
三板方式の映像信号処理装置に関して説明したが、単板方式の映像信号処理装置でも同様に、ホワイトバランスを調整した後に、オフセットレベルを算出してオフセット調整を行ない、標準露光映像信号1060と非標準露光映像信号1070とを合成すればよい。フレーム単位の処理だけでなく、フィールド単位やライン単位や１画素単位の処理でもよい。
【０１２６】
上記のように、本発明の第８の実施の形態では、映像信号処理装置を、標準露光映像信号と非標準露光映像信号からＯＢレベルを減算し、ホワイトバランスを調整し、フリッカを補正して、さらにオフセットレベルを減算して、ゲイン調整して合成する構成としたので、映像信号にホワイトバランスのずれやフリッカやノイズ成分がある場合でも、低輝度域から高輝度域まで広ダイナミックレンジの良好な映像信号を得ることができ、偽色を改善できる。
【０１２７】
（第９の実施の形態）
本発明の第９の実施の形態は、標準露光映像信号と非標準露光映像信号からＯＢレベルを減算し、ホワイトバランスを調整し、フリッカを補正して、さらにオフセットレベルを減算して、ゲイン調整して合成した映像信号の画像処理を行なう画像処理装置である。
【０１２８】
図１７は、本発明の第９の実施の形態における画像処理装置の機能ブロック図である。図１６に示した映像信号処理装置に、画像処理手段を設けたものである。その他の同じ名称で同じ番号の構成要素は、同機能を有するものである。図１７において、画像処理手段1210は、物体の識別などの画像処理を行なう手段である。
【０１２９】
上記のように構成された本発明の第９の実施の形態における映像信号処理装置の動作を説明する。三板方式の映像信号処理装置を用いた画像処理装置を説明する。この画像処理装置では、標準露光映像信号1060と非標準露光映像信号1070を、映像信号合成手段1080で合成する前段の処理で、ＯＢ調整とフリッカ補正とオフセット調整とホワイトバランス調整がなされる。そのため、合成映像信号1081は、広ダイナミックレンジの良好な映像信号として得られる。
【０１３０】
画像処理手段1210は、広ダイナミックレンジの良好な映像信号を基に画像処理が行なえる。物体の識別などの画像処理を行なう際には、誤検出の少ない高精度な画像処理ができる。ノイズやフリッカがある場合にも、正確に認識処理ができる。特に、コントラストが強い画像から対象物の色を判断して識別する場合にも、精度よく識別できる。
【０１３１】
三板方式の映像信号処理装置に画像処理手段を付加した例を説明したが、単板方式の映像信号処理装置に画像処理手段を付加しても、高精度な画像処理装置を構成することができる。
【０１３２】
上記のように、本発明の第９の実施の形態では、画像処理装置を、標準露光映像信号と非標準露光映像信号からＯＢレベルを減算し、ホワイトバランスを調整し、フリッカを補正して、さらにオフセットレベルを減算して、ゲイン調整して合成した映像信号の画像処理を行なう構成としたので、誤検出の少ない高精度な画像処理ができる。
【０１３３】
【発明の効果】
以上の説明から明らかなように、本発明では、標準の露光時間で撮影された標準露光映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号を生成する手段と、標準露光映像信号と非標準露光映像信号とを用いてダイナミックレンジが拡大された合成映像信号を生成する手段とを有する映像信号処理装置に、標準露光映像信号と非標準露光映像信号を合成する際の信号レベルを調整するための基準調整レベルを算出するレベル検出手段と、標準露光映像信号と非標準露光映像信号から基準調整レベルを減算し、減算後標準露光映像信号と減算後非標準露光映像信号とを生成するレベル減算手段と、標準露光映像信号と非標準露光映像信号との露光時間比に応じて減算後非標準露光映像信号に対してゲイン調整を行なって調整後非標準露光映像信号を生成するゲイン調整手段と、減算後標準露光映像信号と調整後非標準露光映像信号とを合成して広ダイナミックレンジの映像信号を生成する映像信号合成手段とを備える構成としたので、撮像素子のばらつきやアナログ信号処理のばらつきがあって、映像信号のＯＢレベルやオフセットレベルがずれているような場合でも、標準露光映像信号と非標準露光映像信号の合成時の基準信号レベルを共通にして映像信号合成を行なって、合成画像の偽色を改善でき、広ダイナミックレンジの良好な映像信号を得ることができるという効果が得られる。
【０１３４】
また、標準露光映像信号と非標準露光映像信号のフリッカを補正するフリッカ補正手段を設けたので、標準露光映像信号と非標準露光映像信号にフリッカがある場合でも、信号レベルのずれによる偽色を改善でき、広ダイナミックレンジの良好な映像信号を得ることができるという効果が得られる。
【０１３５】
また、標準露光映像信号と非標準露光映像信号の信号レベルの平均値に基づいてホワイトバランスを算出するホワイトバランス算出手段を設けたので、標準露光映像信号と非標準露光映像信号にホワイトバランスのずれがある場合でも、信号レベルのずれによる偽色を改善でき、広ダイナミックレンジの良好な映像信号を得ることができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における映像信号処理装置の機能ブロック図、
【図２】（Ａ）露光時間識別信号の特性を示す図、
（Ｂ）ゲイン制御信号の特性を示す図、
【図３】（Ａ）標準露光映像信号の特性を示す図、
（Ｂ）非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図、
（Ｃ）本発明の第１の実施の形態における映像信号処理装置による合成映像信号の特性を示す図、
【図４】（Ａ）従来の映像信号処理装置によるＲＧＢ毎の映像信号に対する合成映像信号を示す図、
（Ｂ）本発明の第１の実施の形態における映像信号処理装置によるＲＧＢ毎の信号に対する合成映像信号を示す図、
【図５】（Ａ）ＯＢレベルが調整されていない標準露光映像信号の特性を示す図、
（Ｂ）ＯＢレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図、
（Ｃ）ＯＢレベルが調整されていない合成映像信号の特性を示す図、
【図６】（Ａ）ＯＢレベルが調整されていない標準露光映像信号の特性を示す図、
（Ｂ）ＯＢレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図、
（Ｃ）ＯＢレベルが調整されている標準露光映像信号の特性を示す図、
（Ｄ）ＯＢレベルが調整されている非標準露光映像信号の特性を示す図、
（Ｅ）ＯＢレベルが調整されている合成映像信号の特性を示す図、
（Ｆ）撮像素子出力に占めるＯＢ領域を示す図、
【図７】本発明の第２の実施の形態における映像信号処理装置の機能ブロック図、
【図８】（Ａ）オフセットレベルが調整されていない標準露光映像信号の特性を示す図、
（Ｂ）オフセットレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図、
（Ｃ）オフセットレベルが調整されていない合成映像信号の特性を示す図、
【図９】（Ａ）オフセットレベルが調整されていない標準露光映像信号の特性を示す図、
（Ｂ）オフセットレベルが調整されていない非標準露光映像信号の特性と非標準露光映像信号に対するゲイン調整を施した後の特性を示す図、
（Ｃ）オフセットレベルが調整されている標準露光映像信号の特性を示す図、（Ｄ）オフセットレベルが調整されている非標準露光映像信号の特性を示す図、
（Ｅ）オフセットレベルが調整されている合成映像信号の特性を示す図、
【図１０】標準露光映像信号と非標準露光映像信号に含まれるオフセット成分の特性を示す図、
【図１１】本発明の第３の実施の形態における映像信号処理装置の機能ブロック図、
【図１２】本発明の第４の実施の形態における映像信号処理装置の機能ブロック図、
【図１３】本発明の第５の実施の形態における映像信号処理装置の機能ブロック図、
【図１４】本発明の第６の実施の形態における映像信号処理装置の機能ブロック図、
【図１５】本発明の第７の実施の形態における映像信号処理装置の機能ブロック図、
【図１６】本発明の第８の実施の形態における映像信号処理装置の機能ブロック図、
【図１７】本発明の第９の実施の形態における画像処理装置の機能ブロック図、
【図１８】従来の映像信号処理装置の機能ブロック図、
【図１９】（Ａ）同時化手段の構成を示す機能ブロック図、
（Ｂ）Ａ／Ｄ変換器出力を示す図、
（Ｃ）メモリー手段出力を示す図、
（Ｄ）露光時間識別信号を示す図、
（Ｅ）非標準露光映像信号を示す図、
（Ｆ）標準露光映像信号を示す図、
【図２０】（Ａ）標準露光映像信号の特性を示す図、
（Ｂ）非標準露光映像信号の特性を示す図、
（Ｃ）非標準露光映像信号にオフセットを加算した場合の特性を示す図、
（Ｄ）標準露光映像信号と非標準露光映像信号の合成を示す図、
（Ｅ）映像信号合成制御信号の特性を示す図、
（Ｆ）合成映像信号の特性を示す図である。
【符号の説明】
1000 プリズム
1010 撮像素子
1020 撮像素子駆動手段
1021 露光時間識別信号
1030 前処理手段
1040 Ａ／Ｄ変換器
1041 Ａ／Ｄ変換器出力
1050 同時化手段
10511 メモリー手段
10512 メモリー出力
10513 セレクタ手段
10514 セレクタ手段
1060 標準露光映像信号
1070 非標準露光映像信号
1080 映像信号合成手段
1081 合成映像信号
1090 カメラプロセス
1100 露光比演算手段
1101 ゲイン制御信号
1110 ＯＢレベル検出手段
1120 ＯＢレベル減算手段
1130 ゲイン調整手段
1140 オフセットレベル検出手段
1150 オフセットレベル減算手段
1160 飽和判定手段
1170 オフセットレベル保持手段
1180 入力制限手段
1190 フリッカ補正手段
1200 ホワイトバランス調整手段
1210 画像処理手段
Claims (6)
- 標準の露光時間で撮影された標準露光カラー映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光カラー映像信号を生成する手段と、前記標準露光カラー映像信号と前記非標準露光カラー映像信号とを用いてダイナミックレンジが拡大された合成カラー映像信号を生成する手段とを有するカラー映像信号処理装置において、前記標準露光カラー映像信号と前記非標準露光カラー映像信号のオフセットレベルを算出するオフセットレベル検出手段と、前記標準露光カラー映像信号と前記非標準露光カラー映像信号から前記オフセットレベルを減算して減算後標準露光カラー映像信号と減算後非標準露光カラー映像信号とを算出するレベル減算手段と、前記標準露光カラー映像信号の飽和を判定して飽和判定信号を出力する飽和判定手段と、前記標準感光カラー映像信号が飽和する直前のオフセットレベルを予め保持しておくとともに前記飽和判定信号に応答して前記オフセットレベル減算手段に出力するオフセットレベル保持手段と、前記標準露光カラー映像信号と前記非標準感光カラー映像信号との露光時間比に応じて前記減算後非標準露光カラー映像信号に対してゲイン調整を行なって調整後非標準露光カラー映像信号を生成するゲイン調整手段と、前記減算後標準露光カラー映像信号と前記調整後非標準露光カラー映像信号とを合成して広ダイナミックレンジのカラー映像信号を生成するカラー映像信号合成手段とを備えることを特徴とするカラー映像信号処理装置。
- 標準の露光時間で撮影された標準露光カラー映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光カラー映像信号を生成する手段と、前記標準露光カラー映像信号と前記非標準露光カラー映像信号とを用いてダイナミックレンジが拡大された合成カラー映像信号を生成する手段とを有するカラー映像信号処理装置において、前記標準露光カラー映像信号と前記非標準露光カラー映像信号のオフセットレベルを算出するオフセットレベル検出手段と、前記オフセットレベル検出手段へ入力される前記標準露光カラー映像信号と前記非標準露光カラー映像信号とに対して信号レベルに応じた制限を加える入力カラー映像信号制限手段を設け、前記標準露光カラー映像信号と前記非標準露光カラー映像信号から前記オフセットレベルを減算して減算後標準露光カラー映像信号と減算後非標準露光カラー映像信号とを算出するオフセットレベル減算手段と、前記標準露光カラー映像信号と前記非標準露光カラー映像信号との露光時間比に応じて前記減算後非標準露光カラー映像信号に対してゲイン調整を行なって調整後非標準露光カラー映像信号を生成するゲイン調整手段と、前記減算後標準露光カラー映像信号と前記調整後非標準露光カラー映像信号とを合成して広ダイナミックレンジのカラー映像信号を生成するカラー映像信号合成手段とを備えることを特徴とするカラー映像信号処理装置。
- 標準の露光時間で撮影された標準露光カラー映像信号を生成する手段と、同一シーンに対して標準より短い露光時間で撮影された非標準露光カラー映像信号を生成する手段と、前記標準露光カラー映像信号と前記非標準露光カラー映像信号とを用いてダイナミックレンジが拡大された合成カラー映像信号を生成する手段とを有するカラー映像信号処理装置において、前記標準露光カラー映像信号と前記非標準露光カラー映像信号の OB レベル（基準黒レベル）を算出する OB レベル検出手段と、前記標準露光カラー映像信号と前記非標準露光カラー映像信号から前記 OB レベルを減算して減算後標準露光カラー映像信号と減算後非標準露光カラー映像信号とを算出する OB レベル減算手段と、前記減算後標準露光カラー映像信号と前記減算後非標準露光カラー映像信号のオフセットレベルを算出するオフセットレベル検出手段と、前記オフセットレベル検出手段へ入力される前記標準露光カラー映像信号と前記非標準露光カラー映像信号とに対して信号レベルに応じた制限を加える入力カラー映像信号制限手段と、前記減算後標準露光カラー映像信号と前記演算後非標準露光カラー映像信号から前記オフセットレベルを減算して第２減算後標準露光カラー映像信号と第２減算後非標準露光カラー映像信号とを算出するオフセットレベル減算手段と、前記標準露光カラー映像信号と前記非標準露光カラー映像信号との露光時間比に応じて前記第２減算後非標準露光カラー映像信号に対してゲイン調整を行なって第２調整後 非標準露光カラー映像信号を生成するゲイン調整手段と、前記第２減算後標準露光カラー映像信号と前記第２調整後非標準露光カラー映像信号とを合成して広ダイナミックレンジのカラー映像信号を生成するカラー映像信号合成手段とを備えることを特徴とするカラー映像信号処理装置。
- 同一シーンに対して、標準の露光時間で撮影された標準露光カラー映像信号と、標準より短い露光時間で撮影された非標準露光カラー映像信号とを生成し、前記標準露光カラー映像信号と前記非標準露光カラー映像信号とを用いてダイナミックレンジが拡大された合成カラー映像信号を生成するカラー映像信号処理方法において、前記標準露光カラー映像信号が飽和する直前のオフセットレベルを予め保持しておき、前記標準露光カラー映像信号の飽和を判定した場合には、予め保持しておいたオフセットレベルを前記標準露光カラー映像信号と前記非標準露光カラー映像信号から減算し、前記標準露光カラー映像信号と前記非標準露光カラー映像信号のオフセットレベルを算出し、前記標準露光カラー映像信号と前記非標準露光カラー映像信号から前記オフセットレベルを減算して減算後標準露光カラー映像信号と減算後非標準露光カラー映像信号とを算出し、前記標準露光カラー映像信号と前記非標準露光カラー映像信号との露光時間比に応じて前記減算後非標準露光カラー映像信号に対してゲイン調整を行なって調整後非標準露光カラー映像信号を生成し、前記減算後標準露光カラー映像信号と前記調整後非標準露光カラー映像信号とを合成して広ダイナミックレンジのカラー映像信号を生成することを特徴とするカラー映像信号処理方法。
- 同一シーンに対して、標準の露光時間で撮影された標準露光カラー映像信号と、標準より短い露光時間で撮影された非標準露光カラー映像信号とを生成し、前記標準露光カラー映像信号と前記非標準露光カラー映像信号とを用いてダイナミックレンジが拡大された合成カラー映像信号を生成するカラー映像信号処理方法において、オフセットレベルの算出前の前記標準露光カラー映像信号と前記非標準露光カラー映像信号とに対して信号レベルに応じた制限を加え、前記標準露光カラー映像信号と前記非標準露光カラー映像信号のオフセットレベルを算出し、前記標準露光カラー映像信号と前記非標準露光カラー映像信号から前記オフセットレベルを減算して減算後標準露光カラー映像信号と減算後非標準露光カラー映像信号とを算出し、前記標準露光カラー映像信号と前記非標準露光カラー映像信号との露光時間比に応じて前記減算後非標準露光カラー映像信号に対してゲイン調整を行なって調整後非標準露光カラー映像信号を生成し、前記減算後標準露光カラー映像信号と前記調整後非標準露光カラー映像信号とを合成して広ダイナミックレンジのカラー映像信号を生成することを特徴とするカラー映像信号処理方法。
- 同一シーンに対して、標準の露光時間で撮影された標準露光カラー映像信号と、標準より短い露光時間で撮影された非標準露光カラー映像信号とを生成し、前記標準露光カラー映像信号と前記非標準露光カラー映像信号とを用いてダイナミックレンジが拡大された合成カラー映像信号を生成するカラー映像信号処理方法において、前記標準露光カラー映像信号と前記非標準露光カラー映像信号の OB レベルを算出し、前記標準露光カラー映像信号と前記非標準露光カラー映像信号から前記 OB レベルを減算して減算後標準露光カラー映像信号と減算後非標準露光カラー映像信号とを算出し、オフセットレベルの算出前の前記標準露光カラー映像信号と前記非標準感光カラー映像信号とに対して信号レベルに応じた制限を加え、前記減算後標準露光カラー映像信号と前記減算後非標準露光カラー映像信号のオフセットレベルを算出し、前記減算後標準露光カラー映像信号と前記減算後非標準露光カラー映像信号から前記オフセットレベルを減算して第２減算後標準露光カラー映像信号と第２減算後非標準露光カラー映像信号とを算出し、前記標準露光カラー映像信号と前記非標準露光カラー映像信号との露光時間比に応じて前記第２減算後非標準露光カラー映像信号に対してゲイン調整を行なって第２調整後非標準露光カラー映像信号を生成し、前記第２減算後標準露光カラー映像信号と前記第２調整後非標準露光カラー映像信号とを合成して広ダイナミックレンジのカラー映像信号を生成することを特徴とするカラー映像信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000170838A JP3748031B2 (ja) | 2000-06-07 | 2000-06-07 | 映像信号処理装置及び映像信号処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000170838A JP3748031B2 (ja) | 2000-06-07 | 2000-06-07 | 映像信号処理装置及び映像信号処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001352552A JP2001352552A (ja) | 2001-12-21 |
| JP3748031B2 true JP3748031B2 (ja) | 2006-02-22 |
Family
ID=18673490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000170838A Expired - Fee Related JP3748031B2 (ja) | 2000-06-07 | 2000-06-07 | 映像信号処理装置及び映像信号処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3748031B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4487640B2 (ja) * | 2004-06-01 | 2010-06-23 | ソニー株式会社 | 撮像装置 |
| JP4739122B2 (ja) * | 2006-06-05 | 2011-08-03 | パナソニック株式会社 | 車載カメラの画像合成装置および画像合成方法 |
| KR100757737B1 (ko) | 2006-08-21 | 2007-09-11 | 삼성전자주식회사 | 흑 신장 장치 및 방법 |
| JP5022802B2 (ja) * | 2007-07-23 | 2012-09-12 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| WO2009119254A1 (ja) * | 2008-03-24 | 2009-10-01 | 京セラ株式会社 | 撮像装置 |
| JP2011091584A (ja) | 2009-10-21 | 2011-05-06 | Seiko Epson Corp | 撮像装置、撮像方法及び電子機器 |
| JP5234150B2 (ja) | 2011-08-26 | 2013-07-10 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2018042089A (ja) * | 2016-09-07 | 2018-03-15 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
-
2000
- 2000-06-07 JP JP2000170838A patent/JP3748031B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001352552A (ja) | 2001-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI390971B (zh) | 成像裝置，成像處理方法及成像控制程式 | |
| CA2252183C (en) | An imaging apparatus with dynamic range expanded, a video camera including the same, and a method of generating a dynamic range expanded video signal | |
| TWI408953B (zh) | 攝像裝置及攝像方法 | |
| JP5347707B2 (ja) | 撮像装置および撮像方法 | |
| KR101352440B1 (ko) | 화상처리장치, 화상처리방법, 및 기록매체 | |
| JP3134784B2 (ja) | 画像合成回路 | |
| JP3999321B2 (ja) | 電子カメラ | |
| JP3702222B2 (ja) | 撮像装置及び映像信号処理方法 | |
| JP2002084449A (ja) | 固体撮像素子を用いた撮像装置 | |
| JP3748031B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JP3553999B2 (ja) | 撮像装置とその画像処理方法 | |
| JPH11155108A (ja) | 映像信号処理装置と処理方法、それを用いたビデオカメラ | |
| JP6242129B2 (ja) | 撮像装置、その制御方法、及び制御プログラム | |
| JP4028395B2 (ja) | デジタルカメラ | |
| JP2010068331A (ja) | 撮像装置および撮像方法 | |
| JP2008211273A (ja) | 撮像装置 | |
| JP2014155002A (ja) | 撮像装置 | |
| JP3811610B2 (ja) | 撮像装置 | |
| KR101408359B1 (ko) | 촬상장치 및 촬상방법 | |
| JPH11155098A (ja) | 信号処理装置および方法 | |
| JP2004215063A (ja) | 撮像装置及び輪郭補正方法 | |
| JPH10294892A (ja) | 固体撮像装置 | |
| JP6990988B2 (ja) | 撮像装置及び撮像素子の制御方法 | |
| JP4028396B2 (ja) | 画像合成方法及びデジタルカメラ | |
| JP3466672B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051027 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051122 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131209 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |