JP5612001B2 - 画像処理装置及び固体撮像装置 - Google Patents

Description

本発明の実施形態は、画像処理装置及び固体撮像装置に関する。

ハイダイナミックレンジ（high dynamic range；ＨＤＲ）合成は、通常の撮影に比べて幅広いダイナミックレンジを表現するための撮影技法として知られている。ＨＤＲ合成の手法としては、例えば、互いに露光量（電荷蓄積時間）を異ならせて取得された二以上の画像を合成するものがある。この手法によると、イメージセンサによる出力周期に対して、合成画像のフレームレートに遅れが生じることとなる。このため、特に動画を撮影する場合に、被写体像のブレ（モーションブラー）が生じ易くなることが課題となる。

また、ＨＤＲ合成の他の手法として、例えば、互いに電荷蓄積時間を異ならせた二つのラインを一組とし、電荷蓄積時間が異なる画素同士の信号電荷を組ごとに加算するものがある。この手法によると、ラインに対し垂直な方向における解像度が、通常の場合に対して実質的に半分となることから、画質を劣化させることとなる。

特開平６−１４１２２９号公報 特許第２８６８９１５号公報

本発明の一つの実施形態は、被写体像のブレと解像度の低下とを抑制可能とし、効果的なハイダイナミックレンジ合成を可能とする画像処理装置及び固体撮像装置を提供することを目的とする。

本発明の一つの実施形態によれば、画像処理装置は、ハイダイナミックレンジ合成回路を有する。ハイダイナミックレンジ合成回路は、第１画像信号及び第２画像信号を合成する。第１画像信号は、第１電荷蓄積期間における第１画素への入射光量に応じた画像信号である。第２画像信号は、第２電荷蓄積期間における第２画素への入射光量に応じた画像信号である。第２電荷蓄積期間は、第１電荷蓄積期間より短い。ハイダイナミックレンジ合成回路は、信号レベル調整部、補間処理部及び伸張処理部を有する。信号レベル調整部は、第２画像信号の信号レベルを第１電荷蓄積期間及び第２電荷蓄積期間の比に応じて調整する。補間処理部は、第１画像信号と、信号レベル調整部での信号レベルの調整を経た第２画像信号とが入力される。補間処理部は、対象画素とする第１画素について、補間処理によって補間信号を生成する。補間処理部は、対象画素とする第１画素の近傍に位置する周辺画素である第２画素からの第２画像信号を、補間処理に使用する。補間処理部は、対象画素とする第２画素について、補間処理によって補間信号を生成する。補間処理部は、対象画素とする第２画素の近傍に位置する周辺画素である第１画素からの第１画像信号を、補間処理に使用する。伸張処理部は、出力飽和レベルを超過した信号レベル分についての伸張処理を実施する。出力飽和レベルは、第１電荷蓄積期間の入射光量に対する出力電荷の飽和が生じるレベルである。

第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図。 図１に示す固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図。 イメージセンサにおける画素の配列について説明する図。 ＨＤＲ合成回路の構成を示すブロック図。 長時間露光画素及び短時間露光画素の出力特性と、ＨＤＲ合成回路による画像信号の合成について説明する図。 ゲイン調整回路の構成を示すブロック図。 長時間露光画素に対する補間処理について説明する概念図。 短時間露光画素に対する補間処理について説明する概念図。 伸張処理部の構成を示すブロック図。 第２の実施形態にかかる画像処理装置に適用されるＨＤＲ合成回路の構成を示すブロック図。 長時間露光画素及び短時間露光画素の出力特性と、ＨＤＲ合成回路による画像信号の合成について説明する図。 ２つの補間処理回路の構成を示すブロック図。 混合信号加算部の構成を示すブロック図。 第２混合信号を生成する補間処理回路の変形例を示すブロック図。 第２混合信号の伸張処理を実施する伸張処理回路の変形例を示すブロック図。

以下に添付図面を参照して、実施形態にかかる画像処理装置及び固体撮像装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図２は、図１に示す固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図である。

デジタルカメラ１は、カメラモジュール２及び後段処理部３を有する。カメラモジュール２は、撮像光学系４及び固体撮像装置５を有する。後段処理部３は、イメージシグナルプロセッサ（image signal processor；ＩＳＰ）６、記憶部７及び表示部８を有する。カメラモジュール２は、デジタルカメラ１以外に、例えばカメラ付き携帯端末等の電子機器に適用される。

撮像光学系４は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置５は、被写体像を撮像する。ＩＳＰ６は、固体撮像装置５での撮像により得られた画像信号の信号処理を実施する。記憶部７は、ＩＳＰ６での信号処理を経た画像を格納する。記憶部７は、ユーザの操作等に応じて、表示部８へ画像信号を出力する。表示部８は、ＩＳＰ６あるいは記憶部７から入力される画像信号に応じて、画像を表示する。表示部８は、例えば、液晶ディスプレイである。

固体撮像装置５は、例えば、ＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサである。固体撮像装置５は、ＣＭＯＳイメージセンサの他、ＣＣＤ（charge coupled device）であっても良い。固体撮像装置５は、イメージセンサ１０、アナログデジタル変換器（ＡＤＣ）１１、信号処理回路１２及びインタフェース（Ｉ／Ｆ）１４を有する。

イメージセンサ１０は、撮像光学系４により取り込まれた光をフォトダイオードにより信号電荷に変換し、被写体像を撮像する。イメージセンサ１０は、ＲＧＢの信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。ＡＤＣ１１は、イメージセンサ１０からの画像信号をアナログ方式からデジタル方式へ変換する。

信号処理回路１２は、ＡＤＣ１１から入力されたデジタル画像信号に対し、種々の信号処理を実施する。信号処理回路１２は、ハイダイナミックレンジ（ＨＤＲ）合成回路１３を有する。ＨＤＲ合成回路１３は、信号処理回路１２へ入力されたデジタル画像信号に対し、ＨＤＲ合成を実施する。信号処理回路１２は、ＨＤＲ合成回路１３によるＨＤＲ合成の他、例えば、キズ補正、ノイズリダクション、シェーディング補正、ホワイトバランス調整等の信号処理を実施する。

Ｉ／Ｆ１４は、信号処理回路１２での信号処理を経た画像信号を出力する。Ｉ／Ｆ１４は、シリアル入力からパラレル出力への変換や、パラレル入力からシリアル出力への変換を行うこととしても良い。

図３は、イメージセンサにおける画素の配列について説明する図である。イメージセンサ１０に設けられた画素アレイ１７は、Ｇｒ、Ｒ、Ｇｂ、Ｂの４画素がベイヤー配列として配置されている。Ｒ画素は、Ｒ光を検出する。Ｂ画素は、Ｂ光を検出する。Ｇｒ画素及びＧｂ画素は、Ｇ光を検出する。Ｇｒ画素は、水平ラインにてＲ画素と並列している。Ｇｂ画素は、水平ラインにてＢ画素と並列している。

画素アレイ１７は、Ｇｒ／ＲラインとＢ／Ｇｂラインとの２本の水平ラインからなるラインエリアごとに、電荷蓄積期間を交互に異ならせている。長時間露光ラインエリア（第１ラインエリア）１５の電荷蓄積期間である第１電荷蓄積期間は、短時間露光ラインエリア（第２ラインエリア）１６の電荷蓄積期間である第２電荷蓄積期間より長い。

長時間露光ラインエリア１５は、第１画素である長時間露光画素からなる２本の水平ラインにより構成されている。短時間露光ラインエリア１６は、第２画素である短時間露光画素からなる２本の水平ラインにより構成されている。長時間露光ラインエリア１５及び短時間露光ラインエリア１６は、垂直方向において交互に配置されている。

イメージセンサ１０は、第１電荷蓄積期間における長時間露光画素への入射光量に応じた第１画像信号と、第２電荷蓄積期間における短時間露光画素への入射光量に応じた第２画像信号とを出力する。ＨＤＲ合成回路１３は、信号処理回路１２へ入力された第１画像信号及び第２画像信号を合成する。

図４は、ＨＤＲ合成回路の構成を示すブロック図である。ＨＤＲ合成回路１３は、ラインメモリ（４Ｈ）２１、信号レベル調整部２２、補間処理部２３及び伸張処理部２４を有する。

ラインメモリ２１は、ＨＤＲ合成回路１３へ入力された４ライン分のデジタル画像信号を保持する。信号レベル調整部２２は、画像信号の信号レベルを調整する。補間処理部２３は、画像信号の補間処理を実施する。伸張処理部２４は、画像信号の伸張処理を実施する。

図５は、長時間露光画素及び短時間露光画素の出力特性と、ＨＤＲ合成回路による画像信号の合成について説明する図である。長時間露光画素は、入射光量が所定の飽和光量より大きくなると、光電変換により発生する信号電荷がフォトダイオードの蓄積容量に達する。

図５の上段に示すグラフにおいて、長時間露光画素から出力される信号レベルを実線、短時間露光画素から出力される信号レベルを破線として表す。入射光量が飽和光量以下である場合、長時間露光画素から出力される信号レベルは、入射光量の増加に比例して高くなる。短時間露光画素から出力される信号レベルは、入射光量が長時間露光画素における飽和光量より大きい場合も、入射光量の増加に比例して高くなる。

信号レベル調整部２２は、長時間露光画素と短時間露光画素とで出力レベルを一致させるために、短時間露光画素で得られた第２画像信号に所定のゲインを乗算する。ゲインは、長時間露光画素の第１電荷蓄積期間と短時間露光画素の第２電荷蓄積期間との比である露光比に対応する。

補間処理部２３は、長時間露光画素で得られた第１画像信号と、短時間露光画素で得られてから信号レベル調整部２２での調整を経た第２画像信号との加算を実施する。図５の中段に示すグラフにおいて、補間処理部２３での加算を経た信号レベルを実線として表す。

補間処理部２３での加算を経た信号レベルは、入射光量に対する変化量が飽和光量の前後で異なる特性を示す（knee特性）。伸張処理部２４は、補間処理部２３での補間処理により、飽和光量に対応する出力飽和レベルを超過した信号レベル分についての伸張処理を実施する（knee伸張）。これにより、ＨＤＲ合成回路１３は、飽和光量の前後において近い線形特性を持つＨＤＲ合成信号を得る。図５の下段に示すグラフにおいて、伸張処理部２４での伸張処理を経た信号レベルを実線として表す。

図４に示すように、信号レベル調整部２２には、ラインメモリ２１に保持された４本の水平ライン（ラインＬ１〜Ｌ４とする）と、ラインメモリ２１で保持される直前の１本の水平ライン（ラインＬ０とする）とのうち、同色画素からの画像信号を含む３本のラインＬ０、Ｌ２及びＬ４が入力される。

信号レベル調整部２２は、入力される各ラインに対応して、３つのゲイン調整回路２９を有する。ゲイン調整回路２９は、３本の水平ラインのうち短時間露光ラインエリア１６（図３参照）からの第２画像信号に対し、露光比の乗算によるゲイン調整を実施する。

ライン識別カウント２８は、３本の水平ラインのうち中央のラインＬ２が、長時間露光ラインエリア１５からの第１画像信号及び短時間露光ラインエリア１６からの第２画像信号のいずれであるかを表す信号である。例えば、ラインＬ２が第１画像信号であるときのライン識別カウント２８は「１」、ラインＬ２が第２画像信号であるときのライン識別カウント２８は「０」であるものとする。

信号レベル調整部２２のうち、ラインＬ２が入力されるゲイン調整回路２９には、反転（ＮＯＴ）を経たライン識別カウント２８が入力される。ラインＬ２以外のラインＬ０及びＬ４が入力されるゲイン調整回路２９には、ライン識別カウント２８が反転を経ず入力される。

図６は、ゲイン調整回路の構成を示すブロック図である。減算器３１は、入力されたラインから所定の黒レベル（例えば６４ＬＳＢ）を差し引く。乗算器３２は、減算器３１からの出力に露光比（ＥＸＰ＿ＲＡＴＩＯ）を乗算する。

セレクタ３３は、ゲイン調整回路２９へ入力されたライン識別カウント２８を選択制御入力信号として、乗算器３２からの信号３５と減算器３１からの信号３６とのいずれかを選択する。選択制御入力信号「１」に対し、セレクタ３３は、乗算器３２によるＥＸＰ＿ＲＡＴＩＯの乗算を経た信号３５を選択する。選択制御入力信号「０」に対し、セレクタ３３は、ＥＸＰ＿ＲＡＴＩＯの乗算前の信号３６を選択する。加算器３４は、セレクタ３３による選択結果と、黒レベルとを加算する。ゲイン調整回路２９は、加算器３４による加算結果を出力する。

ラインＬ２が長時間露光ラインエリア１５からの第１画像信号であるとき、ＨＤＲ合成回路１３には、ライン識別カウント２８として「１」が入力される。ラインＬ０及びＬ４は、いずれも短時間露光ラインエリア１６からの第２画像信号となる。

この場合、ラインＬ２についてのゲイン調整回路２９へは、「１」から「０」へ反転されたライン識別カウント２８が入力される。ラインＬ２についてのゲイン調整回路２９において、セレクタ３３は、ＥＸＰ＿ＲＡＴＩＯの乗算前の信号３６を選択する。ラインＬ０についてのゲイン調整回路２９及びラインＬ４についてのゲイン調整回路２９へは、「１」のままのライン識別カウント２８が入力される。ラインＬ０についてのゲイン調整回路２９及びラインＬ４についてのゲイン調整回路２９において、セレクタ３３は、ＥＸＰ＿ＲＡＴＩＯの乗算を経た信号３５を選択する。

ラインＬ２が短時間露光ラインエリア１６からの第２画像信号であるとき、ＨＤＲ合成回路１３には、ライン識別カウント２８として「０」が入力される。ラインＬ０及びＬ４は、いずれも長時間露光ラインエリア１５からの第１画像信号となる。

この場合、ラインＬ２についてのゲイン調整回路２９へは、「０」から「１」へ反転されたライン識別カウント２８が入力される。ラインＬ２についてのゲイン調整回路２９において、セレクタ３３は、ＥＸＰ＿ＲＡＴＩＯの乗算を経た信号３５を選択する。ラインＬ０についてのゲイン調整回路２９及びラインＬ４についてのゲイン調整回路２９において、セレクタ３３は、ＥＸＰ＿ＲＡＴＩＯの乗算前の信号３６を選択する。

これにより、信号レベル調整部２２は、第１及び第２画像信号のうち、第２画像信号に対し選択的に露光比を乗算し、長時間露光画素の出力レベルに短時間露光画素の出力レベルを一致させる。例えば、イメージセンサ１０から出力される画像信号が１０ビットであって、ＥＸＰ＿ＲＡＴＩＯを１６倍とした場合、合成画像についての出力ビット数として１４ビットを得ることが可能となる。

補間処理部２３には、第１画像信号と、信号レベル調整部２２での信号レベルの調整を経た第２画像信号とが入力される。補間処理部２３は、信号レベル調整部２２からの３ラインのうち、ラインＬ２の信号レベルを乗算器２５で２倍にする。加算器２６は、補間処理部２３へ入力されたラインＬ０及びＬ４と、乗算器２５からのラインＬ２とを加算する。乗算器２７は、加算器２６による加算結果を１／４倍とする。補間処理部２３は、乗算器２７による乗算結果を、補間信号として出力する。

図７は、長時間露光画素に対する補間処理について説明する概念図である。補間処理部２３は、ＨＤＲ合成の対象である対象画素とする長時間露光画素ＰＬに対する補間処理には、長時間露光画素ＰＬからの第１画像信号と、長時間露光画素ＰＬの近傍に位置する周辺画素である２つの短時間露光画素ＰＳ１及びＰＳ２からの第２画像信号とを使用する。

周辺画素は、対象画素を中心とする５×５の画素ブロックに含まれる、対象画素と同色用の８個の画素とする。周辺画素である短時間露光画素ＰＳ１及びＰＳ２は、対象画素である長時間露光画素ＰＬと同色用の画素である。周辺画素のうち、短時間露光画素ＰＳ１及びＰＳ２は、それぞれ、垂直方向において１画素を介して、対象画素である長時間露光画素ＰＬと並列している。短時間露光画素ＰＳ１及びＰＳ２は、長時間露光画素ＰＬを含む長時間露光ラインエリア１５に隣接する短時間露光ラインエリア１６に含まれる。

補間処理部２３は、ＥＸＰ＿ＲＡＴＩＯが乗算された短時間露光画素ＰＳ１の第２画像信号、長時間露光画素ＰＬの第１画像信号、及びＥＸＰ＿ＲＡＴＩＯが乗算された短時間露光画素ＰＳ２の第２画像信号を、１：２：１の割合で加算し、さらに１／４とする。補間処理を経て補間処理部２３から出力される補間信号は、長時間露光画素ＰＬに由来する信号成分を５０％包含している。

図８は、短時間露光画素に対する補間処理について説明する概念図である。補間処理部２３は、ＨＤＲ合成の対象である対象画素とする短時間露光画素ＰＳに対する補間処理には、短時間露光画素ＰＳからの第２画像信号と、短時間露光画素ＰＳの近傍に位置する２つの長時間露光画素ＰＬ１及びＰＬ２からの第１画像信号とを使用する。

長時間露光画素ＰＬ１及びＰＬ２は、短時間露光画素ＰＳと同色用の画素である。長時間露光画素ＰＬ１及びＰＬ２は、それぞれ、垂直方向において１画素を介して短時間露光画素ＰＳと並列している。長時間露光画素ＰＬ１及びＰＬ２は、短時間露光画素ＰＳを含む短時間露光ラインエリア１６に隣接する長時間露光ラインエリア１５に含まれる。

補間処理部２３は、長時間露光画素ＰＬ１の第１画像信号、ＥＸＰ＿ＲＡＴＩＯが乗算された短時間露光画素ＰＳの第２画像信号、及び長時間露光画素ＰＬ２の第１画像信号を、１：２：１の割合で加算し、さらに１／４とする。補間処理を経て補間処理部２３から出力される補間信号は、長時間露光画素ＰＬ１及びＰＬ２に由来する信号成分を５０％包含している。

移動する被写体を撮影する場合、固体撮像装置５は、露光時間が短いほどブレが少ない被写体像を得ることができる。長時間露光画素と短時間露光画素とでは、被写体像に生じるブレの程度に差が生じることとなる。長時間露光画素及び短時間露光画素を適用する場合、入射光量が飽和光量に達する前後で、長時間露光画素に由来する信号成分と短時間露光画素に由来する信号成分との比率が大きく変化することがある。

補間処理部２３は、長時間露光画素に由来する信号成分と短時間露光画素に由来する信号成分とを等しく含ませる補間処理を実施する。補間処理部２３は、第１画像信号と第２画像信号との比率に変化があった場合であっても、補間信号については入射光量に対する十分な連続性を確保することができる。

これにより、ＨＤＲ合成回路１３は、入射光量に対する信号レベルについて、飽和光量の前後における変化量の変動を抑制させるようなＨＤＲ合成を実施することができる。固体撮像装置５は、ＨＤＲ合成における不用な信号レベルの変動を抑制させることで、移動する被写体を撮影する場合における偽色等の不具合を低減させる。これにより、固体撮像装置５は、高品質な画像を得ることができる。

図９は、伸張処理部の構成を示すブロック図である。比較器４１は、補間処理部２３から伸張処理部２４へ入力された補間信号と所定の出力飽和レベル（例えば１０２３ＬＢＳ）とを比較する。比較器４１は、伸張処理部２４へ入力された補間信号が出力飽和レベルより大きい場合、比較結果として例えば「１」を出力する。比較器４１は、伸張処理部２４へ入力された補間信号が出力飽和レベル以下であった場合、比較結果として例えば「０」を出力する。

減算器４２は、伸張処理部２４へ入力された補間信号から出力飽和レベルを差し引く。乗算器４３は、減算器４２による減算結果に、伸張の倍率として２を乗算する。乗算器４３は、補間処理部２３における補間処理により出力飽和レベルを超過した信号レベル分に対し、伸張処理のための乗算を施す。加算器４４は、乗算器４３による乗算結果に出力飽和レベルを加算する。

セレクタ４５は、比較器４１からの比較結果を選択制御入力信号として、加算器４４からの信号と伸張処理部２４へ入力された補間信号とのいずれかを選択する。選択制御入力信号「１」に対し、セレクタ４５は、乗算器４３を使用する伸張処理を経て加算器４４から出力される信号を選択する。選択制御入力信号「０」に対し、セレクタ４５は、伸張処理前の補間信号を選択する。

これにより、伸張処理部２４は、ＨＤＲ合成により出力飽和レベルより高いレベルとなった信号を対象として、出力飽和レベルからの超過分を伸張させる処理を実施する。伸張処理部２４は、セレクタ４５で選択された信号を出力する。ＨＤＲ合成回路１３は、伸張処理部２４からの信号を、合成画像信号として出力する。

ＨＤＲ合成回路１３は、長時間露光画素からの第１画像信号と短時間露光画素からの第２画像信号とを使用するＨＤＲ合成を実施することで、複数のフレームの画像を合成する場合に比べて、被写体像のブレを抑制させることができる。ＨＤＲ合成回路１３は、長時間露光ラインエリア１５からの出力と短時間露光ラインエリア１６からの出力との補間処理を実施することで、イメージセンサ１０が持つ解像度を半減させずに合成画像を取得することができる。これにより、ＨＤＲ合成回路１３は、被写体像のブレと解像度の低下とを抑制可能とし、効果的なハイダイナミックレンジ合成を実施することができる。

なお、本実施形態で説明する各回路構成は、本実施形態で説明する機能を実現可能な構成であれば良く、適宜変更可能であるものとする。

（第２の実施形態）
図１０は、第２の実施形態にかかる画像処理装置に適用されるＨＤＲ合成回路の構成を示すブロック図である。本実施形態のＨＤＲ合成回路５０は、信号処理回路１２（図１参照）に適用される。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。

ＨＤＲ合成回路５０は、ラインメモリ（４Ｈ）２１、信号レベル調整部２２及び輝度連動処理部５１を有する。輝度連動処理部５１は、補間処理回路５２及び５３、伸張処理回路５４及び５５、及び混合信号加算部５６を有する。

補間処理回路５２及び５３は、画像信号の補間処理を実施する補間処理部として機能する。伸張処理回路５４及び５５は、画像信号の伸張処理を実施する伸張処理部として機能する。混合信号加算部５６は、後述する第１混合信号及び第２混合信号を加算する。

図１１は、長時間露光画素及び短時間露光画素の出力特性と、ＨＤＲ合成回路による画像信号の合成について説明する図である。実線Ａ１は、長時間露光画素への入射光量と、第１画像信号のレベルとの関係を表す。実線Ａ２は、短時間露光画素への入射光量と、露光比ＥＸＰ＿ＲＡＴＩＯによる調整を経た第２画像信号のレベルとの関係を表す。

実線Ｂ１は、入射光量と、長時間露光画素に由来する信号成分を５０％包含する補間処理を経た合成信号のレベルとの関係を表す。Ｂ１に示す合成信号を得るためのＨＤＲ合成を、以下適宜「５０％ブレンド合成」と称する。第１の実施形態にかかるＨＤＲ合成回路１３は、５０％ブレンド合成を実施する。

破線Ｂ２は、入射光量と、長時間露光画素に由来する信号成分を７５％包含する補間処理を経た信号のレベルとの関係を表す。Ｂ２に示す合成信号を得るためのＨＤＲ合成を、以下適宜「７５％ブレンド合成」と称する。実線Ｂ３は、入射光量と、本実施形態の輝度連動処理を経た信号のレベルとの関係を表す。

５０％ブレンド合成による合成信号と７５％ブレンド合成による合成信号とを比較すると、５０％ブレンド合成の場合、第１の実施形態で説明するように、ＨＤＲ合成における不用な信号レベルの変動を最小限とし、偽色等の不具合を効果的に低減させることができる。

短時間露光画素に由来する信号成分は、ＥＸＰ＿ＲＡＴＩＯを乗算していることから、長時間露光画素に由来する信号成分に比べて、量子化ノイズの影響による信号対ノイズ比（ＳＮＲ）が低下し易いこととなる。例えば飽和光量より入射光量が低く、低照度であるほど、短時間露光画素に由来する信号成分におけるＳＮＲの低下は顕著となる。このため、ＳＮＲの確保を要する低照度の場合には、７５％ブレンド合成による合成信号は、５０％ブレンド合成による合成信号に比べ、ノイズによる画質の悪化を低減させることができる。

本実施形態のＨＤＲ合成回路５０は、第１画像信号及び第２画像信号の比率が互いに異なる混合信号を生成し、互いに足し合わせる混合信号の比率をさらに輝度に応じて調整する。ＨＤＲ合成回路５０は、例えば、飽和光量より小さい入射光量に対して、入射光量が低いほど７５％ブレンド合成による混合信号の比率を高くする。かかる輝度連動処理により、ＨＤＲ合成回路５０は、実線Ｂ３として示す合成信号を生成する。ＨＤＲ合成回路５０は、飽和光量以上の入射光量に対しては、５０％ブレンド合成による混合信号を合成信号とする。

なお、図１１には、被写体の動きによって短時間露光画素の輝度が明るくなる変化があった場合の関係を表している。ＨＤＲ合成回路５０は、被写体の動きによって短時間露光画素の輝度が明るくなる変化があった場合と、短時間露光画素の輝度が暗くなる変化があった場合とのいずれに対しても、同様の輝度連動処理を実施する。

図１２は、２つの補間処理回路の構成を示すブロック図である。輝度連動処理部５１は、補間処理回路５２及び５３により、５０％ブレンド合成による第１混合信号６５と７５％ブレンド合成による第２混合信号６６とを並行して生成する。

補間処理回路５２には、信号レベル調整部２２からの３ラインＬ０、Ｌ２及びＬ４が入力される。補間処理回路５２は、第１の実施形態における補間処理部２３（図４参照）と同様に構成されている。補間処理回路５２は、補間信号として、５０％ブレンド合成による第１混合信号６５を生成する。第１混合信号６５は、第１画像信号及び第２画像信号を第１の比率である１：１で混合させた信号とする。

加算器６１は、ラインＬ０及びＬ４を加算する。乗算器６２は、ラインＬ２を２倍とする。加算器６３は、加算器６１による加算結果である信号７７と乗算器６２による乗算結果である信号７８とを加算する。乗算器６４は、加算器６３による加算結果を１／４倍とする。補間処理回路５２は、乗算器６４による乗算結果を、第１混合信号６５として出力する。

補間処理回路５３は、補間信号として、７５％ブレンド合成による第２混合信号６６を生成する。第２混合信号６６は、第１画像信号及び第２画像信号を第２の比率である３：１で混合させた信号とする。第２の比率は、第１の比率に対して第１画像信号に重みを持たせた比率とする。

セレクタ７１は、ライン識別カウント２８を選択制御入力信号として、補間処理回路５２の加算器６１からの信号７７と、補間処理回路５２の乗算器６２からの信号７８とのいずれかを選択する。選択制御入力信号「１」に対し、セレクタ７１は、加算器６１によるラインＬ０及びＬ４の加算結果である信号７７を選択する。選択制御入力信号「０」に対し、セレクタ７１は、ラインＬ２についての乗算結果である信号７８を選択する。これにより、セレクタ７１は、短時間露光画素からの第２画像信号を常時出力する。

セレクタ７２は、ライン識別カウント２８を選択制御入力信号として、加算器６１からの信号７７と乗算器６２からの信号７８とのいずれかを選択する。選択制御入力信号「１」に対し、セレクタ７２は、ラインＬ２についての乗算結果である信号７８を選択する。選択制御入力信号「０」に対し、セレクタ７２は、ラインＬ０及びＬ４の加算結果である信号７７を選択する。これにより、セレクタ７２は、長時間露光画素からの第１画像信号を常時出力する。

乗算器７３は、セレクタ７１による選択結果に１／２を乗算する。乗算器７４は、セレクタ７２による選択結果に３／２を乗算する。補間処理回路５３は、乗算器７３及び７４における乗算により、第１画像信号及び第２画像信号の比率を３：１に調整する。

加算器７５は、乗算器７３による乗算結果と、乗算器７４による乗算結果とを加算する。乗算器７６は、加算器７５による加算結果に１／４を乗算する。補間処理回路５３は、乗算器７６による乗算結果を、第２混合信号６６として出力する。

伸張処理回路５４は、補間処理回路５２からの第１混合信号６５のうち、ＨＤＲ合成により出力飽和レベルより高いレベルとなった信号を対象として、出力飽和レベルからの超過分を伸張させる処理を実施する。伸張処理回路５４は、伸張処理を経た第１混合信号６７を出力する。伸張処理回路５４は、第１の実施形態における伸張処理部２４（図９参照）と同様に構成されている。

伸張処理回路５５は、補間処理回路５３からの第２混合信号６６のうち、ＨＤＲ合成により出力飽和レベルより高いレベルとなった信号を対象として、出力飽和レベルからの超過分を伸張させる処理を実施する。伸張処理回路５５は、伸張処理を経た第２混合信号６８を出力する。伸張処理回路５５は、第１の実施形態における伸張処理部２４（図９参照）と同様に構成されている。

図１３は、混合信号加算部の構成を示すブロック図である。混合信号加算部５６は、伸張処理を経た第１混合信号６７及び第２混合信号６８を、対象画素における輝度に応じた比率で加算する。本実施形態では、混合信号加算部５６は、混合信号加算部５６へ入力された第１混合信号６７のレベルを、対象画素とする長時間露光画素及び短時間露光画素における輝度として流用する。

乗算器８１は、混合信号加算部５６へ入力された第１混合信号６７に１／４を乗算し、８ビットの信号とする。乗算器８２は、混合信号加算部５６へ入力された第１混合信号６７と、乗算器８１による乗算結果とを乗算する。

減算器８３は、８ビットへ変換された出力飽和レベル（２５６ＬＢＳ）から乗算器８２による乗算結果を減算する。乗算器８４は、減算器８３による減算結果と、混合信号加算部５６へ入力された第２混合信号６８とを乗算する。

加算器８５は、乗算器８２による第１混合信号６７についての乗算結果と、乗算器８４による第２混合信号６８についての乗算結果とを加算する。乗算器８６は、加算器８５による加算結果に１／２５６を乗算する。混合信号加算部５６は、乗算器８６による乗算結果を出力する。

混合信号加算部５６は、互いに足し合わせる第１及び第２混合信号の比率を対象画素における輝度に応じて調整することで、長時間露光画素に由来する信号成分と短時間露光時間に由来する信号成分との比率を調整する。ＨＤＲ合成回路５０は、混合信号加算部５６からの信号を、合成画像信号として出力する。

このように、混合信号加算部５６は、対象画素における輝度が、出力飽和レベルに対応する輝度より低い場合に、第２混合信号６８に重みを持たせる調整をする。混合信号加算部５６は、対象画素における輝度が、出力飽和レベルに対応する輝度以上である場合、第２混合信号６８を使用する調整を実施せず、合成画像信号として第１混合信号６７を出力する。

混合信号加算部５６は、８ビットの分解能により第１及び第２混合信号６７及び６８の比率を調整する構成としているが、分解能は８ビット以外としても良い。混合信号加算部５６は、例えば、第１及び第２画像信号の分解能である１０ビットを、第１及び第２混合信号６７及び６８の比率の調整にそのまま適用しても良い。

ＨＤＲ合成回路５０は、長時間露光画素からの第１画像信号と短時間露光画素からの第２画像信号とを使用するＨＤＲ合成を実施する。ＨＤＲ合成回路５０は、長時間露光ラインエリア１５からの出力と短時間露光ラインエリア１６からの出力との補間処理を実施することで、イメージセンサ１０が持つ解像度を半減させずに合成画像を取得する。ＨＤＲ合成回路５０は、第１の実施形態と同様に、被写体像のブレと解像度の低下とを抑制可能とし、効果的なハイダイナミックレンジ合成を実施することができる。

さらに、ＨＤＲ合成回路５０は、飽和光量より小さい入射光量に対して、入射光量が低いほど長時間露光画素に由来する信号成分の比率を高くする。これにより、ＨＤＲ合成回路５０は、低照度である場合におけるＳＮＲの悪化を抑制させ、ノイズが低減された高品質な画像を得ることが可能となる。

ＨＤＲ合成回路５０は、飽和光量より高い入射光量に対して、５０％ブレンド合成を適用する。ＨＤＲ合成回路５０は、ＳＮＲの劣化が比較的少ない照度に対しては、ＨＤＲ合成における不用な信号レベルの変動を最小限とし、偽色等の不具合を効果的に低減させることができる。

第２混合信号６６の第２の比率は、長時間露光画素に由来する信号成分を７５％とする比率である場合に限られない。第２の比率は、長時間露光画素に由来する信号成分の比率が少なくとも５０％より高いものであれば良いものとする。

図１４は、第２混合信号を生成する補間処理回路の変形例を示すブロック図である。本変形例において、補間処理回路９０は、第２混合信号９５の第２の比率を、切り換え可能に設定されたブレンドコード（ＢＬＥＮＤ＿ＣＯＤＥ）に応じて変化させる。ＢＬＥＮＤ＿ＣＯＤＥは、ＨＤＲ合成のモードに応じたコードであって、例えばユーザによるモード選択に応じて切り換え可能とされている。

補間処理回路９０には、図１２に示す補間処理回路５２の加算器６１からの信号７７と、補間処理回路５２の乗算器６２からの信号７８とが入力される。セレクタ７１は、ライン識別カウント２８を選択制御入力信号として、加算器６１からの信号７７と、乗算器６２からの信号７８とのいずれかを選択する。

選択制御入力信号「１」に対し、セレクタ７１は、加算器６１によるラインＬ０及びＬ４の加算結果である信号７７を選択する。選択制御入力信号「０」に対し、セレクタ７１は、乗算器６２によるラインＬ２の乗算結果である信号７８を選択する。これにより、セレクタ７１は、短時間露光画素からの第２画像信号を常時出力する。乗算器７３は、セレクタ７１による選択結果に１／２を乗算する。

セレクタ７２は、ライン識別カウント２８を選択制御入力信号として、加算器６１からの信号７７と乗算器６２からの信号７８とのいずれかを選択する。選択制御入力信号「１」に対し、セレクタ７２は、乗算器６２によるラインＬ２の乗算結果である信号７８を選択する。選択制御入力信号「０」に対し、セレクタ７２は、加算器６１によるラインＬ０及びＬ４の加算結果である信号７７を選択する。これにより、セレクタ７２は、長時間露光画素からの第１画像信号を常時出力する。乗算器７４は、セレクタ７２による選択結果に１／２を乗算する。

セレクタ９１は、ＢＬＥＮＤ＿ＣＯＤＥを選択制御入力信号として、係数８、４、２及び１のいずれかを選択する。ＢＬＥＮＤ＿ＣＯＤＥは、例えば、それぞれＨＤＲ合成の４つのモードを表す「０」から「３」の信号とする。

例えば、ＢＬＥＮＤ＿ＣＯＤＥ「０」に対して、セレクタ９１は、係数８を選択する。ＢＬＥＮＤ＿ＣＯＤＥ「１」に対して、セレクタ９１は、係数４を選択する。ＢＬＥＮＤ＿ＣＯＤＥ「２」に対して、セレクタ９１は、係数２を選択する。ＢＬＥＮＤ＿ＣＯＤＥ「３」に対して、セレクタ９１は、係数１を選択する。

乗算器９２は、乗算器７３からの信号に、セレクタ９１で選択された係数を乗算する。減算器９３は、係数１６から、セレクタ９４で選択された係数を減算する。乗算器９４は、乗算器７４からの信号に、減算器９３での減算結果を乗算する。加算器７５は、乗算器９２による乗算結果と、乗算器９４による乗算結果とを加算する。乗算器７６は、加算器７５による加算結果に１／１６を乗算する。補間処理回路９０は、乗算器７６による乗算結果を、第２混合信号９５として出力する。

補間処理回路９０は、ＢＬＥＮＤ＿ＣＯＤＥ「０」に対して、第１画像信号及び第２画像信号を１：１の比率で混合させた第２混合信号９５を出力する（５０％ブレンド合成）。補間処理回路９０は、ＢＬＥＮＤ＿ＣＯＤＥ「１」に対して、第１画像信号及び第２画像信号を３：１の比率で混合させた第２混合信号９５を出力する（７５％ブレンド合成）。

補間処理回路９０は、ＢＬＥＮＤ＿ＣＯＤＥ「２」に対して、第１画像信号及び第２画像信号を７：１の比率で混合させた第２混合信号９５を出力する（８７．５％ブレンド合成）。補間処理回路９０は、ＢＬＥＮＤ＿ＣＯＤＥ「３」に対して、第１画像信号及び第２画像信号を１５：１の比率で混合させた第２混合信号９５を出力する（９３．７５％ブレンド合成）。

このようにして、補間処理回路９０は、ＢＬＥＮＤ＿ＣＯＤＥに応じて第２の比率が切り換えられた第２混合信号９５を生成する。これにより、補間処理回路９０は、ユーザの要望に応じた補間処理を実施することができる。

図１５は、第２混合信号の伸張処理を実施する伸張処理回路の変形例を示すブロック図である。本変形例において、伸張処理回路１００は、出力飽和レベルからの超過分に対する伸張の倍率を、ＢＬＥＮＤ＿ＣＯＤＥに応じて変化させる。

比較器４１は、補間処理部２３から伸張処理部２４へ入力された第２混合信号９５と所定の出力飽和レベル（例えば１０２３ＬＢＳ）とを比較する。比較器４１は、第２混合信号９５が出力飽和レベルより大きい場合、比較結果として例えば「１」を出力する。比較器４１は、第２混合信号９５が出力飽和レベル以下であった場合、比較結果として例えば「０」を出力する。

減算器４２は、伸張処理部２４へ入力された第２混合信号９５から出力飽和レベルを差し引く。セレクタ１０１は、ＢＬＥＮＤ＿ＣＯＤＥを選択制御入力信号として、減算器４２からの減算結果に、乗算器４３で倍率２が乗算された信号、倍率４が乗算された信号、倍率８が乗算された信号、及び倍率１６が乗算された信号のいずれかを選択する。

例えば、ＢＬＥＮＤ＿ＣＯＤＥ「０」に対して、セレクタ９１は、倍率２が乗算された信号を選択する。ＢＬＥＮＤ＿ＣＯＤＥ「１」に対して、セレクタ９１は、倍率４が乗算された信号を選択する。ＢＬＥＮＤ＿ＣＯＤＥ「２」に対して、セレクタ９１は、倍率８が乗算された信号を選択する。ＢＬＥＮＤ＿ＣＯＤＥ「３」に対して、セレクタ９１は、倍率１６が乗算された信号を選択する。

加算器４４は、セレクタ１０１により選択された信号に出力飽和レベルを加算する。セレクタ４５は、比較器４１からの比較結果を選択制御入力信号として、加算器４４からの信号と伸張処理部２４へ入力された信号とのいずれかを選択する。選択制御入力信号「１」に対し、セレクタ４５は、乗算器４３を使用する伸張処理を経て加算器４４から出力される信号を選択する。選択制御入力信号「０」に対し、セレクタ４５は、伸張処理前の第２混合信号９５を選択する。

伸張処理回路１００は、セレクタ４５で選択された信号を、第２混合信号１０２として出力する。混合信号加算部５６（図１０参照）は、伸張処理回路５４からの第１混合信号６７と、伸張処理回路１００からの第２混合信号１０２とを加算する。

このようにして、伸張処理回路１００は、ＢＬＥＮＤ＿ＣＯＤＥに応じて伸張処理の倍率が切り換えられた第２混合信号１０２を出力する。これにより、伸張処理回路１００は、ユーザの要望に応じた伸張処理を実施することができる。

なお、本実施形態で説明する各回路構成は、本実施形態で説明する機能を実現可能な構成であれば良く、適宜変更可能であるものとする。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

５ 固体撮像装置、１０ イメージセンサ、１２ 信号処理回路、１３、５０ ハイダイナミックレンジ合成回路、１５ 長時間露光ラインエリア、１６ 短時間露光ラインエリア、１７ 画素アレイ、２２ 信号レベル調整部、２３ 補間処理部、２４ 伸張処理部、２９ ゲイン調整回路、５２、５３、９０ 補間処理回路、５４、５５、１００ 伸張処理回路、５６ 混合信号加算部、６５ 第１混合信号、６６ 第２混合信号。

Claims (4)

1. 第１電荷蓄積期間における第１画素への入射光量に応じた第１画像信号と、前記第１電荷蓄積期間より短い第２電荷蓄積期間における第２画素への入射光量に応じた第２画像信号とを合成するハイダイナミックレンジ合成回路を有し、
   前記ハイダイナミックレンジ合成回路は、
   前記第１電荷蓄積期間と前記第２電荷蓄積期間との比に応じて、前記第２画像信号の信号レベルを調整する信号レベル調整部と、
   前記第１画像信号と、前記信号レベル調整部での信号レベルの調整を経た前記第２画像信号と、が入力され、対象画素とする前記第１画素について、その近傍に位置する周辺画素である前記第２画素からの前記第２画像信号を使用する補間処理によって補間信号を生成し、対象画素とする前記第２画素について、その近傍に位置する周辺画素である前記第１画素からの前記第１画像信号を使用する補間処理によって補間信号を生成する補間処理部と、
   前記補間信号のうち、前記第１電荷蓄積期間の入射光量に対する出力電荷の飽和が生じる出力飽和レベルを超過した信号レベル分についての伸張処理を実施する伸張処理部と、を有し、
   前記補間処理部は、前記補間信号として、前記第１画像信号及び前記第２画像信号を第１の比率で混合した第１混合信号と、前記第１画像信号及び前記第２画像信号を、前記第１の比率に対して前記第１画像信号に重みを持たせた第２の比率で混合した第２混合信号と、を並行して生成し、
   前記ハイダイナミックレンジ合成回路は、前記伸張処理を経た前記第１混合信号及び前記第２混合信号を、前記対象画素における輝度に応じた比率で加算する混合信号加算部をさらに有することを特徴とする画像処理装置。
2. 前記混合信号加算部は、前記対象画素における輝度が前記出力飽和レベルに対応する輝度より低い場合に、前記第２混合信号に重みを持たせる調整を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記周辺画素は、前記対象画素を中心とする画素ブロックに含まれる８個の画素であって、前記対象画素と同色用の画素とすることを特徴とする請求項１又は２に記載の画像処理装置。
4. 第１電荷蓄積期間における入射光量を検出する第１画素と、前記第１電荷蓄積期間より短い第２電荷蓄積期間における入射光量を検出する第２画素と、を含む画素アレイと、
   前記第１画素が前記入射光量に応じて出力する第１画像信号と、前記第２画素が前記入射光量に応じて出力する第２画像信号とを合成するハイダイナミックレンジ合成回路と、を有し、
   前記画素アレイは、前記第１画素を水平方向へ並列させた第１ラインエリアと、前記第２画素を前記水平方向へ並列させた第２ラインエリアとが、垂直方向において交互に配置され、
   前記ハイダイナミックレンジ合成回路は、
   前記第１電荷蓄積期間と前記第２電荷蓄積期間との比に応じて、前記第２画像信号の信号レベルを調整する信号レベル調整部と、
   前記第１画像信号と、前記信号レベル調整部での信号レベルの調整を経た前記第２画像信号と、が入力され、対象画素とする前記第１画素について、前記対象画素を含む前記第１ラインエリアに隣接する前記第２ラインエリアに含まれる前記第２画素からの前記第２画像信号を使用する補間処理によって補間信号を生成し、対象画素とする前記第２画素について、前記対象画素を含む前記第２ラインエリアに隣接する前記第１ラインエリアに含まれる前記第１画素からの前記第１画像信号を使用する補間処理によって補間信号を生成する補間処理部と、
   前記補間信号のうち、前記第１電荷蓄積期間の入射光量に対する出力電荷の飽和が生じる出力飽和レベルを超過した信号レベル分についての伸張処理を実施する伸張処理部と、を有し、
   前記補間処理部は、前記補間信号として、前記第１画像信号及び前記第２画像信号を第１の比率で混合した第１混合信号と、前記第１画像信号及び前記第２画像信号を、前記第１の比率に対して前記第１画像信号に重みを持たせた第２の比率で混合した第２混合信号と、を並行して生成し、
   前記ハイダイナミックレンジ合成回路は、前記伸張処理を経た前記第１混合信号及び前記第２混合信号を、前記対象画素における輝度に応じた比率で加算する混合信号加算部をさらに有することを特徴とする固体撮像装置。

Images