JP2013017040A - 画像処理装置及び固体撮像装置 - Google Patents

Abstract

【課題】黒レベル調整において、ノイズ低減のための構成による無用な処理を抑制可能とし、効果的なノイズ低減処理の実施を可能とする画像処理装置及び固体撮像装置を提供すること。
【解決手段】実施形態によれば、画像処理装置の黒レベル調整回路２９は、オプティカルブラック信号４７を基に、有効画素信号４６の黒レベルを調整する。黒レベル調整回路２９の積算平均保持部４２は、オプティカルブラック信号４７のフレーム積算平均５２を算出する。フレーム積算平均５２は、映像のフレームを単位する積算平均である。積算平均保持部４２は、フレーム積算平均５２を、有効画素信号４６の黒レベル調整に適用する信号として保持する。積算平均保持部４２は、撮像条件の変更があったとき、フレーム積算平均５２を更新する。
【選択図】図４

Description

本発明の実施形態は、画像処理装置及び固体撮像装置に関する。

固体撮像装置の画質を劣化させる要因として、例えば、水平ライン（行）ごとに生じるノイズ、いわゆる横筋ノイズが知られている。横筋ノイズは、主に、水平ラインごとの読み出し動作の際のリセットにおいて発生する。また、固体撮像装置としては、イメージセンサの水平ラインごとに、水平オプティカルブラック部（ＯＢ部）からのＯＢ信号のラインごとの平均を減算するものがある。かかる固体撮像装置は、イメージセンサの有効画素部と水平ＯＢ部とに同じレベルで生じるノイズを効果的に除去可能であるとともに、有効画素信号の黒レベルをＯＢ信号のレベルへ調整することができる。

一方、有効画素部と水平ＯＢ部とで異なるレベルのノイズが生じた場合、かかる減算処理は、ノイズ低減の精度を低下させるのみならず、黒レベル調整へも影響を及ぼすこととなる。この場合、固体撮像装置は、水平ＯＢ部に代えて、例えば、垂直ＯＢ部を使用する処理を代替策とし得る。しかし、このような代替可能な手段が存在しない場合、固体撮像装置は、黒レベル調整へ悪影響が及ぶリスクを抱えながら、水平ＯＢ部を使用する処理を行うこととなる。または、固体撮像装置は、ノイズ低減処理を一律に停止させ、予め設定された一定レベルへの黒レベル調整を行うこととなる。このように、固体撮像装置は、黒レベル調整において、ノイズ低減のための構成により無用な処理がなされる場合があることで、効果的なノイズ低減処理の実施が困難となる。

特開２００６−１５７２６３号公報

本発明の一つの実施形態は、黒レベル調整において、ノイズ低減のための構成による無用な処理を抑制可能とし、効果的なノイズ低減処理の実施を可能とする画像処理装置及び固体撮像装置を提供することを目的とする。

本発明の一つの実施形態によれば、画像処理装置は、黒レベル調整部を有する。黒レベル調整部は、オプティカルブラック信号を基に、有効画素信号の黒レベルを調整する。オプティカルブラック信号は、光電変換素子が遮光されたオプティカルブラック部から読み出される。有効画素信号は、光電変換素子へ光が入射する有効画素部から読み出される。黒レベル調整部は、積算平均保持部を有する。積算平均保持部は、映像のフレームを単位としてオプティカルブラック信号の積算平均を算出する。積算平均保持部は、オプティカルブラック信号の積算平均を、有効画素信号の黒レベル調整に適用する信号として保持する。積算平均保持部は、撮像条件の変更があったとき、積算平均を更新する。

第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図。 図１に示す固体撮像装置を備えるカメラモジュールの概略構成を示すブロック図。 イメージセンサの平面概略図。 黒レベル調整回路の構成を示すブロック図。 第２の実施形態にかかる黒レベル調整回路の要部構成を示すブロック図。

以下に添付図面を参照して、実施形態にかかる画像処理装置及び固体撮像装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図２は、図１に示す固体撮像装置を備えるカメラモジュールの概略構成を示すブロック図である。

カメラモジュール１０は、固体撮像装置１１、デジタルシグナルプロセッサ（digital signal processor；ＤＳＰ）１２、記憶部１３及び表示部１４を有する。固体撮像装置１１は、被写体像を撮像する。ＤＳＰ１２は、固体撮像装置１１での撮像により得られた画像信号の信号処理を実施する。

記憶部１３は、ＤＳＰ１２での信号処理を経た画像を格納する。記憶部１３は、ユーザの操作等に応じて、表示部１４へ画像信号を出力する。表示部１４は、ＤＳＰ１２あるいは記憶部１３から入力される画像信号に応じて、画像を表示する。表示部１４は、例えば、液晶ディスプレイである。

固体撮像装置１１は、レンズユニット２１、イメージセンサ２２、アナログ部２３及び信号処理回路（画像処理装置）２４を有する。レンズユニット２１は、被写体からの光を取り込み、イメージセンサ２２にて被写体像を結像させる。

イメージセンサ２２は、例えば、ＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサである。イメージセンサ２２は、レンズユニット２１により取り込まれた光を信号電荷に変換し、アナログ画像信号を生成する。

図３は、イメージセンサの平面概略図である。イメージセンサ２２は、複数の画素セルを有する。各画素セルは、被写体からの光を信号電荷に変換する光電変換素子と、光電変換素子からの信号電荷を電圧に変換する検出部とを備える（いずれも図示省略）。画素セルは、垂直方向（列方向）及び水平方向（行方向）の二次元方向に並列されている。

イメージセンサ２２は、有効画素部３１と、有効画素部３１の外側に設けられたオプティカルブラック（ＯＢ）部３２とを有する。有効画素部３１は、光電変換素子へ光が入射する画素セルからなる。有効画素部３１は、光電変換素子へ入射した光強度に応じた有効画素信号を出力する。

ＯＢ部３２は、有効画素部３１に対して、水平転送方向上流側に配置された水平ＯＢ部である。ＯＢ部３２は、アルミニウム部材等の遮光部材により光電変換素子が遮光された画素セルからなる。ＯＢ部３２は、遮光された状態の光電変換素子によるＯＢ信号を出力する。なお、イメージセンサ２２は、ＯＢ部３２の他に、有効画素部３１に対して垂直転送方向の上流側あるいは下流側に配置される垂直ＯＢ部を設けることとしても良い。

アナログ部２３は、相関二重サンプリング部（ＣＤＳ）２６、アナログデジタル変換器（ＡＤＣ）２７及び水平レジスタ２８を有する。ＣＤＳ２６は、イメージセンサ２２の各画素からの信号に対し、固定パターンノイズの低減のための処理を行う。ＡＤＣ２７は、垂直読み出しライン（図示省略）まで転送された信号を、アナログ方式からデジタル方式へ変換する。水平レジスタ２８は、ＡＤＣ２７にてデジタル方式へ変換された信号を順次読み出す。

タイミング生成器２５は、イメージセンサ２２の各画素から信号を読み出すタイミングや、ＣＤＳ２６の制御パルスを供給する。信号処理回路２４は、アナログ部２３で得られたデジタル画像信号に対し、各種の信号処理を実施する。信号処理回路２４は、黒レベル調整回路（黒レベル調整部）２９を有する。

図４は、黒レベル調整回路の構成を示すブロック図である。黒レベル調整回路２９は、ＯＢ部３２からのＯＢ信号４７を基に、有効画素部３１からの有効画素信号４６の黒レベルを調整する。黒レベル調整回路２９は、ＯＢ積算平均部４１、積算平均保持部４２、信号選択部４３、差分部４４及び黒レベルクランプ部４５を有する。

ＯＢ積算平均部４１は、水平同期信号（ＨＳＹＮＣ）に応じて、ラインごとにＯＢ信号４７を積算し、ＯＢ信号４７のライン積算平均５１を算出する。積算平均保持部４２は、垂直同期信号（ＶＳＹＮＣ）に応じて、ライン積算平均５１を映像のフレームごとにさらに積算し、ＯＢ信号４７のフレーム積算平均５２を算出する。また、積算平均保持部４２は、算出したフレーム積算平均５２を、有効画素信号４６の黒レベル調整に適用する信号として保持（ラッチ）する。さらに、積算平均保持部４２は、信号選択部４３に対する制御信号５３を出力する。

信号選択部４３は、積算平均保持部４２からの制御信号５３に応じて、第１の信号及び第２の信号のいずれかを選択する。第１の信号は、積算平均保持部４２が保持するフレーム積算平均５２とする。第２の信号は、第１の信号以外の信号であって、例えば、ＯＢ積算平均部４１で算出されたライン積算平均５１とする。

差分部４４は、有効画素信号４６と、信号選択部４３で選択された信号との差分を出力する。黒レベルクランプ部４５は、有効画素信号４６の黒レベルを所定の標準レベルにクランプする。例えば、信号処理回路２４は、かかる標準レベルを保持するレジスタを備える。黒レベル調整回路２９は、黒レベルクランプ部４５におけるクランプを経た有効画素信号４６を出力する。

積算平均保持部４２は、自動シャッタ時間の変更を通知する信号（ＥＳ＿ＣＨＡＮＧＥ）と、アナログゲインの変更を通知する信号（ＡＧ＿ＣＨＡＮＧＥ）との入力を受け付ける。積算平均保持部４２は、ＥＳ＿ＣＨＡＮＧＥ及びＡＧ＿ＣＨＡＮＧＥのいずれも入力が無い限り、制御信号５３として例えば「１」を出力する。信号選択部４３は、制御信号５３が「１」である間、有効画素信号４６の黒レベル調整に適用する信号として、フレーム積算平均５２を選択する。

このとき、差分部４４は、有効画素信号４６からフレーム積算平均５２を減算する処理を行う。差分部４４は、自動シャッタ時間及びアナログゲインの変更が無い限り、同じフレーム積算平均５２を使用する減算処理を継続する。

積算平均保持部４２は、ＥＳ＿ＣＨＡＮＧＥ及びＡＧ＿ＣＨＡＮＧＥの少なくとも一方の入力を受け付けると、新たにフレーム積算平均５２の算出を開始する。また、積算平均保持部４２は、ＥＳ＿ＣＨＡＮＧＥ及びＡＧ＿ＣＨＡＮＧＥの少なくとも一方の入力を受け付けることにより、制御信号５３として例えば「０」を出力する。信号選択部４３は、制御信号５３が「０」である間、有効画素信号４６の黒レベル調整に適用する信号として、ライン積算平均５１を選択する。

このとき、差分部４４は、有効画素信号４６からライン積算平均５１を減算する処理を行う。ＯＢ積算平均部４１は、ラインごとにライン積算平均５１を切り換える。差分部４４は、減算処理の対象とする有効画素信号４６と同じラインのライン積算平均５１を、当該有効画素信号４６との演算に使用する。

積算平均保持部４２は、新たなフレーム積算平均５２の算出を完了すると、それまで保持していたフレーム積算平均５２を、新たなフレーム積算平均５２へと更新する。積算平均保持部４２は、フレーム積算平均５２の更新が完了すると、信号選択部４３に対して「１」を出力する。信号選択部４３は、積算平均保持部４２からの入力が「１」へと切り換わることで、ライン積算平均５１からフレーム積算平均５２へと、選択を切り換える。差分部４４は、積算平均保持部４２においてフレーム積算平均５２が算出されたフレームの次以降のフレームの有効画素信号４６について、当該フレーム積算平均５２を使用する減算処理を実施する。

通常、黒レベルは、自動シャッタ時間やアナログゲイン等の撮像条件の変更が無い限り、フレームごとにほぼ同じ値に収束することとなる。黒レベル調整回路２９は、ある撮像条件に応じたフレーム積算平均５２を、その撮像条件が変更されるまで保持し、黒レベル調整に使用する。黒レベル調整回路２９は、有効画素部３１とＯＢ部３２とのノイズのレベルに変動が生じた場合であっても、撮像条件に変更が無ければ、同じ水準での黒レベル調整を継続する。これにより、黒レベル調整回路２９は、単発的に生じるノイズレベルの変動の影響を及ぼさずに、安定した黒レベル調整を実施することができる。黒レベル調整回路２９は、撮像条件に変更が無い間は、積算平均保持部４２が保持しているフレーム積算平均５２を黒レベル調整に適用することで、ＯＢ信号４７を常時積算する場合に比べて、演算処理の負担を軽減させることができる。

黒レベル調整回路２９は、撮像条件に変更があったときにライン積算平均５１を使用する黒レベル調整を実施することで、ノイズが生じ易い状況下での横筋ノイズの低減を可能とする。信号処理回路２４は、ノイズ低減のための構成による無用な処理を抑制可能とし、ノイズ低減処理の効果的な実施が可能となる。

また、黒レベル調整回路２９は、撮像条件の変更に応じてフレーム積算平均５２を更新することで、撮像条件の変更に応じた黒レベル調整を行うことができる。さらに、黒レベル調整回路２９は、フレーム積算平均５２の算出を待つ間は、ライン積算平均５１を使用するノイズ低減処理を継続することができる。

積算平均保持部４２は、ＥＳ＿ＣＨＡＮＧＥ及びＡＧ＿ＣＨＡＮＧＥのいずれかに応じてフレーム積算平均５２を更新するものに限られない。積算平均保持部４２は、撮像条件とする各種条件のうちのいずれかに変更があったことに応じてフレーム積算平均５２を更新するものであれば良いものとする。

（第２の実施形態）
図５は、第２の実施形態にかかる黒レベル調整回路の要部構成を示すブロック図である。本実施形態にかかる黒レベル調整回路は、積算平均保持部４２（図４参照）に代えて積算平均保持部６０が設けられている他は、第１の実施形態の黒レベル調整回路２９と同様の構成を備える。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。

積算平均保持部６０は、ＥＳ＿ＣＨＡＮＧＥ、ＡＧ＿ＣＨＡＮＧＥ、垂直同期信号の立ち上がり（開始）を通知する信号（ＶＳＹＮＣ＿Ｓ）、垂直同期信号の立ち下がり（終了）を通知する信号（ＶＳＹＮＣ＿Ｅ）、保持ＯＮ／ＯＦＦレジスタ値（ＨＯＬＤ＿ＳＷ）及びホールドタイミング切り換えレジスタ値（ＨＯＬＤ＿ＷＡＩＴ）の入力を受け付ける。

ＨＯＬＤ＿ＳＷは、フレーム積算平均５２の更新のための動作の開始を指示する信号とする。ＨＯＬＤ＿ＷＡＩＴは、フレーム積算平均５２の保持のタイミングを指示する信号とする。例えば、ＨＯＬＤ＿ＷＡＩＴ「０」は、１フレーム後におけるフレーム積算平均５２のラッチを指示するものとする。ＨＯＬＤ＿ＷＡＩＴ「１」は、２フレーム後におけるフレーム積算平均５２のラッチを指示するものとする。

積算平均保持部６０は、ＨＯＬＤ＿ＳＷがＯＮであるとき、内部カウンタによるカウントを開始する。内部カウンタは、ＶＳＹＮＣ＿Ｓが入力されるごとに、カウントに１を加算する。積算平均保持部６０は、内部カウンタによるカウントの開始とともに、ライン積算平均５１の積算を開始する。さらに、積算平均保持部６０は、内部カウンタによるカウントの開始とともに、制御信号５３として例えば「０」を出力する。信号選択部４３は、制御信号５３が「０」である間、有効画素信号４６の黒レベル調整に適用する信号として、ライン積算平均５１を選択する。

積算平均保持部６０は、ＶＳＹＮＣ＿Ｅが入力され、かつＨＯＬＤ＿ＷＡＩＴが「０」である場合、内部カウンタによるカウント「１」のフレームが終わる時点におけるフレーム積算平均５２を保持する。また、積算平均保持部６０は、ＶＳＹＮＣ＿Ｅが入力され、かつＨＯＬＤ＿ＷＡＩＴが「１」である場合、内部カウンタによるカウント「２」のフレームが終わる時点におけるフレーム積算平均５２を保持する。このように、積算平均保持部６０は、ＯＢ信号４７の積算を開始してから１フレーム目のフレーム積算平均５２と、２フレーム目のフレーム積算平均５２とのいずれを保持するかを、ＨＯＬＤ＿ＷＡＩＴとして適宜設定可能であるものとする。

積算平均保持部６０は、保持するフレーム積算平均５２を更新すると、制御信号５３として例えば「１」を出力する。信号選択部４３は、制御信号５３が「１」である間、有効画素信号４６の黒レベル調整に適用する信号として、フレーム積算平均５２を選択する。

積算平均保持部６０は、ＥＳ＿ＣＨＡＮＧＥ及びＡＧ＿ＣＨＡＮＧＥの少なくとも一方の入力を受け付けると、内部カウンタのカウントをリセットする。積算平均保持部６０は、フレーム積算平均５２のラッチを実行するフェーズとなる。積算平均保持部６０は、ＥＳ＿ＣＨＡＮＧＥ及びＡＧ＿ＣＨＡＮＧＥの少なくとも一方の入力に応じて、制御信号５３として例えば「０」を出力する。

積算平均保持部６０は、外乱等により１フレームの間でＯＢ信号４７の安定が不十分であった場合に、ＨＯＬＤ＿ＷＡＩＴの切り換えに応じて、２フレーム目におけるフレーム積算平均５２を保持可能とする。黒レベル調整回路２９は、本実施形態の積算平均保持部６０を適用することで、ＯＢ信号４７が安定するまでに１フレーム以上を要するような場合であっても、安定した黒レベル調整を施すことが可能となる。本実施形態においても、信号処理回路２４（図１参照）は、第１実施形態と同様、ノイズ低減のための構成による無用な処理を抑制可能とし、ノイズ低減処理の効果的な実施が可能となる。

なお、積算平均保持部６０は、フレーム積算平均５２の保持のタイミングを１フレーム目及び２フレーム目の間で切り換え可能とする場合に限られず、３フレーム目以降に設定可能としても良い。本実施形態では、積算平均保持部６０は、ＯＢ信号４７の安定度合いに応じて、１フレーム目におけるフレーム積算平均５２と２フレーム目におけるフレーム積算平均５２の２つのいずれかを選択し、保持することとしている。積算平均保持部６０は、例えば、１フレーム目及び２フレーム目と、さらに３フレーム目におけるフレーム積算平均５２も選択可能とするように、フレーム積算平均５２を３つ以上のフレームから選択することとしても良い。さらに、積算平均保持部６０は、１フレームのＯＢ信号４７の積算によりフレーム積算平均５２を算出する他、２以上のフレームのＯＢ信号４７の積算によりフレーム積算平均５２を算出することとしても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１ 固体撮像装置、２２ イメージセンサ、２４ 信号処理回路、２９ 黒レベル調整回路、３１ 有効画素部、３２ ＯＢ部、４１ ＯＢ積算平均部、４２、６０ 積算平均保持部、４３ 信号選択部、４６ 有効画素信号、４７ ＯＢ信号、５１ ライン積算平均、５２ フレーム積算平均。

Claims (6)

1. 光電変換素子が遮光されたオプティカルブラック部から読み出されるオプティカルブラック信号を基に、光電変換素子へ光が入射する有効画素部から読み出される有効画素信号の黒レベルを調整する黒レベル調整部を有し、
   前記黒レベル調整部は、
   映像のフレームを単位として前記オプティカルブラック信号の積算平均を算出し、前記有効画素信号の黒レベル調整に適用する信号として保持する積算平均保持部を有し、
   前記積算平均保持部は、撮像条件の変更があったとき、前記積算平均を更新することを特徴とする画像処理装置。
2. 前記有効画素信号の黒レベル調整に適用する信号として、前記積算平均である第１の信号と、前記第１の信号以外の第２の信号と、のいずれかを選択する信号選択部を有し、
   前記信号選択部は、前記積算平均保持部による前記積算平均の更新が完了してから、前記撮像条件の変更があるまで、前記第１の信号を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記積算平均保持部は、前記オプティカルブラック信号の積算を開始してから１フレーム目の前記積算平均と２フレーム目の前記積算平均とのいずれかを、前記第１の信号として保持することを特徴とする請求項２に記載の画像処理装置。
4. 前記積算平均保持部は、前記撮像条件として電子シャッタ時間及びアナログゲインの少なくとも一方の変更があったとき、前記積算平均を更新することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記積算平均保持部は、前記積算平均を保持するタイミングを切り換え可能とすることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 光電変換素子が遮光されたオプティカルブラック部と、光電変換素子へ光が入射する有効画素部と、を備えるイメージセンサと、
   前記有効画素部から読み出される有効画素信号の黒レベルを、前記オプティカルブラック部から読み出される前記オプティカルブラック信号を基に調整する黒レベル調整部と、を有し、
   前記黒レベル調整部は、
   映像のフレームを単位として前記オプティカルブラック信号の積算平均を算出し、前記有効画素信号の黒レベル調整に適用する信号として保持する積算平均保持部を有し、
   前記積算平均保持部は、撮像条件の変更があったとき、前記積算平均を更新することを特徴とする固体撮像装置。

Images