JP4389865B2 - 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置 - Google Patents

Description

本発明は、固体撮像素子の信号処理装置および信号処理方法並びに撮像装置に関し、特に固体撮像素子の画素部の混色を補正する機能を持つ信号処理装置およびその信号処理方法、並びに当該信号処理装置を備えた撮像装置に関する。

ＣＣＤ(Charge Coupled Device)イメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサなどの固体撮像素子は、光電変換素子を含む画素セルの上方に、色分解カラーフィルタが、さらにその上に集光用のマイクロレンズが積層された構造となっている。

かかる構造を採るカラー用の固体撮像素子では、画素部とマイクロレンズとの間にカラーフィルタが介在する分だけ画素部とマイクロレンズとの間の距離が広がる。すると、特に多画素化に伴う画素セルの微細化が進むにつれて、画素相互間の距離、即ち画素ピッチが狭くなるために、ある画素セルのカラーフィルタを通過した光が隣接する画素セルに混入する混色の問題が発生する。

この画素セルの微細化に起因する混色の不具合を解決するために、従来は、Ｒ（赤）Ｇ（緑）Ｂ（青）の３原色を有する市松状の画素配列をもつ固体撮像素子において、特定色画素の信号から、当該特定色画素と隣接する特定色以外の画素の信号より算出した一定割合の信号成分を減算するようにしていた（例えば、特許文献１参照）。

特開２００４−１３５２０６号公報

ところで、画素部の混色現象については、従来、注目画素に対して当該注目画素に隣接する複数の周囲画素から等方的に混色が起こる、即ち複数の周囲画素から同じ割合で混色が起こる、と考えられていた。この考えの下に、特許文献１等に記載の従来技術では、複数の周囲画素の各々に対して同一の補正パラメータを用いて混色不具合を解消するようにしていた。

しかしながら、実際の固体撮像素子では、回路部や配線等のレイアウト次第、あるいは信号読出し部のレイアウト次第で、光電変換素子（感光部）を画素セルの中心に対して偏った位置に配置せざるを得なく、各画素セルの物理的な中心と光学的な中心が必ずしも一致しないために、注目画素に対する周囲画素からの混色は必ずしも等方的に起こるものではなく、方向性を持って起こっていると言える。

したがって、特許文献１等、複数の周囲画素の各々に対して同一の補正パラメータを用いて混色補正を行う従来技術では、周囲画素からの注目画素に対する混色の度合いに応じた混色補正を行うことができない、即ち方向性を持った混色補正を行うことができないことになる。

そこで、本発明は、方向性を持った混色補正を実現できるようにした固体撮像素子の信号処理装置および信号処理方法並びに撮像装置を提供することを目的とする。

上記目的を達成するために、本発明では、光電変換素子を含む画素が行列状に２次元配置され、輝度成分を作る上で主成分となる色成分と他の色成分を含むカラーフィルタが前記画素の表面上に配置されてなる固体撮像素子の画素間の混色を補正する混色補正処理において、前記固体撮像素子の注目画素に対して辺で隣接する４個の周囲画素の各信号と、当該各信号に対して各々独立した補正パラメータとを用いて前記注目画素の信号に対して補正処理を行う構成を採っている。

固体撮像素子の画素間の混色処理において、注目画素に対して辺で隣接する４個の周囲画素の各信号に対する補正パラメータの各々が独立していることで、これら独立した補正パラメータによって注目画素に対する周囲画素の補正量を周囲画素ごとに任意に設定できる。その結果、注目画素に対する周囲画素の補正量に方向性を持たせることができる、即ち周囲画素ごとに異なる補正量を設定できる。

本発明によれば、注目画素に対する周囲画素の補正量に方向性を持たせることができることにより、周囲画素からの注目画素に対する混色の度合いに応じた混色補正を行うことができるために、注目画素に対する周囲画素からの混色に方向性があっても、その方向性に応じた混色補正を実現できる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明が適用される撮像装置、例えばビデオカメラの構成の一例を示すブロック図である。ここでは、ビデオカメラに適用する例に挙げて説明するが、ビデオカメラへの適用に限られるものではなく、デジタルスチルカメラ等の撮像装置全般に対して適用可能である。

図１に示すように、本適用例に係るビデオカメラは、光学系１、固体撮像素子である例えばＣＭＯＳイメージセンサ２、ＡＦＥ（アナログフロントエンド）３、デジタル信号処理回路４、カメラ制御部５、ヒューマンＩ／Ｆ制御（インターフェース）部６、ユーザーインターフェース７、タイミングジェネレータ８、光学系駆動回路９および手ぶれセンサ１０等を有する構成となっている。

光学系１は、被写体（図示せず）からの入射光をＣＭＯＳイメージセンサ２の撮像面上に結像するレンズ１ａと、当該レンズ１ａを経た入射光の光量を制御する絞り１ｂとを有している。ＣＭＯＳイメージセンサ２は、光学系１を通して入射した光を画素単位で光電変換して電気信号として出力する。ＣＭＯＳイメージセンサ２の具体的に構成については後述する。なお、ＣＭＯＳイメージセンサ２からの出力は複数チャンネル、例えば４チャネルとする。

ＡＦＥ３は、アナログ信号処理回路であり、ＣＭＯＳイメージセンサ２から出力される４チャネルのアナログ信号に対して、Ｓ／Ｈ（サンプル／ホールド）やＡＧＣ（自動利得制御）などの信号処理を行った後、Ａ／Ｄ（アナログ／デジタル）変換する。デジタル信号処理回路４は、ＡＦＥ３から供給される４チャンネルのデジタル信号に対して、カメラ制御部５からの指示にしたがって各種の信号処理を行う。

デジタル信号処理回路４内で行われる各種の信号処理とは、ホワイトバランス処理やガンマ処理、色差処理などのいわゆるカメラ信号処理や、カメラ制御用の検波データ（画面内の情報を示すデータ。明るさやコントラスト、色合い等）の計算処理を指す。これら各種の信号処理を行う回路部分に加えて、デジタル信号処理回路４は、本発明が特徴とする混色補正処理回路１１を有している。この混色補正処理回路１１の詳細については後述する。

カメラ制御部５は、例えばマイクロコンピュータによって構成され、デジタル信号処理回路４から送られてきた検波データや手ぶれセンサ１０から送られてくるカメラの手ぶれ情報を基に現在の入力画像の状態を把握し、ヒューマンＩ／Ｆ制御部６を経由して送られてくる各種設定モードに応じたカメラ制御を行い、カメラ画制御用データとしてデジタル信号処理回路４に、あるいはレンズ制御データや絞り制御データとして光学系駆動回路９に、あるいはタイミング制御データとしてタイミングジェネレータ８に、あるいはゲイン制御データとしてＡＦＥ３に送信する。

デジタル信号処理回路４、光学系駆動回路９、タイミングジェネレータ８およびＡＦＥ３は、カメラ制御部５から送られてきた制御値に応じた処理を行い、所望の信号処理・光学系１の駆動・タイミング発生およびゲイン処理を実行する。ＣＭＯＳイメージセンサ２は、タイミングジェネレータ８が発生する各種のタイミング信号に基づいて、後述する画素アレイ部から任意の領域の信号を順次取り出してＡＦＥ３へと出力する。

ユーザーが行うメニュー操作等については、ユーザーインターフェース７を介してヒューマンＩ／Ｆ制御部６で制御される。ヒューマンＩ／Ｆ制御部６は、例えばマイクロコンピュータによって構成され、ユーザーが現在どのような撮影モードを選択しているのか、あるいはどのような制御を望んでいるのか等を検知し、カメラ制御部５に対してユーザー指示情報を送る。逆に、カメラ制御部５は、被写体距離やＦ値、シャッタースピード、倍率等のカメラ制御情報をヒューマンＩ／Ｆ制御部６に送信し、ユーザーインターフェース７を介して現在のカメラの情報をユーザーに知らせている。

本発明が特徴とする混色補正処理回路１１は、ＣＭＯＳイメージセンサ２の画素の配置構成や色分解カラーフィルタの色コーディングの違いによって、その構成および動作が若干異なることになる。以下に、ＣＭＯＳイメージセンサ２の画素の配置構成や色分解カラーフィルタの色コーディングの違いおよびそれに対応した混色補正処理回路１１の具体的な構成および動作について、第１〜第３実施形態として説明する。

〈第１実施形態〉
図２は、本発明の第１実施形態で用いられるＣＭＯＳイメージセンサの色コーディングを示す図である。

図２に示すように、第１実施形態で用いられるＣＭＯＳイメージセンサでは、光電変換素子を含む画素セル２１を行列状に２次元配置してなる画素アレイ部の画素配列が、一般的な市松状の画素配列に代表される正方格子状の画素配列に対して４５°傾いた画素配置となっている。

具体的には、正方格子状の画素配列における画素相互間の距離（以下、「画素ピッチ」と記す）をｄとするとき、当該画素ピッチｄに対して水平・垂直方向の各画素ピッチを√２ｄとし、各画素が１行ごとおよび１列ごとに画素ピッチ√２ｄの１／２ずつずれた、即ち奇数行と偶数行で水平方向（列配列方向）に画素ピッチの１／２だけずれ、奇数列と偶数列で垂直方向（行配列方向）に画素ピッチの１／２だけずれた、いわゆる画素ずらし配置となっている。

この画素ずらし配置に対して、色分解カラーフィルタの色コーディングは、１行目はＧとＲが交互に配列されたＧＲライン、２行目はＧのみが配列されたＧライン、３行目はＢとＧが交互に配列されたＧＢライン、４行目はＧのみが配列されたＧライン、以降、この４行を単位として繰り返して配列された構成となっている。

本色コーディングにおいては、図２から明らかなように、輝度（Ｙ）成分を作る上で主成分となる色成分（本例ではＧ）と、他の色成分（本例ではＲ，Ｂ）が、ＧでＲ，Ｂの周囲を囲むように配置され、Ｒ，Ｂが水平・垂直に対して２√２ｄの間隔で配置された構成となっている。

本色コーディングにおいて、サンプリングレートを水平・垂直方向で考えた場合、Ｇのサンプリングレートはｄ／√２であり、Ｒ，Ｂのサンプリングレートは２√２ｄである。すなわち、Ｒ，Ｂは、水平・垂直方向のサンプリングレートがＧに対して１／４のレートとなるように１列おき（本例では奇数列）および１行おき（本例では奇数行）に配置されている。したがって、ＧとＲ，Ｂの間に水平・垂直方向に４倍の解像度の差がある。また、サンプリングレートを斜め４５°方向で考えると、Ｇのサンプリングレートはｄであり、Ｒ，Ｂのサンプリングレートは２ｄである。

ここで、空間周波数特性について考える。水平・垂直方向については、Ｇのサンプリングレートがｄ／√２であるために、サンプリング定理から（１／√２）ｆｓの周波数の信号まで捉えることができる。斜め４５°方向については、Ｇのサンプリングレートがｄであるために、サンプリング定理から（１／４）ｆｓの信号まで捉えることができる。

同様にＲ，Ｂについて考える。ＲとＢは画素配列の間隔が同じであるため、同様に考えることができる。したがって、ここではＲだけについて述べる。

Ｒの空間周波数特性に関して、水平・垂直方向については、Ｒのサンプリングレートが２√２ｄであるために、サンプリング定理から（１／４√２）ｆｓの周波数の信号まで捉えることが可能であり、斜め４５°方向については、Ｒのサンプリングレートが２ｄであるために、サンプリング定理から（１／２）ｆｓの信号まで捉えることができる。

このように、画素ずらし配置の画素配置に対して、輝度成分を作る上で主成分となる色成分（本例ではＧ）で、他の色成分（本例ではＲ，Ｂ）の各々の周囲を囲むような色コーディングを採ることで、Ｇが全行、全列に存在し、人間の視感度特性上、感度が高いＧの空間周波数特性を上げることができるために、無彩色な被写体に限らず、有彩色な被写体に対しても高解像度化を図ることができ、またＲＧＢのレベルバランスをとる処理を行う必要がなくなるために、色偽を生じることもないという利点がある。

また、画素ずらし配置は、正方格子状の画素配列に比べて次のような利点もある。すなわち、正方格子状の画素配列に比べて画素ピッチが狭くなるために、高い解像度を得ることができる。また、正方格子状の画素配列と同じ解像度とする場合には、正方格子状の画素配列の画素ピッチよりも広い画素ピッチで画素セルを配列することが可能なために、画素セルの開口を広くとることができ、その結果、Ｓ／Ｎを向上できる。

図３は、第１実施形態で用いられるＣＭＯＳイメージセンサ２０Ａの構成の概略を示すブロック図である。

図３に示すように、光電変換素子を含む画素セル２１が画素ずらし配置されてなる画素アレイ部２２を有し、当該画素ずらし配置に対して、ＧでＲ，Ｂの各々の周囲を囲むような色コーディングを採るＣＭＯＳイメージセンサ２０Ａにおいて、２行を単位とする横ジグザグ行の画素セル２１に対して共通に配線された画素駆動線２３を垂直走査回路２４によって順に選択走査する。

また、垂直走査回路２４により画素駆動線２３を介して選択走査された横ジグザグ行の画素セル２１の信号を、画素列ごとに配線された垂直信号線２５を通して例えば画素列ごとに設けられたカラム処理回路２６の各々に保持する。さらに、カラム処理回路２６の各々に保持された１行（横ジグザグ行）分の信号を、水平走査回路２７によって例えば４個を単位として順次選択される水平選択スイッチ２８を介して４画素を単位として４本の水平信号線２９−１〜２９−４に順次出力する。

このように、本ＣＭＯＳイメージセンサ２０Ａでは、１行ごとに隣り合う複数画素、例えば４画素を一塊りにして、この４画素の信号を４本の水平信号線２９−１〜２９−４を通して複数チャンネル（本例では、４チャンネル）で並列に読み出し、１画面に亘って横方向（水平方向）に走査していき、１水平走査期間（１Ｈ）全て読み終えたところで次の行に移り、同様に横方向に走査しながら１画面全面に亘って各画素の信号を読み出すことになる。なお、本実施形態における１行とは、１横ジグザグ行を言うものとする。

ここで、図２に示す色コーディングにおいて、１行目、２行目の１列目〜８列目の１６画素Ｒ，Ｇ，Ｂについて、便宜的に、図４のように定義しておく。具体的には、１行目において、１番目の単位の４画素に属する画素Ｒについては画素Ｒ１、２番目の単位の４画素に属する画素Ｒについては画素Ｒ２と定義し、２行目において、１番目の単位の４画素に属する画素Ｂについては画素Ｂ１、２番目の単位の４画素に属する画素Ｂについては画素Ｂ２と定義する。

また、１行目において、１番目の単位の４画素に属し、画素Ｒ１，Ｂ１と辺で隣接する画素Ｇについては画素Ｇｇｏ１と定義し、１番目の単位の４画素に属し、画素Ｒ１，Ｒ２と頂点で隣接する画素Ｇについては画素Ｇｒ１と定義し、１番目の単位の４画素に属し、画素Ｂ１，Ｒ２と辺で隣接する画素Ｇについては画素Ｇｇｅ１と定義し、２番目の単位の４画素に属し、画素Ｒ２，Ｂ２と辺で隣接する画素Ｇについては画素Ｇｇｏ２と定義し、２番目の単位の４画素に属し、画素Ｒ２（Ｒ３）と頂点で隣接する画素Ｇについては画素Ｇｒ２と定義し、２番目の単位の４画素に属し、画素Ｂ２（Ｒ３）と辺で隣接する画素Ｇについては画素Ｇｇｅ２と定義する。

２行目において、１番目の単位の４画素に属し、画素Ｒ１，Ｂ１と頂点で隣接する画素Ｇについては画素Ｇｂ１と定義し、１番目の単位の４画素に属し、画素Ｂ１と辺で隣接する画素Ｇについては画素Ｇｇｏ１と定義し、１番目の単位の４画素に属し、画素Ｂ１と辺で隣接する画素Ｇについては画素Ｇｇｅ１と定義し、２番目の単位の４画素に属し、画素Ｂ１，Ｒ２，Ｂ２と頂点で隣接する画素Ｇについては画素Ｇｂ２と定義し、２番目の単位の４画素に属し、画素Ｂ２と辺で隣接する画素Ｇについては画素Ｇｇｏ２と定義し、２番目の単位の４画素に属し、画素Ｂ２と辺で隣接する画素Ｇについては画素Ｇｇｅ２と定義する。

このような画素の定義の下で、１行（横ジグザグ行）ごとに隣り合う４画素を一塊りにして、ＣＭＯＳイメージセンサ２０Ａの動作の基準となるクロック信号の１クロックで、この４画素の信号を４チャンネルにて並列に読み出すことにより、図４から明らかなように、各チャンネルからはＲ信号／Ｇｂ信号、Ｇｒ信号／Ｂ信号、Ｇｇｅ信号、Ｇｇｏ信号が出力される。図５に、このような読み出し方式における出力チャンネル別の出力信号のシーケンスを示す。

なお、本発明は、読み出し方式に左右されるものではなく、何チャンネルで読み出したとしても、あるいは読み出し方式が変わったとしても、その形にあわせて以降の処理を構築するだけで（図５のシーケンスが変わることになるので、これを吸収する仕組みをいれるだけで）全ての場合において適用可能である。

ここでは、簡単のために、上述した読み出し方式、即ち１行（横ジグザグ行）ごとに隣り合う４画素を一塊りにして１クロックで、この４画素の信号を４チャンネルにて並列に読み出す読み出し方式を採用した場合を例に上げて説明するものとする。

［デジタル信号処理回路］
図６は、デジタル信号処理回路４の構成の一例を示すブロック図である。図６に示すように、デジタル信号処理回路４は、カメラ信号処理回路４１、通信Ｉ／Ｆ４２およびシグナルジェネレータ４３によって構成されている。このデジタル信号処理回路４には、ＣＭＯＳイメージセンサ２からＡＦＥ３を介して４チャンネル分の信号Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅが並列に入力される。

カメラ信号処理回路４１は、４チャンネル分の信号Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅに対して、カメラ制御部５から通信Ｉ／Ｆ４２を介して与えられる指示に応じて、デジタルクランプ／ノイズ除去／欠陥補正／デモザイク（補間処理）／ホワイトバランス／解像度変換などの各種カメラ信号処理を、シグナルジェネレータ４３からの各種タイミング信号に基づいて各チャンネルごとに並列に行い、しかる後Ｙ（輝度）、Ｃ（クロマ）信号としてビデオ系処理ブロックへ出力する。カメラ信号処理の詳細内容については本発明とは直接関係無いために、ここではその説明を省略する。

［カメラ信号処理回路］
このカメラ信号処理回路４１の中に本発明が適用される混色補正処理回路１１が含まれている。カメラ信号処理回路４１の具体的な内部構成を図７に示す。

図７に示すように、カメラ信号処理回路４１は、混色補正処理回路１１に加えて、混色補正処理回路１１の前段にカメラ信号処理群（１）４１１と、混色補正処理回路１１の後段にカメラ信号処理群（２）４１２とを備え、図４に示す４画素ずつの各画素の信号Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅを、カメラ信号処理の基準となるクロック信号の１クロックで並列処理する。

このカメラ信号処理回路４１では、先ず、カメラ信号処理群（１）４１１によってデジタルクランプ、欠陥補正、ノイズ除去処理が施され、本発明が適用される混色補正処理回路１１へと入力される。ここまでは、主にカメラＹＣ処理前の各種補正を行う処理群といえる。その後、後段のカメラ信号処理群（２）４１２によってデモザイク（補間処理）処理が施された後、ＹＣ処理によって輝度信号およびクロマ信号が生成され、最後に解像度変換処理を通してフォーマットに適したサイズで後段のビデオ系処理ブロックへと最終出力される。

カメラ信号処理回路４１において、混色補正処理回路１１を含む全ての回路ブロックには、シグナルジェネレータ４３から各種タイミング信号が配布される。各回路ブロックは、この各種タイミング信号を基準として各処理に必要なタイミングを生成している。また、全ての回路ブロックについては、通信Ｉ／Ｆ４２を介してカメラ制御部５によって処理動作が制御できるようになっている。

［混色補正処理回路］
図８は、混色補正処理回路１１の構成の一例を示すブロック図である。図８に示すように、混色補正処理回路１１は、ラインメモリ群１１１、メモリコントローラ１１２および補正ブロック１１３を有する構成となっている。

ラインメモリ群１１１は、４チャンネルの各画素の信号Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅに対応して設けられ、行単位の遅延を行わせるための例えばシングルポートＳＲＡＭからなるラインメモリ１１１−１，１１１−２，１１１−３，１１１−４によって構成されている。ラインメモリ１１１−１，１１１−２は１Ｈ（Ｈは１水平走査期間）遅延メモリであり、ラインメモリ１１１−３，１１１−４は２Ｈ遅延メモリである。

メモリコントローラ１１２は、図７のシグナルジェネレータ（ＳＧ）４３から与えられる各種タイミング信号を基準にラインメモリ１１１−１，１１１−２，１１１−３，１１１−４の読み書きをコントロールする。補正ブロック１１３は、図７の通信Ｉ／Ｆ４２から与えられる制御信号によって画素混色の補正動作を行う。

この混色補正処理回路１１において、先ず４チャンネルの各画素の信号Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅがそれぞれ並列にラインメモリ１１１−１，１１１−２，１１１−３，１１１−４に入力される。そして、メモリコントローラ１１２からの書き込みイネーブル信号WEN と書き込みアドレス信号WADRS および読み出しイネーブル信号REN と読み出しアドレス信号RADRS によってチャンネル別に０Ｈから２Ｈまでの遅延を持たせた信号群を作り出し出力する。

このとき、出力信号が
・R/Gb ch：遅延無しの信号(Sig_R_Gb_0h)と１Ｈ遅延信号(Sig_R_Gb_1h)
・Gr/B ch：遅延無しの信号(Sig_Gr_B_0h)と１Ｈ遅延信号(Sig_Gr_B_1h)
・Ggo ch ：１Ｈ遅延信号(Sig_Ggo_1h)と２Ｈ遅延信号(Sig_Ggo_2h)
・Gge ch ：１Ｈ遅延信号(Sig_Gge_1h)と２Ｈ遅延信号(Sig_Gge_2h)
となるように、ラインメモリ群１１１が構成されている。

ラインメモリ１１１−１，１１１−２，１１１−３，１１１−４によって遅延させた信号群は補正ブロック１１３へ入力される。補正ブロック１１３は、通信Ｉ／Ｆ４２から与えられる制御信号に従って各チャンネルごとに並列に画素混色補正を行い、補正後の信号Sig_R_Gb’, Sig_Gr_B’, Sig_Ggo’, Sig_Gge’として後段へと出力する。この補正ブロック１１３は、４チャンネルの各画素の信号Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅの各々に対応して設けられた４つの補正ブロックによって構成される。

（Ｒ／Ｇｂ ｃｈ用補正ブロック）
図９は、Ｒ／Ｇｂ ｃｈ用補正ブロック１１３Ａの構成の一例を示すブロック図である。本補正ブロック１１３Ａは、補正回路３０と、５個の遅延回路３１〜３５によって構成され、図８のラインメモリ群１１１から各チャンネル２個ずつ出力される計８つの信号の内、１Ｈ遅延信号Sig_R_Gb_1h、２Ｈ遅延信号Sig_Gge_2h、２Ｈ遅延信号Sig_Ggo_2h、１Ｈ遅延信号Sig_Gge_1hおよび１Ｈ遅延信号Sig_Ggo_1hを入力としている。

補正回路３０については、各チャンネルとも共通となる。その回路構成の詳細については後述する。遅延回路３１は、１Ｈ遅延信号Sig_R_Gb_1hを混色補正処理の基準となる画素周期のクロック信号の１クロック分だけ遅延し、補正対象画素の信号として補正回路３０に供給する。本補正ブロック１１３Ａにおいては、図１０に示すように、Ｒ／Ｇｂが補正対象画素となる。

遅延回路３２は、２Ｈ遅延信号Sig_Gge_2hを２クロック分だけ遅延し、補正対象画素Ｒ／Ｇｂに辺で接する左斜め上画素（ａ）の信号として補正回路３０に供給する。遅延回路３３は、２Ｈ遅延信号Sig_Ggo_2hを１クロック分だけ遅延し、補正対象画素Ｒ／Ｇｂに辺で接する右斜め上画素（ｂ）の信号として補正回路３０に供給する。

遅延回路３４は、１Ｈ遅延信号Sig_Gge_1hを２クロック分だけ遅延し、補正対象画素Ｒ／Ｇｂに辺で接する左斜め下画素（ｃ）の信号として補正回路３０に供給する。遅延回路３５は、１Ｈ遅延信号Sig_Ggo_1hを１クロック分だけ遅延し、補正対象画素Ｒ／Ｇｂに辺で接する右斜め下画素（ｄ）の信号として補正回路３０に供給する。

このように、１Ｈ遅延信号Sig_R_Gb_1h、２Ｈ遅延信号Sig_Gge_2h、２Ｈ遅延信号Sig_Ggo_2h、１Ｈ遅延信号Sig_Gge_1hおよび１Ｈ遅延信号Sig_Ggo_1hが遅延回路３１〜３５を経由することで、補正対象画素Ｒ／Ｇｂの信号を（１Ｈ遅延＋１クロック遅延）の信号とした場合に、補正対象画素Ｒ／Ｇｂに斜め方向に隣接する４個の周囲画素の各信号が抽出されて補正対象画素Ｒ／Ｇｂの信号と共に補正回路３０に入力されることになる。

補正回路３０には、図７の通信Ｉ／Ｆ４２から補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄおよび補正ＯＮ／ＯＦＦを指令する制御信号が与えられる。補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄは各々独立した値（補正量）をとる。これら補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄは、カメラ制御部５で設定され、通信Ｉ／Ｆ４２を介して補正回路３０に与えられる。すなわち、カメラ制御部５は、特許請求の範囲における設定手段に相当する。補正ＯＮ／ＯＦＦを指令する制御信号は、システムとして混色補正を行うか否かを指令するための制御信号である。

補正回路３０は、制御信号が補正ＯＮのときに、補正対象画素Ｒ／Ｇｂの信号に対して当該補正対象画素Ｒ／Ｇｂに辺で隣接する４個の周囲画素の各信号を基に、補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄを用いて混色補正処理を行う。なお、補正処理後の補正対象画素Ｒ／Ｇｂの信号Sig_R_Gb’は、補正回路３０の入力として１Ｈ遅延信号Sig_R_Gb_1hを選んでいるために、混色補正処理回路１１の入力信号に対して１Ｈの遅延が生じた形で出力されることになる。

（Ｇｒ／Ｂ ｃｈ用補正ブロック）
図１１は、Ｇｒ／Ｂ ｃｈ用補正ブロック１１３Ｂの構成の一例を示すブロック図である。本補正ブロック１１３Ｂは、補正ブロック１１３Ａと同じ補正回路３０に加えて、５個の遅延回路３６〜４０を有し、図８のラインメモリ群１１１から各チャンネル２個ずつ出力される計８つの信号の内、１Ｈ遅延信号Sig_Gr_B_1h、２Ｈ遅延信号Sig_Ggo_2h、２Ｈ遅延信号Sig_Gge_2h、１Ｈ遅延信号Sig_Ggo_1hおよび１Ｈ遅延信号Sig_Gge_1hを入力としている。

遅延回路３６は、１Ｈ遅延信号Sig_Gr_B_1hを１クロック分だけ遅延し、補正対象画素の信号として補正回路３０に供給する。本補正ブロック１１３Ｂにおいては、図１２に示すように、Ｇｒ／Ｂが補正対象画素となる。

遅延回路３７は、２Ｈ遅延信号Sig_Ggo_2hを１クロック分だけ遅延し、補正対象画素Ｇｒ／Ｂに辺で接する左斜め上画素（ａ）の信号として補正回路３０に供給する。遅延回路３８は、２Ｈ遅延信号Sig_Gge_2hを１クロック分だけ遅延し、補正対象画素Ｇｒ／Ｂに辺で接する右斜め上画素（ｂ）の信号として補正回路３０に供給する。

遅延回路３９は、１Ｈ遅延信号Sig_Ggo_1hを１クロック分だけ遅延し、補正対象画素Ｇｒ／Ｂに辺で接する左斜め下画素（ｃ）の信号として補正回路３０に供給する。遅延回路４０は、１Ｈ遅延信号Sig_Gge_1hを１クロック分だけ遅延し、補正対象画素Ｇｒ／Ｂに辺で接する右斜め下画素（ｄ）の信号として補正回路３０に供給する。

このように、１Ｈ遅延信号Sig_Gr_B_1h、２Ｈ遅延信号Sig_Ggo_2h、２Ｈ遅延信号Sig_Gge_2h、１Ｈ遅延信号Sig_Ggo_1hおよび１Ｈ遅延信号Sig_Gge_1hが遅延回路３６〜４０を経由することで、補正対象画素Ｇｒ／Ｂの信号を（１Ｈ遅延＋１クロック遅延）の信号とした場合に、補正対象画素Ｇｒ／Ｂに斜め方向に隣接する４個の周囲画素の各信号が抽出されて補正対象画素Ｇｒ／Ｂの信号と共に補正回路３０に入力されることになる。

補正回路３０は、制御信号が補正ＯＮのときに、補正対象画素Ｇｒ／Ｂの信号に対して当該補正対象画素Ｇｒ／Ｂに辺で隣接する４個の周囲画素の各信号を用いて、補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄを基に混色補正処理を行う。なお、補正処理後の補正対象画素Ｇｒ／Ｂの信号Sig_Gr_B’は、補正回路３０の入力として１Ｈ遅延信号Sig_Gr_B_1hを選んでいるために、混色補正処理回路１１の入力信号に対して１Ｈの遅延が生じた形で出力されることになる。

（Ｇｇｏ ｃｈ用補正ブロック）
図１３は、Ｇｇｏ ｃｈ用補正ブロック１１３Ｃの構成の一例を示すブロック図である。本補正ブロック１１３Ｃは、補正ブロック１１３Ａと同じ補正回路３０に加えて、５個の遅延回路４１〜４５を有し、図８のラインメモリ群１１１から各チャンネル２個ずつ出力される計８つの信号の内、１Ｈ遅延信号Sig_Ggo_1h、１Ｈ遅延信号Sig_R_Gb_1h、１Ｈ遅延信号Sig_Gr_B_1h、遅延無しの信号Sig_R_Gb_Ohおよび遅延無しの信号Sig_Gr_B_Ohを入力としている。

遅延回路４１は、１Ｈ遅延信号Sig_Ggo_1hを１クロック分だけ遅延し、補正対象画素の信号として補正回路３０に供給する。本補正ブロック１１３Ｃにおいては、図１４に示すように、Ｇｇｏが補正対象画素となる。

遅延回路４２は、１Ｈ遅延信号Sig_R_Gb_1hを１クロック分だけ遅延し、補正対象画素Ｇｇｏに辺で接する左斜め上画素（ａ）の信号として補正回路３０に供給する。遅延回路４３は、１Ｈ遅延信号Sig_Gr_B_1hを１クロック分だけ遅延し、補正対象画素Ｇｇｏに辺で接する右斜め上画素（ｂ）の信号として補正回路３０に供給する。

遅延回路４４は、遅延無しの信号Sig_R_Gb_Ohを１クロック分だけ遅延し、補正対象画素Ｇｇｏに辺で接する左斜め下画素（ｃ）の信号として補正回路３０に供給する。遅延回路４５は、遅延無しの信号Sig_Gr_B_Ohを１クロック分だけ遅延し、補正対象画素Ｇｇｏに辺で接する右斜め下画素（ｄ）の信号として補正回路３０に供給する。

このように、１Ｈ遅延信号Sig_Ggo_1h、１Ｈ遅延信号Sig_R_Gb_1h、１Ｈ遅延信号Sig_Gr_B_1h、遅延無しの信号Sig_R_Gb_Ohおよび遅延無しの信号Sig_Gr_B_Ohが遅延回路４１〜４５を経由することで、補正対象画素Ｇｇｏの信号を（１Ｈ遅延＋１クロック遅延）の信号とした場合に、補正対象画素Ｇｇｏに斜め方向に隣接する４個の周囲画素の各信号が抽出されて補正対象画素Ｇｇｏの信号と共に補正回路３０に入力されることになる。

補正回路３０は、制御信号が補正ＯＮのときに、補正対象画素Ｇｇｏの信号に対して当該補正対象画素Ｇｇｏに辺で隣接する４個の周囲画素の各信号を用いて、補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄを基に混色補正処理を行う。なお、補正処理後の補正対象画素Ｇｇｏの信号Sig_Ggo’は、補正回路３０の入力として１Ｈ遅延信号Sig_Ggo_1hを選んでいるために、混色補正処理回路１１の入力信号に対して１Ｈの遅延が生じた形で出力されることになる。

（Ｇｇｅ ｃｈ用補正ブロック）
図１５は、Ｇｇｅ ｃｈ用補正ブロック１１３Ｄの構成の一例を示すブロック図である。本補正ブロック１１３Ｄは、補正ブロック１１３Ａと同じ補正回路３０に加えて、３個の遅延回路４６〜４８を有し、図８のラインメモリ群１１１から各チャンネル２個ずつ出力される計８つの信号の内、１Ｈ遅延信号Sig_Gge_1h、１Ｈ遅延信号Sig_Gr_B_1h、１Ｈ遅延信号Sig_R_Gb_1h、遅延無しの信号Sig_Gr_B_Ohおよび遅延無しの信号Sig_R_Gb_Ohを入力としている。

遅延回路４６は、１Ｈ遅延信号Sig_Gge_1hを１クロック分だけ遅延し、補正対象画素の信号として補正回路３０に供給する。本補正ブロック１１３Ｄにおいては、図１６に示すように、Ｇｇｅが補正対象画素となる。

遅延回路４７は、１Ｈ遅延信号Sig_Gr_B_1hを１クロック分だけ遅延し、補正対象画素Ｇｇｅに辺で接する左斜め上画素（ａ）の信号として補正回路３０に供給する。１Ｈ遅延信号Sig_R_Gb_1hは、補正対象画素Ｇｇｅに辺で接する右斜め上画素（ｂ）の信号として補正回路３０に直接供給される。

遅延回路４８は、遅延無しの信号Sig_Gr_B_Ohを１クロック分だけ遅延し、補正対象画素Ｇｇｅに辺で接する左斜め下画素（ｃ）の信号として補正回路３０に供給する。遅延無しの信号Sig_R_Gb_Ohは、補正対象画素Ｇｇｅに辺で接する右斜め下画素（ｄ）の信号として補正回路３０に直接供給される。

このように、１Ｈ遅延信号Sig_Gge_1h、１Ｈ遅延信号Sig_Gr_B_1h、および遅延無しの信号Sig_Gr_B_Ohが遅延回路４６〜４８を経由（１Ｈ遅延信号Sig_R_Gb_1hおよび遅延無しの信号Sig_R_Gb_Ohは直接入力）することで、補正対象画素Ｇｇｅの信号を（１Ｈ遅延＋１クロック遅延）の信号とした場合に、補正対象画素Ｇｇｅに斜め方向に隣接する４個の周囲画素の各信号が抽出されて補正対象画素Ｇｇｅの信号と共に補正回路３０に入力されることになる。

補正回路３０は、制御信号が補正ＯＮのときに、補正対象画素Ｇｇｅの信号に対して当該補正対象画素Ｇｇｅに辺で隣接する４個の周囲画素の各信号を用いて、補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄを基に混色補正処理を行う。なお、補正処理後の補正対象画素Ｇｇｅの信号Sig_Gge’は、補正回路３０の入力として１Ｈ遅延信号Sig_Gge_1hを選んでいるために、混色補正処理回路１１の入力信号に対して１Ｈの遅延が生じた形で出力されることになる。

［補正回路］
続いて、各チャンネルに共通の補正回路３０の具体的な構成について、実施例１〜３として説明する。

（実施例１）
図１７は、実施例１に係る補正回路３０Ａの構成を示すブロック図である。本補正回路３０Ａは、補正対象画素の信号Sig_C（Sig_R_Gb／Sig_Gr_B／Sig_Ggo／Sig_Gge）を中心とし、隣接斜め４方向の画素信号（左斜め上：Sig_UL，右斜め上：Sig_UR，左斜め下：Sig_LL，右斜め下：Sig_LR)とそれぞれ差分をとった後の信号に、各々独立の補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄを掛け、その後に全ての信号の和をとったものを補正信号Sig_C’（Sig_R_Gb’／Sig_Gr_B’／Sig_Ggo’／Sig_Gge’）とする。

具体的には、図１７に示すように、補正回路３０Ａは、４個の減算器３０１〜３０４、４個の掛算器３０５〜３０８、各１個の加算器３０９およびセレクタ３１０を有する構成となっている。

減算器３０１は、補正対象画素の信号Sig_Cと左斜め上画素の信号Sig_ULとの差分をとる。減算器３０２は、補正対象画素の信号Sig_Cと右斜め上画素の信号Sig_URとの差分をとる。減算器３０３は、補正対象画素の信号Sig_Cと左斜め下画素の信号Sig_LLとの差分をとる。減算器３０４は、補正対象画素の信号Sig_Cと右斜め下画素の信号Sig_LRとの差分をとる。

掛算器３０５は、減算器３０１の出力信号に対して補正パラメータＫａを掛け算する。掛算器３０６は、減算器３０２の出力信号に対して補正パラメータＫｂを掛け算する。掛算器３０７は、減算器３０３の出力信号に対して補正パラメータＫｃを掛け算する。掛算器３０８は、減算器３０４の出力信号に対して補正パラメータＫｄを掛け算する。加算器３０９は、補正対象画素の信号Sig_Cに対して掛算器３０５〜３０８の各出力信号を加算して補正信号Sig_C’として出力する。

この演算処理を補正式として表すと、
Sig_C’ ＝ Sig_C
＋Ka×(Sig_C−Sig_UL)
＋Kb×(Sig_C−Sig_UR)
＋Kc×(Sig_C−Sig_LL)
＋Kd×(Sig_C−Sig_LR) ……（１）
となる。

セレクタ３１０は、図７の通信Ｉ／Ｆ４２から与えられる補正ＯＮ／ＯＦＦの制御信号（１：ＯＮ，０：ＯＦＦ）に基づいて、補正ＯＮのときは加算器３０９の出力信号である補正信号Sig_C’を選択して出力し、補正ＯＦＦのときは補正対象画素の信号Sig_Cを選択して出力する。

なお、本回路例では、減算器３０１〜３０４でそれぞれ差分をとった後の信号に、各々独立の補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄを掛ける演算処理を掛算器３０５〜３０８によって行うとしたが、当該演算処理をビットシフト構成によって実現することも可能である。どちらを採用するかは、補正精度と回路規模とのバランスから決めるようにすれば良い。

図１８は、上記（１）式に示される補正モデル式の説明図である。先ず、補正対象画素を取り囲む斜め４方向および上下左右の計８画素のうち、上下左右に位置する画素は、斜め４方向の隣接画素に比べて距離的に√２倍遠いために、補正対象画素に対する混色の影響度は斜め４方向の隣接画素の方が支配的であると言える。そこで、本実施形態では、上下左右の画素との間の混色は十分無視できるものとして、上下左右の画素については除外することとする。

次に、斜め方向に隣接する４画素に着目し、補正対象画素と斜め隣接画素との間の混色率をそれぞれＫａ，Ｋｂ，Ｋｃ，Ｋｄとすると、
・補正対象画素から、混色率Ｋ分だけ周囲画素に漏れこむ→その分だけ足し戻す
・補正対象画素に、混色率Ｋ分だけ周囲画素から漏れこんでくる→その分だけ差し引く
という補正モデルで、混色現象を軽減させる補正回路３０を構成している。別の見方をすると、周囲画素とのレベル差が大きいほど混色量が大きくなるために、差分量に応じた補正を行っていると見ることもできる。

以上のような構成を採ることにより、次のような作用効果を得ることができる。
・混色補正の補正量について通信Ｉ／Ｆ４２（図６、図７参照）を介して外部からリアルタイムにコントロールできる。
・補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄの各値を変えることで、方向性を持たせた混色補正処理が実現できる（もちろん、Ｋａ＝Ｋｂ＝Ｋｃ＝Ｋｄにすれば等方的な補正も実現できる）。

なお、本実施形態では、（１）式のモデル式を用いているが、本発明のポイントはモデル式自体にあるものではないために、補正回路３０Ａとしては、（１）式の演算を実現する回路構成に限定されるものではない。

（実施例２）
図１９は、実施例２に係る補正回路３０Ｂの構成を示すブロック図である。本補正回路３０Ｂは、補正対象画素の信号Sig_C（Sig_R_Gb／Sig_Gr_B／Sig_Ggo／Sig_Gge）を中心とし、隣接斜め４方向の画素信号（左斜め上：Sig_UL，右斜め上：Sig_UR，左斜め下：Sig_LL，右斜め下：Sig_LR）とそれぞれ差分をとった後の信号同士を、通信Ｉ／Ｆ４２から与えられる方向性選択の制御信号（設定値）によって２つずつ組み合わせて和をとり、これら和信号に各々独立の補正パラメータＫ１，Ｋ２をかけ、その後全ての信号の和をとったものを補正信号Sig_C’（Sig_R_Gb’／Sig_Gr_B’／Sig_Ggo’／Sig_Gge’）とする。

具体的には、図１９に示すように、補正回路３０Ｂは、４個の減算器３１１〜３１４、３個のセレクタ３１５〜３１７、３個の加算器３１８〜３２０、２個の掛算器３２１，３２２、各１個のコンパレータ３２３、加算器３２４およびセレクタ３２５を有する構成となっている。

減算器３１１は、補正対象画素の信号Sig_Cと左斜め上画素の信号Sig_ULとの差分をとる。減算器３１２は、補正対象画素の信号Sig_Cと右斜め上画素の信号Sig_URとの差分をとる。減算器３１３は、補正対象画素の信号Sig_Cと左斜め下画素の信号Sig_LLとの差分をとる。減算器３１４は、補正対象画素の信号Sig_Cと右斜め下画素の信号Sig_LRとの差分をとる。

セレクタ３１５は、減算器３１２，３１３，３１４の出力信号Ｂ，Ｃ，Ｄを入力とし、方向性選択の制御信号の設定値が０のとき減算器３１２の出力信号Ｂを、１のとき減算器３１３の出力信号Ｃを、２のとき減算器３１４の出力信号Ｄををそれぞれ選択して出力する。セレクタ３１６は、減算器３１３，３１４の出力信号Ｃ，Ｄを入力とし、方向性選択の制御信号の設定値が１のとき減算器３１４の出力信号Ｄを、２のとき減算器３１３の出力信号Ｃをそれぞれ選択して出力する。

加算器３１８は、減算器３１１の出力信号Ａに対してセレクタ３１５の出力信号を加算する。加算器３１９は、減算器３１２の出力信号Ｂに対してセレクタ３１６の出力信号を加算する。加算器３２０は、減算器３１３の出力信号Ｃと減算器３１４の出力信号Ｄとを加算する。

コンパレータ３２３は、方向性選択の制御信号の設定値が０のときに１の制御信号を、それ以外のときに０の制御信号を出力する。セレクタ３１７は、加算器３１９，３２０の各出力信号を入力とし、コンパレータ３２３から与えられる制御信号が０のときに加算器３１９の出力信号を、１のときに加算器３２０の出力信号をそれぞれ選択して出力する。

掛算器３２１は、加算器３１８の出力信号に対して補正パラメータＫ１を掛け算する。掛算器３２２は、セレクタ３１７の出力信号に対して補正パラメータＫ２を掛け算する。加算器３２４は、補正対象画素の信号Sig_Cに対して掛算器３２１，３２２の各出力信号を加算して補正信号Sig_C’として出力する。

この演算処理を補正式として表すと、
・方向性選択の設定値：０の場合
Sig_C’ ＝ Sig_C
＋K1×[(Sig_C−Sig_UL)＋(Sig_C−Sig_UR)]
＋K2×[(Sig_C−Sig_LL)＋(Sig_C−Sig_LR)] ……（２）
・方向性選択の設定値：１の場合
Sig_C’ ＝ Sig_C
＋K1×[(Sig_C−Sig_UL)＋(Sig_C−Sig_LL)]
＋K2×[(Sig_C−Sig_UR)＋(Sig_C−Sig_LR)] ……（３）
・方向性選択の設定値：２の場合
Sig_C’ ＝ Sig_C
＋K1×[(Sig_C−Sig_UL)＋(Sig_C−SIg_LR)]
＋K2×[(Sig_C−Sig_UR)＋(Sig_C−Sig_LL)] ……（４）
となる。

そして、これらの補正モデル式を切り替えることができるようになっている。セレクタ３２５は、通信Ｉ／Ｆ４２から与えられる補正ＯＮ／ＯＦＦの制御信号（１：ＯＮ，０：ＯＦＦ）に基づいて、補正ＯＮのときは加算器３２４の出力信号である補正信号Sig_C’を選択して出力し、補正ＯＦＦのときは補正対象画素の信号Sig_Cを選択して出力する。

なお、本回路例では、加算器３１８の出力信号とセレクタ３１７の出力信号に、各々独立の補正パラメータＫ１，Ｋ２を掛ける演算処理を掛算器３２１，３２２によって行うとしたが、当該演算処理をビットシフト構成によって実現することも可能である。どちらを採用するかは、補正精度と回路規模とのバランスから決めるようにすれば良い。

図２０は、上記（２），（３），（４）式に示される補正モデル式の説明図である。補正モデル式自体の考え方は図１８と同じであり、方向性選択の設定値（０，１，２）別の補正率組み合わせと補正モデル式についてまとめたものである。

先述した実施例１に係る補正回路３０Ａ（図１７参照）の場合は、１クロック毎に同時に並列演算する必要があるために、基本的に１チャンネルあたり４つの掛算器３０５〜３０８を持つことになる。これに対して、本実施例２に係る補正回路３０Ｂでは、補正の方向性に関する自由度を削減し、２つの掛算器３２１，３２２で同様の機能を実現しているために、その分だけ回路規模を大幅に削減できる。なお、回路規模を削減するために方向性の自由度を減らしているが、少しでも自由度を上げるためにＣＭＯＳイメージセンサの特性に応じてもっとも適当な組み合わせでの補正を実現できるようにしている。

以上のような構成を採ることにより、次のような作用効果を得ることができる。
・混色補正の補正量について通信Ｉ／Ｆ４２（図６、図７参照）を介して外部からリアルタイムにコントロールできる。
・補正の方向性に関してある程度の自由度を持ったまま、回路規模を大幅に削減した混色補正処理が実現できる（もちろん、Ｋ１＝Ｋ２にすれば等方的な補正も実現できる）。

（実施例３）
図２１は、実施例３に係る補正回路３０Ｃの構成を示すブロック図である。本補正回路３０Ｃは、補正対象画素の信号Sig_C（Sig_R_Gb／Sig_Gr_B／Sig_Ggo／Sig_Gge）を中心とし、隣接斜め４方向の画素信号（左斜め上：Sig_UL，右斜め上：Sig_UR，左斜め下：Sig_LL，右斜め下：Sig_LR）とそれぞれ差分をとった後の信号同士を全て加算し、その後唯一の補正パラメータＫをかけ、その後元の信号との和をとったものを補正信号Sig_C’（Sig_R_Gb’／Sig_Gr_B’／Sig_Ggo’／Sig_Gge’）とする。

具体的には、図２１に示すように、補正回路３０Ｃは、４個の減算器３３１〜３３４、２個の加算器３３５，３３６および各１個の掛算器３３７およびセレクタ３３８を有する構成となっている。

減算器３３１は、補正対象画素の信号Sig_Cと左斜め上画素の信号Sig_ULとの差分をとる。減算器３３２は、補正対象画素の信号Sig_Cと右斜め上画素の信号Sig_URとの差分をとる。減算器３３３は、補正対象画素の信号Sig_Cと左斜め下画素の信号Sig_LLとの差分をとる。減算器３３４は、補正対象画素の信号Sig_Cと右斜め下画素の信号Sig_LRとの差分をとる。

加算器３３５は、減算器３３１〜３３４の各出力信号を全て加算する。掛算器３３７は、加算器３３５の出力信号に対して唯一の補正パラメータＫを掛け算する。加算器３３６は、補正対象画素の信号Sig_Cに対して掛算器３３７の出力信号を加算して補正信号Sig_C’として出力する。

この演算処理を補正式として表すと、
Sig_C’ ＝ Sig_C
＋K×[(Sig_C−Sig_UL)＋(Sig_C−Sig_UR)
＋(Sig_C−Sig_LL)＋(Sig_C−Sig_LR)] ……（５）
となる。

この補正回路３０Ｃでは、方向性に関する自由度をなくした代わり、掛算器1個で補正を実現しているために、実施例２に係る補正回路３０Ｂに比べてさらに回路規模を削減できる。これは例えばイメージセンサの混色が、要求される画質に対して方向性の問題が十分無視できるような場合には非常に効果的な回路構成と言える。

セレクタ３３８は、通信Ｉ／Ｆ４２から与えられる補正ＯＮ／ＯＦＦの制御信号（１：ＯＮ，０：ＯＦＦ）に基づいて、補正ＯＮのときは加算器３３６の出力信号である補正信号Sig_C'を選択して出力し、補正ＯＦＦのときは補正対象画素の信号Sig_Cを選択して出力する。

なお、本回路例では、加算器３３３５の出力信号に補正パラメータＫを掛ける演算処理を掛算器３３７によって行うとしたが、当該演算処理をビットシフト構成によって実現することも可能である。どちらを採用するかは、補正精度と回路規模とのバランスから決めるようにすれば良い。

図２２は、上記（５）式に示される補正モデル式の説明図である。補正モデル式自体の考え方は図１８と同じである。

以上のような構成を採ることにより、次のような作用効果を得ることができる。
・混色補正の補正量について通信Ｉ／Ｆ４２（図６、図７参照）を介して外部からリアルタイムにコントロールできる。
・補正の方向性に関して自由度はないが、その代わりに回路規模を大幅に削減した混色補正処理が実現できる。

上述したように、光電変換素子を含む画素セルの上方に、色分解カラーフィルタが、さらにその上に集光用マイクロレンズ（集光レンズ）が積層された構造を採り、画素ずらし配置に対して、ＧでＲ，Ｂの各々の周囲を囲むような色コーディングを持ち、２行を単位とする横ジグザグ行ごとに垂直走査を行うＣＭＯＳイメージセンサ２０Ａの画素間の混色補正を行う混色補正回路において、注目画素に隣接する複数の周囲画素の各信号と、当該各信号に対して各々独立して設定される補正パラメータとを用いて注目画素の信号に対して補正処理を行うことで、注目画素に対する周囲画素の補正量を周囲画素ごとに独立に設定できるために、注目画素に対する周囲画素の補正量に方向性を持たせることができる、即ち周囲画素ごとに異なる補正量を設定できる。

これにより、周囲画素からの注目画素に対する混色の度合いに応じた混色補正を行うことができるために、例えば回路部や配線等のレイアウト次第、あるいは信号読出し部のレイアウト次第で、光電変換素子（感光部）を画素セルの中心に対して偏った位置に配置せざるを得なく、各画素セルの物理的な中心と光学的な中心が必ずしも一致しないことに起因して、注目画素に対する周囲画素からの混色に方向性があっても、その方向性に応じた混色補正を実現できることによって混色不具合を低減することができる。

特に、画素ずらし配置に対して、ＧでＲ，Ｂの各々の周囲を囲むような色コーディングにおいて、Ｒ，Ｂを補正対象画素（注目画素）としたときにその周囲画素は全てＧとなるが、同じＧの周囲画素に対して補正パラメータの値（補正量）を各周囲画素ごとに設定できるために、より効果的な方向性を持った混色補正を実現できる。なお、補正パラメータの設定次第で等方的な補正も実現できる。また、通信Ｉ／Ｆ４２を介して外部のカメラ制御部５から補正パラメータの値を設定できるために、カメラ撮影条件に応じた補正量をリアルタイムに設定することも可能である

さらに、要求される画質と回路規模とのバランスによって、４方向の補正自由度が不要な場合には、実施例２に係る補正回路３０Ｂを用いることで、回路規模を大幅に削減しつつ、かつできるだけ方向性の自由度を保った補正回路で構成することができる。また、要求される画質と回路規模とのバランスによって、４方向の補正自由度が不要かつ等方的な補正で十分な場合には、実施例３に係る補正回路３０Ｃを用いることで、回路規模をさらに大幅に削減した補正回路で構成することもできる。

ここで、複数の周囲画素の各信号に対して各々独立して設定される補正パラメータの値（補正量）については、各画素セルの物理的な中心と光学的な中心が必ずしも一致しないことに起因して、注目画素に対する周囲画素からの混色に方向性が存在した場合に、周囲画素からの注目画素に対する混色の度合いを基に適宜設定することになる。

なお、上記実施形態では、図２に示す画素ずらし配置において、注目画素に対して頂点で隣接する上下左右の４画素との間の混色は十分無視できるものとして、上下左右の画素については除外することとし、注目画素に対して辺で隣接する斜め方向の４画素の各信号を用いて混色補正を行うとしたが、上下左右の４画素の各信号を用いて混色補正を行うことも可能である。この場合にも、上下左右の４画素の各信号に対して各々独立した補正パラメータを用いるようにすれば良い。

また、上記実施形態では、画素の色に関係なく、補正量を設定するとしたが、色ごとに補正量を変えるようにすることも可能である。具体的には、カメラ制御部５において、Ｒ用補正パラメータＫａｒ，Ｋｂｒ，Ｋｃｒ，Ｋｄｒ、Ｇ用補正パラメータＫａｇ，Ｋｂｇ，Ｋｃｇ，ＫｄｇおよびＢ用補正パラメータＫａｂ，Ｋｂｂ，Ｋｃｂ，Ｋｄｂを作成し、通信ＩＦ４２を介してＲ／Ｇｂ ｃｈ用補正ブロック１１３ＡおよびＧｒ／Ｂ ｃｈ用補正ブロック１１３Ｂに適宜入力する。

そして、Ｒ／Ｇｂ ｃｈ用補正ブロック１１３Ａについては、図２３に示すように、Ｒ用補正パラメータＫａｒ，Ｋｂｒ，Ｋｃｒ，ＫｄｒとＧ用補正パラメータＫａｇ，Ｋｂｇ，Ｋｃｇ，Ｋｄｇとを２入力とする切替えスイッチＳＷ１を設け、シグナルジェネレータ４３からのタイミング信号の1つであり、１ＨごとにＨｉｇｈ／Ｌｏｗが切り替わるタイミング信号Ｈ＿ＴＯＧＬＥによって切替えスイッチＳＷ１を切り替え、Ｒ用補正パラメータＫａｒ，Ｋｂｒ，Ｋｃｒ，ＫｄｒとＧ用補正パラメータＫａｇ，Ｋｂｇ，Ｋｃｇ，Ｋｄｇとを１Ｈごとに交互に補正回路３０に供給することで、Ｒ画素とＧ画素ごとに補正量を変えた混色補正を行うことができる。

一方、Ｇｒ／Ｂ ｃｈ用補正ブロック１１３Ｂについては、図２４に示すように、Ｇ用補正パラメータＫａｇ，Ｋｂｇ，Ｋｃｇ，ＫｄｇとＢ用補正パラメータＫａｂ，Ｋｂｂ，Ｋｃｂ，Ｋｄｂとを２入力とする切替えスイッチＳＷ２を設け、タイミング信号Ｈ＿ＴＯＧＬＥによって切替えスイッチＳＷ２を切り替え、Ｇ用補正パラメータＫａｇ，Ｋｂｇ，Ｋｃｇ，ＫｄｇとＢ用補正パラメータＫａｂ，Ｋｂｂ，Ｋｃｂ，Ｋｄｂとを１Ｈごとに交互に補正回路３０に供給することで、Ｇ画素とＢ画素ごとに補正量を変えた混色補正を行うことができる。

〈第２実施形態〉
図２５は、第２実施形態で用いられるＣＭＯＳイメージセンサ２０Ｂの構成の概略を示すブロック図であり、図中、図３と同等部分には同一符号を付して示している。

本実施形態で用いられるＣＭＯＳイメージセンサ２０Ｂにおいても、第１実施形態で用いられるＣＭＯＳイメージセンサ２０Ａと同じ画素配置および色コーディング、即ち図２に示すように、画素ずらし配置に対して、ＧでＲ，Ｂの各々の周囲を囲むような色コーディングとなっている。

このＣＭＯＳイメージセンサ２０Ｂにおいて、画素駆動線２３は行ごとに配線されている。そして、画素アレイ部２２の各画素セル２１は、垂直走査回路２４による選択走査により、画素駆動線２３を介して行単位で選択される。垂直信号線２５は、２列を単位とする縦ジグザグ列の画素セル２１に対して共通に配線されている。

垂直信号線２５の各々の一端には、カラム処理回路２６が接続されている。すなわち、カラム処理回路２６は、画素配列の２列ごとに配置され、垂直信号線２５を通して画素セル２１から供給される信号を保持する。カラム処理回路２６の各々に保持された１行分の信号は、水平走査回路２７によって例えば２個を単位として順次選択される水平選択スイッチ２８を介して２画素を単位として２本の水平信号線２９−１，２９−２に順次出力される。

このように、本ＣＭＯＳイメージセンサ２０Ｂでは、１行ごとに隣り合う２画素を単位として、この２画素の信号を２本の水平信号線２９−１，２９−２を通して２チャンネルで並列に読み出し、１画面に亘って横方向（水平方向）に走査していき、１水平走査期間（１Ｈ）全て読み終えたところで次の行に移り、同様に横方向に走査しながら１画面全面に亘って各画素の信号を読み出すことになる。

ここで、第１実施形態の場合と同様に、図２に示す色コーディングにおいて、１行目〜４行目の１列目〜８列目の１６画素Ｒ，Ｇ，Ｂについて、便宜的に、図２６のように定義しておく。

このような画素の定義の下で、１行ごとに隣り合う２画素を単位として、ＣＭＯＳイメージセンサ２０Ｂの動作の基準となるクロック信号の１クロックで、この２画素の信号を２チャンネルにて並列に読み出すことにより、図２６から明らかなように、各チャンネルからはＲ信号／Ｇｇｏ信号／Ｇｂ信号／Ｇｇｏ信号、Ｇｒ信号／Ｇｇｅ信号／Ｂ信号／Ｇｇｅ信号が出力される。図２７に、このような読み出し方式における出力チャンネル別の出力信号のシーケンスを示す。

［カメラ信号処理回路］
図２８は、第２実施形態に係るカメラ信号処理回路４１の具体的な内部構成を示すブロック図であり、図中、図７と同等部分には同一符号を付して示している。

図２８に示すように、本実施形態に係るカメラ信号処理回路４１は、カメラ信号処理群（１）４１１、混色補正処理回路１１およびカメラ信号処理群（２）４１２に加えて、カメラ信号処理群（１）４１１の前段に並換処理回路４１３を有する構成となっている。この並換処理回路４１３は、図２７に示すＣＭＯＳイメージセンサ２０Ｂの出力信号のシーケンスを、図５に示すＣＭＯＳイメージセンサ２０Ａの出力信号のシーケンスに並び替える処理を行うために設けられたものである。

［並換処理回路］
図２９は、並換処理回路４１３の具体的な構成の一例を示すブロック図である。図２９に示すように、並換処理回路４１３は、ラインメモリ群４１３１、メモリコントローラ４１３２および切替えスイッチ４１３３，４１３４を有する構成となっている。

ラインメモリ群４１３１は、２チャンネルの各画素の信号Ｒ／Ｇｇｏ／Ｇｂ／Ｇｇｏ，Ｇｒ／Ｇｇｅ／Ｂ／Ｇｇｅに対応して設けられ、行単位の遅延を行わせるための例えばシングルポートＳＲＡＭからなるラインメモリ４１３１−１，４１３１−２によって構成されている。メモリコントローラ４１３２は、図２８のシグナルジェネレータ（ＳＧ）４３から与えられる各種タイミング信号を基準にラインメモリ４１３１−１，４１３１−２の読み書きをコントロールする。

切替えスイッチ４１３３は、一方のチャンネルの各画素の信号Ｒ／Ｇｇｏ／Ｇｂ／Ｇｇｏを入力とし、シグナルジェネレータ４３からのタイミング信号の1つであり、１ＨごとにＨｉｇｈ（１）／Ｌｏｗ（０）が切り替わるタイミング信号Ｈ＿ＴＯＧＬＥによって切替え制御が行われる。切替えスイッチ４１３４は、他方のチャンネルの各画素の信号Ｇｒ／Ｇｇｅ／Ｂ／Ｇｇｅをとし、タイミング信号Ｈ＿ＴＯＧＬＥによって切替え制御が行われる。

これにより、奇数行目の入力信号（図２７の４Ｎ＋１行目、４Ｎ＋３行目、…）は、ラインメモリ４１３１−１，４１３１−２によって１Ｈ遅延され、信号Ｒ／Ｇｂ，Ｇｒ／Ｂとして出力される。一方、偶数行目の入力信号（図２７の４Ｎ＋２行目、４Ｎ＋４行目、…）は、ラインメモリ４１３１−１，４１３１−２を経由せず、信号Ｇｇｏ，Ｇｇｅとして出力される。

上記構成の並換処理回路４１３の作用により、２チャンネルの各画素の信号Ｒ／Ｇｇｏ／Ｇｂ／Ｇｇｏ，Ｇｒ／Ｇｇｅ／Ｂ／Ｇｇｅが、図３０に示すように、４チャンネルのＲ／Ｇｂ，Ｇｇｏ，Ｇｒ／Ｂ，Ｇｇｅに並び替えられて出力される。このようにして、カメラ信号処理群（１）４１１の前段で信号の並び替え処理を行うことで、カメラ信号処理群（１）４１１、混色補正処理回路１１およびカメラ信号処理群（２）４１２として第１実施形態に係る各回路ブロックを兼用することができる。

ただし、並換処理回路４１３での並換処理後のシーケンスは同じになるが、並び替え後の信号は１Ｈごとに流れていくことになるために、例えば、タイミング信号Ｈ＿ＴＯＧＬＥと同等のタイミング信号をカメラ信号処理群（１）４１１、混色補正処理回路１１およびカメラ信号処理群（２）４１２の各回路ブロックに与え、各回路ブロックでは当該タイミング信号がＨｉｇｈのときだけ処理を行うようにすれば良い。

上述したことから明らかなように、第２実施形態に係る混色補正によれば、画素ずらし配置に対して、ＧでＲ，Ｂの各々の周囲を囲むような色コーディングを持ち、２行を単位とする横ジグザグ行ごとではなく、１行ごとに垂直走査を行うＣＭＯＳイメージセンサ２０Ｂに対しても、注目画素に対する周囲画素の補正量を周囲画素ごとに独立に設定できるために、第１実施形態の場合と同様に作用効果を得ることができる。

また、本実施形態に係る混色補正においても、第１実施形態の場合と同様に、色ごとに補正量を変えるようにすることができる。

なお、上記第１、第２実施形態では、画素ずらし配置に対して、ＧでＲ，Ｂの各々の周囲を囲むような色コーディングを持つ固体撮像素子の混色補正に適用した場合を例に挙げて説明したが、当該色コーディングは一例にすぎず、例えば図３１に示す色コーディングなど、他の色コーディングを持つ固体撮像素子の混色補正にも同様に適用可能である。

〈第３実施形態〉
図３２は、本発明の第３実施形態で用いられるＣＭＯＳイメージセンサの色コーディングを示す図である。

第３実施形態で用いられるＣＭＯＳイメージセンサでは、光電変換素子を含む画素セル２１を行列状に２次元配置してなる画素アレイ部の画素配置が、正方格子状の画素配置となっておいる。そして、この正方格子状の画素配置に対して、色コーディングは、図３２に示すように、例えばベイヤ配列となっている。

図３３は、第３実施形態で用いられるＣＭＯＳイメージセンサ２０Ｃの構成の概略を示すブロック図であり、図中、図３と同等部分には同一符号を付して示している。

図３３に示すように、画素アレイ部２２には、光電変換素子を含む画素セル２１が正方格子状に２次元配置されている。この正方格子状の画素配列に対して、２行につき１本ずつ画素駆動線２３が配線され、１列につき２本ずつ垂直信号線２５が配線されている。垂直走査回路２４は、画素アレイ部２２の各画素セル２１を、２行を単位として画素駆動線２３を介して順に選択走査する。

垂直走査回路２４による走査によって選択された２行分の画素セル２１の各信号は、奇数行と偶数行とが別々の垂直信号線２５、即ち奇数行用の垂直信号線２５ｏと偶数行用の垂直信号線２５ｅとを通して読み出され、カラム処理回路２６の各々に保持される。カラム処理回路２６の各々に保持された２行分の信号は、水平走査回路２７によって４個を単位として順次選択される水平選択スイッチ２８を介して４画素（２行×２列）を単位として４本の水平信号線２９−１〜２９−４に順次出力される。

このように、本ＣＭＯＳイメージセンサ２０Ｃでは、２行ごとに隣り合う４画素を一塊りにして、この４画素の信号を４本の水平信号線２９−１〜２９−４を通して４チャンネルで並列に読み出し、１画面に亘って横方向（水平方向）に走査していき、１水平走査期間（１Ｈ）全て読み終えたところで次の行に移り、同様に横方向に走査しながら１画面全面に亘って各画素の信号を読み出すことになる。

ここで、図３２に示す色コーディングにおいて、１行目、２行目の１列目〜６列目の１２画素Ｒ，Ｇ，Ｂについて、便宜的に、図３４のように定義しておく。具体的には、１行目において、１番目の単位の４画素に属する画素Ｒについては画素Ｒ１、２番目の単位の４画素に属する画素Ｒについては画素Ｒ２、３番目の単位の４画素に属する画素Ｒについては画素Ｒ３と定義し、２行目において、１番目の単位の４画素に属する画素Ｂについては画素Ｂ１、２番目の単位の４画素に属する画素Ｂについては画素Ｂ２、３番目の単位の４画素に属する画素Ｂについては画素Ｂ３と定義する。

また、１行目において、１番目の単位の４画素に属し、画素Ｒ１と隣接する画素Ｇについては画素Ｇｒ１、２番目の単位の４画素に属し、画素Ｒ２と隣接する画素Ｇについては画素Ｇｒ２、３番目の単位の４画素に属し、画素Ｒ３と隣接する画素Ｇについては画素Ｇｒ３と定義し、２行目において、１番目の単位の４画素に属し、画素Ｂ１と隣接する画素Ｇについては画素Ｇｂ１、２番目の単位の４画素に属し、画素Ｂ２と隣接する画素Ｇについては画素Ｇｂ２、３番目の単位の４画素に属し、画素Ｂ３と隣接する画素Ｇについては画素Ｇｂ３と定義する。

このような画素の定義の下で、２行ごとに隣り合う４画素を一塊りにして、ＣＭＯＳイメージセンサ２０ｃの動作の基準となるクロック信号の１クロックで、この４画素の信号を４チャンネルにて並列に読み出すことにより、図３４から明らかなように、各チャンネルからはＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号が出力される。図３５に、このような読み出し方式における出力チャンネル別の出力信号のシーケンスを示す。

本実施形態に係るカメラ信号処理回路４１の具体的な内部構成については、基本的に、図７に示す第１実施形態に係るカメラ信号処理回路４１のそれと同じである。すなわち、カメラ信号処理回路４１は、混色補正処理回路１１に加えて、混色補正処理回路１１の前段にカメラ信号処理群（１）４１１と、混色補正処理回路１１の後段にカメラ信号処理群（２）４１２とを備え、図３４に示す４画素ずつの各Ｒ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号を、カメラ信号処理の基準となるクロック信号の１クロックで並列処理する。

［混色補正処理回路］
図３６は、混色補正処理回路１１の構成の一例を示すブロック図であり、図中、図８と同等部分には同一符号を付して示している。

図３６に示すように、本実施形態に係る混色補正処理回路１１では、ラインメモリ群１１１が、第１実施形態に係る混色補正処理回路１１におけるＲ／Ｇｂ用ラインメモリ１１１−１、Ｇｒ／Ｂ用ラインメモリ１１１−２、Ｇｇｏ用１１１−３およびＧｇｅ用ラインメモリ１１１−４に代えて、Ｒ用ラインメモリ１１１−５、Ｇｒ用ラインメモリ１１１−６、Ｇｂ用１１１−７およびＢ用ラインメモリ１１１−８を用いた構成となっている。

ラインメモリ１１１−５，１１１−６は１Ｈ遅延メモリであり、ラインメモリ１１１−７，１１１−８は２Ｈ遅延メモリである。メモリコントローラ１１２は、図７のシグナルジェネレータ（ＳＧ）４３から与えられる各種タイミング信号を基準にラインメモリ１１１−５，１１１−６，１１１−７，１１１−８の読み書きをコントロールする。補正ブロック１１３は、図７の通信Ｉ／Ｆ４２から与えられる制御信号によって画素混色の補正動作を行う。

この混色補正処理回路１１において、４チャンネルのＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号がそれぞれ並列にラインメモリ１１１−５，１１１−６，１１１−７，１１１−８に入力される。そして、メモリコントローラ１１２からの書き込みイネーブル信号WEN と書き込みアドレス信号WADRS および読み出しイネーブル信号REN と読み出しアドレス信号RADRS によってチャンネル別に０Ｈから２Ｈまでの遅延を持たせた信号群を作り出し出力する。

このとき、出力信号が
・R ch ：遅延無しの信号(Sig_R_0h)と１Ｈ遅延信号(Sig_R_1h)
・Gr ch：遅延無しの信号(Sig_Gr_0h)と１Ｈ遅延信号(Sig_Gr_1h)
・Gb ch：１Ｈ遅延信号(Sig_Gb_1h)と２Ｈ遅延信号(Sig_Gb_2h)
・B ch ：１Ｈ遅延信号(Sig_B_1h)と２Ｈ遅延信号(Sig_B_2h)
となるように、ラインメモリ群１１１が構成されている。

ラインメモリ１１１−５，１１１−６，１１１−７，１１１−８によって遅延させた信号群は補正ブロック１１３へ入力される。補正ブロック１１３は、通信Ｉ／Ｆ４２から与えられる制御信号に従って各チャンネルごとに並列に画素混色補正を行い、補正後の信号Sig_R',Sig_Gr',Sig_Gb',Sig_B'として後段へと出力する。この補正ブロック１１３は、４チャンネルの各画素の信号Ｒ，Ｇｒ，Ｇｂ，Ｂの各々に対応して設けられた４つの補正ブロックによって構成される。

（Ｒｃｈ用補正ブロック）
図３７は、Ｒｃｈ用補正ブロック１１３Ｅの構成の一例を示すブロック図である。本補正ブロック１１３Ｅは、補正回路５０と、５個の遅延回路５１〜５５によって構成され、図３６のラインメモリ群１１１から各チャンネル２個ずつ出力される計８つの信号の内、１Ｈ遅延信号Sig_R_1h、２Ｈ遅延信号Sig_Gb_2h、１Ｈ遅延信号Sig_Gr_1h、１Ｈ遅延信号Sig_Gr_1hおよび１Ｈ遅延信号Sig_Gb_1hを入力としている。

補正回路５０については、各チャンネルとも共通となる。その回路構成の詳細については後述する。遅延回路５１は、１Ｈ遅延信号Sig_R_1hを混色補正処理の基準となる画素周期のクロック信号の１クロック分だけ遅延し、補正対象画素の信号として補正回路５０に供給する。本補正ブロック１１３Ｅにおいては、図３８（Ａ）に示すように、Ｒが補正対象画素となる。

遅延回路５２は、２Ｈ遅延信号Sig_Gb_2hを２クロック分だけ遅延し、補正対象画素Ｒに隣接する上画素（ａ）の信号として補正回路５０に供給する。遅延回路５３は、１Ｈ遅延信号Sig_Gr_1hを１クロック分だけ遅延し、補正対象画素Ｒに隣接する右画素（ｂ）の信号として補正回路５０に供給する。

遅延回路５４は、１Ｈ遅延信号Sig_Gr_1hを２クロック分だけ遅延し、補正対象画素Ｒに隣接する左画素（ｃ）の信号として補正回路５０に供給する。遅延回路５５は、１Ｈ遅延信号Sig_Gb_1hを１クロック分だけ遅延し、補正対象画素Ｒに隣接する下画素（ｄ）の信号として補正回路５０に供給する。

このように、１Ｈ遅延信号Sig_R_1h、２Ｈ遅延信号Sig_Gb_2h、１Ｈ遅延信号Sig_Gr_1h、１Ｈ遅延信号Sig_Gr_1hおよび１Ｈ遅延信号Sig_Gb_1hが遅延回路５１〜５５を経由することで、補正対象画素Ｒの信号を（１Ｈ遅延＋１クロック遅延）の信号とした場合に、補正対象画素Ｒに上、右、左、下の各方向で辺で隣接する４個の周囲画素の各信号が抽出されて補正対象画素Ｒの信号と共に補正回路５０に入力されることになる。

（Ｇｒ ｃｈ用補正ブロック）
図３９は、Ｇｒ ｃｈ用補正ブロック１１３Ｆの構成の一例を示すブロック図である。本補正ブロック１１３Ｆは、補正ブロック１１３Ｅと同じ補正回路５０に加えて、４個の遅延回路５６〜５９を有し、図３６のラインメモリ群１１１から各チャンネル２個ずつ出力される計８つの信号の内、１Ｈ遅延信号Sig_Gr_1h、２Ｈ遅延信号Sig_B_2h、１Ｈ遅延信号Sig_R_1h、１Ｈ遅延信号Sig_R_1hおよび１Ｈ遅延信号Sig_B_1hを入力としている。

遅延回路５６は、１Ｈ遅延信号Sig_Gr_1hを１クロック分だけ遅延し、補正対象画素の信号として補正回路５０に供給する。本補正ブロック１１３Ｆにおいては、図３８（Ｂ）に示すように、Ｇｒが補正対象画素となる。遅延回路５７は、２Ｈ遅延信号Sig_B_2hを２クロック分だけ遅延し、補正対象画素Ｇｒに隣接する上画素（ａ）の信号として補正回路５０に供給する。

１Ｈ遅延信号Sig_R_1hは、補正対象画素Ｇｒに隣接する右画素（ｂ）の信号として補正回路５０に直接供給される。遅延回路５８は、１Ｈ遅延信号Sig_R_1hを１クロック分だけ遅延し、補正対象画素Ｇｒに隣接する左画素（ｃ）の信号として補正回路５０に供給する。遅延回路５９は、１Ｈ遅延信号Sig_B_1hを１クロック分だけ遅延し、補正対象画素Ｇｒに隣接する下画素（ｄ）の信号として補正回路５０に供給する。

このように、１Ｈ遅延信号Sig_Gr_1h、２Ｈ遅延信号Sig_B_2h、１Ｈ遅延信号Sig_R_1h、１Ｈ遅延信号Sig_R_1hおよび１Ｈ遅延信号Sig_B_1hが遅延回路５６〜５９を経由することで、補正対象画素Ｇｒの信号を（１Ｈ遅延＋１クロック遅延）の信号とした場合に、補正対象画素Ｇｒに上、右、左、下の各方向で辺で隣接する４個の周囲画素の各信号が抽出されて補正対象画素Ｇｒの信号と共に補正回路５０に入力されることになる。

（Ｇｂ ｃｈ用補正ブロック）
図４０は、Ｇｂ ｃｈ用補正ブロック１１３Ｇの構成の一例を示すブロック図である。本補正ブロック１１３Ｇは、補正ブロック１１３Ｅと同じ補正回路５０に加えて、５個の遅延回路６１〜６５を有し、図３６のラインメモリ群１１１から各チャンネル２個ずつ出力される計８つの信号の内、１Ｈ遅延信号Sig_Gb_1h、１Ｈ遅延信号Sig_R_1h、１Ｈ遅延信号Sig_B_1h、１Ｈ遅延信号Sig_B_1hおよび０Ｈ遅延信号Sig_R_0hを入力としている。

遅延回路６１は、１Ｈ遅延信号Sig_Gb_1hを１クロック分だけ遅延し、補正対象画素の信号として補正回路５０に供給する。本補正ブロック１１３Ｇにおいては、図３８（Ｃ）に示すように、Ｇｂが補正対象画素となる。

遅延回路６２は、１Ｈ遅延信号Sig_R_1hを１クロック分だけ遅延し、補正対象画素Ｇｂに隣接する上画素（ａ）の信号として補正回路５０に供給する。遅延回路６３は、１Ｈ遅延信号Sig_B_1hを１クロック分だけ遅延し、補正対象画素Ｇｂに隣接する右画素（ｂ）の信号として補正回路５０に供給する。

遅延回路６４は、１Ｈ遅延信号Sig_B_1hを２クロック分だけ遅延し、補正対象画素Ｇｂに隣接する左画素（ｃ）の信号として補正回路５０に供給する。遅延回路６５は、１Ｈ遅延信号Sig_R_1hを１クロック分だけ遅延し、補正対象画素Ｇｂに隣接する下画素（ｄ）の信号として補正回路５０に供給する。

このように、１Ｈ遅延信号Sig_Gb_1h、１Ｈ遅延信号Sig_R_1h、１Ｈ遅延信号Sig_B_1h、１Ｈ遅延信号Sig_B_1hおよび０Ｈ遅延信号Sig_R_0hが遅延回路６１〜６５を経由することで、補正対象画素Ｇｂの信号を（１Ｈ遅延＋１クロック遅延）の信号とした場合に、補正対象画素Ｇｂに上、右、左、下の各方向で辺で隣接する４個の周囲画素の各信号が抽出されて補正対象画素Ｇｂの信号と共に補正回路５０に入力されることになる。

（Ｂｃｈ用補正ブロック）
図４１は、Ｂｃｈ用補正ブロック１１３Ｈの構成の一例を示すブロック図である。本補正ブロック１１３Ｈは、補正ブロック１１３Ｅと同じ補正回路５０に加えて、４個の遅延回路６６〜６９を有し、図３６のラインメモリ群１１１から各チャンネル２個ずつ出力される計８つの信号の内、１Ｈ遅延信号Sig_B_1h、１Ｈ遅延信号Sig_Gr_1h、１Ｈ遅延信号Sig_Gb_1h、１Ｈ遅延信号Sig_Gb_1hおよび０Ｈ遅延信号Sig_Gr_0hを入力としている。

遅延回路６６は、１Ｈ遅延信号Sig_B_1hを１クロック分だけ遅延し、補正対象画素の信号として補正回路５０に供給する。本補正ブロック１１３Ｈにおいては、図３８（Ｄ）に示すように、Ｂが補正対象画素となる。遅延回路６７は、１Ｈ遅延信号Sig_Gr_1hを１クロック分だけ遅延し、補正対象画素Ｂに隣接する上画素（ａ）の信号として補正回路５０に供給する。

１Ｈ遅延信号Sig_Gb_1hは、補正対象画素Ｂに隣接する右画素（ｂ）の信号として補正回路５０に直接供給される。遅延回路６８は、１Ｈ遅延信号Sig_Gb_1hを１クロック分だけ遅延し、補正対象画素Ｂに隣接する左画素（ｃ）の信号として補正回路５０に供給する。遅延回路６９は、０Ｈ遅延信号Sig_Gr_0hを１クロック分だけ遅延し、補正対象画素Ｂに隣接する下画素（ｄ）の信号として補正回路５０に供給する。

このように、１Ｈ遅延信号Sig_B_1h、１Ｈ遅延信号Sig_Gr_1h、１Ｈ遅延信号Sig_Gb_1h、１Ｈ遅延信号Sig_Gb_1hおよび０Ｈ遅延信号Sig_Gr_0hが遅延回路６６〜６９を経由することで、補正対象画素Ｂの信号を（１Ｈ遅延＋１クロック遅延）の信号とした場合に、補正対象画素Ｂに上、右、左、下の各方向で辺で隣接する４個の周囲画素の各信号が抽出されて補正対象画素Ｂの信号と共に補正回路５０に入力されることになる。

［補正回路］
続いて、各チャンネルに共通の補正回路５０の具体的な構成について、実施例１〜３として説明する。

（実施例１）
図４２は、実施例１に係る補正回路５０Ａの構成を示すブロック図である。本補正回路５０Ａは、図１７に示す補正回路３０Ａと同じ回路構成となっており、異なるのは入力信号のみである。

具体的には、補正回路５０Ａは、補正対象画素の信号Sig_C（Sig_R／Sig_Gr／Sig_Gb／Sig_B）を中心とし、上、右、左、下の各方向の画素信号（上：Sig_Up，右：Sig_R，左：Sig_L，下：Sig_Lo）とそれぞれ差分をとった後の信号に、各々独立の補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄを掛け、その後に全ての信号の和をとったものを補正信号Sig_C’（Sig_R’／Sig_Gr’／Sig_Gb’／Sig_B’）とする。

ここで、Ｋａは補正対象画素と上の画素との間の混色（補正）割合、Ｋｂは補正対象画素と右の画素との間の混色割合、Ｋｃは補正対象画素と左の画素との間の混色割合、Ｋｄは補正対象画素と下の画素との間の混色割合である。

この補正回路５０Ａでの演算処理を補正式として表すと、
Sig_C' ＝ Sig_C
＋Ka×(Sig_C−Sig_Up)
＋Kb×(Sig_C−Sig_R)
＋Kc×(Sig_C−Sig_L)
＋Kd×(Sig_C−Sig_Lo) ……（６）

図４３は、上記（６）式に示される補正モデル式の説明図である。補正対象画素を取り囲む斜め４方向および上下左右の計８画素のうち、斜め４方向に位置する画素は、上下左右の隣接画素に比べて距離的に√２倍遠いために、補正対象画素に対する混色の影響度は上下左右の隣接画素の方が支配的であると言える。そこで、本実施形態では、斜め４方向の画素との間の混色は十分無視できるものとして、斜め４方向の画素については除外することとする。

（実施例２）
図４４は、実施例２に係る補正回路５０Ｂの構成を示すブロック図である。本補正回路５０Ｂは、図１９に示す補正回路３０Ｂと同じ回路構成となっており、異なるのは入力信号のみである。

具体的には、補正回路５０Ｂは、補正対象画素の信号Sig_C（Sig_R／Sig_Gr／Sig_Gb／Sig_B）を中心とし、上、右、左、下の各方向の画素信号（上：Sig_Up，右：Sig_R，左：Sig_L，下：Sig_Lo）とそれぞれ差分をとった後の信号同士を、通信Ｉ／Ｆ４２から与えられる方向性選択の制御信号（設定値）によって２つずつ組み合わせて和をとり、これら和信号に各々独立の補正パラメータＫ１，Ｋ２をかけ、その後全ての信号の和をとったものを補正信号Sig_C’（Sig_R’／Sig_Gr’／Sig_Gb’／Sig_B’）とする。

この補正回路５０Ｂでの演算処理を補正式として表すと、
・方向性選択の設定値：０の場合
Sig_C' ＝ Sig_C
＋K1×[(Sig_C−Sig_Up)＋(Sig_C−Sig_R)]
＋K2×[(Sig_C−Sig_L)＋(Sig_C−Sig_Lo)] ……（７）
・方向性選択の設定値：１の場合
Sig_C' ＝ Sig_C
＋K1×[(Sig_C−Sig_Up)＋(Sig_C−Sig_L)]
＋K2×[(Sig_C−Sig_R)＋(Sig_C−Sig_Lo)] ……（８）
・方向性選択の設定値：２の場合
Sig_C' ＝ Sig_C
＋K1×[(Sig_C−Sig_Up)＋(Sig_C−SIg_Lo)]
＋K2×[(Sig_C−Sig_R)＋(Sig_C−Sig_L)] ……（９）
となる。

図４５は、上記（７）式、（８）式、（９）式に示される補正モデル式の説明図である。補正モデル式自体の考え方は図４３と同じであり、方向性選択の設定値（０，１，２）別の補正率組み合わせと補正モデル式についてまとめたものである。

（実施例３）
図４６は、実施例３に係る補正回路５０Ｃの構成を示すブロック図である。本補正回路５０Ｃは、図２１に示す補正回路３０Ｃと同じ回路構成となっており、異なるのは入力信号のみである。

具体的には、補正回路５０Ｃは、補正対象画素の信号Sig_C（Sig_R／Sig_Gr／Sig_Gb／Sig_B）を中心とし、上、右、左、下の各方向の画素信号（上：Sig_Up，右：Sig_R，左：Sig_L，下：Sig_Lo）とそれぞれ差分をとった後の信号同士を全て加算し、その後唯一の補正パラメータＫをかけ、その後元の信号との和をとったものを補正信号Sig_C’（Sig_R’／Sig_Gr’／Sig_Gb’／Sig_B’）とする。

この補正回路５０Ｃでの演算処理を補正式として表すと、
Sig_C' ＝ Sig_C
＋K×[(Sig_C−Sig_Up)＋(Sig_C−Sig_R)
＋(Sig_C−Sig_L)＋(Sig_C−Sig_Lo)] ……（１０）
となる。

図４７は、上記（１０）式に示される補正モデル式の説明図である。補正モデル式自体の考え方は図４３と同じである。

上述した第３実施形態における各実施例に係る補正回路５０Ａ，５０Ｂ，５０Ｃによれば、第１実施形態における各実施例に係る補正回路３０Ａ，３０Ｂ，３０Ｃと同様に作用効果を得ることができる。

なお、実施例１に係る補正回路５０Ａでは（５）式のモデル式を、実施例２に係る補正回路５０Ｂでは（６）式乃至（８）式のモデル式を、実施例３に係る補正回路５０Ｃでは（９）式のモデル式を用いているが、本発明のポイントはモデル式自体にあるものではないために、補正回路５０Ａ，５０Ｂ，５０Ｃとしては、（５）式乃至（９）式の演算を実現する回路構成に限定されるものではない。

上述した第３実施形態に係る混色補正によれば、画素配置が正方格子状で、色コーディングが例えばベイヤ配列であり、２行を単位として垂直走査を行うＣＭＯＳイメージセンサ２０Ｃに対しても、注目画素に対する周囲画素の補正量を周囲画素ごとに独立に設定できるために、第１実施形態の場合と同様に作用効果を得ることができる。また、本実施形態に係る混色補正においても、第１実施形態の場合と同様に、色ごとに補正量を変えるようにすることができる。

なお、本実施形態では、正方格子状の画素配置に対して、色コーディングがベイヤ配列の場合を例に挙げて説明したが、ベイヤ配列への適用に限られるものではなく、正方格子状の色コーディング全般に対して適用可能である。

〈第４実施形態〉
以上説明した第１〜第３実施形態では、画素セルの物理的な中心と光学的な中心が必ずしも一致しないことに起因して、注目画素に対する周囲画素からの混色の割合（度合い）が異なる場合における混色補正について述べたが、混色は光学系１のレンズ１ａ（図１参照）のＦ値（絞り値）によっても変動することが知られている。このＦ値に基づいて混色補正を行うようにしたのが、以下に説明する第４実施形態に係る混色補正である。

図４８は、絞り１ｂの開口径（絞り値／Ｆ値）とＣＭＯＳイメージセンサ２における混色の関係を示す概念図である。

絞り１ｂは、光量の調整のために、被写体の状況やユーザーの指示に応じてその開口径が変動する。絞り１ｂを通過した光は、ＣＭＯＳイメージセンサ２上にある集光レンズ２ａおよび被写体の色を弁別するためのカラーフィルタ２ｂを通り、画素セル２１で受光される。カラーフィルタ２ｂは、一般的には、Ｒ，Ｇ，Ｂの３色からなり、第１，第２実施形態や第３実施形態で用いたような色コーディングを持つ。

ここで、絞り１ｂの開口径が小さい、即ちＦ値が大きい場合（Ａ）は、ある画素セル２１に集光する光は、その画素に対応した色フィルタのみを通過したものとなる。しかし、絞り１ｂの開口径を大きくした場合、即ちＦ値を小さくした場合（Ｂ）は、本来対応していない色フィルタを通過した光が画素セル２１に漏れ込んでしまう。

そこで、本実施形態に係る混色補正では、第１乃至第３実施形態に係る混色補正において、補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄの値を、絞り１ｂの開口径、即ちＦ値に応じて設定することで、被写体の状況やユーザーの設定によってＦ値が変動した場合でも常に適正な混色補正を実現することを特徴としている。Ｆ値に応じた補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄの値の設定は、図１におけるカメラ制御部５によって行われる。

図４９は、カメラ制御部５によって実行される補正処理、具体的にはＦ値に応じて補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄの補正値を設定する処理の手順を示すフローチャートである。この補正処理は、画像の更新周期に応じて繰り返して実行される。

本補正処理を開始したら、先ず、デジタル信号処理回路４からの検波データ、あるいはヒューマンＩ／Ｆ制御部６からのユーザー設定データから現在の絞り１ｂのＦ値がいくつであるか読み取る（ステップＳ１１）。次に、あらかじめ、Ｆ値に応じた補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄの補正値を補正テーブル（ＲＯＭテーブル等）に保持しておき、当該補正テーブルからステップＳ１１で得たＦ値に応じた補正値を読み出す（ステップＳ１２）。そして、補正テーブルから読み出した補正値を設定値としてデジタル信号処理回路４内の画素混色補正回路１１（図７、図２８を参照）に送信する（ステップＳ１３）。

このように、第１乃至第３実施形態に係る混色補正、即ち注目画素に隣接する複数の周囲画素の各信号と、当該各信号に対して各々独立して設定される補正パラメータとを用いて注目画素の信号に対して補正処理を行う混色補正において、補正パラメータの値を、Ｆ値（絞り１ｂの開口径）に応じて設定することで、注目画素に対する周囲画素の補正量に方向性を持たせることができるとともに、被写体の状況やユーザーの設定によってＦ値が変動した場合でも常に適正な混色補正を行うことができる。

なお、上記各実施形態では、固体撮像素子として、ＣＭＯＳイメージセンサを用いた場合を例に挙げて説明したが、本発明はＣＭＯＳイメージセンサへの適用に限られるものではなく、ＣＭＯＳイメージセンサ以外の増幅型固体撮像素子、さらにはＣＣＤイメージセンサに代表される電荷転送型固体撮像素子など固体撮像素子全般に適用可能である。

本発明が適用されるビデオカメラの構成の一例を示すブロック図である。 第１実施形態で用いられるＣＭＯＳイメージセンサの色コーディングを示す図である。 第１実施形態で用いられるＣＭＯＳイメージセンサの構成の概略を示すブロック図である。 第１実施形態における画素Ｒ，Ｇ，Ｂについての定義図である。 第１実施形態における出力チャンネル別の出力信号のシーケンスを示す図である。 第１実施形態におけるデジタル信号処理回路の構成の一例を示すブロック図である。 第１実施形態に係るカメラ信号処理回路の具体的な内部構成を示すブロック図である。 第１実施形態に係る混色補正処理回路の構成の一例を示すブロック図である。 Ｒ／Ｇｂ ｃｈ用補正ブロックの構成の一例を示すブロック図である。 補正対象画素Ｒ／Ｇｂと斜め方向に隣接する４個の周囲画素との関係を示す図である。 Ｇｒ／Ｂ ｃｈ用補正ブロックの構成の一例を示すブロック図である。 補正対象画素Ｇｒ／Ｂと斜め方向に隣接する４個の周囲画素との関係を示す図である。 Ｇｇｏ ｃｈ用補正ブロックの構成の一例を示すブロック図である。 補正対象画素Ｇｇｏと斜め方向に隣接する４個の周囲画素との関係を示す図である。 Ｇｇｅ ｃｈ用補正ブロックの構成の一例を示すブロック図である。 補正対象画素Ｇｇｅと斜め方向に隣接する４個の周囲画素との関係を示す図である。 第１実施形態における実施例１に係る補正回路の構成を示すブロック図である。 第１実施形態における実施例１に係る補正回路の補正モデル式の説明図である。 第１実施形態における実施例２に係る補正回路の構成を示すブロック図である。 第１実施形態における実施例２に係る補正回路の補正モデル式の説明図である。 第１実施形態における実施例３に係る補正回路の構成を示すブロック図である。 第１実施形態における実施例３に係る補正回路の補正モデル式の説明図である。 色ごとに補正量を変える場合のＲ／Ｇｂ ｃｈ用補正ブロックの構成を示すブロック図である。 色ごとに補正量を変える場合のＧｒ／Ｂ ｃｈ用補正ブロックの構成を示すブロック図である。 第２実施形態で用いられるＣＭＯＳイメージセンサの構成の概略を示すブロック図である。 第２実施形態における画素Ｒ，Ｇ，Ｂについての定義図である。 第２実施形態における出力チャンネル別の出力信号のシーケンスを示す図である。 第２実施形態に係るカメラ信号処理回路の具体的な内部構成を示すブロック図である。 並換処理回路の具体的な構成の一例を示すブロック図である。 並換処理回路の出力信号のシーケンスを示す図である。 画素ずらし配置における他の色コーディングを示す図である。 第３実施形態で用いられるＣＭＯＳイメージセンサの色コーディングを示す図である。 第３実施形態で用いられるＣＭＯＳイメージセンサの構成の概略を示すブロック図である。 第３実施形態における画素Ｒ，Ｇ，Ｂについての定義図である。 第３実施形態における出力チャンネル別の出力信号のシーケンスを示す図である。 第３実施形態に係る混色補正処理回路の構成の一例を示すブロック図である。 Ｒ ｃｈ用補正ブロックの構成の一例を示すブロック図である。 補正対象画素Ｒ／Ｇｒ／Ｇｂ／Ｂと上下左右方向に隣接する４個の周囲画素との関係を示す図である。 Ｇｒ ｃｈ用補正ブロックの構成の一例を示すブロック図である。 Ｇｂ ｃｈ用補正ブロックの構成の一例を示すブロック図である。 Ｂ ｃｈ用補正ブロックの構成の一例を示すブロック図である。 第１実施形態における実施例１に係る補正回路の構成を示すブロック図である。 第３実施形態における実施例１に係る補正回路の補正モデル式の説明図である。 第３実施形態における実施例２に係る補正回路の構成を示すブロック図である。 第３実施形態における実施例２に係る補正回路の補正モデル式の説明図である。 第３実施形態における実施例３に係る補正回路の構成を示すブロック図である。 第３実施形態における実施例３に係る補正回路の補正モデル式の説明図である。 絞りの開口径とＣＭＯＳイメージセンサにおける混色の関係を示す概念図である。 カメラ制御部によって実行される補正処理の手順を示すフローチャートである。

符号の説明

１…光学系、２，２０Ａ，２０Ｂ，２０Ｃ…ＣＭＯＳイメージセンサ、３…ＡＦＥ（アナログフロントエンド）、４…デジタル信号処理回路、５…カメラ制御部、６…ヒューマンＩ／Ｆ制御部、７…ユーザーインターフェース、８…タイミングジェネレータ、９…光学系駆動回路、１０…手ぶれセンサ、１１…混色補正処理回路、２１…画素セル、２２…画素アレイ部、２３…画素駆動線、２４…垂直走査回路、２５…垂直信号線、２６…カラム処理回路、２７…水平走査回路、２８…水平選択スイッチ、２９−１〜２９−４…水平信号線、３０，３０Ａ，３０Ｂ，３０Ｃ，５０，５０Ａ，５０Ｂ，５０Ｃ…補正回路

Claims (9)

1. 光電変換素子を含む画素が行列状に２次元配置され、輝度成分を作る上で主成分となる色成分と他の色成分を含むカラーフィルタが前記画素の表面上に配置されてなる固体撮像素子の画素間の混色を補正する信号処理に当たって、
   前記固体撮像素子の注目画素に対して辺で隣接する４個の周囲画素の各信号と、当該各信号に対して各々独立した補正パラメータとを用いて前記注目画素の信号に対して補正処理を行う補正処理手段を備えた
   固体撮像素子の信号処理装置。
2. 前記カラーフィルタは、前記主成分となる色成分および前記他の色成分が、前記主成分となる色成分で前記他の色成分の周囲を囲むように配置された色コーディングを持つ
   請求項１記載の固体撮像素子の信号処理装置。
3. 前記補正処理手段は、
   前記注目画素の信号を中心とし、前記４個の画素の各信号とそれぞれ差分をとる減算手段と、
   前記減算手段の前記４個の画素に対応した出力信号に各々独立の前記補正パラメータを掛ける掛算手段と、
   前記掛け算手段の出力信号を前記注目画素の信号に加算して補正信号とする加算手段とを有する
   請求項１記載の固体撮像素子の信号処理装置。
4. 前記補正パラメータの値は、前記補正処理手段の外部から通信にて任意に設定可能である
   請求項１記載の固体撮像素子の信号処理装置。
5. 前記補正パラメータの値は、前記カラーフィルタの色ごとに設定される
   請求項１記載の固体撮像素子の信号処理装置。
6. 前記補正パラメータの値は、被写体からの光を前記固体撮像素子に導く光学系に含まれる絞りの開口径に応じて設定される
   請求項１記載の固体撮像素子の信号処理装置。
7. 前記絞りの開口径に対応した補正パラメータの補正値をあらかじめ補正テーブルに保持しておき、当該補正テーブルから現在の前記絞りの開口径に応じた補正値を読み出して前記補正パラメータの値とする
   請求項６記載の固体撮像素子の信号処理装置。
8. 光電変換素子を含む画素が行列状に２次元配置され、輝度成分を作る上で主成分となる色成分と他の色成分を含むカラーフィルタが前記画素の表面上に配置されてなる固体撮像素子の画素間の混色を補正する信号処理に当たって、
   前記固体撮像素子の注目画素に対して辺で隣接する４個の周囲画素の各信号と、当該各信号に対して各々独立した補正パラメータとを用いて前記注目画素の信号に対して補正処理を行う
   固体撮像素子の信号処理方法。
9. 光電変換素子を含む画素が行列状に２次元配置され、輝度成分を作る上で主成分となる色成分と他の色成分を含むカラーフィルタが前記画素の表面上に配置されてなる固体撮像素子と、
   被写体からの光を前記固体撮像素子に導く光学系と、
   前記固体撮像素子の注目画素に対して辺で隣接する４個の周囲画素の各信号と、当該各信号に対して各々独立した補正パラメータとを用いて前記注目画素の信号に対して補正処理を行う補正処理手段と
   を具備する撮像装置。

Images