JP2018191260A - 固体撮像装置、駆動方法、及び電子機器 - Google Patents

Abstract

【課題】固体撮像装置の信号の読み出し速度の低下を抑止する。【解決手段】本技術の第１の側面である固体撮像装置は、複数の画素が配列された画素アレイ部と、前記画素から読み出されたノイズ信号及びデータ信号に対して、少なくともA/D変換を含む信号処理を行う信号処理部と、前記信号処理により得られる信号を保持するメモリ部とを備え、前記信号処理部は、所定のフレームから得られた前記ノイズ信号を前記メモリ部に記録し、前記所定のフレームより後のフレームから得られた前記データ信号の前記信号処理を、前記メモリ部に記録した前記ノイズ信号を利用して行う。本技術は、例えば、イメージセンサに適用できる。【選択図】図８

Description

本技術は、固体撮像装置、駆動方法、及び電子機器に関し、特に、例えば、１画素分の領域に複数の光電変換部が形成された固体撮像装置、駆動方法、及び電子機器に関する。

デジタルカメラ等のAF（オートフォーカス）方式として（像面）位相差AFが知られている（例えば、特許文献１参照）。

位相差AFを実現するイメージセンサの画素アレイ部には、画像の画素信号を得るための通常画素に加えて、入射光を瞳分割するための位相差検出画素が所定の位置に配置されている。

位相差検出画素は、例えば、位相差AFの用途に用いられており、位相差検出画素が配置されている位置の画素信号は補間処理によって得られていた。

そこで、位相差検出画素の出力を位相差AFの用途だけでなく、画像を構成する画素信号としても利用できるように、画素アレイ部の１画素分の領域に２つの光電変換部（フォトダイオード等）が形成された固体撮像装置が出現している。該固体撮像装置は、画素アレイの１画素分の領域に２つの光電変換部を有するので、以下、ダブル式センサと称する。

ダブル式センサでは、１画素分の領域に形成された２つの光電変換部の出力をそれぞれ個別に、位相差AFの用途に用いることができる。また、ダブル式センサでは、１画素分の領域に形成された２つの光電変換部の出力を加算して、画像を構成する画素の画素信号として用いることができる。

特開２００７−３０４１８８号公報

ただし、ダブル式センサの場合、１画素分の画素信号を得るためには、１画素分の領域に形成されている２つの光電変換部からそれぞれ読み出した信号にA/D(Analog Digital)変換を行う必要がある。したがって、１画素分の領域に１つの光電変換部が形成されたイメージセンサ（以下、シングル式センサと称する）に比較して、１画素当たりのA/D変換結果を得るまでに要する時間が長くなってしまい、ダブル式センサからの読み出し速度（fps）が低下してしまうことになる。

本技術はこのような状況に鑑みてなされたものであり、１画素分の領域に複数の光電変換部が形成された固体撮像装置の読み出し速度の低下を抑止できるようにするものである。

本開示の第１の側面である固体撮像装置は、複数の画素が配列された画素アレイ部と、前記画素から読み出されたノイズ信号及びデータ信号に対して、少なくともA/D変換を含む信号処理を行う信号処理部と、前記信号処理により得られる信号を保持するメモリ部とを備え、前記信号処理部は、所定のフレームから得られた前記ノイズ信号を前記メモリ部に記録し、前記所定のフレームより後のフレームから得られた前記データ信号の前記信号処理を、前記メモリ部に記録した前記ノイズ信号を利用して行う。

本開示の第１の側面である駆動方法は、複数の画素が配列された画素アレイ部と、前記画素から読み出されたノイズ信号及びデータ信号に対して、少なくともA/D変換を含む信号処理を行う信号処理部と、前記信号処理により得られる信号を保持するメモリ部とを備える固体撮像装置の駆動方法において、前記信号処理部による、所定のフレームから得られた前記ノイズ信号を前記メモリ部に記録する記録ステップと、前記所定のフレームより後のフレームから得られた前記データ信号の前記信号処理を、前記メモリ部に記録した前記ノイズ信号を利用して行う信号処理ステップとを含む。

本開示の第１の側面である電子機器は、固体撮像装置が搭載された電子機器において、前記固体撮像装置が、複数の画素が配列された画素アレイ部と、前記画素から読み出されたノイズ信号及びデータ信号に対して、少なくともA/D変換を含む信号処理を行う信号処理部と、前記信号処理により得られる信号を保持するメモリ部とを備え、前記信号処理部は、所定のフレームから得られた前記ノイズ信号を前記メモリ部に記録し、前記所定のフレームより後のフレームから得られた前記データ信号の前記信号処理を、前記メモリ部に記録した前記ノイズ信号を利用して行う。

本開示の第１の側面においては、所定のフレームから得られたノイズ信号がメモリ部に記録され、前記所定のフレームより後のフレームから得られたデータ信号の信号処理が、前記メモリ部に記録された前記ノイズ信号を利用して行われる。

本技術の第２の側面である固体撮像装置は、第１の画素を含む複数の画素が配列された第１の半導体基板と、前記第１の画素から読み出された読み出し信号に対してA/D変換を行うA/D変換部を有する第２の半導体基板と、メモリ部を有する第３の半導体基板とを備え、前記第１の半導体基板を最上層とし、前記第１の半導体基板、前記第２の半導体基板、及び前記第３の半導体基板が３層に積層され、前記読み出し信号は、第１のフレームで得られる第１のノイズ信号及び第１のデータ信号と、第２のフレームで得られる第２のデータ信号とを含み、前記メモリ部は、前記第１のノイズ信号を記録し、前記A/D変換部は、前記第１のデータ信号と前記第１のノイズ信号に応じて第１のA/D変換を行い、前記第２のデータ信号と前記第１のノイズ信号に応じて第２のA/D変換を行う。

本技術の第２の側面である駆動方法は、第１の画素を含む複数の画素が配列された第１の半導体基板と、前記第１の画素から読み出された読み出し信号に対してA/D変換を行うA/D変換部を有する第２の半導体基板と、メモリ部を有する第３の半導体基板とを備え、前記第１の半導体基板を最上層とし、前記第１の半導体基板、前記第２の半導体基板、及び前記第３の半導体基板が３層に積層され、前記読み出し信号は、第１のフレームで得られる第１のノイズ信号及び第１のデータ信号と、第２のフレームで得られる第２のデータ信号とを含む固体撮像装置の駆動方法において、前記メモリ部による、前記第１のノイズ信号を記録する記録ステップと、前記A/D変換部による、前記第１のデータ信号と前記第１のノイズ信号に応じて第１のA/D変換を行う第１のA/D変換ステップと、前記第２のデータ信号と前記第１のノイズ信号に応じて第２のA/D変換を行う第２のA/D変換ステップとを含む。

本技術の第２の側面である電子機器は、固体撮像装置が搭載された電子機器において、前記固体撮像装置が、第１の画素を含む複数の画素が配列された第１の半導体基板と、前記第１の画素から読み出された読み出し信号に対してA/D変換を行うA/D変換部を有する第２の半導体基板と、メモリ部を有する第３の半導体基板とを備え、前記第１の半導体基板を最上層とし、前記第１の半導体基板、前記第２の半導体基板、及び前記第３の半導体基板が３層に積層され、前記読み出し信号は、第１のフレームで得られる第１のノイズ信号及び第１のデータ信号と、第２のフレームで得られる第２のデータ信号とを含み、前記メモリ部は、前記第１のノイズ信号を記録し、前記A/D変換部は、前記第１のデータ信号と前記第１のノイズ信号に応じて第１のA/D変換を行い、前記第２のデータ信号と前記第１のノイズ信号に応じて第２のA/D変換を行う。

本技術の第２の側面においては、第１のフレームで得られる第１のノイズ信号及び第１のデータ信号と、第２のフレームで得られる第２のデータ信号のうち、前記第１のノイズ信号がメモリ部に記録され、前記第１のデータ信号と前記第１のノイズ信号に応じて第１のA/D変換が行われ、前記第２のデータ信号と前記第１のノイズ信号に応じて第２のA/D変換が行われる。

本技術の第１の側面によれば、固体撮像装置の読み出し速度の低下を抑止することができる。

本技術の第２の側面によれば、固体撮像装置の読み出し速度の低下を抑止することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

１画素の領域に１つの光電変換部が形成されたシングル式イメージセンサにおける画素アレイ部の構成例を示す図である。 シングル式センサの画素によるND駆動を説明するための図である。 １画素の領域に２つの光電変換部が形成されたダブル式センサにおける画素アレイ部の構成例を示す図である。 ダブル式センサの画素によるNDND駆動を説明するための図である。 ダブル式センサの画素に想定できるNDD駆動を説明するための図である。 ダブル式センサの画素に適用するDD駆動を説明するための図である。 本技術を適用した固体撮像装置の構成例を示すブロック図である。 NDND駆動とDD駆動をフレーム単位で切り替える例を示す図である。 NDND駆動時の処理を説明するフローチャートである。 DD駆動時の処理を説明するフローチャートである。 前段処理と後段処理を並行して実行することの効果を示す図である。 NDND駆動とDD駆動をライン単位で切り替える例を示す図である。 シングル式センサにおけるND駆動とD駆動を説明するための図である。 ND駆動とD駆動をフレーム単位で切り替える例示す図である。 ND駆動とD駆動をライン単位で切り替える例示す図である。 図７の固体撮像装置を２層の積層チップとした場合の構成例を示す平面図である。 図７の固体撮像装置を３層の積層チップとした場合の構成例を示す平面図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。なお、説明は、以下の順序で行なう。
１．本技術の概要
２．本技術の実施の形態である固体撮像装置の構成例
３．本技術の実施の形態である固体撮像装置によるフレーム単位のNDND駆動とDD駆動の切り替え
４−１．NDND駆動時の処理
４−２．DD駆動時の処理
５．出力レートの安定化
６．本技術の実施の形態である固体撮像装置によるライン単位のNDND駆動とDD駆動の切り替え
７．変形例
８．本技術の実施の形態である固体撮像装置を積層チップとした場合の構成例
９．移動体への応用例

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

＜１．本技術の概要＞
始めに、本技術の概要について説明する。

図１は、シングル式センサにおける画素アレイ部の構成例を示している。シングル式センサの画素アレイ部１０の１画素分の領域には、１つの光電変換部（フォトダイオード等）１１が形成されている。

図２は、図１に示されたシングル式センサの画素から読み出された信号をA/D変換する一連の駆動を説明するための図である。なお、期間Tは、１画素分の領域に形成された１つの光電変換部１１からアナログの電圧信号を読み出し、A/D変換を行う期間を示す。点線L1は、画素から読み出されたアナログの電圧信号（後述するノイズ信号とデータ信号）を示し、実線L2は、前記電圧信号をA/D変換する際に前記電圧信号と比較される参照信号を示している。

ここで、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサにおいて、画素の駆動（画素からの信号の読み出し及びA/D変換）としては、ノイズ信号の読出し及びA/D変換と、データ信号の読出し及びA/D変換とが行われる。

ノイズ信号の読出し及びA/D変換では、画素のFD（フローティングディフュージョン）（図示せず）をリセットした直後の、そのFDの電圧がノイズ信号として読み出されてA/D変換される。

データ信号の読出し及びA/D変換では、光電変換部１１で生成された電荷がFDに転送された後の、そのFDの電圧がデータ信号として読み出されてA/D変換される。

ここで、ノイズ信号のA/D変換を行うための期間を期間Nとも称し、データ信号のA/D変換を行うための期間を期間Dとも称することにする。

図２は、シングル式センサの画素の駆動における期間N及び期間Dを示している。

図２において、期間Nでは、参照信号L2が一定の割合で減少する。そして、参照信号L2が減少し始める期間Nの先頭から、参照信号L2と、ノイズ信号としての電圧信号L1とが一致するまでの時間に対応する値が、ノイズ信号のA/D変換結果として出力される。

期間Dでは、参照信号L2が一定の割合で減少する。そして、参照信号L2が減少し始める期間Dの先頭から、参照信号L2と、データ信号としての電圧信号L2とが一致するまでの時間に対応する値が、データ信号のA/D変換結果として出力される。

シングル式センサでは、データ信号のA/D変換結果からノイズ信号のA/D変換結果を減算した減算値を求める（デジタル）CDS(Correlated Double Sampling)処理が行われ、その減算値が、画像を構成する画素信号として出力される。

図２に示されるように、シングル式センサの画素の一連の駆動は、ノイズ信号をA/D変換する期間Nと、データ信号をA/D変換する期間Dから成る。

以下、図２に示された一連の駆動をND駆動と称する。ND駆動では、CDS処理は、期間Dにおいてデータ信号のA/D変換とともに行うことができる。

次に、図３は、ダブル式センサにおける画素アレイ部の構成例を示している。すなわちダブル式センサにおける画素アレイ部２１の１画素分の領域には、その左半分に光電変換部１１Ｌが、その右半分に光電変換部１１Ｒが形成されている。

図４は、図３に示されたダブル式センサの画素から読み出された電圧信号をA/D変換を行う一連の駆動を説明するための図である。なお、期間TLは、１画素分の領域に形成された光電変換部１１Ｌ及び１１Ｒのうち、光電変換部１１Ｌから電圧信号を読み出し、A/D変換を行う期間を示す。期間TRは、１画素分の領域に形成された光電変換部１１Ｌ及び１１Ｒのうち、光電変換部１１Ｒから電圧信号を読み出し、A/D変換を行う期間を示す。点線L1は、画素から読み出されたアナログの電圧信号を示し、実線L2は、前記電圧信号をA/D変換する際に前記電圧信号と比較される参照信号を示している。後述する図５及び図６についても同様である。

図４に示されるように、ダブル式センサの画素の駆動は、光電変換部１１Ｌについてのノイズ信号をA/D変換する期間Nと、光電変換部１１Ｌについてデータ信号をA/D変換する期間Dと、光電変換部１１Ｒについてのノイズ信号をA/D変換する期間Nと、光電変換部１１Ｒについてのデータ信号をA/D変換する期間Dから成る。

以下、図４に示された一連の駆動をNDND駆動と称する。NDND駆動（第１の駆動）では、光電変換部１１ＬについてのCDS処理は、光電変換部１１Ｌについての期間Dにおいて、光電変換部１１Ｌについてのデータ信号のA/D変換とともに行うことができる。光電変換部１１ＲについてのCDS処理は、光電変換部１１Ｒについての期間Dにおいて、光電変換部１１Ｒについてのデータ信号のA/D変換とともに行うことができる。

すなわち、光電変換部１１Ｌについての期間Nでは、参照信号L2と、光電変換部１１Ｌについてのノイズ信号としての電圧信号L1とが一致するまでの時間をカウントすることにより、光電変換部１１Ｌについてのノイズ信号のA/D変換を行うこと、すなわち、参照信号L2と、光電変換部１１Ｌについてのノイズ信号としての電圧信号L1とが一致するまでの時間のカウント値を、光電変換部１１Ｌについてのノイズ信号のA/D変換結果として得ることができる。

さらに、光電変換部１１Ｌについての期間Dでは、参照信号L2と、光電変換部１１Ｌについてのデータ信号としての電圧信号L1とが一致するまでの時間をカウントすることにより、光電変換部１１Ｌについてのデータ信号のA/D変換を行うこと、すなわち、参照信号L2と、光電変換部１１Ｌについてのデータ信号としての電圧信号L1とが一致するまでの時間のカウント値を、光電変換部１１Ｌについてのデータ信号のA/D変換結果として得ることができる。

光電変換部１１Ｌについての期間Dにおいて、時間のカウントをノイズ信号のA/D変換結果としてのカウント値を初期値として、ノイズ信号のA/D変換とは逆方向（ノイズ信号のA/D変換における時間のカウントがカウント値のデクリメントにより行われる場合、逆方向とはインクリメント）に行うことにより、光電変換部１１ＬについてのCDS処理は、光電変換部１１Ｌについてのデータ信号のA/D変換として（とともに）行うことができる。

これら光電変換部１１Ｌ及び１１Ｒの２つの画素信号は、個別に、位相差AFに用いることができる。また、これら２つの画素信号は、加算することにより、画像の１画素分の画素信号として用いることができる。

ただし、図２と図４を比較して明らかなように、ND駆動ではA/D変換が期間N及び期間Dで２回行われることに対し、NDND駆動では、A/D変換が光電変換部１１Ｌについての期間N及び期間D、並びに、光電変換部１１Ｒについての期間N及び期間Dで４回行われるので、A/D変換の結果を得るまでに要する時間が倍になる。

この対策としては、例えば、図５に示される駆動方法が考えられる。すなわち、図５は、図２に示されたダブル式センサの画素から読み出された信号をA/D変換を行う場合に要する時間を短縮できる一連の駆動を説明するための図である。

図５に示される駆動は、光電変換部１１Ｌについてのノイズ信号をA/D変換する期間Nと、光電変換部１１Ｌについてデータ信号をA/D変換する期間Dと、光電変換部１１Ｒについてのデータ信号をA/D変換する期間Dから成る。

すなわち、図５に示される駆動は、図４に示されたNDND駆動から、光電変換部１１Ｒについてのノイズ信号をA/D変換する期間Nが省略されたものである。以下、図５に示された一連の駆動をNDD駆動と称する。NDD駆動の結果得られる画素の左半分の画素信号は、CDS処理が行われたものとなる。

図４と図５を比較して明らかなように、NDD駆動は、NDND駆動よりも、A/D変換の結果を得るまでに要する時間を3/4に短縮できることがわかる。しかしながら、ND駆動と比較した場合、依然として3/2倍の時間を要している。

そこで、本開示では、ダブル式センサからA/D変換の結果を得るまでに要する時間を、ND駆動と同等にできる駆動方法を提案する。

図６は、本開示によって提案するDD駆動を説明するための図である。

DD駆動（第２の駆動）は、光電変換部１１Ｌについてのデータ信号をA/D変換する期間Dと、光電変換部１１Ｒについてのデータ信号をA/D変換する期間Dから成る。ただし、DD駆動だけを実行している場合、光電変換部１１Ｌ及び１１Ｒについてのノイズ信号を読み出すことができず、CDS処理を行うことができない。そこで、DD駆動の前にNDND駆動も行うようにし、そのNDND駆動の際に読み出したノイズ信号をA/D変換してメモリ部に記録し、それ以降に実行されるDD駆動時に読み出されたデータ信号からノイズを除去するためのCDS処理に用いるようにする。

なお、NDND駆動を短い周期で定期的に実行するようにすれば、メモリ部に記録するノイズ信号を頻繁に更新することができ、CDS処理を行うデータ信号とノイズ信号の時間的な間隔を狭めることができるのでノイズ削減の効果を高めることができる。

＜２．本技術の実施の形態である固体撮像装置の構成例＞
次に、図７は、本技術の実施の形態である固体撮像装置の構成例を示すブロック図である。

該固体撮像装置は、ダブル式センサであり、画素アレイ部２１、制御部２２、前段処理部２３、メモリ部２４、及び後段処理部２５を有する。

画素アレイ部２１には、複数の画素が縦横に配置されている。画素アレイ部２１の各画素の領域には、図３に示されたように、その左半分に光電変換部１１Ｌが形成されており、その右半分に光電変換部１１Ｒが形成されている。なお、各画素領域の光電変換部１１Ｌと光電変換部１１Ｒは、後段の前段処理部２３に含まれるA/D変換部を共有するものとする。

制御部２２は、画素アレイ部２１に配置されている各画素の駆動を制御する。具体的には、各画素の領域に形成されている光電変換部１１Ｌと光電変換部１１Ｒについてのノイズ信号及びデータ信号の読み出しを個別に制御できる。

前段処理部２３（信号処理部）は、画素アレイ部２１からNDND駆動及びDD駆動によって読み出されたノイズ信号及びデータ信号に、ゲイン処理、A/D変換処理、CDS処理等の前段処理を行い、前段処理の結果得られる画素信号をメモリ部２４に記録する。

また、前段処理部２３は、画素アレイ部２１からNDND駆動により、読み出された光電変換部１１Ｌ及び１１Ｒそれぞれについてのノイズ信号をA/D変換してメモリ部２４に記録する。さらに、前段処理部２３は、メモリ部２４に記録したA/D変換済みのノイズ信号を読み出し、NDND駆動の後に行われたDD駆動によって読み出されたデータ信号から、読み出したノイズ信号を除算することによりCDS処理を実行する。

メモリ部２４は、例えば、DRAM(Dynamic Random Access Memory)等から成り、フレーム単位の画素信号を記録できる容量を有する。

後段処理部２５（他の信号処理部）は、メモリ部２４に記録されている前段処理済の画素信号を読み出し、欠陥補正処理、ノイズリダクション処理、またはHDR(High Dynamic Range)処理のうちの少なくとも一つを含む後段処理を行い、後段処理済の画素信号を出力する。なお、後段処理部２５は、NDND駆動時とDD駆動時において等しいレートで後段処理を行うことができる。

＜３．NDND駆動とDD駆動のフレーム単位での切り替え＞
図８は、本技術の実施の形態である固体撮像装置による、フレーム単位でNDND駆動とDD駆動を切り替える例を示している。

NDND駆動とDD駆動をフレーム単位で切り替える場合、垂直同期信号（V同期信号）に同期して周期的にNDND駆動とDD駆動が切り替えられる。

同図の場合、DD駆動が４回実行される毎にNDND駆動が行われる。例えば、番号F1のフレームに対してはNDND駆動が行われる。番号F2乃至F5のフレームに対してはDD駆動が行われ、番号F6のフレームに対してはNDND駆動が行われる。

＜４−１．NDND駆動時の処理＞
図９は、本技術の実施の形態である固体撮像装置によるNDND駆動時の処理を説明するフローチャートである。

ステップＳ１において、画素アレイ部２１は、制御部２２からの制御に従い、各画素の光電変換部１１Ｌについてのノイズ信号（第１のノイズ信号）を読み出して前段処理部２３に出力する。

ステップＳ２において、前段処理部２３は、読み出された光電変換部１１Ｌについてのノイズ信号の前段処理としてA/D変換を行い、ステップＳ３において、そのノイズ信号（のA/D変換結果）をメモリ部２４に記録する。メモリ部２４に記録されたノイズ信号は、後述するDD駆動時の処理で利用される。

ステップＳ４において、画素アレイ部２１は、制御部２２からの制御に従い、各画素の光電変換部１１Ｌについてのデータ信号（第１のデータ信号）を読み出して前段処理部２３に出力する。

ステップＳ５において、前段処理部２３は、光電変換部１１Ｌについてのデータ信号の前段処理としてのA/D変換を行う。ステップＳ５の光電変換部１１Ｌについてのデータ信号のA/D変換（第１のA/D変換）は、光電変換部１１Ｌについてのデータ信号、及び、直前に行われたステップＳ２で得られる光電変換部１１Ｌについてのノイズ信号のA/D変換結果に応じて行われる。すなわち、例えば、図４で説明したように、ステップＳ５の光電変換部１１Ｌについてのデータ信号のA/D変換は、光電変換部１１Ｌについてのノイズ信号のA/D変換結果としてのカウント値を初期値として行われ、これにより、CDS処理も行われる。

前段処理部２３は、光電変換部１１Ｌについてのデータ信号のA/D変換により得られるデジタル信号を、光電変換部１１Ｌに対応する前段処理済の画素信号として、ライン毎にメモリ部２４に順次記録する。

ステップＳ６において、後段処理部２５は、メモリ部２４に順次記録されている、光電変換部１１Ｌに対応する、前段処理済の画素信号をライン単位に読み出して後段処理を行い、後段処理済の画素信号を出力する。

なお、ステップＳ６の処理の開始は、ステップＳ５の処理によって１フレーム分の前段処理済の画素信号がメモリ部２４に記録されるまで待つ必要はなく、メモリ部２４に前段処理済の画素信号がライン単位で記録される毎に実行することができる。

ステップＳ７において、画素アレイ部２１は、制御部２２からの制御に従い、各画素の光電変換部１１Ｒについてのノイズ信号（第１のノイズ信号）を読み出して前段処理部２３に出力する。

ステップＳ８において、前段処理部２３は、読み出された光電変換部１１Ｒについてのノイズ信号の前段処理としてA/D変換を行い、ステップＳ９において、そのノイズ信号（のA/D変換結果）をメモリ部２４に記録する。メモリ部２４に記録されたノイズ信号は、後述するDD駆動時の処理で利用される。

ステップＳ１０において、画素アレイ部２１は、制御部２２からの制御に従い、各画素の光電変換部１１Ｒについてのデータ信号（第１のデータ信号）を読み出して前段処理部２３に出力する。

ステップＳ１１において、前段処理部２３は、光電変換部１１Ｒについてのデータ信号の前段処理としてのA/D変換を行う。ステップＳ１１の光電変換部１１Ｒについてのデータ信号のA/D変換（第１のA/D変換）は、光電変換部１１Ｒについてのデータ信号、及び、直前に行われたステップＳ８で得られる光電変換部１１Ｌについてのノイズ信号のA/D変換結果に応じて行われる。すなわち、例えば、図４で説明したように、ステップＳ１１の光電変換部１１Ｒについてのデータ信号のA/D変換は、光電変換部１１Ｒについてのノイズ信号のA/D変換結果としてのカウント値を初期値として行われ、これにより、CDS処理も行われる。

前段処理部２３は、光電変換部１１Ｒについてのデータ信号のA/D変換により得られるデジタル信号を、光電変換部１１Ｒに対応する前段処理済の画素信号として、ライン毎にメモリ部２４に順次記録する。

ステップＳ１２において、後段処理部２５は、メモリ部２４に順次記録されている、光電変換部１１Ｒに対応する、前段処理済の画素信号をライン単位に読み出して後段処理を行い、後段処理済の画素信号を出力する。

なお、ステップＳ１２の処理の開始は、ステップＳ１１の処理によって１フレーム分の前段処理済の画素信号がメモリ部２４に記録されるまで待つ必要はなく、メモリ部２４に前段処理済の画素信号がライン単位で記録される毎に実行することができる。

以上で、NDND駆動時の処理の説明を終了する。

＜４−２．DD駆動時の処理＞
図１０は、本技術の実施の形態である固体撮像装置によるDD駆動時の処理を説明するフローチャートである。

ステップＳ２１おいて、前段処理部２３は、メモリ部２４に記録されている、前回のNDND駆動で光電変換部１１Ｌについてのノイズ信号（第１のノイズ信号）を読み出す。

ステップＳ２２において、画素アレイ部２１は、制御部２２からの制御に従い、各画素の光電変換部１１Ｌについてのデータ信号（第２のデータ信号）を読み出して前段処理部２３に出力する。

ステップＳ２３において、前段処理部２３は、光電変換部１１Ｌについてのデータ信号の前段処理としてのA/D変換を行う。ステップＳ２３の光電変換部１１Ｌについてのデータ信号のA/D変換（第２のA/D変換）は、光電変換部１１Ｌについてのデータ信号、及び、ステップＳ２１でメモリ部２４から読み出されたノイズ信号、すなわち、（直）前に行われたNDND駆動で得られた光電変換部１１Ｌについてのノイズ信号のA/D変換結果に応じて行われる。すなわち、例えば、図４で説明したように、ステップＳ２３の光電変換部１１Ｌについてのデータ信号のA/D変換は、メモリ部２４から読み出されたノイズ信号のA/D変換結果としてのカウント値を初期値として行われ、これにより、CDS処理も行われる。

前段処理部２３は、光電変換部１１Ｌについてのデータ信号のA/D変換により得られるデジタル信号を、光電変換部１１Ｌに対応する前段処理済の画素信号としてライン毎にメモリ部２４に順次記録する。

ステップＳ２４において、後段処理部２５は、メモリ部２４に記録されている、光電変換部１１Ｌに対応する前段処理済の画素信号をライン単位で読み出して後段処理を行い、後段処理済の画素信号を出力する。

なお、ステップＳ２４の処理の開始は、ステップＳ２３の処理によって１フレーム分の前段処理済の画素信号がメモリ部２４に記録されるまで待つ必要はなく、メモリ部２４に前段処理済の画素信号がライン単位で記録される毎に実行することができる。

ステップＳ２５おいて、前段処理部２３は、メモリ部２４に記録されている、前回のNDND駆動で光電変換部１１Ｒについてのノイズ信号（第１のノイズ信号）を読み出す。

ステップＳ２６において、画素アレイ部２１は、制御部２２からの制御に従い、各画素の光電変換部１１Ｒについてのデータ信号（第２のデータ信号）を読み出して前段処理部２３に出力する。

ステップＳ２７において、前段処理部２３は、光電変換部１１Ｒについてのデータ信号の前段処理としてのA/D変換を行う。ステップＳ２７の光電変換部１１Ｒについてのデータ信号のA/D変換（第２のA/D変換）は、光電変換部１１Ｒについてのデータ信号、及び、ステップＳ２５でメモリ部２４から読み出されたノイズ信号、すなわち、（直）前に行われたNDND駆動で得られた光電変換部１１Ｒについてのノイズ信号のA/D変換結果に応じて行われる。すなわち、例えば、図４で説明したように、ステップＳ２７の光電変換部１１Ｒについてのデータ信号のA/D変換は、メモリ部２４から読み出されたノイズ信号のA/D変換結果としてのカウント値を初期値として行われ、これにより、CDS処理も行われる。

前段処理部２３は、光電変換部１１Ｒについてのデータ信号のA/D変換により得られるデジタル信号を、光電変換部１１Ｒに対応する前段処理済の画素信号としてライン毎にメモリ部２４に順次記録する。

ステップＳ２８において、後段処理部２５は、メモリ部２４に記録されている、光電変換部１１Ｒに対応する前段処理済の画素信号をライン単位で読み出して後段処理を行い、後段処理済の画素信号を出力する。

なお、ステップＳ２８の処理の開始は、ステップＳ２７の処理によって１フレーム分の前段処理済の画素信号がメモリ部２４に記録されるまで待つ必要はなく、メモリ部２４に前段処理済の画素信号がライン単位で記録される毎に実行することができる。

なお、ステップＳ２３及びステップＳ２７で行われる前段処理に含まれるデータ信号のA/D変換とともに行われるCDS処理は、周期的に実行される前回（図８の場合、最大４フレーム前）のNDND駆動時のノイズ信号が利用されるので、データ信号と同じフレームのノイズ信号が用いられる場合よりは劣るものの、データ信号と同じフレームのノイズ信号が用いられる場合に近い効果が認められる。

以上で、DD駆動時の処理の説明を終了する。

＜５．出力レートの安定化＞
通常、１フレーム分の前段処理に要する時間は、１フレーム分の後段処理に要する時間よりも短い。また、１フレーム分の前段処理に要する時間は、NDND駆動時の方がDD駆動時よりも長い。これに対して、１フレーム分の後段処理に要する時間は、NDND駆動時とDD駆動時で変わらない。

また、前段処理部２３と後段処理部２５の間にメモリ部２４が設けられていない構成を想定した場合、１フレーム分の前段処理と後段処理に要する時間には、NDND駆動時とDD駆動時の前段処理に要する時間差がそのまま影響する。したがって、NDND駆動とDD駆動を切り替えた場合、後段処理済の画素データの出力レートが変化してしまうことになる。

これに対して、本技術の実施の形態である固体撮像装置では、前段処理部２３と後段処理部２５の間にメモリ部２４を設けているので、前段処理部２３による前段処理と後段処理部２５による後段処理を個別に並行して実行することができる。

図１１は、前段処理部２３による前段処理と後段処理部２５による後段処理を個別に並行して実行できることの効果を示している。

図１１において、横軸は、前段処理及び後段処理の処理時間を表し、縦軸は、前段処理及び後段処理の処理対象となるライン（処理ライン）を表す。

前段処理と後段処理を個別に並行して実行した場合、後段処理に要する時間TBが一定で、前段処理に要する時間TFが変化するが、後段処理に要する時間TBが前段処理に要する時間TFよりも長いときには、NDND駆動とDD駆動とで、前段処理に要する時間TFの変化により、前段処理の処理レートRFが変化しても、後段処理の処理レートRBは一定とすること、すなわち、後段処理済の画素信号の出力レートを一定とすることができる。

＜６．NDND駆動とDD駆動のライン単位での切り替え＞
次に、図１２は、本技術の実施の形態である固体撮像装による、ライン単位でNDND駆動とDD駆動を切り替える例を示している。

ライン単位でNDND駆動とDD駆動を切り替える場合、NDND駆動とDD駆動を水平同期信号（H同期信号）に同期してライン単位で周期的に切り替えるようにする。

ただし、連続するフレームにおける同一位置のラインの一方のラインにNDND駆動を適用し、他方のラインにDD駆動を適用することとする。さらに、DD駆動が適用されるラインにおける前段処理では、その１フレーム前のNDND駆動を適用した一方のラインについてのノイズ信号を利用するようにする。

具体的には、番号F1のフレームの奇数ラインにNDND駆動を適用し、偶数ラインにDD駆動を適用した場合、番号F2のフレームの奇数ラインにDD駆動を適用し、偶数ラインにNDND駆動を適用する。そして、番号F2のフレームのDD駆動が適用された奇数ラインの前段処理には、番号F1のフレームのNDND駆動が適用された同一位置の偶数ラインのノイズ信号が利用される。

図１２に示されたライン単位での切り替えの場合、図８に示されたフレーム単位での切り替えに比較して、NDND駆動とDD駆動の切り替え頻度が高いので、１フレーム分の前段処理に要する時間が長くなる。しかしながら、前段処理におけるCDS処理に用いられるデータ信号とノイズ信号のフレーム間隔については、ライン単位での切り替えでは、図８の場合、最大４フレームであったが、ライン単位での切り替えの場合は１フレームとなる。よって、ライン単位での切り替えは、フレーム単位での切り替えによりもCDS処理によるノイズ除去の効果を高めることができる。

＜７．変形例＞
本技術の実施の形態である固体撮像装置においては、１画素分の領域の左半分と右半分にそれぞれ光電変換部１１を形成するようにしたが、１画素分の領域の上半分と下半分にそれぞれ光電変換部１１を形成するようにしてもよい。

また、１画素分の領域に３つ以上の光電変換部を形成するようにした場合でも、本技術を適用することが可能である。

さらに、１画素分の領域に１つの光電変換部が形成されているシングル式センサにおいて、ノイズ信号を読み出してからデータ信号を読み出すND駆動と、ノイズ信号の読み出しを省略してデータ信号だけを読み出すD駆動とを切り替えるようにしてもよい。

図１３は、シングル式センサにおけるND駆動とD駆動を示している。同図のＡは、シングル式センサにおけるND駆動を示している。ND駆動は、図２と同様であるため、その説明は省略する。同図のＢは、シングル式センサにおけるD駆動を示している。D駆動では、ND駆動と比較すると期間Nが無く、期間Dを有する。D駆動は、ND駆動に比較して、要する時間が1/2となる。したがって、D駆動を行うことにより、シングル式センサからの信号の読み出し速度を高速化することができる。

図１４は、シングル式センサにおいて、D駆動とND駆動を垂直同期信号（V同期信号）に同期してフレーム単位で周期的に切り替える駆動を説明する図である。

同図の場合、D駆動が４回実行される毎にND駆動が行われる。例えば、番号F1のフレームにはND駆動が適用され、番号F2乃至F5のフレームにはD駆動が適用され、番号F6のフレームにはND駆動が適用される。

図１５は、シングル式センサにおいて、D駆動とND駆動を水平同期信号（H同期信号）に同期してライン単位で周期的に切り替える駆動を説明する図である。

ただし、連続するフレームにおける同一位置のラインの一方のラインにND駆動を適用し、他方のラインにD駆動を適用することとする。さらに、D駆動が適用されるラインにおける前段処理では、その１フレーム前のND駆動を適用した一方のラインについてのノイズ信号を利用するようにする。

具体的には、番号F1のフレームの奇数ラインにND駆動を適用し、偶数ラインにD駆動を適用した場合、番号F2のフレームの奇数ラインにD駆動を適用し、偶数ラインにND駆動を適用する。そして、番号F2のフレームのD駆動が適用された奇数ラインの前段処理には、番号F1のフレームのND駆動が適用された同一位置の偶数ラインのノイズ信号が利用される。

図１５に示されたライン単位での切り替えの場合、図１４に示されたフレーム単位での切り替えに比較して、ND駆動とD駆動の切り替え頻度が高いので、１フレーム分の前段処理に要する時間が長くなる。しかしながら、前段処理におけるCDS処理に用いられるデータ信号とノイズ信号のフレーム間隔については、ライン単位での切り替えでは、図１４の場合、最大４フレームであったが、ライン単位での切り替えの場合は１フレームとなる。よって、ライン単位での切り替えは、フレーム単位での切り替えによりもCDS処理によるノイズ除去の効果を高めることができる。

＜８．本技術の実施の形態である固体撮像装置を積層チップ構造とした場合の構成例＞
本技術の実施の形態である固体撮像装置は、複数のチップを積層して成る積層チップ構造を採ることができる。

図１６は、本技術の実施の形態である固体撮像装置を第１及び第２のチップを積層して構成した場合の構成例を示す平面図である。同図のＡは第１のチップ３１を示し、同図のＢは第２のチップ３２を示している。

すなわち、同図において、本技術の実施の形態である固体撮像装置は、画素アレイ部２１が形成された第１のチップ３１と、前段処理部２３、メモリ部２４、及び後段処理部２５が形成された第２のチップ３２とを積層して成る積層チップ構造を採っている。

第１のチップ３１に形成された画素アレイ部２１と、第２のチップ３２に形成された後段処理部２５とは、ビア(VIA)４１を介して接続される。

次に、図１７は、本技術の実施の形態である固体撮像装置を第１乃至第３のチップを積層して構成した場合の構成例を示すブロック図である。同図のＡは第１のチップ６１（第１の半導体基板）を示し、同図のＢは第２のチップ６２（第２の半導体基板）を示し、同図のＣは第３のチップ６３（第３の半導体基板）を示している。

すなわち、同図において、本技術の実施の形態である固体撮像装置は、画素アレイ部２１が形成された第１のチップ６１と、前段処理部２３及び後段処理部２５に相当する信号処理部７１が形成された第２のチップ６２と、メモリ部２４が積層された第３のチップ６３を積層して成る積層チップ構造を採っている。

第１のチップ６１に形成された画素アレイ部２１と、第２のチップ６２に形成された信号処理部７１とは、ビア８１を介して接続される。第２のチップ６２に形成された信号処理部７１と、第３のチップ６３に形成されたメモリ部２４とは、ビア８２を介して接続される。

＜９．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１９は、撮像部１２０３１の設置位置の例を示す図である。

図１９では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１９には、撮像部１２１０１乃至１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１乃至１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１乃至１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１乃至１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１乃至１２１０４から得られた距離情報を基に、撮像範囲１２１１１乃至１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１乃至１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１乃至１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１乃至１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１乃至１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１乃至１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

本技術は以下のような構成も取ることができる。
（１）
複数の画素が配列された画素アレイ部と、
前記画素から読み出されたノイズ信号及びデータ信号に対して、少なくともA/D変換を含む信号処理を行う信号処理部と、
前記信号処理により得られる信号を保持するメモリ部と
を備え、
前記信号処理部は、所定のフレームから得られた前記ノイズ信号を前記メモリ部に記録し、前記所定のフレームより後のフレームから得られた前記データ信号の前記信号処理を、前記メモリ部に記録した前記ノイズ信号を利用して行う
固体撮像装置。
（２）
前記画素アレイ部の各画素の領域には、複数の光電変換部が形成されている
前記（１）に記載の固体撮像装置。
（３）
前記ノイズ信号及び前記データ信号それぞれのA/D変換を行う第１の駆動と、前記データ信号のA/D変換を行う第２の駆動とを周期的に切り替える
前記（１）または（２）に記載の固体撮像装置。
（４）
前記第１の駆動と前記第２の駆動とをフレーム単位で周期的に切り替える
前記（３）に記載の固体撮像装置。
（５）
前記第２の駆動を複数フレーム実行する毎に、前記第１の駆動を実行する
前記（３）または（４）に記載の固体撮像装置。
（６）
前記第１の駆動と前記第２の駆動とをライン単位で周期的に切り替える
前記（３）に記載の固体撮像装置。
（７）
連続するフレームの同一位置のラインの一方のラインに前記第１の駆動を適用し、他方のラインに前記第２の駆動を適用する
前記（６）に記載の固体撮像装置。
（８）
前記メモリ部に保持された前記信号処理により得られた信号に対して他の信号処理を行う他の信号処理部をさらに備える
前記（１）から（７）のいずれかに記載の固体撮像装置。
（９）
前記他の信号処理部は、前記メモリ部に保持された前記信号処理により得られた信号に対して、欠陥補正処理、ノイズリダクション処理、またはHDR(High Dynamic Range)処理のうちの少なくとも一つを含む前記他の信号処理を行う
前記（８）に記載の固体撮像装置。
（１０）
前記他の信号処理部は、前記第１の駆動時と前記第２の駆動時において等しい処理レートで前記他の信号処理を行う
前記（８）または（９）に記載の固体撮像装置。
（１１）
前記メモリ部は、前記信号処理の結果得られた信号をフレーム単位で保持できる容量を有する
前記（１）から（１０）のいずれかに記載の固体撮像装置。
（１２）
積層チップ構造を有する
前記（１）から（１０）のいずれかに記載の固体撮像装置。
（１３）
複数の画素が配列された画素アレイ部と、
前記画素から読み出されたノイズ信号及びデータ信号に対して、少なくともA/D変換を含む信号処理を行う信号処理部と、
前記信号処理により得られる信号を保持するメモリ部と
を備える固体撮像装置の駆動方法において、
前記信号処理部による、
所定のフレームから得られた前記ノイズ信号を前記メモリ部に記録する記録ステップと、
前記所定のフレームより後のフレームから得られた前記データ信号の前記信号処理を、前記メモリ部に記録した前記ノイズ信号を利用して行う信号処理ステップと
を含む駆動方法。
（１４）
固体撮像装置が搭載された電子機器において、
前記固体撮像装置は、
複数の画素が配列された画素アレイ部と、
前記画素から読み出されたノイズ信号及びデータ信号に対して、少なくともA/D変換を含む信号処理を行う信号処理部と、
前記信号処理により得られる信号を保持するメモリ部と
を備え、
前記信号処理部は、所定のフレームから得られた前記ノイズ信号を前記メモリ部に記録し、前記所定のフレームより後のフレームから得られた前記データ信号の前記信号処理を、前記メモリ部に記録した前記ノイズ信号を利用して行う
電子機器。
（１５）
第１の画素を含む複数の画素が配列された第１の半導体基板と、
前記第１の画素から読み出された読み出し信号に対してA/D変換を行うA/D変換部を有する第２の半導体基板と、
メモリ部を有する第３の半導体基板とを備え、
前記第１の半導体基板を最上層とし、前記第１の半導体基板、前記第２の半導体基板、及び前記第３の半導体基板が３層に積層され、
前記読み出し信号は、第１のフレームで得られる第１のノイズ信号及び第１のデータ信号と、第２のフレームで得られる第２のデータ信号とを含み、
前記メモリ部は、前記第１のノイズ信号を記録し、
前記A/D変換部は、前記第１のデータ信号と前記第１のノイズ信号に応じて第１のA/D変換を行い、前記第２のデータ信号と前記第１のノイズ信号に応じて第２のA/D変換を行う
固体撮像装置。
（１６）
第１の画素を含む複数の画素が配列された第１の半導体基板と、
前記第１の画素から読み出された読み出し信号に対してA/D変換を行うA/D変換部を有する第２の半導体基板と、
メモリ部を有する第３の半導体基板とを備え、
前記第１の半導体基板を最上層とし、前記第１の半導体基板、前記第２の半導体基板、及び前記第３の半導体基板が３層に積層され、
前記読み出し信号は、第１のフレームで得られる第１のノイズ信号及び第１のデータ信号と、第２のフレームで得られる第２のデータ信号とを含む固体撮像装置の駆動方法において、
前記メモリ部による、
前記第１のノイズ信号を記録する記録ステップと、
前記A/D変換部による、
前記第１のデータ信号と前記第１のノイズ信号に応じて第１のA/D変換を行う第１のA/D変換ステップと、
前記第２のデータ信号と前記第１のノイズ信号に応じて第２のA/D変換を行う第２のA/D変換ステップとを含む
駆動方法。
（１７）
固体撮像装置が搭載された電子機器において、
前記固体撮像装置は、
第１の画素を含む複数の画素が配列された第１の半導体基板と、
前記第１の画素から読み出された読み出し信号に対してA/D変換を行うA/D変換部を有する第２の半導体基板と、
メモリ部を有する第３の半導体基板とを備え、
前記第１の半導体基板を最上層とし、前記第１の半導体基板、前記第２の半導体基板、及び前記第３の半導体基板が３層に積層され、
前記読み出し信号は、第１のフレームで得られる第１のノイズ信号及び第１のデータ信号と、第２のフレームで得られる第２のデータ信号とを含み、
前記メモリ部は、前記第１のノイズ信号を記録し、
前記A/D変換部は、前記第１のデータ信号と前記第１のノイズ信号に応じて第１のA/D変換を行い、前記第２のデータ信号と前記第１のノイズ信号に応じて第２のA/D変換を行う
電子機器。

１０ 画素アレイ部， １１ 光電変換部， ２１ 画素アレイ部， ２２ 制御部， ２３ 前段処理部， ２４ メモリ部， ２５ 後段処理部， ３１ 第１のチップ， ３２ 第２のチップ， ４１ ビア， ６１ 第１のチップ， ６２ 第２のチップ， ６３ 第３のチップ， ８１ ビア， ８２ VIA

Claims (17)

1. 複数の画素が配列された画素アレイ部と、
   前記画素から読み出されたノイズ信号及びデータ信号に対して、少なくともA/D変換を含む信号処理を行う信号処理部と、
   前記信号処理により得られる信号を保持するメモリ部と
   を備え、
   前記信号処理部は、所定のフレームから得られた前記ノイズ信号を前記メモリ部に記録し、前記所定のフレームより後のフレームから得られた前記データ信号の前記信号処理を、前記メモリ部に記録した前記ノイズ信号を利用して行う
   固体撮像装置。
2. 前記画素アレイ部の各画素の領域には、複数の光電変換部が形成されている
   請求項１に記載の固体撮像装置。
3. 前記ノイズ信号及び前記データ信号それぞれのA/D変換を行う第１の駆動と、前記データ信号のA/D変換を行う第２の駆動とを周期的に切り替える
   請求項１に記載の固体撮像装置。
4. 前記第１の駆動と前記第２の駆動とをフレーム単位で周期的に切り替える
   請求項３に記載の固体撮像装置。
5. 前記第２の駆動を複数フレーム実行する毎に、前記第１の駆動を実行する
   請求項４に記載の固体撮像装置。
6. 前記第１の駆動と前記第２の駆動とをライン単位で周期的に切り替える
   請求項３に記載の固体撮像装置。
7. 連続するフレームの同一位置のラインの一方のラインに前記第１の駆動を適用し、他方のラインに前記第２の駆動を適用する
   請求項６に記載の固体撮像装置。
8. 前記メモリ部に保持された前記信号処理により得られた信号に対して他の信号処理を行う他の信号処理部をさらに備える
   請求項３に記載の固体撮像装置。
9. 前記他の信号処理部は、前記メモリ部に保持された前記信号処理により得られた信号に対して、欠陥補正処理、ノイズリダクション処理、またはHDR(High Dynamic Range)処理のうちの少なくとも一つを含む前記他の信号処理を行う
   請求項８に記載の固体撮像装置。
10. 前記他の信号処理部は、前記第１の駆動時と前記第２の駆動時において等しい処理レートで前記他の信号処理を行う
    請求項９に記載の固体撮像装置。
11. 前記メモリ部は、前記信号処理の結果得られた信号をフレーム単位で保持できる容量を有する
    請求項２に記載の固体撮像装置。
12. 積層チップ構造を有する
    請求項１に記載の固体撮像装置。
13. 複数の画素が配列された画素アレイ部と、
    前記画素から読み出されたノイズ信号及びデータ信号に対して、少なくともA/D変換を含む信号処理を行う信号処理部と、
    前記信号処理により得られる信号を保持するメモリ部と
    を備える固体撮像装置の駆動方法において、
    前記信号処理部による、
    所定のフレームから得られた前記ノイズ信号を前記メモリ部に記録する記録ステップと、
    前記所定のフレームより後のフレームから得られた前記データ信号の前記信号処理を、前記メモリ部に記録した前記ノイズ信号を利用して行う信号処理ステップと
    を含む駆動方法。
14. 固体撮像装置が搭載された電子機器において、
    前記固体撮像装置は、
    複数の画素が配列された画素アレイ部と、
    前記画素から読み出されたノイズ信号及びデータ信号に対して、少なくともA/D変換を含む信号処理を行う信号処理部と、
    前記信号処理により得られる信号を保持するメモリ部と
    を備え、
    前記信号処理部は、所定のフレームから得られた前記ノイズ信号を前記メモリ部に記録し、前記所定のフレームより後のフレームから得られた前記データ信号の前記信号処理を、前記メモリ部に記録した前記ノイズ信号を利用して行う
    電子機器。
15. 第１の画素を含む複数の画素が配列された第１の半導体基板と、
    前記第１の画素から読み出された読み出し信号に対してA/D変換を行うA/D変換部を有する第２の半導体基板と、
    メモリ部を有する第３の半導体基板とを備え、
    前記第１の半導体基板を最上層とし、前記第１の半導体基板、前記第２の半導体基板、及び前記第３の半導体基板が３層に積層され、
    前記読み出し信号は、第１のフレームで得られる第１のノイズ信号及び第１のデータ信号と、第２のフレームで得られる第２のデータ信号とを含み、
    前記メモリ部は、前記第１のノイズ信号を記録し、
    前記A/D変換部は、前記第１のデータ信号と前記第１のノイズ信号に応じて第１のA/D変換を行い、前記第２のデータ信号と前記第１のノイズ信号に応じて第２のA/D変換を行う
    固体撮像装置。
16. 第１の画素を含む複数の画素が配列された第１の半導体基板と、
    前記第１の画素から読み出された読み出し信号に対してA/D変換を行うA/D変換部を有する第２の半導体基板と、
    メモリ部を有する第３の半導体基板とを備え、
    前記第１の半導体基板を最上層とし、前記第１の半導体基板、前記第２の半導体基板、及び前記第３の半導体基板が３層に積層され、
    前記読み出し信号は、第１のフレームで得られる第１のノイズ信号及び第１のデータ信号と、第２のフレームで得られる第２のデータ信号とを含む固体撮像装置の駆動方法において、
    前記メモリ部による、
    前記第１のノイズ信号を記録する記録ステップと、
    前記A/D変換部による、
    前記第１のデータ信号と前記第１のノイズ信号に応じて第１のA/D変換を行う第１のA/D変換ステップと、
    前記第２のデータ信号と前記第１のノイズ信号に応じて第２のA/D変換を行う第２のA/D変換ステップとを含む
    駆動方法。
17. 固体撮像装置が搭載された電子機器において、
    前記固体撮像装置は、
    第１の画素を含む複数の画素が配列された第１の半導体基板と、
    前記第１の画素から読み出された読み出し信号に対してA/D変換を行うA/D変換部を有する第２の半導体基板と、
    メモリ部を有する第３の半導体基板とを備え、
    前記第１の半導体基板を最上層とし、前記第１の半導体基板、前記第２の半導体基板、及び前記第３の半導体基板が３層に積層され、
    前記読み出し信号は、第１のフレームで得られる第１のノイズ信号及び第１のデータ信号と、第２のフレームで得られる第２のデータ信号とを含み、
    前記メモリ部は、前記第１のノイズ信号を記録し、
    前記A/D変換部は、前記第１のデータ信号と前記第１のノイズ信号に応じて第１のA/D変換を行い、前記第２のデータ信号と前記第１のノイズ信号に応じて第２のA/D変換を行う
    電子機器。

Images