JP7267719B2 - 光電変換装置、移動体、信号処理装置 - Google Patents

Description

本発明は、光電変換装置、移動体、信号処理装置に関する。

複数の光電変換部で生成された電荷に基づく信号を用いて位相差検出を行う撮像装置が知られている。特許文献１には、それぞれが複数の光電変換部を含む複数の画素を備える撮像装置が記載されている。各画素は、複数の光電変換部で生成された電荷に基づく信号を出力する。さらに、当該複数の画素のうちの一部の画素が、各画素の一部の光電変換部で生成された電荷に基づく信号を出力する構成が特許文献１に開示されている。

特開２０１３－２１１８３３号公報

しかしながら、特許文献１では、遮光された光電変換部を含む画素（以下「遮光画素」という。）をさらに備える場合に、複数の画素から読み出された信号をどのような順序で演算処理を行う演算処理回路に入力するかについて検討されていない。

本発明は、遮光画素を含む複数の画素から読み出された信号を演算処理回路に入力する場合における、好適な信号の入力順序を提供するものである。

本発明の一形態の係る光電変換装置は、複数の光電変換部をそれぞれが含む複数の画素が２次元状に配された画素アレイと、前記画素アレイから出力される信号が入力されるメモリと、前記メモリから出力される信号が入力されるとともに当該信号を用いた演算処理を行う演算処理回路と、を備え、前記複数の画素は、前記複数の光電変換部が遮光された第１画素と、前記複数の光電変換部に光が入射する第２画素及び第３画素とを含み、前記画素アレイは、前記第１画素に含まれる複数の光電変換部で生成される電荷に基づく第１信号、前記第２画素に含まれる複数の光電変換部で生成される電荷に基づく第２信号、並びに前記第３画素に含まれる一方の光電変換部で生成される電荷に基づく信号及び前記第３画素に含まれる他方の光電変換部で生成される電荷に基づく信号の少なくとも一方含む第３信号、をこの順に出力し、前記第１信号、前記第２信号、及び前記第３信号は前記メモリで保持され、前記メモリから出力される前記第１信号、前記第２信号、及び前記第３信号が、前記第１信号、前記第３信号、及び前記第２信号の順に前記演算処理回路に入力され、前記第３信号が前記演算処理回路に入力される第１期間および前記第２信号が前記演算処理回路に入力される第２期間を含む期間の少なくとも一部の期間に前記演算処理を行う。

本発明の一形態に係る光電変換装置は、遮光された複数の光電変換部を含み、前記複数の光電変換部による黒基準信号を出力する第１画素と、
複数の光電変換部を含み、画像用の信号を生成するための第２画素と、
複数の光電変換部を含み、画像用の信号および焦点検出用の信号を生成するための第３画素と、を備える画素アレイと、
前記画素アレイから出力される信号が入力されるメモリと、
前記メモリから出力される信号が入力されるとともに当該信号を用いた演算処理を行う演算処理回路と、を備え、
前記画素アレイは、前記第１画素が出力する黒基準信号である第１信号、前記第２画素が出力する画像用の信号である第２信号、並びに前記第３画素が出力する画像用の信号と焦点検出用の信号を含む第３信号、をこの順に出力し、
前記第１信号、前記第２信号、及び前記第３信号は前記メモリで保持され、
前記メモリから出力される前記第１信号、前記第２信号、及び前記第３信号が、前記第１信号、前記第３信号、及び前記第２信号の順に前記演算処理回路に入力され、
前記第３信号が前記演算処理回路に入力される第１期間および前記第２信号が前記演算処理回路に入力される第２期間を含む期間の少なくとも一部の期間に前記演算処理を行う。

本発明の一形態に係る信号処理装置は、複数の画素を有する画素アレイからの信号が入力される信号処理装置であって、
前記信号処理装置は、前記画素アレイから出力される信号が入力されるメモリと、前記メモリから出力される信号が入力されるとともに当該信号を用いた演算処理を行う演算処理回路と、を備え、
前記画素アレイに含まれる前記複数の画素は、複数の光電変換部が遮光された第１画素と、前記複数の光電変換部に光が入射する第２画素及び第３画素とを含み、
前記画素アレイから、前記第１画素に含まれる複数の光電変換部で生成される電荷に基づく第１信号、前記第２画素に含まれる複数の光電変換部で生成される電荷に基づく第２信号、並びに前記第３画素に含まれる一方の光電変換部で生成される電荷に基づく信号及び前記第３画素に含まれる他方の光電変換部で生成される電荷に基づく信号の少なくとも一方を含む第３信号、がこの順に出力され、
前記メモリは、前記第１信号、前記第２信号、及び前記第３信号を保持し、
前記メモリから出力される前記第１信号、前記第２信号、及び前記第３信号が、前記第１信号、前記第３信号、及び前記第２信号の順に前記演算処理回路に入力され、
前記第３信号が前記演算処理回路に入力される第１期間および前記第２信号が前記演算処理回路に入力される第２期間を含む期間の少なくとも一部の期間に前記演算処理を行う。

遮光画素を含む複数の画素の信号の、演算処理回路への入力順序を、好適なものとすることができる。

第１の実施形態に係る光電変換装置の構成を示すブロック図である。 第１の実施形態に係る光電変換装置の構成及び回路を示す図である。 第１の実施形態に係る光電変換素子及び信号処理回路のブロック図である。 （ａ）は各画素の分布図であり、（ｂ）はメモリに格納されるデジタル信号のアドレスを示す図である。 第１の実施形態に係る光電変換装置の動作を示すタイミングチャートである。 第１の実施形態に係る光電変換装置の実装形態を示す図である。 第２の実施形態に係る光電変換装置の内部の構成を示す図である。 第２の実施形態に係る光電変換装置のメモリからの出力を示す図である。 第２の実施形態に係る光電変換装置の動作を示すタイミングチャートである。 第３の実施形態に係る光電変換装置の内部の構成を示す図である 第３の実施形態に係る光電変換装置のメモリからの出力を示す図である。 第３の実施形態に係る光電変換装置の動作を示すタイミングチャートである。 第４の実施形態に係る移動体の概略図である。

本発明を実施するための形態を、以下で図面を参照しながら説明する。ただし、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするために誇張している場合がある。

また、以下に示す実施形態において、同一の構成については同一の符号を付し、説明を省略する場合がある。

＜第１の実施形態＞
図１は、第１の実施形態に係る光電変換装置の構成を示す図である。図１においては光電変換装置の一例として撮像装置を示している。撮像装置としては、例えば、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。なお、本発明は撮像装置に限定されず、以下の実施形態に係る光電変換装置は撮像を行わない装置であっても効果を得ることができる。撮像を行わない装置としては、例えば、測距センサ、測光センサなどがある。測距センサは、典型的には被写体までの距離情報を生成するために用いられるセンサであり、例えばＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサ等が有る。測光センサは、典型的には被写体の明るさを検出するために用いられるセンサである。

図１において、レンズ１００は撮影光学系１２０の先端側に配置されている。絞り１０１は、その開口径を調節することで撮影時の光量調節を行う。レンズ１０２、レンズ１０３は、後述のフォーカスアクチュエータ１１７によって駆動され、光軸方向に進退することにより、撮影光学系１２０の焦点を調節する。

フォーカルプレーンシャッタ１０４は、静止画撮影時に露光時間を調節する。光学的ローパスフィルタ１０５は撮影画像の偽色やモアレを低減するために用いられる。光電変換素子１０６は、撮影光学系１２０で形成された被写体の光学像を電気信号に光電変換する。光電変換素子１０６から出力された電気信号は、信号処理装置１２１に出力される。信号処理装置１２１としては、例えば、後述するフロントエンド１０７、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０８を含む。

フロントエンド１０７は後述するメモリ３００と転送回路３０１を内蔵する部材で、光電変換素子１０６からの信号を受信し、その一部または全部をメモリに格納し、後段のＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０８へと送信する。

ＤＳＰ１０８は画像処理を行う。ＤＳＰ１０８は光電変換素子１０６で撮影され、フロントエンド１０７から送信された画像データの、補正・圧縮等の処理を行う。また、画像データをＡ像データとＢ像データ（後述）に分離する分離機能や、焦点検出処理を行うためのＡ信号とＢ信号を用いた相関演算を行う相関演算機能を有する他、後述する表示部１１１に表示するために画像信号を加工する機能なども有する。これらの光電変換素子１０６、フロントエンド１０７、ＤＳＰ１０８における信号の処理フローに関する詳細は後述する。

ＲＡＭ（ランダムアクセスメモリ）１０９は、フロントエンド１０７からのデジタル信号を保持する信号保持手段の機能と、ＤＳＰ１０８で処理された画像データを記憶する画像データ記憶手段の機能と、後述のＣＰＵ１１０が動作を行う際のワークメモリの機能を兼備する。ＲＡＭ１０９としては、一般的にＤＲＡＭ（ダイナミックランダムアクセスメモリ）が用いられる。なお、本実施形態では、ＲＡＭ１０９を用いてこれらの機能を実現する構成であるが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また本実施形態では、ＲＡＭ１０９は、ＤＳＰ１０８、ＣＰＵ１１０の外部に配置されているが、その一部または全部の機能をＤＳＰ１０８やＣＰＵ１１０に内蔵する構成であってもよい。

表示部１１１は、ＤＳＰ１０８によって処理された静止画像や動画像およびメニュー等の表示を行う。操作部１１２は、撮影命令や撮影条件等の設定をＣＰＵ１１０に対して行う。記録媒体１１３は、静止画データ及び動画データを記録する着脱可能な記録媒体である。ＲＯＭ１１４は、ＣＰＵ１１０が各部の動作を制御するためにロードして実行するプログラムを格納する。

ＣＰＵ１１０は、光電変換素子１０６の動作を統括的に制御する。ＣＰＵ１１０は光電変換素子１０６の各部を制御するためのプログラムを実行する。また、ＤＳＰ１０８から出力される相関演算の結果を用いて、後述のフォーカス駆動回路１１６を制御し、撮影光学系１２０の焦点を調節する機能も有する。

ＣＰＵ１１０は、操作部１１２の設定に基づいて、シャッター駆動回路１１５及び絞り駆動回路１１８を制御する。ＣＰＵ１１０からの制御に基づき、シャッター駆動回路１１５は、フォーカルプレーンシャッタ１０４を駆動制御する。絞り駆動回路１１８は、絞りアクチュエータ１１９を制御して絞り１０１の開口を制御する。

次に、図２を参照しながら、光電変換素子１０６の構成を説明する。図２（ａ）に、複数の画素２０１が２次元状に配された画素アレイ２００（画素領域）を示す。行方向と平行なＸ軸及び列方向と平行なＹ軸に沿って、複数の画素２０１が配列されている。

図２（ａ）に示すように、画素アレイ２００は、有効画素領域と遮光画素領域を含む。有効画素領域に配された画素は光電変換部２０３ａ、２０３ｂに光が入射する受光画素である。また、遮光画素領域に含まれる画素は遮光された光電変換部２０３ａ、２０３ｂを含む遮光画素（第１画素）である。光電変換部２０３ａ、２０３ｂは例えば、フォトダイオード（ＰＤ）である。ただし、光電変換部２０３ａ、２０３ｂはフォトダイオード以外で形成されても良く、例えば、基板（半導体基板、ガラス基板等）の上部に設けられた光電変換膜を用いても良い。

受光画素は、複数の光電変換部２０３ａ、２０３ｂとマイクロレンズ２０２とを含み、単一のマイクロレンズ２０２を通過した光が入射する画素である。これにより、光電変換部２０３ａ，２０３ｂは瞳分割構成を取ることになり、この２つの光電変換部２０３ａ，２０３ｂには、同一被写体の、位相差を持った別々の像が入射されることになる。以下では、この同一被写体の、位相差を持った別々の２像をＡ像、Ｂ像と呼ぶことにし、光電変換部２０３ａはＡ像用の光電変換部とし、光電変換部２０３ｂはＢ像用の光電変換部とする。つまり、光電変換部２０３ａで生成された電荷に基づくＡ信号によりＡ像が形成され、光電変換部２０３ｂで生成された電荷に基づくＢ信号によりＢ像が形成される。なお、本実施形態ではＡ信号とＢ信号とを加算したＡ＋Ｂ信号からＡ信号を減算することによりＢ信号を生成し、生成されたＢ信号からＢ像が形成されている。この場合も、Ｂ信号によりＢ像が形成されるとみなす。

遮光画素は、遮光された複数の光電変換部２０３ａ、２０３ｂを含む。なお、図２（ａ）では遮光画素はマイクロレンズを含むが、遮光画素はマイクロレンズを含まなくてもよい。遮光画素は、複数の光電変換部２０３ａ、２０３ｂによる黒基準信号を出力する。典型的には、黒基準信号は、受光画素の黒レベルの決定に用いられる。例えば、複数の遮光画素の黒基準信号を平均化することによって黒レベル信号が生成される。この黒レベル信号を、受光画素の信号から差し引くことによって、受光画素の信号のＳｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ（以下、Ｓ／Ｎ比）を向上させることができる。

図２（ｂ）は、画素２０１の回路構成を説明する図である。図２（ｂ）において、光電変換部２０３ａ及び光電変換部２０３ｂは、前述した単一のマイクロレンズ２０２を通過した光が入射する光電変換部である。また、遮光画素においては、光電変換部２０３ａ、２０３ｂは、１つの増幅トランジスタ２０７を共有する光電変換部である。Ａ像用の転送トランジスタＴｘＡ（２０４ａ）は信号φｔｘａによって制御され、Ｂ像用の転送トランジスタＴｘＢ（２０４ｂ）は信号φｔｘｂによって制御される。この信号φｔｘａ、φｔｘｂをＨｉｇｈ（以下ＨｉｇｈをＨと記す）にすることによって、転送トランジスタが導通し、各光電変換部に蓄積された電荷をフローティングディフュージョン部（ＦＤ）２０５に転送することができる。この転送トランジスタの導通／非導通（ＯＮ／ＯＦＦ）は独立に制御することができるため、Ａ信号とＢ信号は独立に転送することができる。

リセットトランジスタ２０６はＦＤ２０５を初期化するためのスイッチであり、信号φｐｒｅｓによって制御される。増幅トランジスタ２０７は、選択トランジスタ２０８、及び後述する垂直出力線２１１を介して、後述する定電流源２１２に接続されている。選択トランジスタ２０８の入力信号φｓｅｌがＨになると、増幅トランジスタ２０７は定電流源２１２と接続される。ＦＤ２０５は増幅トランジスタ２０７に接続されているため、光電変換部２０３ａ、２０３ｂからＦＤ２０５に転送された電荷は、増幅トランジスタ２０７によって電荷量に応じた電圧値に変換され、垂直出力線２１１に信号として出力される。各トランジスタは、例えば、ＭＯＳトランジスタにより構成されている。

一方の光電変換部２０３ａからの信号と他方の光電変換部２０３ｂからの信号とを加算した信号（以下「Ａ＋Ｂ信号」という）を画像用の信号、各光電変換部２０３ａ、２０３ｂから読み出した２つの信号を焦点検出用の信号として用いることができる。

なお、画像用のＡ＋Ｂ信号と、焦点検出用のＡ信号とＢ信号とをそれぞれ読み出してもよいが、処理負荷を考慮して、次のようにしてもよい。複数の光電変換部の信号（Ａ＋Ｂ信号）と、光電変換部２０３ａ，２０３ｂのいずれか一方の焦点検出用の信号（例えばＡ信号）とを読み出す。そして、Ａ＋Ｂ信号とＡ信号との差分を取ることで、視差を有するもう一方の焦点検出用の信号（例えばＢ信号）を取得する。または、光電変換部２０３ａ，２０３ｂの焦点検出用の信号（Ａ信号、Ｂ信号）をそれぞれ読み出し、読み出した信号を加算することで画像用の信号（Ａ＋Ｂ信号）を取得する。

図２（ｃ）は、光電変換素子１０６の詳細な回路構成である。前述の通り、画素アレイ２００には複数の画素２０１が配されている。なお、図２（ｃ）では、遮光画素を省略して示している。

タイミングジェネレータ（ＴＧ）２１０は、ＣＰＵ１１０によって設定されたプログラムに従って、各回路に読み出しに必要な制御パルスを供給する。

垂直走査回路２０９は、画素２０１にパルスを供給することで信号を垂直出力線２１１へ出力する。また、垂直走査回路２０９は、特定の画素を選択し、選択画素と非選択画素で駆動を切り替えることもできる。なお、本実施形態では、ＴＧ２１０は光電変換素子１０６に内蔵されているが、光電変換素子１０６の外部に配置される構成でも構わない。

各画素２０１に含まれる光電変換部によって生成された信号は、前述のように垂直走査回路２０９から供給される駆動信号によって、垂直出力線２１１へと行毎に出力される。定電流源２１２は、前述した増幅トランジスタ２０７と組み合わされてソースフォロワ回路を構成する。

読み出し回路２１３は、各列の垂直出力線２１１からの出力を増幅する機能を有する。ＡＤ変換回路（ＡＤＣ）２１４は、読み出し回路２１３の出力をデジタル信号へ変換する。ＡＤＣ２１４によって変換されたデジタル信号は、水平走査回路２１５によって順に選択されて、画像処理部２１６によって適宜画像処理されて、出力部２１７から光電変換素子１０６の外部へ出力される。

続いて、図３を参照しながら、光電変換素子１０６、フロントエンド１０７、ＤＳＰ１０８の詳細な構成について説明する。

フロントエンド１０７は、前述の通り、メモリ３００と転送回路３０１を含む。メモリ３００は光電変換素子１０６の出力部２１７から出力されるデジタル信号を格納する。具体的には、メモリ３００には、画素アレイ２００から出力部２１７を介して出力されるデジタル信号が入力され、メモリ３００に格納される。メモリ３００としては、例えば、ＲＡＭを用いることができ、ＤＲＡＭ及びＳＲＡＭ（スタティックランダムアクセスメモリ）のいずれも適用可能である。詳細は後述するが、メモリ３００のアドレスの順序と異なる順序でメモリ３００から信号を出力する場合は、ＳＲＡＭを用いることが好ましい。なお、アクセス速度が十分に速く、動作上問題のないレベルのメモリであれば、ＲＡＭ以外のメモリを用いることも可能である。転送回路３０１はメモリ３００に格納されたデジタル信号をＤＳＰ１０８へと転送する。

フロントエンド１０７は、さらに制御回路３０２を含む。制御回路３０２はメモリ３００と転送回路３０１を制御し、デジタル信号が転送される順序を制御することができる。

ＤＳＰ１０８は、受信回路３０３及び演算処理回路（以下演算回路という。）３０５を含む。受信回路３０３は、フロントエンド１０７から転送されてきたデジタル信号を演算回路３０５に送る。演算回路３０５は画素情報に基づいた種々の演算を行うことができる。以下では、演算の一例として、Ａ信号とＢ信号の相関演算を行って、レンズ１０２及びレンズ１０３を駆動するためのデフォーカス量を得る場合について説明する。なお、本実施形態では全ての画素が瞳分割されている場合を説明するが、一部の画素のみが瞳分割されており（つまり、画素アレイは瞳分割されていない画素を有する）、瞳分割された画素で位相差検出を行ってもよい。

他にも演算回路３０５では、表示部１１１に表示する画像を作成する演算、Ａ像とＢ像から画像の深度情報を得るデプスマップを作成する演算、被写体の動きを検出する追尾演算、露出をコントロールするためのＡＥ演算ができる。また、画像のホワイトバランスを決定するためのＷＢ演算、画像のフリッカを検出するための演算、ストロボの発光量を決定するための調光演算、なども考えられる。なお、演算回路３０５で行うことができる演算はここに挙げた構成、演算に限定されない。

ＤＳＰ１０８の演算回路３０５で行われる演算は、必ずしも画素アレイ２００の全画素の情報を必要とするものではない。

図４（ａ）は、画素アレイ２００の各画素の配置例及び各画素から出力される信号を模式的に示した例である。図４（ａ）に示すように、画素アレイ２００は、遮光された第１画素を含む遮光画素群と、受光画素であって且つ画像用の信号を出力する第２画素を含む第２画素群と、受光画素であって且つ焦点検出用の信号を出力する第３画素を含む第３画素群と、を含む。図４（ａ）では、さらに、画素アレイ２００は、受光画素であって且つ画像用の信号を出力する第４画素を含む第４画素群を含む。第２画素と第４画素とは同様の構成であり、画素アレイ２００内で配置されている位置が異なるのみである。例えば、画素アレイ２００がｎ（ｎは１以上の整数）行の画素行を含む場合に、画素アレイ２００は１行目の画素行に配された各画素からｎ行の画素行に配された各画素まで順に信号を出力する。具体的には、図４（ａ）に示す例では、画素アレイ２００は遮光画素（第１画素）群、第２画素群、第３画素群、第４画素群の順に信号を出力する。つまり、画素アレイ２００は、遮光画素に含まれる複数の光電変換部で生成される電荷に基づいて得られるＡ＋Ｂ信号、遮光画素と第３画素の間に配される第２画素のＡ＋Ｂ信号、第３画素のＡ信号とＡ＋Ｂ信号、第４画素のＡ＋Ｂ信号の順で出力する。以下では、遮光画素に含まれる複数の光電変換部で生成される電荷に基づいて得られるＡ＋Ｂ信号を第１信号という場合がある。また、遮光画素と第３画素との間に配される第２画素のＡ＋Ｂ信号を第２信号という場合がある。さらに、第２画素と第４画素との間に配された第３画素のＡ信号とＡ＋Ｂ信号を第３信号といい、第４画素のＡ＋Ｂ信号を第４信号という場合がある。

遮光画素群及び第２画素群からはＡ＋Ｂ信号を読み出し、第３画素群からはＡ＋Ｂ信号に加えてＡ信号を読み出している。図４（ａ）に示すように、画素アレイ２００は、あるフレーム期間において、遮光画素群及び第２画素群からＡ信号を読み出さない。具体的には、あるフレーム期間において、画素アレイ２００が、遮光画素群及び第２画素群に配された各画素から垂直出力線にＡ信号を出力しない構成としている。本実施形態において、１つのフレーム期間とは、１枚の画像を生成するために光電変換装置が信号の生成を開始してから（光電変換部の電荷蓄積期間の開始）、画素からの信号の読み出しを終えるまでの期間（垂直走査回路が画素アレイの走査を終了するまでの期間）と言える。また、１フレーム期間は、垂直走査回路２０９が、複数の画素の行ごとの走査（垂直走査）を開始してから、最終行に到達して垂直走査を終了するまでの期間である場合であってもよい。また、１つのフレーム期間は、例えば画素アレイを複数のフィールドに分けて読み出す場合には、１度その行が垂直走査回路２０９によって選択されてから、次にその行が再び垂直走査回路２０９によって選択されるまでの期間であってもよい。

上述の通り、本実施形態では、あるフレーム期間において、遮光画素群及び第２画素群に配された各画素から垂直出力線にＡ信号を出力しない構成としている。これに限らず、光電変換素子１０６から遮光画素群及び第２画素群に含まれる画素からＡ信号を読み出さなければどのような方法が採用されてもよい。例えば、各画素からは出力させるが、遮光画素群及び第２画素群に含まれる画素からの信号はＡＤ変換を行わない方法が挙げられる。この他にも、水平走査回路２１５にＡ信号を入力するが、水平走査回路２１５から出力しない方法や、出力部２１７にＡ信号を入力するが、出力部２１７から出力しない方法が挙げられる。なお、遮光画素群及び第２画素群に配された画素から常にＡ信号を出力しないことも可能であるが、別のフレーム期間において少なくとも第２画素群に配された各画素からＡ信号を出力してもよい。

図４（ｂ）は、メモリ３００に格納されるデジタル信号の順序を示した例である。図４（ｂ）に示すように、メモリ３００のアドレスの先頭から、出力部２１７から出力された順に格納される。つまり、第１信号、第２信号、第３信号、第４信号の順でメモリ３００に入力している。本実施形態では、第１信号、第３信号、第２信号、第４信号の順でメモリ３００から信号を出力し、この順にＤＳＰ１０８に入力している。上述の通り、一般的にＲＡＭ１０９としてはＤＲＡＭが用いられる。ＤＲＡＭは、データの書き込み順序および読み出し順序の変更の自由度がＳＲＡＭに比べて小さい。よって、ＤＲＡＭの書き込み順序および読み出し順序を、ＤＲＡＭの設計に沿った特定の順序にすることによって、ＤＲＡＭへのデータの書き込みと読み出しを高速化することができる。例えば、ＤＲＡＭのアドレス先頭から順に連続的に読み出す場合に特に高速に駆動させることが可能となる。以下の各実施形態によれば、ＲＡＭ１０９のアドレスの先頭から順に信号を出力できるように演算回路３０５に信号を入力する前に信号の順序を入れ替えている。ＤＲＡＭはアドレスの先頭から順に信号を出力する場合にＤＲＡＭの駆動速度を向上させることができるため、ＤＳＰ１０８での信号処理速度の低下を低減することができ、フレームレートの低下を低減することができる。

続いて、図５に示すタイミングチャートを参照しながら、画像の撮影を行った後、演算回路３０５で相関演算を行い、その情報に基づいてレンズを駆動させ、次のフレームの画像を撮影する場合の処理について説明する。

まず、時刻ｔ５００で電荷の蓄積を開始し、時刻ｔ５０１で画素アレイ２００から信号の読み出しを開始する。時刻ｔ５００から時刻ｔ５０１までの期間である読み出し前処理期間には、光電変換部２０３ａ、２０３ｂで電荷が蓄積される期間、ＡＤ変換期間、水平走査回路２１５に信号を出力する期間、及び出力部２１７に信号を転送する期間が含まれる。つまり、光電変換部２０３ａ、２０３ｂのリセット解除から出力部２１７から信号を読み出す前までが、読み出し前処理期間に相当する。そして、光電変換素子１０６から信号を出力した後メモリ３００への信号の格納が完了するまでの期間が読み出しの期間に相当する。

信号の読み出しにおいて、各画素から得られる信号は、画素２０１が第２画素群４０２に属するか第３画素群４０３に属するかは関係なく、空間的配列順に画素アレイ２００から出力される。画素から出力される信号の取得例として、例えば画素アレイ２００の一番上から順に取得していく。これにより、画素アレイ２００内で時間的な順序の入れ替わりが発生せず、スリットローリング歪みは直線性が確保されるため、画像の違和感を低減することができる。信号の読み出しと同時に読み出された画素情報（ヘッダ情報）をメモリ３００に格納し始める。

時刻ｔ５０２では信号の読み出しとメモリ３００への格納が完了するとともに、遮光画素群に含まれる各遮光画素から出力された第１信号がメモリ３００から出力され、フロントエンド１０７の転送回路からＤＳＰ１０８へと転送され始める。遮光画素に含まれる複数の光電変換部で生成される電荷に基づいて得られる第１信号はＤＳＰ１０８内の画像処理で使用される。具体的には、第１信号は、上述のとおり、受光画素の信号のＳ／Ｎ比を向上させるために用いられ、具体的には、熱ノイズ等のノイズデータの減算を行うための基準値として用いられる。Ａ信号とＢ信号とを比較して焦点検出を行う第３信号に比べると、第１信号はＡ信号とＢ信号とを高精度にするという要求が低い場合がある。したがって、本実施形態では、第１信号としてＡ＋Ｂ信号を出力し、Ａ＋Ｂ信号を１画素あたりの光電変換部の数で割った値とすることによりＡ信号の基準値を求めている。このような場合は第１画素のＡ信号の生成に期間を要する。本実施形態によれば、第２信号及び第３信号を出力する前に第１信号を出力しているため、Ａ信号の演算処理のための期間を確保することができる。Ａ信号の基準値は、Ａ＋Ｂ信号に対し、所定の値をオフセットとして付与することにより得ることもできる。典型的にはＡ＋Ｂ信号から所定の値を減算する処理を行うことによりＡ信号の基準値を求めることができる。

時刻ｔ５０３では、遮光画素群４０４に含まれるすべての遮光画素の信号の転送が完了するとともに、第３画素群４０２に含まれる画素から得られたＡ信号及びＡ＋Ｂ信号がメモリ３００から出力される。なお、第２画素群４０３に含まれる画素から得られる信号は、第３画素群４０２に含まれる画素から得られる信号より先にメモリ３００に格納されているが、この時点ではメモリ３００に格納したまま出力しない。つまり、画素アレイ２００から読み出した第２信号よりも先に第３信号を出力する。

時刻ｔ５０４では、第３画素群４０２に含まれる全ての第３画素のＡ信号と、Ａ＋Ｂ信号との転送が完了するとともに、ＤＳＰ１０８内の演算処理回路でＡ信号とＢ信号の相関演算が開始され始める。また、メモリ３００から第２画素群４０３のＡ＋Ｂ信号、第３画素群のＡ＋Ｂ信号、及び第４画素群の第Ａ＋Ｂ信号の転送が開始される。第３画素群のＡ＋Ｂ信号は時刻ｔ５０３から時刻ｔ５０４までの間にＤＳＰ１０８に出力されているが、第２信号のＡ＋Ｂ信号の出力後に再度第３画素群のＡ＋Ｂ信号を出力することにより、ＲＡＭ１０９からの出力順の通りにＲＡＭ１０９に信号を入力することが可能となる。

時刻ｔ５０５では相関演算が完了し、その結果に基づいてレンズ１００の駆動が開始される。

時刻ｔ５０６ではレンズ１００の駆動が完了し、次の蓄積を開始できる状態になる。同時に、次のフレームにおける光電変換部での電荷の蓄積を開始する。

時刻ｔ５０７では時刻ｔ５０４で転送が開始された第２信号、第３画素群のＡ＋Ｂ信号、第４信号の転送が完了する。この第２信号、第３画素群のＡ＋Ｂ信号、及び第４信号の転送の完了を以て、１枚の画像の撮影が終了する。

なお、本タイミングチャートでは、第３画素群４０２から出力された信号のメモリ３００からＤＳＰ１０８への転送が完了してから相関演算を開始するように説明した。しかしながら、第３画素群４０２の画素情報の一部だけで相関演算が開始できるのであれば、第３画素群４０２の信号のメモリから光電変換素子の外部への転送をすべて待ってから演算を開始する必要はない。

次に、図６（ａ）～（ｄ）を参照しながら、光電変換素子１０６、フロントエンド１０７、及びＤＳＰ１０８が配されるチップの構成に関する複数の具体例について説明する。

図６（ａ）に示す例では、チップ６００は光電変換素子１０６を含む半導体基板を備え、チップ６０１はフロントエンド１０７を含み、該半導体基板とは異なる半導体基板を備える。そして、チップ６００及びチップ６０１が、導通可能な領域を含む実装基板６０３に搭載されている。また、チップ６０２が、ＤＳＰ１０８を含み、導通可能な領域を含む実装基板６０４に搭載されている。そして、光電変換素子１０６、フロントエンド１０７、及びＤＳＰ１０８が電気的に接続されている。

図６（ｂ）に示す例では、チップ６００とチップ６０１とが積層されることにより、チップ６０５をなしており、実装基板６０３にチップ６０５が搭載されている点で図６（ａ）に示す例と異なる。

図６（ｃ）に示す例では、チップ６０６は光電変換素子１０６とフロントエンド１０７が１つの半導体基板に配されることにより、第５のチップ６０６をなしている。第５のチップ６０６は実装基板６０３に搭載され、実装基板６０４に搭載されている、少なくともＤＳＰ１０８が含まれる第１のチップ６０２に接続されている。

図６（ｄ）に示す例では、チップ６０２、チップ６０１、チップ６００が順に積層されている点で図６（ａ）に示す例と異なる。なお、チップ６０１とチップ６０２の配置は入れ替えてもよい。

以上説明したように、本実施形態によれば、画素からの情報の取得は画像の違和感を低減する順番で行いつつも、補正のための基準値を得た状態で画像の撮影に必要な演算に使用する画素情報から画素を転送することができる。これにより、演算処理回路による補正処理を、第３画素群の信号の演算処理回路への入力のタイミングから開始することができる。また、演算処理回路に入力される信号の順序と演算処理回路から出力される信号の順序とが一致している。演算処理回路に入力される信号の順序と演算処理回路から出力される信号の順序とが異なっていると、ＲＡＭから信号を出力させる駆動速度が低下することにより、フレームレートが低下する可能性がある。これに対して、本実施形態によれば演算処理装置での処理速度の低下を低減することができ、フレームレートを向上させることができる。また、本実施形態は、第２画素群のＡ＋Ｂ信号が演算処理回路に入力されるよりも前に、第３画素群のＡ信号とＡ＋Ｂ信号を演算処理回路に入力している。これにより、焦点検出に関わる相関演算を開始するタイミングを早めることができるため、焦点検出をより速やかに行うことができる。これにより、焦点検出結果に基づいてレンズを駆動させる合焦動作もまた、速やかに行うことができる。この結果、本実施形態の光電変換装置は、次フレームの電荷蓄積動作を速やかに開始できる効果を有する。

＜変形例＞
第１の実施形態は後述の構成に変形可能である。以下の構成に変形した場合でも第１の実施形態と同様の効果を得ることができる。

図１では、光電変換素子１０６からＡＤ変換した後のデジタル信号が出力されている。これに限らず、光電変換素子１０６からアナログ信号が出力されてもよい。この場合は、メモリ３００としては、アナログ信号の電圧値を保持するメモリを用いることができる。ただし、メモリに保持されたアナログ信号には、リーク電流等が生じる可能性があり、これにより生成される画像が劣化する可能性がある。本実施形態は、第２信号をメモリに保持した状態で先に第３信号を出力するため、空間的配列順に出力される場合に比較して第２信号をメモリに保持する期間が長くなる。したがって、アナログ信号と比較してリーク電流等による劣化が発生しにくいデジタル信号をメモリ３００で保持する構成とすることが好ましい。

図４（ａ）では、遮光画素が含まれる行は、複数の遮光画素のみからなっている。これに限らず、１つの行に、遮光画素と第２画素とが含まれていてもよい。

遮光画素群と第３画素群との間に１つの行に遮光画素と第２画素を含む画素行が位置している場合は、第３画素群の画素行からの信号がメモリ３００から出力された後に、遮光画素と第２画素を含む画素行からの信号が出力されることがある。

なお、画素アレイ２００の全体から読み出した信号に基づき１枚の画像を生成してもよいが、そのほかにも画素アレイ２００の一部の領域をクロップして読み出して画像を生成してもよい。測距枠４０１は、例えば操作部１１２を介して設定された、被写体が存在する領域であり、この枠の中の画素情報を用いて演算回路３０５で相関演算を行う。ここで、例えば垂直走査回路２０９を用いて相関演算に使用する画素を選択することができる。選択された画素を第３画素群４０２、選択されなかった画素を第２画素群４０３とすると、第３画素群４０２は演算回路３０５の演算に使われ、第２画素群４０３は演算回路３０５で使用されない。

＜第２の実施形態＞
図７は第２の実施形態における光電変換素子１０６、フロントエンド１０７、ＤＳＰ１０８の構成を示す図である。本実施形態に係るフロントエンド１０７には書込制御回路７００とセレクタ７０１が内蔵されている点、及び、複数のメモリ７０４、７０５によりメモリ３００が構成されている点で第１の実施形態とは異なる。その他の構成については第１の実施形態と実質的に同様である。

書込制御回路７００は光電変換素子１０６から出力された画素情報をメモリ７０４に入力するか、メモリ７０５に入力するか、または両方に入力するか、を制御回路７０２からの制御信号によって切り替えることができる。セレクタ７０１は、転送回路３０１から転送する画素情報を、メモリ７０４からの画素情報にするかメモリ７０５からの画素情報にするかを、制御回路７０２からの制御信号によって切り替えることができる。

図８は、第２の実施形態におけるメモリ７０４およびメモリ７０５に格納される画像情報と、その順序を示した例である。メモリ７０４には遮光画素群から出力されるＡ＋Ｂ信号と、第３画素群のＡ信号とＡ＋Ｂ信号の画像情報が格納される。また、メモリ７０５には第３画素群と、第２画素群のＡ＋Ｂ信号の画像情報が格納される。本実施形態では、メモリ７０４、７０５のアドレスの先頭から順に信号を出力ができるようにメモリ７０４、７０５に入力される前に信号の順序が入れ替わっている。本実施形態では、アドレスの順に連続的に信号を出力することができるため、メモリ７０４、７０５としてはＤＲＡＭを用いることが好ましい。

図９のタイミングチャートを参照しながら、第２の実施形態に係る光電変換装置の動作を説明する。図９のタイミングチャートは、遮光画素のＡ＋Ｂ信号をメモリ７０４に格納し、第３画素のＡ＋Ｂ信号をメモリ７０４、７０５の両方に格納し且つ第３画素のＡ信号をメモリ７０４に格納し、第２画素のＡ＋Ｂ信号をメモリ７０５に格納する。

時刻ｔ９００で蓄積を開始し、時刻ｔ９０１で信号の読み出しを開始する。信号は、第１の実施形態と同様に、画素が遮光画素群４０４に属するか、第３画素群４０２に属するか、第２画素群４０３に属するかは関係のない順序で画素アレイ２００から読み出される。つまり、画面の一番上から順に画素アレイ２００から信号が読み出される。信号の読み出しと同時に、読み出された信号をメモリ７０４およびメモリ７０５に格納し始める。

時刻ｔ９０２では、メモリ７０４に格納された遮光画素群４０４のＡ＋Ｂ信号が読み出され始める。このとき制御回路７０２は、信号をメモリ７０４からＤＳＰ１０８に転送できるようにセレクタ７０１を制御し、ＤＳＰ１０８に対して遮光画素群４０４の信号の転送を始める。

時刻ｔ９０３では、メモリ７０４に格納された第３画素群４０２のＡ信号及びＡ＋Ｂ信号をＤＳＰ１０８に転送し始める。

時刻ｔ９０４に第３画素群４０２の転送が完了するとともに、相関演算を開始することができる。また同時に、メモリ７０５に格納された第２画素群のＡ＋Ｂ信号、第３画素群４０２のＡ＋Ｂ信号、第２画素群のＡ＋Ｂ信号の転送を始める。このとき制御回路７０２は、メモリ７０５からＤＳＰ１０８に信号を転送できるようにセレクタ７０１を制御する。

時刻ｔ９０５では相関演算が完了し、その結果に基づいてレンズの駆動が開始される。

時刻ｔ９０６ではレンズの駆動が完了し、次の蓄積を開始できる状態になる。同時に、次フレームの蓄積を開始する。時刻ｔ９０７では時刻ｔ９０４で転送が開始された第３画素群４０２のＡ＋Ｂ信号および第２画素群４０３のＡ＋Ｂ信号の転送が完了する。

以上に説明したように、図９に示す動作を行うことによって、メモリ７０４、７０５に格納された信号を格納順に読み出すことが可能になる。その方法として、メモリ７０４、７０５に信号が格納される前に、信号の順序を読み出す順序に合わせて事前に並び替えている。前述の通り、この特徴はメモリ７０４、７０５として、ＤＲＡＭなどの格納順の読み出しに特に有効なメモリを用いる場合に適している。なお、メモリ７０４、７０５としては、ＤＲＡＭ以外のメモリであってもよく、第１の実施形態で説明したメモリを用いることができることは言うまでもない。

＜第３の実施形態＞
図１０は、第３の実施形態における光電変換素子１０６、フロントエンド１０７、ＤＳＰ１０８の構成を示す図である。図１１は、第３実施形態に係る光電変換装置の各メモリに入力される画像情報と、その順序を示した図であり、図１２は、第３実施形態に係る光電変換装置の動作のタイミングチャートを示した図である。

第３の実施形態に係る光電変換装置は、並べ替え回路３０４を用いることにより、第３画素群のＡ＋Ｂ信号を転送する回数を減らしながら演算回路において演算処理を行う点が第２の実施形態とは異なる。これにより、重複した信号の転送を削減することができる。具体的には、焦点検出用の信号の生成に用いたＡ＋Ｂ信号を画像用の信号としても使用することにより、第３画素のＡ＋Ｂ信号を再度読み出す必要がなくなる。

並び替え回路３０４は、ＤＳＰに入力されたデジタル信号の順序をＲＡＭ１０９に入力する前に、画素アレイ２００の空間的配置順に一致するように並べ替える。

図１１に示すように、メモリ７０４には遮光画素群のＡ＋Ｂ信号と、第３画素群のＡ信号とＡ＋Ｂ信号が格納される。また、メモリ７０５には第２画素群のＡ＋Ｂ信号が格納される。

図１２のタイミングチャートに示すように、時刻ｔ１１００で蓄積を開始し、時刻ｔ１１０１で画素アレイ２００から出力された信号をメモリ７０４およびメモリ７０５に格納し始める。また、これと同時にメモリ７０４、７０５に格納された信号の読み出しを開始する。

時刻ｔ１１０２では、メモリ７０４、７０５に格納された遮光画素群４０４のＡ＋Ｂ信号が読み出され始める。このとき制御回路３０２は、画素情報をメモリ７０４からＤＳＰ１０８に転送できるようにセレクタ７０１を制御し、ＤＳＰ１０８に対して遮光画素群４０４の信号の転送を始める。

時刻ｔ１１０３では、メモリ７０４に格納された第３画素群４０２のＡ信号及びＡ＋Ｂ信号をＤＳＰ１０８に転送を始める。

時刻ｔ１１０４に第３画素群４０２のＡ信号及びＡ＋Ｂ信号の転送が完了すると、この時点から相関演算を開始することができる。また同時に、メモリ７０５に格納された第２画素群のＡ＋Ｂ信号の転送を始める。このとき制御回路７０２は、画素情報をメモリ７０５からＤＳＰ１０８に転送できるようにセレクタ７０１を制御する。

時刻ｔ１１０５では相関演算が完了し、その結果に基づいてレンズの駆動が開始される。時刻ｔ１１０６ではレンズの駆動が完了し、次の蓄積を開始できる状態になる。同時に、次フレームの蓄積を開始する。

時刻ｔ１１０７では時刻ｔ１１０４で転送が開始された第２画素群４０３のＡ＋Ｂ信号の転送が完了する。また同時に、並び替え回路３０４でＤＳＰに入力されたデジタル信号を転送順から画素アレイ２００の空間的配置順に並べ替える。具体的には、第３画素群のＡ＋Ｂ信号を、画素の配置に合わせて複数の第２画素群の間に入れ替えてＲＡＭ１０９に格納している。

以上の図１２に説明した動作を行うことによって、格納順のメモリ読み出しに加え重複する信号を複数回転送する必要がなくなる。これにより、冗長な転送を防ぐことが可能になる。

＜第４の実施形態＞
図１３を参照しながら、本実施形態に係る移動体について説明する。

図１３（ａ）は、車戴カメラに関する光電変換装置の一例を示したものである。光電変換装置１は、光電変換素子１０、信号処理装置１２１を有する。光電変換素子１０及び信号処理装置１２１は、上記第１乃至第３の実施形態のいずれかに記載の光電変換素子及び信号処理装置である。光電変換装置１は、光電変換素子１０により取得された複数の画像データに対し、画像処理を行う画像処理部３１２と、光電変換素子１０により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差算出部３１４を有する。また、光電変換装置１は、算出された視差に基づいて対象物までの距離を算出する距離計測部３１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部３１８と、を有する。ここで、視差算出部３１４や距離計測部３１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部３１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

光電変換装置１は車両情報取得装置３２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、光電変換装置１は、衝突判定部３１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ３３０が接続されている。また、光電変換装置１は、衝突判定部３１８での判定結果に基づいて、ドライバーへ警報を発する警報装置３４０とも接続されている。例えば、衝突判定部３１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ３３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置３４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を光電変換装置１で撮像する。図１３（ｂ）に、車両前方（撮像範囲３５０）を撮像する場合の光電変換装置を示した。車両情報取得装置３２０が、所定の動作を行うように光電変換装置１ないしは光電変換素子１０に指示を送る。このような構成により、測距の精度をより向上させることができる。

上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、光電変換装置は、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０６ 光電変換素子
２０１ 画素
３００ メモリ

Claims (20)

1. 複数の光電変換部をそれぞれが含む複数の画素が２次元状に配された画素アレイと、
   前記画素アレイから出力される信号が入力されるメモリと、
   前記メモリから出力される信号が入力されるとともに当該信号を用いた演算処理を行う演算処理回路と、を備え、
   前記複数の画素は、前記複数の光電変換部が遮光された第１画素と、前記複数の光電変換部に光が入射する第２画素及び第３画素とを含み、
   前記画素アレイは、前記第１画素に含まれる複数の光電変換部で生成される電荷に基づく第１信号、前記第２画素に含まれる複数の光電変換部で生成される電荷に基づく第２信号、並びに前記第３画素に含まれる一方の光電変換部で生成される電荷に基づく信号及び前記第３画素に含まれる他方の光電変換部で生成される電荷に基づく信号の少なくとも一方含む第３信号、をこの順に出力し、
   前記第１信号、前記第２信号、及び前記第３信号は前記メモリで保持され、
   前記メモリから出力される前記第１信号、前記第２信号、及び前記第３信号が、前記第１信号、前記第３信号、及び前記第２信号の順に前記演算処理回路に入力され、
   前記第３信号が前記演算処理回路に入力される第１期間および前記第２信号が前記演算処理回路に入力される第２期間を含む期間の少なくとも一部の期間に前記演算処理を行うことを特徴とする光電変換装置。
2. 遮光された複数の光電変換部を含み、前記複数の光電変換部による黒基準信号を出力する第１画素と、
   複数の光電変換部を含み、画像用の信号を生成するための第２画素と、
   複数の光電変換部を含み、画像用の信号および焦点検出用の信号を生成するための第３画素と、を備える画素アレイと、
   前記画素アレイから出力される信号が入力されるメモリと、
   前記メモリから出力される信号が入力されるとともに当該信号を用いた演算処理を行う演算処理回路と、を備え、
   前記画素アレイは、前記第１画素が出力する黒基準信号である第１信号、前記第２画素が出力する画像用の信号である第２信号、並びに前記第３画素が出力する画像用の信号と焦点検出用の信号を含む第３信号、をこの順に出力し、
   前記第１信号、前記第２信号、及び前記第３信号は前記メモリで保持され、
   前記メモリから出力される前記第１信号、前記第２信号、及び前記第３信号が、前記第１信号、前記第３信号、及び前記第２信号の順に前記演算処理回路に入力され、
   前記第３信号が前記演算処理回路に入力される第１期間および前記第２信号が前記演算処理回路に入力される第２期間を含む期間の少なくとも一部の期間に前記演算処理を行うことを特徴とする光電変換装置。
3. 複数の光電変換部をそれぞれが含む複数の画素が２次元状に配された画素アレイと、
   前記画素アレイから出力される信号が入力されるメモリと、
   前記メモリから出力される信号が入力されるとともに当該信号を用いた演算処理を行う演算処理回路と、を備え、
   前記複数の画素は、前記複数の光電変換部が遮光された第１画素と、前記複数の光電変換部に光が入射する第２画素及び第３画素とを含み、
   前記画素アレイは、前記第１画素に含まれる複数の光電変換部で生成される電荷に基づく第１信号、前記第２画素に含まれる複数の光電変換部で生成される電荷に基づく第２信号、並びに前記第３画素に含まれる一方の光電変換部で生成される電荷に基づく信号及び前記第３画素に含まれる他方の光電変換部で生成される電荷に基づく信号の少なくとも一方含む第３信号、をこの順に出力し、
   前記第１信号、前記第２信号、及び前記第３信号は前記メモリで保持され、
   前記メモリから出力される前記第１信号、前記第２信号、及び前記第３信号が、前記第１信号、前記第３信号、及び前記第２信号の順に前記演算処理回路に入力され、
   前記演算処理が、前記第３信号を用いた焦点検出に関わる演算処理であることを特徴とする光電変換装置。
4. 遮光された複数の光電変換部を含み、前記複数の光電変換部による黒基準信号を出力する第１画素と、
   複数の光電変換部を含み、画像用の信号を生成するための第２画素と、
   複数の光電変換部を含み、画像用の信号および焦点検出用の信号を生成するための第３画素と、を備える画素アレイと、
   前記画素アレイから出力される信号が入力されるメモリと、
   前記メモリから出力される信号が入力されるとともに当該信号を用いた演算処理を行う演算処理回路と、を備え、
   前記画素アレイは、前記第１画素が出力する黒基準信号である第１信号、前記第２画素が出力する画像用の信号である第２信号、並びに前記第３画素が出力する画像用の信号と焦点検出用の信号を含む第３信号、をこの順に出力し、
   前記第１信号、前記第２信号、及び前記第３信号は前記メモリで保持され、
   前記メモリから出力される前記第１信号、前記第２信号、及び前記第３信号が、前記第１信号、前記第３信号、及び前記第２信号の順に前記演算処理回路に入力され、
   前記演算処理が、前記第３信号を用いた焦点検出に関わる演算処理であることを特徴とする光電変換装置。
5. 前記複数の画素のうち、少なくとも前記第２画素及び前記第３画素のそれぞれは、１つのマイクロレンズを備え、
   前記第２画素に含まれる前記マイクロレンズは、通過した光が前記第２画素に含まれる前記複数の光電変換部に入射するように配され、
   前記第３画素に含まれる前記マイクロレンズは、通過した光が前記第３画素に含まれる前記複数の光電変換部に入射するように配されることを特徴とする請求項１乃至４のいずれか１項に記載の光電変換装置。
6. 前記第１画素に含まれる複数の光電変換部に基づく信号は、一方の光電変換部の信号と他方の光電変換部の信号とを加算した信号であることを特徴とする請求項１乃至５のいずれか１項に記載の光電変換装置。
7. 書込制御回路を更に備え、
   前記書込制御回路は、前記画素アレイから出力される信号の順序を前記メモリに入力する前に入れ替えることを特徴とする請求項１乃至６のいずれか１項に記載の光電変換装置。
8. 書込制御回路を更に備え、
   前記書込制御回路は、前記メモリから出力される信号の順序を前記演算処理回路に入力する前に入れ替えることを特徴とする請求項１乃至７のいずれか１項に記載の光電変換装置。
9. 前記メモリは、ＲＡＭ（ランダムアクセスメモリ）であることを特徴とする請求項１乃至８のいずれか１項に記載の光電変換装置。
10. 前記メモリは、ＤＲＡＭ（ダイナミックランダムアクセスメモリ）であることを特徴とする請求項９に記載の光電変換装置。
11. 前記メモリは第１メモリと、第２メモリと、前記第１メモリおよび前記第２メモリに接続されたセレクタとを有し、前記セレクタが前記第１メモリと前記第２メモリの一方ずつから信号を前記演算処理回路に出力することを特徴とする請求項１乃至１０のいずれか１項に記載の光電変換装置。
12. 前記画素アレイから出力される信号を制御する垂直走査回路をさらに備え、
    前記垂直走査回路が、前記第１画素が含まれる画素行、前記第２画素が含まれる画素行、前記第３画素が含まれる画素行の順に選択することにより、前記画素アレイは、前記第１信号、前記第２信号、及び前記第３信号をこの順に出力することを特徴とする請求項１乃至１１のいずれか１項に記載の光電変換装置。
13. 複数の前記第１画素が、行方向及び列方向に配され、
    前記列方向に配された前記第１画素から得られる前記第１信号の順序を入れ替え、
    前記行方向に配された前記第１画素から得られる前記第１信号の順序は入れ替えないことを特徴とする請求項１乃至１２のいずれか１項に記載の光電変換装置。
14. 前記画素アレイは第１チップに配され、
    前記メモリは、前記第１チップとは異なるチップである第２チップに配され、
    前記第１チップと前記第２チップとは積層されていることを特徴とする請求項１乃至１３のいずれか１項に記載の光電変換装置。
15. 前記画素アレイは第１チップに配され、
    前記演算処理回路は、前記第１チップとは異なるチップである第２チップに配され、
    前記第１チップと前記第２チップとは積層されていることを特徴とする請求項１乃至１４のいずれか１項に記載の光電変換装置。
16. 移動体であって、
    請求項１乃至１５のいずれか１項に記載の光電変換装置と、
    移動装置と、
    前記光電変換部から出力される信号から情報を取得する処理装置と、
    前記情報に基づいて前記移動装置を制御する制御装置と、
    を有することを特徴とする移動体。
17. 複数の画素を有する画素アレイからの信号が入力される信号処理装置であって、
    前記信号処理装置は、前記画素アレイから出力される信号が入力されるメモリと、前記メモリから出力される信号が入力されるとともに当該信号を用いた演算処理を行う演算処理回路と、を備え、
    前記画素アレイに含まれる前記複数の画素は、複数の光電変換部が遮光された第１画素と、前記複数の光電変換部に光が入射する第２画素及び第３画素とを含み、
    前記画素アレイから、前記第１画素に含まれる複数の光電変換部で生成される電荷に基づく第１信号、前記第２画素に含まれる複数の光電変換部で生成される電荷に基づく第２信号、並びに前記第３画素に含まれる一方の光電変換部で生成される電荷に基づく信号及び前記第３画素に含まれる他方の光電変換部で生成される電荷に基づく信号の少なくとも一方を含む第３信号、がこの順に出力され、
    前記メモリは、前記第１信号、前記第２信号、及び前記第３信号を保持し、
    前記メモリから出力される前記第１信号、前記第２信号、及び前記第３信号が、前記第１信号、前記第３信号、及び前記第２信号の順に前記演算処理回路に入力され、
    前記第３信号が前記演算処理回路に入力される第１期間および前記第２信号が前記演算処理回路に入力される第２期間を含む期間の少なくとも一部の期間に前記演算処理を行うことを特徴とする信号処理装置。
18. 前記信号処理装置は、書込制御回路を更に備え、
    前記書込制御回路は、前記画素アレイから出力される信号の順序を前記メモリに入力する前に入れ替えることを特徴とする請求項１７に記載の信号処理装置。
19. 前記信号処理装置は、書込制御回路を更に備え、
    前記書込制御回路は、前記メモリから出力される信号の順序を前記演算処理回路に入力する前に入れ替えることを特徴とする請求項１７に記載の信号処理装置。
20. 前記メモリは、ＲＡＭ（ランダムアクセスメモリ）であることを特徴とする請求項１７乃至１９のいずれか１項に記載の信号処理装置。

Images