JP7771250B2 - 撮像装置、撮像装置の駆動方法、及びプログラム - Google Patents

Description

本開示の技術は、撮像装置、撮像装置の駆動方法、及びプログラムに関する。

特許文献１に記載の画像処理装置は、第１の露光期間で露光された固体撮像素子の第１のライン上の単位画素から読み出された第１の信号電荷に基づく第１の画像データと、第１の露光期間に含まれて第１の露光期間より短い第２の露光期間で露光された、第１のラインと異なる固体撮像素子の第２のライン上の単位画素から読み出された第２の信号電荷に基づく第２の画像データを合成する合成処理部を備える。

特許文献２に記載のイメージセンサは、複数の撮像素子をマトリクス状に配列したエリアセンサから、撮像素子に蓄積される信号電荷を読出すイメージセンサの読出し方法を次のようにする。まず、互いに時間長の異なる複数の露光時間を設定したうえでこれらの露光時間を前記エリアセンサのライン毎に個別に割り当てる。次に、割り当てた露光時間で撮像素子に蓄積される信号電荷をエリアセンサのライン単位で読出す。そして、読出した信号電荷をエリアセンサの画面単位で合成する。

特開２０１３－１２１１３０号公報 国際公開第２００６／０４９０９８号

本開示の技術に係る一つの実施形態は、位相差画素を含む画素群を、短時間露光と長時間露光とのいずれとするかを適切に決定することを可能とする撮像装置、駆動方法、及びプログラムを提供する。

上記目的を達成するために、本開示の撮像装置は、プロセッサと、信号を読み出す列信号線が第１方向に延在し、第１方向と交差する第２方向に配列された複数の位相差画素及び複数の撮像画素を含む第１画素群と、第２方向に配列された複数の撮像画素を含む第２画素群とが、第１方向に配列された撮像素子と、を備え、プロセッサは、第１画素群が露光される第１露光時間と、第２画素群が露光される第２露光時間とのうち一方を他方よりも短くする露光時間の設定処理と、を実行するように構成され、設定処理において、撮像素子により撮像された被写体の情報に基づいて、第１露光時間及び第２露光時間のうちいずれを他方よりも短くするかを決定するように構成されている。

プロセッサは、情報として、撮像領域内の注目領域の明るさを撮像素子により検出し、検出した明るさに基づいて、第１露光時間及び第２露光時間を決定するように構成されていることが好ましい。

プロセッサは、明るさが第１閾値以上である場合には、第１露光時間を第２露光時間よりも短くし、明るさが第１閾値未満である場合には、第２露光時間を第１露光時間よりも短くするように構成されていることが好ましい。

プロセッサは、情報として被写体の移動速度を検出し、検出した移動速度に基づいて、第１露光時間及び第２露光時間を決定するように構成されていることが好ましい。

プロセッサは、移動速度が第２閾値以上である場合には、第１露光時間を第２露光時間よりも短くし、移動速度が第２閾値未満である場合には、第２露光時間を第１露光時間よりも短くするように構成されていることが好ましい。

プロセッサは、フレーム期間内において、第１画素群と第２画素群とのうち一方の信号読み出しを行った後、第１画素群と第２画素群とのうち他方の信号読み出しを行うように構成されていることが好ましい。

本開示の撮像装置は、プロセッサは、撮像素子による撮像領域内における被写体の第１方向に関する位置を検出し、検出した位置が、第１方向における一方向側である場合には、第１画素群と第２画素群とのうち一方を、前記他方向側から信号読み出しを行った後、第１画素群と第２画素群とのうち他方を、前記一方向側から信号読み出しを行い、検出した位置が、他方向側である場合には、第１画素群と第２画素群とのうち一方を、前記一方向側から信号読み出した後、第１画素群と第２画素群とのうち他方を、前記他方向側から信号読み出しを行うように構成されている。

プロセッサは、第１画素群から読み出された信号と、第２画素群から読み出された信号とを合成することにより映像信号を生成する合成処理を実行するように構成されていることが好ましい。

プロセッサは、第１画素群から読み出した信号と第２画素群から読み出した信号の位相ずれを低減する位相処理を行った後、合成処理を実行するように構成されていることが好ましい。

プロセッサは、第２画素群から読み出した信号に対して位相処理を行うように構成されていることが好ましい。

プロセッサは、合成処理により生成された映像信号に対して、電子防振処理を行うように構成されていることが好ましい。

本開示の撮像装置は、プロセッサと、信号を読み出す列信号線が第１方向に延在し、第１方向と交差する第２方向に配列された複数の位相差画素及び複数の撮像画素を含む第１画素群と、第２方向に配列された複数の撮像画素を含む第２画素群とが、第１方向に配列された撮像素子と、を備え、プロセッサは、第１画素群が露光される第１露光時間と、第２画素群が露光される第２露光時間とのうち一方を他方よりも短くする第１設定処理と、第１画素群から読み出された信号と、第２画素群から読み出された信号とを合成することにより第１映像信号を生成する第１合成処理と、を含む第１モードと、第１フレーム期間の第１露光時間及び第２露光時間と、第１フレーム期間に続く第２フレーム期間の第１露光時間及び第２露光時間と、のうち一方を他方よりも短くする第２設定処理と、第１フレーム期間に第１画素群及び第２画素群から読み出された信号と、第２フレーム期間に第１画素群及び第２画素群から読み出された信号とを合成することにより第２映像信号を生成する第２合成処理と、を含む第２モードと、を選択的に実行可能に構成され、第１モードにおけるフレームレートの設定上限値を、第２モードにおけるフレームレートの設定上限値よりも高くする。

本開示の撮像装置は、プロセッサと、信号を読み出す列信号線が第１方向に延在し、第１方向と交差する第２方向に配列された複数の撮像画素を含む第１画素群及び第２画素群が、第１方向に配列された撮像素子と、を備え、第１画素群は、第１開口面積を有する複数の第１位相差画素を含み、第２画素群は、第１開口面積よりも小さい第２開口面積を有する複数の第２位相差画素を含み、プロセッサは、第１画素群が露光される第１露光時間を、第２画素群が露光される第２露光時間よりも短くする露光時間の設定処理と、を実行するように構成されている。

プロセッサは、第１画素群から読み出された信号と、第２画素群から読み出された信号とを合成することにより映像信号を生成する合成処理を実行するように構成されている。

本開示の撮像装置の駆動方法は、信号を読み出す列信号線が第１方向に延在し、第１方向と交差する第２方向に配列された複数の位相差画素及び複数の撮像画素を含む第１画素群と、第２方向に配列された複数の撮像画素を含む第２画素群とが、第１方向に配列された撮像素子を備えた撮像装置の駆動方法であって、第１画素群が露光される第１露光時間と、第２画素群が露光される第２露光時間とのうち一方を他方よりも短くする露光時間の設定処理と、を含み、設定処理において、撮像素子により撮像された被写体の情報に基づいて、第１露光時間及び第２露光時間のうちいずれを他方よりも短くするかを決定する。

本開示のプログラムは、信号を読み出す列信号線が第１方向に延在し、第１方向と交差する第２方向に配列された複数の位相差画素及び複数の撮像画素を含む第１画素群と、第２方向に配列された複数の撮像画素を含む第２画素群とが、第１方向に配列された撮像素子を備えた撮像装置を作動させるプログラムであって、第１画素群が露光される第１露光時間と、第２画素群が露光される第２露光時間とのうち一方を他方よりも短くする露光時間の設定処理と、を撮像装置に実行させ、設定処理において、撮像素子により撮像された被写体の情報に基づいて、第１露光時間及び第２露光時間のうちいずれを他方よりも短くするかを決定させる。

撮像装置の前面側の一例を示す概略斜視図である。 撮像装置の背面側の一例を示す概略斜視図である。 撮像装置の内部構成の一例を示す図である。 プロセッサの機能構成の一例を示すブロック図である。 撮像センサの構成の一例を示す図である。 撮像画素の構成の一例を示す図である。 位相差画素の構成の一例を示す図である。 撮像センサの画素配列の一例を示す図である。 焦点制御及び露光制御を説明する図である。 ＡＦエリアの明るさが第１閾値以上である場合における撮像タイミングの一例を示す図である。 ＡＦエリアの明るさが第１閾値未満である場合における撮像タイミングの一例を示す図である。 露光制御の流れの一例を説明するフローチャートである。 ＨＤＲ合成処理を模式的に示す図である。 係数αと画素の輝度との関係式の一例を示すグラフである。 入射光量に対するＰＧ１信号及びＰＧ２信号の信号レベルを模式的に示す図である。 第２実施形態に係る露光制御の一例を説明するフローチャートである。 第３実施形態に係る撮像タイミングの一例を示す図である。 第１画素群と第２画素群との信号読み出しの方向を被写体の位置に応じて変更する例を説明する図である。 第４実施形態に係る位相処理を含むＨＤＲ合成処理を模式的に示す図である。 第５実施形態に係る第２モードにおける撮像タイミングの一例を示す図である。 第６実施形態に係る撮像センサの画素配列の一例を示す図である。 第１位相差画素の構成の一例を示す図である。 第２位相差画素の構成の一例を示す図である。

添付図面に従って本開示の技術に係る実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

以下の説明において、「ＩＣ」は、“Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称である。「ＣＰＵ」は、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称である。「ＲＯＭ」は、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称である。「ＲＡＭ」は、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称である。「ＣＭＯＳ」は、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称である。「ＨＤＲ」は、“Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ”の略称である。「ＡＦ」は、“Ａｕｔｏ Ｆｏｃｕｓ”の略称である。ＥＥＰＲＯＭは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒy”の略称である。

「ＦＰＧＡ」は、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称である。「ＰＬＤ」は、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称である。「ＡＳＩＣ」は、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称である。「ＪＰＥＧ」は、“Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ”の略称である。

本開示において、「等しい」とは、完全に等しいことの他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いで実質的に等しいことを含む。

［第１実施形態］
撮像装置の第１実施形態として、レンズ交換式のデジタルカメラを例に挙げて本開示の技術を説明する。なお、本開示の技術は、レンズ交換式に限られず、レンズ一体型のデジタルカメラにも適用可能である。

（撮像装置の構成）
図１は、撮像装置１０の前面側の一例を示す。図１に示すように、撮像装置１０は、レンズ交換式のデジタルカメラである。撮像装置１０は、本体１１と、本体１１に交換可能に装着される撮像レンズ１２とで構成される。撮像レンズ１２は、カメラ側マウント１１Ａ及びレンズ側マウント１２Ａ（図３参照）を介して本体１１の前面１１Ｃ側に取り付けられる。撮像レンズ１２は、本開示の技術に係るレンズの一例である。

本体１１の上面には、ダイヤル１３及びレリーズボタン１４が設けられている。ダイヤル１３は、動作モード等の設定の際に操作される。撮像装置１０の動作モードとして、例えば、静止画撮像モード、動画撮像モード、及び画像表示モードが含まれる。レリーズボタン１４は、静止画撮像、又は動画撮像の実行を開始する際にユーザにより操作される。

図２は、撮像装置１０の背面側の一例を示す。図２に示すように、本体１１の背面１１Ｄには、ディスプレイ１５、指示キー１６、及び、図示しないファインダのファインダ接眼部１８が設けられている。ファインダは、光学ビューファインダ又は電子ビューファインダが採用可能である。ディスプレイ１５には、撮像により得られた映像信号に基づく画像、及び各種のメニュー画面等が表示される。指示キー１６は、各種の指示を受け付ける。

図３は、撮像装置１０の内部構成の一例を示す。本体１１と撮像レンズ１２とは、カメラ側マウント１１Ａに設けられた電気接点１１Ｂと、レンズ側マウント１２Ａに設けられた電気接点１２Ｂとが接触することにより電気的に接続される。

撮像レンズ１２は、対物レンズ３０、フォーカスレンズ３１、後端レンズ３２、及び絞り３３を含む。各々部材は、撮像レンズ１２の光軸ＬＡに沿って、対物側から、対物レンズ３０、絞り３３、フォーカスレンズ３１、後端レンズ３２の順に配列されている。対物レンズ３０、フォーカスレンズ３１、及び後端レンズ３２、撮像光学系を構成している。撮像光学系を構成するレンズの種類、数、及び配列順序は、図３に示す例に限定されない。

また、撮像レンズ１２は、レンズ駆動制御部３４を有する。レンズ駆動制御部３４は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭ等により構成されている。また、ＲＯＭは、書き換え可能なＥＥＰＲＯＭ、フラッシュメモリ等も含む。レンズ駆動制御部３４は、電気接点１２Ｂ及び電気接点１１Ｂを介して、本体１１内のプロセッサ４０と電気的に接続されている。

レンズ駆動制御部３４は、プロセッサ４０から送信される制御信号に基づいて、フォーカスレンズ３１及び絞り３３を駆動する。レンズ駆動制御部３４は、撮像レンズ１２の焦点調節を行うために、プロセッサ４０から送信される焦点調節用の制御信号に基づいて、フォーカスレンズ３１の駆動制御を行う。プロセッサ４０は、位相差方式の焦点調節を行う。

本体１１には、撮像センサ２０、プロセッサ４０、操作部４２、メモリ４５、ディスプレイ１５、及びブレ検出センサ４７が設けられている。撮像センサ２０、メモリ４５、及びディスプレイ１５は、プロセッサ４０により動作が制御される。プロセッサ４０は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭ等により構成される。この場合、プロセッサ４０は、メモリ４５に格納されたプログラム４５Ａに基づいて各種の処理を実行する。なお、プロセッサ４０は、複数のＩＣチップの集合体により構成されていてもよい。また、撮像センサ２０は、例えば、ＣＭＯＳ型イメージセンサである。撮像センサ２０は、本開示の技術に係る「撮像素子」の一例である。

ディスプレイ１５は、画像処理部５２（図４参照）が生成した映像信号に基づき、画像を表示する。画像には、静止画、動画、及びライブビュー画像が含まれる。ライブビュー画像は、画像処理部５２で生成された画像データを、ディスプレイ１５に順次出力することにより、ディスプレイ１５にリアルタイム表示される画像である。

画像処理部５２が生成した映像信号は、本体１１に内蔵された内部メモリ（図示せず）、又は本体１１に着脱可能な記憶媒体（例えば、メモリカード）に、画像データとして保存することが可能である。

操作部４２は、前述のダイヤル１３、レリーズボタン１４、及び指示キー１６（図１及び図２参照）を含む。プロセッサ４０は、操作部４２の操作に応じて、本体１１内の各部と、撮像レンズ１２内のレンズ駆動制御部３４とを制御する。

ブレ検出センサ４７は、撮像装置１０に加わるブレ量を検出する。ブレ検出センサ４７は、例えば、ロール方向、ヨー方向、ピッチ方向、Ｘ方向、及びＹ方向のブレをそれぞれ検出する５軸のブレ検出センサである。Ｘ方向及びＹ方向は、光軸ＬＡに直交する方向である。

ブレ検出センサ４７は、例えば、回転ブレ及び角度ブレを検出するジャイロセンサ（図示せず）と、並進ブレを検出する加速度センサ（図示せず）とで構成されている。ブレ検出センサ４７は、検出したブレの検出信号をプロセッサ４０に出力する。なお、ブレ検出センサ４７は、撮像レンズ１２内に設けられていてもよい。この場合、プロセッサ４０は、電気接点１２Ｂ及び電気接点１１Ｂを介して、撮像レンズ１２内のブレ検出センサ４７からブレ量の検出値を取得すればよい。

（プロセッサの構成）
図４は、プロセッサ４０の機能構成の一例を示す。プロセッサ４０は、メモリ４５に記憶されたプログラム４５Ａにしたがって処理を実行することにより、各種機能部を実現する。図４に示すように、例えば、プロセッサ４０には、主制御部５０、撮像制御部５１、画像処理部５２、焦点検出部５３、明るさ検出部５４、及び補正量算出部５５が実現される。

主制御部５０は、操作部４２から入力される指示信号に基づき、撮像装置１０の動作を統括的に制御する。撮像制御部５１は、撮像センサ２０を制御することにより、撮像センサ２０に撮像動作を行わせる撮像処理を実行する。撮像制御部５１は、静止画撮像モード又は動画撮像モードで撮像センサ２０を駆動する。また、撮像制御部５１は、静止画撮像モード又は動画撮像モードにおいて、ダイナミックレンジを拡大したＨＤＲ（High Dynamic Range）画像を生成するＨＤＲ機能を実現する。

ユーザは、操作部４２により、静止画撮像モードと動画撮像モードとの選択を行うことができる。また、ユーザは、操作部４２を操作することにより、シャッタ速度及び絞り値を含む露出値の設定を行うことができる。さらに、ユーザは、操作部４２を操作することにより、ＨＤＲ機能のオン／オフを選択することができる。

また、ユーザは、操作部４２を操作することにより、自動焦点検出（以下、ＡＦという。）モードを選択することが可能である。ＡＦモードが選択された場合には、主制御部５０は、焦点検出部５３により検出された焦点検出結果に基づいて、フォーカスレンズ３１の位置を制御する。

焦点検出部５３は、撮像センサ２０から出力される映像信号のうち、位相差画素ＺＬ，ＺＲ（図７及び図８参照）から出力された信号に基づいて焦点検出を行う。なお、焦点検出とは、被写体にピントが合うフォーカスレンズ３１の位置を検出することをいう。

また、焦点検出部５３は、撮像センサ２０の撮像領域２１内に設定されるＡＦエリア２１Ａ（図９参照）内に含まれる位相差画素ＺＬ，ＺＲ（図７参照）から出力される信号に基づいて焦点検出を行う。例えば、撮像領域２１内におけるＡＦエリア２１Ａの位置及び大きさは、ユーザが操作部４２を操作することにより設定することができる。なお、ＡＦエリア２１Ａの位置及び大きさは、主制御部５０が映像信号を用いて行う被写体検出（例えば、顔検出）の結果に基づいて設定されてもよい。なお、ＡＦエリア２１Ａは、本開示の技術に係る「注目領域」の一例である。なお、焦点固定で撮影する場合には、焦点領域とは異なる、ユーザ又は撮像装置により決められた別の被写体領域であってもよい。

明るさ検出部５４は、撮像センサ２０から出力される映像信号に基づき、ＡＦエリア２１Ａ（注目領域の一例）の明るさを検出する。主制御部５０は、明るさ検出部５４により検出されたＡＦエリア２１Ａの明るさに基づき、露光時間の設定処理を行う。

補正量算出部５５は、ブレ検出センサ４７から出力されるブレ量の検出値に基づいて、電子的なブレ補正（すなわち、電子防振処理）を行うための補正量を算出する。補正量算出部５５は、算出した補正量を画像処理部５２に出力する。

画像処理部５２は、映像信号に対して種々の画像処理を施すことにより、既定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。画像処理部５２から出力される画像データは、例えば、メモリ４５に記録される。また、画像処理部５２から画像データを構成する映像信号は、ディスプレイ１５に出力され、ディスプレイ１５に画像が表示される。

また、画像処理部５２には、ＨＤＲ合成部５６及びブレ補正部５７が含まれている。ＨＤＲ合成部５６は、ＨＤＲ機能がオンとされている場合に作動する。ブレ補正部５７は、動画撮像モードが選択されている場合に作動する。

ＨＤＲ合成部５６は、ＨＤＲ機能がオンとされている場合に、撮像センサ２０から出力される露光時間の異なる一対の映像信号を合成することにより、ＨＤＲ画像を生成する。

ブレ補正部５７は、動画撮像モード時に、補正量算出部５５から入力される補正量に基づき、映像信号に対して電子防振処理を行う。例えば、電子防振処理は、映像信号のフレームごとに、補正量に基づいて切り出し領域を変更することにより行われる。ブレ補正部５７は、ＨＤＲ機能がオンとされている場合には、ＨＤＲ合成部５６により生成された映像信号（すなわち、ＨＤＲ画像）に対して電子防振処理を行う。これによって、電子防振処理が簡素化し、プロセッサ４０における電子防振処理を高速化することができる。また、ブレ補正部５７は、デモザイク処理が施されたＨＤＲ画像に対して電子防振処理を行うことが好ましい。

（撮像センサの構成）
図５は、撮像センサ２０の構成の一例を示す。図５に示す撮像センサ２０は、ＣＭＯＳ型イメージセンサである。撮像センサ２０は、撮像領域２１、垂直走査回路２２、ラインメモリ２３、水平走査回路２４、及び出力アンプ２５を有する。

撮像領域２１には、複数の画素２６が、Ｘ方向及びＹ方向に沿って二次元マトリクス状に配列されている。また、撮像領域２１には、Ｘ方向に沿って複数の行選択線Ｌ１及び複数の行リセット線Ｌ２が配線されており、かつ、Ｙ方向に沿って複数の列信号線Ｌ３が配線されている。

列信号線Ｌ３は、Ｙ方向に延在している。行選択線Ｌ１及び行リセット線Ｌ２は、Ｙ方向と交差するＸ方向に延在している。Ｙ方向は、本開示の技術に係る「第１方向」の一例である。Ｘ方向は、本開示の技術に係る「第２方向」の一例である。

画素２６は、行選択線Ｌ１、行リセット線Ｌ２、及び列信号線Ｌ３に接続されている。以下、Ｘ方向に並ぶ複数の画素２６を単に「行」と称することもある。詳しくは後述するが、複数の画素２６のうちの一部は、焦点調節を行うための位相差画素である。

画素２６は、フォトダイオードＤ１、アンプトランジスタＭ１、画素選択トランジスタＭ２、及びリセットトランジスタＭ３を有する。フォトダイオードＤ１は、入射光を光電変換することにより、入射光量に応じた信号電荷を生成し、生成した信号電荷を蓄積する。アンプトランジスタＭ１は、フォトダイオードＤ１に蓄積された信号電荷の電荷量に応じた電圧（以下、画素信号Ｓという。）を生成する。

画素選択トランジスタＭ２は、行選択線Ｌ１を介して垂直走査回路２２により制御され、アンプトランジスタＭ１により生成された画素信号Ｓを列信号線Ｌ３に出力する。リセットトランジスタＭ３は、行リセット線Ｌ２を介して垂直走査回路２２により制御され、フォトダイオードＤ１に蓄積された信号電荷を電源線に破棄する。以下、フォトダイオードＤ１から信号電荷を破棄することは、画素２６をリセットするという。

垂直走査回路２２は、撮像制御部５１から入力される垂直同期信号に基づいて、行選択信号ＳＥＬ及びリセット信号ＲＳＴを発生する。垂直走査回路２２は、信号読み出し動作時に、行選択線Ｌ１に行選択信号ＳＥＬを与えることにより、当該行選択線Ｌ１に接続された画素２６から画素信号Ｓを列信号線Ｌ３に出力させる。

また、垂直走査回路２２は、リセット動作時に、行リセット線Ｌ２にリセット信号ＲＳＴを与えることにより、当該行リセット線Ｌ２に接続された画素２６をリセットする。

ラインメモリ２３は、一行分の画素２６から出力された画素信号Ｓを記憶する。ラインメモリ２３は、キャパシタ等により構成されている。ラインメモリ２３は、スイッチとしてのトランジスタ２９を介して水平出力線２４Ａに接続されている。出力アンプ２５は、水平出力線２４Ａの端部に接続されている。水平走査回路２４は、トランジスタ２９を順に選択する水平走査を行うことにより、ラインメモリ２３に記憶された一行分の画素信号Ｓを順に水平出力線２４Ａに出力させる。水平出力線２４Ａに出力された画素信号Ｓは、出力アンプ２５を介して、映像信号として外部の画像処理部５２へ出力される。

垂直走査回路２２、ラインメモリ２３、及び水平走査回路２４の動作は、撮像制御部５１（図４参照）により制御される。撮像制御部５１は、垂直走査回路２２を制御することにより、一行ずつ順に行選択線Ｌ１を選択しながら画素信号Ｓを出力させる。また、撮像制御部５１は、垂直走査回路２２を制御することにより画素２６をリセットさせる。

動画撮像モードでは、撮像制御部５１は、一定のフレーム周期Ｔ（図１０及び図１１参照）で撮像センサ２０を駆動する。撮像制御部５１は、フレーム周期Ｔで、撮像センサ２０に、映像信号の読み出し及びリセットの動作を繰り返し実行させる。

なお、撮像センサ２０の構成は、図５に示す構成に限られない。例えば、撮像センサ２０にＡ／Ｄ変換器が設けられていてもよい。

（画素の構成）
撮像領域２１に配列された複数の画素２６には、撮像用の撮像画素Ｎと、位相差画素ＺＬ，ＺＲとが含まれる。図６は、撮像画素Ｎの構成の一例を示す。図７は、位相差画素ＺＬ，ＺＲの構成の一例を示す。位相差画素ＺＬ，ＺＲは、それぞれ主光線を中心としてＸ方向に分割された光束の一方を受光する。

図６に示すように、撮像画素Ｎは、光電変換素子としてのフォトダイオードＤ１、カラーフィルタＣＦ、及びマイクロレンズＭＬを含んで構成されている。カラーフィルタＣＦは、フォトダイオードＤ１とマイクロレンズＭＬとの間に配置されている。

カラーフィルタＣＦは、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）のうちのいずれかの色の光を透過させるフィルタである。マイクロレンズＭＬは、撮像レンズ１２の射出瞳ＥＰから入射する光束ＬＦを、カラーフィルタＣＦを介してフォトダイオードＤ１のほぼ中央に集光する。

図７に示すように、位相差画素ＺＬ，ＺＲは、それぞれフォトダイオードＤ１、遮光層ＳＦ、及びマイクロレンズＭＬを含んで構成されている。マイクロレンズＭＬは、撮像画素Ｎと同様に、撮像レンズ１２の射出瞳ＥＰから入射する光束ＬＦを、フォトダイオードＤ１のほぼ中央に集光する。

遮光層ＳＦは、金属膜等で形成され、フォトダイオードＤ１とマイクロレンズＭＬとの間に配置されている。遮光層ＳＦは、マイクロレンズＭＬを介してフォトダイオードＤ１に入射する光束ＬＦの一部を遮光する。

位相差画素ＺＬでは、遮光層ＳＦは、フォトダイオードＤ１の中心を基準としてＸ方向に関して負側（第１側）を遮光する。すなわち、位相差画素ＺＬでは、遮光層ＳＦは、第１側の射出瞳ＥＰ１からの光束ＬＦをフォトダイオードＤ１に入射させ、かつ、Ｘ方向に関して正側（第２側）の射出瞳ＥＰ２からの光束ＬＦを遮光する。

位相差画素ＺＲでは、遮光層ＳＦは、フォトダイオードＤ１の中心を基準としてＸ方向に関して正側（第２側）を遮光する。すなわち、位相差画素ＺＲでは、遮光層ＳＦは、第２側の射出瞳ＥＰ２からの光束ＬＦをフォトダイオードＤ１に入射させ、かつ、Ｘ方向に関して負側（第１側）の射出瞳ＥＰ１からの光束ＬＦを遮光する。

（画素配列）
図８は、撮像センサ２０の画素配列の一例を示す。図８に示すカラーフィルタＣＦの色配列は、いわゆるベイヤ配列である。ベイヤ配列は、２×２の４画素のうち、対角の２画素にＧのカラーフィルタＣＦを配置し、他の２画素にＲとＢのカラーフィルタＣＦを配置した色配列である。図８中の「Ｒ」は、ＲのカラーフィルタＣＦが設けられた撮像画素Ｎを表している。「Ｇ」は、ＧのカラーフィルタＣＦが設けられた撮像画素Ｎを表している。「Ｂ」は、ＢのカラーフィルタＣＦが設けられた撮像画素Ｎを表している。なお、カラーフィルタＣＦの色配列は、ベイヤ配列に限定されず、他の色配列であってもよい。

位相差画素ＺＬ，ＺＲは、ベイヤ配列の一部の撮像画素Ｎを置き換えることにより、撮像領域２１内に配置されている。本実施形態では、位相差画素ＺＬ，ＺＲは、ＢのカラーフィルタＣＦが設けられた撮像画素Ｎの一部を置き換えるように配置されている。位相差画素ＺＬ，ＺＲは、Ｘ方向に配列されている。本実施形態では、位相差画素ＺＬ，ＺＲは、Ｘ方向に２画素ごと（すなわち、１画素おき）にいずれかが配置されている。すなわち、位相差画素ＺＬと位相差画素ＺＲとの間には、１つの撮像画素Ｎが配置されている。

位相差画素ＺＬ，ＺＲは、Ｙ方向に１６画素ごとに配列されている。Ｙ方向に配列された位相差画素ＺＬの間には、複数の撮像画素Ｎ（Ｇ及びＢ）が配列されている。Ｙ方向に配列された位相差画素ＺＲの間には、複数の撮像画素Ｎ（Ｇ及びＢ）が配列されている。

なお、位相差画素ＺＬ，ＺＲの配列パターンは、図８に示す例には限定されない。例えば、位相差画素ＺＬ，ＺＲは、Ｘ方向に隣接して配置されていてもよい。

撮像領域２１に含まれる複数の画素２６（図５参照）は、第１画素群ＰＧ１と第２画素群ＰＧ２とに分けられる。第１画素群ＰＧ１は、Ｘ方向に配列された複数の位相差画素ＺＬ，ＺＲ及び複数の撮像画素Ｎを含む。第２画素群ＰＧ２は、Ｘ方向に配列された複数の撮像画素Ｎを含む。第１画素群ＰＧ１と第２画素群ＰＧ２とは、Ｙ方向に交互に配列されている。

本実施形態では、行アドレスをｎ（ここで、ｎは０を含む自然数）とした場合において、第１画素群ＰＧ１には、行アドレスが「４ｎ」の行と、行アドレスが「４ｎ＋１」の行とが含まれる。また、第２画素群ＰＧ２には、行アドレスが「４ｎ＋２」の行と、行アドレスが「４ｎ＋３」の行とが含まれる。位相差画素ＺＬ，ＺＲは、行アドレスが「１６ｎ」の行に存在する。すなわち、位相差画素ＺＬ，ＺＲは、第１画素群ＰＧ１にのみ含まれる。

図９は、主制御部５０による焦点制御及び露光制御を説明する。図９に示すように、焦点検出部５３は、撮像領域２１内に設定されたＡＦエリア２１Ａ内に含まれる位相差画素ＺＬ，ＺＲから出力される信号（以下、位相差画素信号という。）に基づいて焦点検出を行うことにより、焦点情報を生成する。焦点情報は、被写体にピントが合うフォーカスレンズ３１の位置を表す情報である。具体的には、焦点検出部５３は、位相差画素ＺＬから出力された位相差画素信号と、位相差画素ＺＲから出力された位相差画素信号との位相差に基づいて焦点情報を生成し、生成した焦点情報を主制御部５０に出力する。

明るさ検出部５４は、ＡＦエリア２１Ａ内に含まれる撮像画素Ｎから出力される信号（以下、撮像画素信号という。）に基づいて、ＡＦエリア２１Ａの明るさを表す明るさ情報を生成する。明るさ検出部５４は、例えば、撮像画素信号から画素ごとに輝度値を算出し、ＡＦエリア２１Ａにおける平均輝度値を算出する。明るさ検出部５４は、算出した平均輝度値を明るさ情報として主制御部５０に出力する。なお、明るさ情報は、本開示の技術に係る「被写体の情報」の一例である。

主制御部５０は、焦点検出部５３から入力される焦点情報に基づき、レンズ駆動制御部３４を介してフォーカスレンズ３１の位置を制御する。また、主制御部５０は、明るさ検出部５４から入力される明るさ情報に基づき、撮像制御部５１を介して、第１画素群ＰＧ１及び第２画素群ＰＧ２の露光時間を制御する。具体的には、主制御部５０は、明るさ情報に基づき、第１画素群ＰＧ１が露光される第１露光時間Ｅ１と、第２画素群ＰＧ２が露光される第２露光時間Ｅ２とのうち、一方を他方よりも短くする。

（撮像タイミング）
図１０及び図１１は、動画撮像モードで、かつＨＤＲ機能がオンとされている場合における撮像センサ２０の撮像タイミングの一例を示す。

動画撮像のフレーム周期Ｔは、撮像制御部５１から垂直走査回路２２に供給される垂直同期信号ＶＤにより規定される。垂直走査回路２２は、垂直同期信号ＶＤに基づき、第１画素群ＰＧ１及び第２画素群ＰＧ２に対して、行選択信号ＳＥＬ及びリセット信号ＲＳＴを供給する。

具体的には、垂直走査回路２２は、垂直同期信号ＶＤに同期して、第１画素群ＰＧ１及び第２画素群ＰＧ２に対して、行選択信号ＳＥＬを供給する。本実施形態では、垂直走査回路２２は、行アドレスを０，１，２・・・と順に変更しながら行選択線Ｌ１（図５参照）を選択し、選択した行選択線Ｌ１に行選択信号ＳＥＬを供給する。

垂直走査回路２２は、第１画素群ＰＧ１及び第２画素群ＰＧ２に対して、それぞれの露光時間に応じてリセット信号ＲＳＴを供給する。第１露光時間Ｅ１は、第１画素群ＰＧ１において、リセット信号ＲＳＴが入力されてから行選択信号ＳＥＬが入力されるまでの時間（すなわち電荷蓄積時間）である。第２露光時間Ｅ２は、第２画素群ＰＧ２において、リセット信号ＲＳＴが入力されてから行選択信号ＳＥＬが入力されるまでの時間である。露光期間は、行ごとにずれる。すなわち、撮像センサ２０は、フォーカルプレーン方式の電子シャッタで露光を行う。

なお、図１０及び図１１においてハッチングを施した期間は、遮光期間である。遮光期間内において、第１画素群ＰＧ１及び第２画素群ＰＧ２に対して、リセット信号ＲＳＴを周期的に供給してもよい。また、遮光期間内において、第１画素群ＰＧ１及び第２画素群ＰＧ２に対して、リセット信号ＲＳＴを定常的に供給してもよい。

図１０は、ＡＦエリア２１Ａの明るさが任意の第１閾値以上である場合における撮像タイミングの一例を示す。この場合、主制御部５０は、Ｅ１＜Ｅ２とするように、リセットタイミングを制御する。図１１は、ＡＦエリア２１Ａの明るさが第１閾値未満である場合における撮像タイミングの一例を示す。この場合、主制御部５０は、Ｅ２＜Ｅ１とするように、リセットタイミングを制御する。

（露光制御）
次に、動画撮像モードで、かつＨＤＲ機能がオンとされている場合における露光制御の流れの一例を、図１２に示すフローチャートを参照しながら説明する。まず、主制御部５０は、操作部４２の操作による動画撮像の開始指示があったか否かを判定する（ステップＳ１０）。

主制御部５０は、動画撮像の開始指示があったと判定した場合には（ステップＳ１０：ＹＥＳ）、撮像制御部５１を制御することにより、撮像センサ２０に一定のフレーム周期Ｔで撮像動作を行わせるとともに、明るさ検出部５４からＡＦエリア２１Ａの明るさ情報を取得する（ステップＳ１１）。なお、主制御部５０は、フレーム周期Ｔごとに、明るさ検出部５４から明るさ情報を取得する。

主制御部５０は、取得した明るさ情報に基づき、ＡＦエリア２１Ａの明るさが第１閾値以上であるか否かを判定する（ステップＳ１２）。主制御部５０は、ＡＦエリア２１Ａの明るさが第１閾値以上であると判定した場合には（ステップＳ１２：ＹＥＳ）、次のフレーム周期ＴでＥ１＜Ｅ２とするように、リセットタイミングを制御する（ステップＳ１３）。一方、主制御部５０は、ＡＦエリア２１Ａの明るさが第１閾値未満であると判定した場合には（ステップＳ１２：ＮＯ）、次のフレーム周期ＴでＥ２＜Ｅ１とするように、リセットタイミングを制御する（ステップＳ１４）。

次に、主制御部５０は、操作部４２の操作による動画撮像の終了指示があったか否かを判定する（ステップＳ１５）。主制御部５０は、動画撮像の終了指示がなかったと判定した場合には（ステップＳ１５：ＮＯ）、処理をステップＳ１１に移行して、再び明るさ情報を取得する。ステップＳ１１からステップＳ１５までの処理は、ステップＳ１５で動画撮像の終了指示があったと判定されるまでの間、フレーム周期Ｔごとに繰り返し実行される。そして、主制御部５０は、動画撮像の終了指示があったと判定した場合には（ステップＳ１５：ＹＥＳ）、処理を終了する。

以上のように、主制御部５０は、ＡＦエリア２１Ａの明るさが第１閾値以上である場合には、位相差画素ＺＬ，ＺＲを含む第１画素群ＰＧ１が露光される第１露光時間Ｅ１を、位相差画素ＺＬ，ＺＲを含まない第２画素群ＰＧ２が露光される第２露光時間Ｅ２よりも短くする。このように、主制御部５０は、ＡＦエリア２１Ａの明るさが第１閾値以上である場合に、位相差画素ＺＬ，ＺＲの信号が飽和することによる白飛びが生じないように、第１露光時間Ｅ１を第２露光時間Ｅ２よりも短くするので、より精度のよい位相差情報が得られる。

一方、主制御部５０は、ＡＦエリア２１Ａの明るさが第１閾値未満である場合には、位相差画素ＺＬ，ＺＲを含まない第２画素群ＰＧ２が露光される第２露光時間Ｅ２を、位相差画素ＺＬ，ＺＲを含む第１画素群ＰＧ１が露光される第１露光時間Ｅ１よりも短くする。このように、主制御部５０は、ＡＦエリア２１Ａの明るさが第１閾値未満である場合に、位相差画素ＺＬ，ＺＲの信号が小さいことによる黒つぶれが生じないように、第１露光時間Ｅ１を第２露光時間Ｅ２よりも長くするので、より精度のよい位相差情報が得られる。

したがって、ダイナミックレンジ拡大のために第１露光時間Ｅ１と第２露光時間Ｅ２とを異ならせる場合に、上記の露光制御を実行することにより、ＡＦエリア２１Ａの明るさによらず、精度のよい位相差情報を得ることができる。これにより、ダイナミックレンジ拡大を行う場合においても、位相差方式の焦点調整を精度よく行うことができる。

（ＨＤＲ合成処理）
図１３は、ＨＤＲ合成部５６によるＨＤＲ合成処理を模式的に示す。ＨＤＲ合成部５６は、Ｙ方向に隣接する第１画素群ＰＧ１と第２画素群ＰＧ２とから出力される信号を加算することにより、ＨＤＲ画像を生成する。

具体的には、ＨＤＲ合成部５６は、第１画素群ＰＧ１から出力される信号（以下、ＰＧ１信号という。）と、第２画素群ＰＧ２から出力される信号（以下、ＰＧ２信号という。）とを、対応する一対の画素ごとに加算する。なお、対応する一対の画素とは、Ｘ方向については同じアドレスで、かつＹ方向については２画素だけ異なるアドレスに位置する一対の画素をいう。

例えば、ＨＤＲ合成では、位相差画素信号を用いず、撮像画素信号のみが用いられる。このため、位相差画素ＺＬ，ＺＲについては、第１画素群ＰＧ１において、位相差画素ＺＬ，ＺＲの周囲に存在する撮像画素Ｎの撮像画素信号を用いて画素補完を行うことにより得られた信号がＨＤＲ合成に用いられる。

なお、撮像画素信号に加えて位相差画素信号を用いてＨＤＲ合成を行ってもよい。位相差画素ＺＬ，ＺＲは、撮像画素Ｎと比較して受光量が小さいため、ＨＤＲ合成部５６は、位相差画素信号をゲイン補正してＨＤＲ合成に用いればよい。

ＨＤＲ合成部５６は、ＰＧ１信号とＰＧ２信号とを、アナログ信号の状態で合成してもよいし、Ａ／Ｄ変換によりデジタル信号とした後に合成してもよい。また、ＨＤＲ合成部５６は、ＰＧ１信号とＰＧ２信号とを、ＲＡＷデータの状態で合成してもよいし、デモザイク処理を施した後に合成してもよい。

また、本実施形態では、ＨＤＲ合成部５６は、ＰＧ１信号に係数αを乗じた値と、ＰＧ２信号に係数１－αを乗じた値とを加算する。ここで、係数αは、０≦α≦１を満たす値である。

図１４は、係数αと画素の輝度との関係式の一例を示すグラフである。ＨＤＲ合成部５６は、図１４に示す関係に基づき、加算する一対の画素ごとに係数αを求めて、ＰＧ１信号とＰＧ２信号との加算を行う。

Ｅ１＜Ｅ２の場合には、ＨＤＲ合成部５６は、輝度の増加に応じて係数αが増加する関係式Ｆ１を用いて係数αを決定する。一方、Ｅ２＜Ｅ１の場合には、ＨＤＲ合成部５６は、輝度の増加に応じて係数αが減少する関係式Ｆ２を用いて係数αを決定する。いずれの場合においても、輝度が高いほど、短時間露光側の信号の加算割合が増加する。画素の輝度は、例えば、露光時間が短い方の画素の輝度情報（Ｒ，Ｇ，Ｂ信号値）を基準とする。

図１５は、入射光量に対するＰＧ１信号及びＰＧ２信号の信号レベルを模式的に示す。Ｅ１＜Ｅ２の場合には、ＰＧ１信号は入射光量が多い領域に対して感度を高める効果を発揮し、ＰＧ２信号は入射光量が少ない領域に対して感度を高める効果を発揮する。一方、Ｅ２＜Ｅ１の場合には、ＰＧ１信号は入射光量が少ない領域に対して感度を高める効果を発揮し、ＰＧ２信号は入射光量が多い領域に対して感度を高める効果を発揮する。この結果、ＰＧ１信号とＰＧ２信号とを加算することにより生成されるＨＤＲ画像のダイナミックレンジが拡大する。

以上のように、本開示の技術によれば、位相差画素を含む画素群（本実施形態では第１画素群ＰＧ１）を、短時間露光と長時間露光とのいずれとするかを適切に決定することができる。

［第２実施形態］
次に、第２実施形態について説明する。第１実施形態では、動画撮像モードで、かつＨＤＲ機能がオンとされている場合に、主制御部５０は、被写体の情報としての「ＡＦエリア２１Ａの明るさ」に基づいて露光制御を行っている。これに対して、第２実施形態では、主制御部５０は、被写体の情報としての「被写体の移動速度」に基づいて露光制御を行う。

本実施形態では、主制御部５０は、例えば、フレーム周期Ｔごとに撮像センサ２０の撮像領域２１から出力される映像信号に基づき、フレーム間の被写体の移動ベクトルを求めることにより、被写体の移動速度を検出する。なお、主制御部５０は、ＡＦエリア２１Ａから出力される映像信号に基づいて被写体の移動速度を検出してもよい。

図１６は、第２実施形態に係る露光制御の一例を示す。まず、主制御部５０は、操作部４２の操作による動画撮像の開始指示があったか否かを判定する（ステップＳ２０）。

主制御部５０は、動画撮像の開始指示があったと判定した場合には（ステップＳ２０：ＹＥＳ）、撮像制御部５１を制御することにより、撮像センサ２０に一定のフレーム周期Ｔで撮像動作を行わせるとともに、撮像センサ２０から出力される映像信号に基づいて被写体の移動速度を検出する（ステップＳ２１）。

主制御部５０は、検出した被写体の移動速度に基づき、移動速度が任意の第２閾値以上であるか否かを判定する（ステップＳ２２）。主制御部５０は、移動速度が第２閾値以上であると判定した場合には（ステップＳ２２：ＹＥＳ）、次のフレーム周期ＴでＥ１＜Ｅ２とするように、リセットタイミングを制御する（ステップＳ２３）。一方、主制御部５０は、移動速度が第２閾値未満であると判定した場合には（ステップＳ２２：ＮＯ）、次のフレーム周期ＴでＥ２＜Ｅ１とするように、リセットタイミングを制御する（ステップＳ２４）。

次に、主制御部５０は、操作部４２の操作による動画撮像の終了指示があったか否かを判定する（ステップＳ２５）。主制御部５０は、動画撮像の終了指示がなかったと判定した場合には（ステップＳ２５：ＮＯ）、処理をステップＳ２１に移行して、再び被写体の移動速度を検出する。ステップＳ２１からステップＳ２５までの処理は、ステップＳ２５で動画撮像の終了指示があったと判定されるまでの間、フレーム周期Ｔごとに繰り返し実行される。そして、主制御部５０は、動画撮像の終了指示があったと判定した場合には（ステップＳ２５：ＹＥＳ）、処理を終了する。

以上のように、主制御部５０は、被写体の移動速度が第２閾値以上である場合には、位相差画素ＺＬ，ＺＲを含む第１画素群ＰＧ１が露光される第１露光時間Ｅ１を、位相差画素ＺＬ，ＺＲを含まない第２画素群ＰＧ２が露光される第２露光時間Ｅ２よりも短くする。一方、主制御部５０は、被写体の移動速度が第２閾値未満である場合には、位相差画素ＺＬ，ＺＲを含まない第２画素群ＰＧ２が露光される第２露光時間Ｅ２を、位相差画素ＺＬ，ＺＲを含む第１画素群ＰＧ１が露光される第１露光時間Ｅ１よりも短くする。

このように、本実施形態では、被写体の移動速度が速い場合には、露光時間を短くして位相差情報が取得される。一方、被写体の移動速度が遅い場合には、露光時間を長くして十分に露光された状態で位相差情報が取得される。

［第３実施形態］
次に、第３実施形態について説明する。第１実施形態では、図１０及び図１１に示すように、主制御部５０は、撮像センサ２０から映像信号を読み出す際に、行アドレスを０，１，２，・・・と順に選択して読み出しを行っている。すなわち、第１実施形態では、主制御部５０は、第１画素群ＰＧ１と第２画素群ＰＧ２とから交互に信号読み出しを行っている。これに対して、第３実施形態では、主制御部５０は、第１画素群ＰＧ１と第２画素群ＰＧ２とのうち一方の信号読み出しを行った後、第１画素群ＰＧ１と第２画素群ＰＧ２とのうち一方の信号読み出しを行う。

図１７は、第３実施形態に係る撮像タイミングの一例を示す。図１７に示すように、本実施形態では、まず、行アドレスが「４ｎ」及び「４ｎ＋１」の第１画素群ＰＧ１に対して行選択信号ＳＥＬを供給することにより信号読み出しが行われる。この後、行アドレスが「４ｎ＋２」及び「４ｎ＋３」の第２画素群ＰＧ２に対して行選択信号ＳＥＬを供給することにより信号読み出しが行われる。なお、第１画素群ＰＧ１からの信号読み出しと、第２画素群ＰＧ２からの信号読み出しとは、同一のフレーム周期Ｔ内において続けて行われる。

本実施形態では、リセットについても信号読み出しと同様に、第１画素群ＰＧ１をリセットした後、第２画素群ＰＧ２がリセットされる。

なお、図１７に示す例とは逆に、主制御部５０は、第２画素群ＰＧ２から信号読み出しを行った後、第１画素群ＰＧ１から信号読み出しを行ってもよい。但し、位相差画素ＺＬ，ＺＲは、第１画素群ＰＧ１にのみ含まれるため、第２画素群ＰＧ２よりも先に第１画素群ＰＧ１の信号読み出しを行うことが好ましい。第１画素群ＰＧ１を先に信号読み出しすることで、位相差情報をフレーム期間の開始後早期に取得することができる。

また、図１７に示す例では、主制御部５０は、第１画素群ＰＧ１及び第２画素群ＰＧ２ともに、Ｙ方向に関して同一の方向に信号読み出しを行っている。具体的には、行アドレスが増加する方向を正方向とし、行アドレスが減少する方向を負方向とした場合に、図１７に示す例では、主制御部５０は、第１画素群ＰＧ１及び第２画素群ＰＧ２ともに、正方向に信号読み出しを行っている。なお、Ｙ方向における正方向は、本開示の技術に係る「第１方向における一方向」の一例である。また、Ｙ方向における負方向は、本開示の技術に係る「第１方向における他方向」の一例である。

第１画素群ＰＧ１と第２画素群ＰＧ２とで、信号読み出しの方向を逆としてもよい。また、撮像領域２１内における被写体の位置に応じて信号読み出しの方向を変更してもよい。

図１８は、第１画素群ＰＧ１と第２画素群ＰＧ２との信号読み出しの方向を被写体の位置に応じて変更する例を説明する。本例では、主制御部５０は、撮像センサ２０から出力される映像信号に基づき、被写体検出（例えば、顔検出）を行い、撮像領域２１内における被写体の位置を検出する。そして、主制御部５０は、撮像領域２１のＹ方向に関する中央に位置する仮想線Ｃに対して、被写体がＹ方向における正方向側と負方向側とのいずれの領域に位置するかを判定する。

主制御部５０は、被写体の位置が仮想線Ｃよりも正方向側である場合には、第１画素群ＰＧ１をＹ方向における負方向側から正方向に信号読み出しした後、第２画素群ＰＧ２をＹ方向における正方向側から負方向に信号読み出しする。一方、主制御部５０は、被写体の位置が仮想線Ｃよりも負方向側である場合には、第１画素群ＰＧ１をＹ方向における正方向側から負方向に信号読み出しした後、第２画素群ＰＧ２をＹ方向における負方向側から正方向に信号読み出しする。

このように、被写体の位置に応じて第１画素群ＰＧ１及び第２画素群ＰＧ２の信号読み出しの方向を変更することにより、被写体付近から読み出されたＰＧ１信号とＰＧ２信号との間の時間的なずれが低減する。これにより、ＨＤＲ画像における被写体の画質が向上する。

なお、図１８に示す例では、第１画素群ＰＧ１を第２画素群ＰＧ２よりも先に信号読み出ししているが、第２画素群ＰＧ２を第１画素群ＰＧ１よりも先に信号読み出ししてもよい。また、被写体が仮想線Ｃに交わる場合には、被写体の重心が仮想線Ｃに対して正方向側と負方向側とのいずれの領域に位置するかに基づいて、被写体の位置を判定してもよい。また、被写体が仮想線Ｃに交わる場合に、仮想線Ｃに対して正方向側と負方向側とのいずれのほうが被写体の面積大きいかに基づいて、被写体の位置を判定してもよい。

［第４実施形態］
次に、第４実施形態について説明する。第１実施形態では、第１画素群ＰＧ１と第２画素群ＰＧ２とは、重心位置がＹ方向に２画素分ずれている。すなわち、第１画素群ＰＧ１から読み出されるＰＧ１信号と、第２画素群ＰＧ２から読み出されるＰＧ２信号とは、Ｙ方向に位相がずれている。第４実施形態では、画像処理部５２において、ＰＧ１信号とＰＧ２信号との位相ずれを低減するための位相処理を行った後、ＰＧ１信号とＰＧ２信号とを合成する。

図１９は、位相処理を含むＨＤＲ合成処理を模式的に示す。本実施形態では、画像処理部５２は、ローパスフィルタ処理部５８を有する。ローパスフィルタ処理部５８は、ＰＧ１信号により生成される画像（以下、ＰＧ１画像という。）と、ＰＧ２信号により生成される画像（以下、ＰＧ２画像という。）とのうち、ＰＧ２画像に対してローパスフィルタ処理を施す。ＰＧ１画像及びＰＧ２画像は、例えば、デモザイク処理が施された画像である。

本実施形態では、ＨＤＲ合成部５６は、ＰＧ１画像と、ローパスフィルタ処理が施されたＰＧ２画像とを合成することにより、ＨＤＲ画像を生成する。ＰＧ２画像は、ローパスフィルタ処理によりボケが生じた画像となるので、ＰＧ１画像に対する位相ずれが低減する。

本実施形態では、ＰＧ２画像に対してローパスフィルタ処理を行っている。これは、被写体が明るい場合と暗い場合とのいずれの場合においてもＰＧ２画像が「主要画像」でないためである。例えば、図１２に示すように、ＡＦエリア２１Ａの明るさが第１閾値以上である場合には、Ｅ１＜Ｅ２とされるので、第２画素群ＰＧ２がオーバー露光となる。逆に、ＡＦエリア２１Ａの明るさが第１閾値未満である場合には、Ｅ２＜Ｅ１とされるので、第２画素群ＰＧ２がアンダー露光となる。このように、第２画素群ＰＧ２は、被写体が明るい場合にはオーバー露光となり、被写体が暗い場合にはアンダー露光となるので、いずれの場合においても、第２画素群ＰＧ２から読み出されるＰＧ２画像は主要画像ではなく、ＰＧ１画像が主要画像となる。

このように、本実施形態では、ＰＧ１画像とＰＧ２画像とのうち主要画像でないほうの画像にローパスフィルタ処理を施したうえで合成処理を行うので、画質の劣化を抑えつつ、位相ずれを低減することができる。

なお、ＰＧ２画像に対して、ローパスフィルタ処理に代えて、画素補完処理を施すことにより、ＰＧ１信号とＰＧ２信号との位相ずれを低減することも可能である。ＰＧ２画像に対して画素補完処理により、ＰＧ１画像に対応する画素位置の画素信号を算出すればよい。このように、位相処理は、ローパスフィルタ処理及び画素補完処理を含む概念である。

［第５実施形態］
次に、第５実施形態について説明する。前述のように、第１実施形態では、主制御部５０は、第１露光時間Ｅ１と第２露光時間Ｅ２とのうち一方を他方よりも短くする第１設定処理と、ＰＧ１信号とＰＧ２信号とを合成することによりＨＤＲ画像（第１映像信号）を生成する第１合成処理とを含む第１モードを実行する。

第５実施形態では、主制御部５０は、第１モードに加えて、フレーム期間ごとに露光時間を変更する第２モードを実行可能とする。第２モードは、第２設定処理と、第２合成処理とを含む。主制御部５０は、第２設定処理では、第１フレーム期間の第１露光時間Ｅ１及び第２露光時間Ｅ２と、第１フレーム期間に続く第２フレーム期間の第１露光時間Ｅ１及び第２露光時間Ｅ２とのうち一方を他方よりも短くする。主制御部５０は、第２合成処理では、第１フレーム期間に第１画素群ＰＧ１及び第２画素群ＰＧ２から読み出された信号と、第２フレーム期間に第１画素群ＰＧ１及び第２画素群ＰＧ２から読み出された信号とを合成することにより、ＨＤＲ画像（第２映像信号）を生成する。

図２０は、第２モードにおける撮像タイミングの一例を示す。第２モードでは、第１フレーム期間と第２フレーム期間とのそれぞれにおいて、第１露光時間Ｅ１と第２露光時間Ｅ２とは等しい。すなわち、第２モードでは、主制御部５０は、ＡＦエリア２１Ａの明るさ情報に基づいた露光時間の設定処理は行わない。

また、第１露光時間Ｅ１及び第２露光時間Ｅ２は、第１フレーム期間と第２フレーム期間とで異なる。本実施形態では、第１フレーム期間の第１露光時間Ｅ１及び第２露光時間Ｅ２は、第２フレーム期間の第１露光時間Ｅ１及び第２露光時間Ｅ２よりも短い。第１フレーム期間と第２フレーム期間とは、フレーム周期Ｔごとに交互に繰り返し実行される。

第２モードでは、２フレーム分のＰＧ１信号及びＰＧ２信号を合成することによりＨＤＲ画像が生成されるので、ＨＤＲ画像の解像度は高いが、フレームレートは低い。これに対して、第１モードでは、１フレームごとにＰＧ１信号及びＰＧ２信号を合成することによりＨＤＲ画像が生成されるので、フレームレートは高いが、ＨＤＲ画像の解像度は低い。したがって、主制御部５０は、第１モードにおけるフレームレートの設定上限値を、第２モードにおけるフレームレートの設定上限値よりも高くすることが好ましい。

また、主制御部５０は、ユーザが操作部４２を操作することにより、第１モードと第２モードを選択可能とすることが好ましい。これにより、ユーザは、解像度とフレームレートとのいずれを重視するかに応じて、適切なモードを選択することができる。

［第６実施形態］
次に、第６実施形態について説明する。第１実施形態では、図８に示すように、第１画素群ＰＧ１と第２画素群ＰＧ２とのうち、第１画素群ＰＧ１のみが位相差画素ＺＬ，ＺＲを含む。第６実施形態では、第１画素群ＰＧ１は第１位相差画素Ｚ１Ｌ，Ｚ１Ｒを含み、第２画素群ＰＧ２は第２位相差画素Ｚ２Ｌ，Ｚ２Ｒを含む。

図２１は、第６実施形態に係る撮像センサ２０の画素配列の一例を示す。第１位相差画素Ｚ１Ｌ，Ｚ１Ｒと、第２位相差画素Ｚ２Ｌ，Ｚ２Ｒとは、Ｙ方向に１８画素ごとに交互に配列されている。すなわち、第１位相差画素Ｚ１Ｌ，Ｚ１Ｒは第１画素群ＰＧ１に含まれ、第２位相差画素Ｚ２Ｌ，Ｚ２Ｒは第２画素群ＰＧ２に含まれる。

図２２は、第１位相差画素Ｚ１Ｌ，Ｚ１Ｒの構成の一例を示す。第１位相差画素Ｚ１Ｌ，Ｚ１Ｒは、第１実施形態の位相差画素ＺＬ，ＺＲの構成（図７参照）と同様である。第１位相差画素Ｚ１Ｌ，Ｚ１Ｒは、それぞれフォトダイオードＤ１の受光面の約５０％が遮光層ＳＦにより遮光されているので、フォトダイオードＤ１の受光面積の約５０％の開口面積（以下、第１開口面積という。）を有する。

図２３は、第２位相差画素Ｚ２Ｌ，Ｚ２Ｒの構成の一例を示す。第２位相差画素Ｚ２Ｌ，Ｚ２Ｒは、例えば、フォトダイオードＤ１の受光面の５０％以上の面積が遮光層ＳＦにより遮光されている。すなわち、第２位相差画素Ｚ２Ｌ，Ｚ２Ｒは、第１位相差画素Ｚ１Ｌ，Ｚ１Ｒが有する第１開口面積よりも小さい第２開口面積を有する。

本実施形態では、主制御部５０は、ＡＦエリア２１Ａの明るさによらず、第１画素群ＰＧ１が露光される第１露光時間Ｅ１を、第２画素群ＰＧ２が露光される第２露光時間Ｅ２よりも短くする。すなわち、第１位相差画素Ｚ１Ｌ，Ｚ１Ｒの露光時間を、第２位相差画素Ｚ２Ｌ，Ｚ２Ｒの露光時間よりも短くする。

このように、本実施形態では、長時間露光の第２画素群ＰＧ２では、開口面積が小さい第２位相差画素Ｚ２Ｌ，Ｚ２Ｒにより位相差画素信号が取得されるので、位相差画素信号は白飛びしにくい。また、短時間露光の第１画素群ＰＧ１では、開口面積が大きい第１位相差画素Ｚ１Ｌ，Ｚ１Ｒにより位相差画素信号が取得されるので、位相差画素信号は黒つぶれしにくい。したがって、本実施形態では、白飛び及び黒つぶれが生じない適切な位相差情報を得ることができる。

また、本実施形態では、位相差画素信号は、白飛びが生じる程度の高レベル、又は、黒つぶれが生じる程の低レベルになりにくいため、撮像画素信号に加えて位相差画素信号を用いてＨＤＲ画像を生成する場合に、画質が向上する。

［変形例］
上記各実施形態では、撮像装置１０の内部でＰＧ１信号とＰＧ２信号とを合成するＨＤＲ合成処理を行っているが、ＰＧ１信号とＰＧ２信号とを、ＲＡＷデータのまま撮像装置１０の外部に出力するように構成してもよい。また、撮像装置１０から出力されたＰＧ１信号及びＰＧ２信号を、パーソナルコンピュータ等の外部装置に取り込み、外部装置にインストールされたソフトウェアを用いてＨＤＲ合成処理を行うことを可能としてもよい。

また、上記各実施形態では、撮像センサ２０は、撮像領域２１、垂直走査回路２２、ラインメモリ２３、水平走査回路２４、及び出力アンプ２５で構成されているが、撮像センサ２０は、撮像領域２１のみで構成されていてもよい。垂直走査回路２２、ラインメモリ２３、水平走査回路２４、及び出力アンプ２５は、プロセッサ４０内に設けられていてもよい。

また、上記各実施形態は、矛盾が生じない限り、互いに組み合わせることが可能である。

上記各実施形態において、プロセッサ４０を一例とする制御部のハードウェア的な構造としては、次に示す各種のプロセッサを用いることができる。上記各種のプロセッサには、ソフトウェア（プログラム）を実行して機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡなどの製造後に回路構成を変更可能なプロセッサが含まれる。ＦＰＧＡには、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

制御部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の制御部は１つのプロセッサで構成してもよい。

複数の制御部を１つのプロセッサで構成する例は複数考えられる。第１の例に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２の例に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ：ＳＯＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、制御部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成できる。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

１０ 撮像装置
１１ 本体
１１Ａ カメラ側マウント
１１Ｂ 電気接点
１１Ｃ 前面
１１Ｄ 背面
１２ 撮像レンズ
１２Ａ レンズ側マウント
１２Ｂ 電気接点
１３ ダイヤル
１４ レリーズボタン
１５ ディスプレイ
１６ 指示キー
１８ ファインダ接眼部
２０ 撮像センサ
２１ 撮像領域
２１Ａ ＡＦエリア
２２ 垂直走査回路
２３ ラインメモリ
２４ 水平走査回路
２４Ａ 水平出力線
２５ 出力アンプ
２６ 画素
２９ トランジスタ
３０ 対物レンズ
３１ フォーカスレンズ
３２ 後端レンズ
３３ 絞り
３４ レンズ駆動制御部
４０ プロセッサ
４２ 操作部
４５ メモリ
４５Ａ プログラム
４７ ブレ検出センサ
５０ 主制御部
５１ 撮像制御部
５２ 画像処理部
５３ 焦点検出部
５４ 明るさ検出部
５５ 補正量算出部
５６ ＨＤＲ合成部
５７ ブレ補正部
５８ ローパスフィルタ処理部
Ｃ 仮想線
ＣＦ カラーフィルタ
Ｄ１ フォトダイオード
Ｅ１ 第１露光時間
Ｅ２ 第２露光時間
ＥＰ 射出瞳
Ｌ１ 行選択線
Ｌ２ 行リセット線
Ｌ３ 列信号線
ＬＡ 光軸
ＬＦ 光束
Ｍ１ アンプトランジスタ
Ｍ２ 画素選択トランジスタ
Ｍ３ リセットトランジスタ
ＭＬ マイクロレンズ
Ｎ 撮像画素
ＰＧ１ 第１画素群
ＰＧ２ 第２画素群
ＲＳＴ リセット信号
Ｓ 画素信号
ＳＥＬ 行選択信号
ＳＦ 遮光層
Ｔ フレーム周期
ＶＤ 垂直同期信号
ＺＬ，ＺＲ 位相差画素
Ｚ１Ｌ，Ｚ１Ｒ 第１位相差画素
Ｚ２Ｌ，Ｚ２Ｒ 第２位相差画素

Claims (3)

1. プロセッサと、
   複数の位相差画素及び複数の撮像画素を含む第１画素群と、複数の撮像画素を含む第２画素群とが、第１方向に配列された撮像素子と、を備え、
   前記プロセッサは、
   前記第１画素群が露光される第１露光時間と、前記第２画素群が露光される第２露光時間とを、前記撮像素子により撮像された被写体に関する情報に応じて設定する、
   撮像装置であって、
   前記プロセッサは、
   前記被写体に関する情報に応じて、前記第１露光時間及び前記第２露光時間のうちいずれを他方よりも短くするかを決定する、
   撮像装置。
2. 複数の位相差画素及び複数の撮像画素を含む第１画素群と、複数の撮像画素を含む第２画素群とが、第１方向に配列された撮像素子を備えた撮像装置の駆動方法であって、
   前記第１画素群が露光される第１露光時間と、前記第２画素群が露光される第２露光時間とを、前記撮像素子により撮像された被写体に関する情報に応じて設定すること、
   前記被写体に関する情報に応じて、前記第１露光時間及び前記第２露光時間のうちいずれを他方よりも短くするかを決定すること、
   を含む撮像装置の駆動方法。
3. 複数の位相差画素及び複数の撮像画素を含む第１画素群と、複数の撮像画素を含む第２画素群とが、第１方向に配列された撮像素子を備えた撮像装置を作動させるプログラムであって、
   前記第１画素群が露光される第１露光時間と、前記第２画素群が露光される第２露光時間とを、前記撮像素子により撮像された被写体に関する情報に応じて設定すること、
   前記被写体に関する情報に応じて、前記第１露光時間及び前記第２露光時間のうちいずれを他方よりも短くするかを決定すること、
   を含む処理を撮像装置に実行させる
   プログラム。