JP2007228019A - 撮像装置 - Google Patents

Abstract

【課題】信号処理に破綻を来たすことなく高速フレームレートで撮像することができる撮像装置を提供する。
【解決手段】分割領域設定手段２は、撮像素子１の受光領域に複数の撮像領域を設定する。フレームレート設定手段３は撮像領域毎にフレームレートを設定する。読出し制御手段４は、フレームレート設定手段３によって設定されたフレームレートに応じて、撮像素子１の受光領域から信号を読み出すタイミングを撮像領域毎に制御する。
【選択図】図１

Description

本発明は、撮像素子の受光領域から信号を読み出す際の読み出し方法の改善を図った撮像装置に関する。

用途に応じてフレームレートを変更することが可能な撮像装置がある（例えば特許文献１参照）。動画撮影の際、被写体の動きに応じてフレームレートを変化させ、これを所定の表示レートに変換して再生することにより、自然なスローモーションあるいはハイスピードモーションでの映像表現が可能となる。例えば、表示フレームスピードよりも高速のフレームレートで撮影して得た映像を、表示レートに合わせてコマ変換して画像を表示すればスローモーション再生になり、その逆だとハイスピード再生になる。
特許第３１２９５９９号公報

このとき、１フレーム画像中の全てのエリアを同一のフレームレートで撮影する必要がないことも多い。例えば、ほぼ静止している背景の中で特定の被写体が動くとき等である。動く被写体のスピードに応じて、高速フレームレートで撮影したいがために、１フレーム画像中の全撮影エリアから信号を均一に高速フレームレートで読み出した場合、撮影期間中にほとんど動きのない背景に対しても、ほぼ同一の映像データを数フレームにわたり何度も取得し、立て続けに後段の回路で処理することになる。

この結果、撮像装置において取り扱える処理のスピード的なボトルネックになっていることが多い記録や圧縮などの際に、ほとんど同じ情報に対する同じ処理をフレーム単位で繰り返しているだけであるにも係わらず、単位時間当たりのフレーム数、すなわち情報量が増した結果、処理スピードが追いつかなくなってしまうことがある。実際、現存している撮像装置の多くは、所持している記録や圧縮の処理スピードが制約となって、所定フレームレート以上の高速撮影ができないことが多い。

さらに、記録の点では、ほとんど変化のない情報を複数フレームにわたり記録し続けることになるため、記録手段を搭載したカメラ等、記録容量の制限が厳しい撮像装置にとって、このような記録の仕方が効率良いとは言い難い。これに対処するため、動画記録において、複数フレーム間同様な情報を記録することの負荷を軽減する考え方に、MPEGによる画像圧縮手法が知られている。しかしながら、この画像圧縮手法を実現する手段の規模と消費電力は、撮像装置にとって非常に大きなものとなっているため、他の手法によって信号処理の負荷を軽減することが望ましい。

フレームレートを変化させることができる撮像装置のみではなく、単純に高速撮影を行う撮像装置など、具備する圧縮や記録等の信号処理手段の能力を凌駕する撮像能力を有した撮像装置には、常に上述のような問題が潜在している。

本発明は、上述した問題点に鑑みてなされたものであって、信号処理に破綻を来たすことなく高速フレームレートで撮像することができる撮像装置を提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、受光領域に入射した光を光電変換し、前記受光領域から信号を読み出して撮像信号として出力する撮像素子と、前記受光領域に複数の撮像領域を設定する分割領域設定手段と、前記撮像領域毎にフレームレートを設定するフレームレート設定手段と、前記フレームレート設定手段によって設定されたフレームレートに応じて、前記受光領域から信号を読み出すタイミングを前記撮像領域毎に制御する読出し制御手段とを有することを特徴とする撮像装置である。

また、本発明の撮像装置において、前記フレームレート設定手段は、フレームレートをフレーム毎に設定することを特徴とする。

また、本発明の撮像装置において、前記フレームレート設定手段は、前記複数の撮像領域に設定する少なくとも２つのフレームレートのうち、いずれか１つのフレームレートを設定した後に、設定したフレームレートに連動させて他の撮像領域のフレームレートを設定することを特徴とする。

また、本発明の撮像装置は、前記複数の撮像領域から個別に読み出された前記撮像信号を合成し、各撮像領域で同一のフレームレートの撮像信号を生成する信号処理手段をさらに有することを特徴とする。

また、本発明の撮像装置は、前記複数の撮像領域から個別に読み出された前記撮像信号を、前記撮像領域に対応して個別に記録する記録手段をさらに有することを特徴とする。

また、本発明の撮像装置は、前記撮像素子によって撮像された映像内における注目被写体を設定する注目被写体設定手段と、前記注目被写体設定手段によって設定された前記注目被写体を、前記撮像信号に基づいて検出する注目被写体検出手段とをさらに有し、前記分割領域設定手段は、前記注目被写体検出手段によって検出された前記注目被写体の存在する位置に応じて前記複数の撮像領域を設定することを特徴とする。

本発明によれば、撮像領域毎に異なるフレームレートの撮像信号を得ることが可能となるので、撮像領域毎に単位時間当たりの画像情報量を調整することで、信号処理に破綻を来たすことなく高速フレームレートで撮像することができるという効果が得られる。

以下、図面を参照し、本発明の実施形態を説明する。まず、本発明の第１の実施形態を説明する。図１は、本実施形態による撮像装置の構成を示している。撮像素子１は、受光領域に入射した光を光電変換し、受光領域から信号を読み出して撮像信号として出力する。撮像素子１の受光領域は２つの領域（撮像領域Ａ，Ｂ）に分割されている。それぞれの撮像領域から読み出された信号は、個別に出力Ａ，Ｂ（撮像信号）として後段へ送出される。

この撮像素子１からの信号読出しは、分割領域設定手段２、フレームレート設定手段３、読出し制御手段４により制御される。分割領域設定手段２は撮像素子１の受光領域に複数の撮像領域を設定する。撮像領域の設定は、ユーザの指示に基づいて、あるいは第５の実施形態で説明するように自動的に行われる。フレームレート設定手段３は、分割領域設定手段２によって設定された撮像領域毎にフレームレートを設定する。読出し制御手段４は、フレームレート設定手段３によって設定されたフレームレートに応じて、受光領域から信号を読み出すタイミングを撮像領域毎に制御する。

図２は撮像素子１の内部構造を示している。本実施形態では一例として、Ｘ−Ｙアドレス型の撮像素子の構造を示す。図２では、画素Ｐ１１〜Ｐ４４から構成される４行４列の撮像領域（受光領域）が、上段２行を撮像領域Ａ、下段２行を撮像領域Ｂとして２分割されている。画素Ｐｎｍの添え字ｎおよびｍに関しては、ｎが行番号、ｍが列番号を表している。例えば、Ｐ２３は２行３列目の画素を表す。

各撮像領域上の画素から信号を読み出すために、垂直走査回路４１Ａ，４１Ｂ、垂直走査制御回路４２Ａ，４２Ｂ、水平走査回路４３Ａ，４３Ｂ、水平走査制御回路４４Ａ，４４Ｂが配備されている。これらの回路からは、所定の制御対象に向けて、各種制御パルス（図中、頭文字としてφを付したもの）が出力される。図１の読出し制御手段４は、これらの走査回路および走査制御回路に該当する。光電変換によって画素に蓄積された信号は、垂直読出し信号線Ｈｘ（ｘ＝１〜４）を経て水平走査回路に送られた後、内部に存在する図示しない信号保持回路、例えばキャパシタ等に一旦保持され、水平走査回路毎に設けられた出力線から順次出力される。

垂直走査回路４１Ａ，４１Ｂは、画素から信号を読み出すためのパルス（水平読出しパルス）φＶｙ（ｙ＝１〜４）を出力する。制御は行単位に行われ、パルス状態がＨになったとき、画素からの信号が垂直読出し信号線Ｈｘに送出されるものとする。垂直走査制御回路４２Ａ，４２Ｂは垂直走査回路４１Ａ，４１Ｂの動作を制御する。より具体的には、垂直走査制御回路４２Ａ，４２Ｂは、パルスφＶＳＴＡ，φＶＳＴＢにより走査開始行の位置とタイミングを設定し、パルスφＶＲＳＴにより、走査終了行の位置とタイミングを設定する。パルス状態Ｈが各パルスのアクティブとし、例えば、パルスφＶＳＴＡ，φＶＳＴＢがＨのときに走査開始位置とタイミングが設定され、パルスφＶＲＳＴがＨのときに走査終了が設定される。

撮像領域Ｂに関しては、走査終了行の位置とタイミングを設定するパルスは存在しない。これは、受光領域の最終行まで走査が終わると、自動的にリセット動作が行われるためである。撮像領域Ｂの走査終了行の位置とタイミングを設定するパルスを設けることも、もちろん可能である。

水平走査回路４３Ａ，４３Ｂは、垂直読出し信号線Ｈｘからの信号を一旦保持し、これを順次転送して出力する。水平走査制御回路４４Ａ，４４Ｂは水平走査回路４３Ａ，４３Ｂの動作を制御する。パルスφＳＨＡ，φＳＨＢは、垂直読出し信号線Ｈｘの列毎に設けられた水平走査回路４３Ａ，４３Ｂ内部の信号保持回路に信号を保持するタイミングを制御するためのものであり、パルス状態がＨのときに信号が取り込まれるものとする。パルスφＨＳＴＡ，φＨＳＴＢは、走査開始列の位置とタイミングを制御するためのものであり、パルス状態がＨのときに走査開始位置とタイミングが設定されるものとする。

次に、図３を参照し、撮像素子１から信号を読み出す流れを説明する。図３の横軸は時間を表す。撮像領域Ａからの信号読出しは、垂直走査回路４１Ａ、垂直走査制御回路４２Ａ、水平走査回路４３Ａ、水平走査制御回路４４Ａによって行われる。走査回路のパルスによる読出し制御は水平ブランキング期間中に行われる。まず、垂直走査制御回路４２Ａから垂直走査回路４１Ａへの垂直走査制御パルスφＶＳＴＡがＨになることにより、走査開始行の位置が指定され、垂直走査回路４１Ａが走査開始状態になる。図２に示される垂直走査回路において、破線で分割した領域は、行単位の読出しを制御する走査部の単位を表している。パルスφＶＳＴＡが与えられた１行目の読出し制御パルスφＶ１が所定期間Ｈになると、１行目の画素Ｐ１１〜Ｐ１４からの信号（画素信号）が垂直読出し信号線Ｈ１〜Ｈ４にそれぞれ送出される。

送出された画素信号は水平走査回路４３Ａへ伝達され、各垂直読出し線に連結している信号保持回路で一旦保持される。信号保持回路が画素信号を受け入れるタイミングは、水平走査制御回路４４Ａの信号電荷保持パルスφＳＨＡで制御される。このパルスのレベルをＨにすることで、信号保持回路は画素信号を受け入れる。本実施形態では、このタイミングは、読出し制御パルスφＶ１〜φＶ４によって信号が垂直読出し信号線に解き放たれたタイミングと等価としている。上記の結果、各垂直読出し信号線に配された水平走査回路４３Ａの信号保持回路に、１行分の画素Ｐ１１〜Ｐ１４からの画素信号が保持される。

その後、水平走査制御回路４４Ａは、水平走査制御パルスφＨＳＴＡをＨレベルにすることで、所定の位置から読出し走査を開始する。そして、１行目の画素信号を全て走査し終えると、動作が終了する。図２に示されるように、１列目に対する水平走査制御パルスφＨＳＴＡをＨレベルにすることで、出力Ａとして、１ライン期間に図３の画素信号Ｐ１１，１〜Ｐ１４，１からなる信号出力が得られる。なお、Ｐｎｍ，ａのａはフレーム番号を示している。

垂直走査回路も水平走査回路も、シフトレジスタを有する構成となっているとすると、走査開始が指定されれば、後はリセットフラグが与えられるまで、行あるいは列が自動的に走査される。１行目の垂直走査が終了すると、垂直走査回路４１Ａは２行目の垂直走査パルスφＶ２をアクティブ（Ｈ）にすると同時に、水平走査制御回路４４Ａが信号電荷保持パルスφＳＨＡをＨレベルにする。続いて、水平走査制御回路４４Ａが水平走査制御パルスφＨＳＴＡをＨレベルにする。これによって、２行目の画素Ｐ２１〜Ｐ２４からの画素信号が読み出され、１行目と同様の走査により、出力Ａとして、画素信号Ｐ２１，１〜Ｐ２４，１からなる信号出力が得られる。撮像領域Ａでは、この２行分の画素信号が読み出されると、１フレームの走査が完結するため、２行目の読出しが終了した次のタイミングで、パルスφＶＲＳＴがＨレベルとなり、垂直走査が終了する。

撮像領域Ａでは、以上の動作を繰り返すことで、図３の出力Ａのような信号が得られる。一方、撮像領域Ｂからの信号読出しは、垂直走査回路４１Ｂ、垂直走査制御回路４２Ｂ、水平走査回路４３Ｂ、水平走査制御回路４４Ｂによって行われる。基本動作は撮像領域Ａでの信号読出しと同一のため、説明を省略するが、以下の点に注意する必要がある。

（１）同一の信号線に複数の異なる信号が同時に入ってくると、信号が破壊されるため、同一の垂直読出し信号線Ｈｘに対して、複数行の画素から同時に信号が開放されないようにする。
（２）同一行の動作を複数のパルスで同時に制御することはできないため、撮像領域ＡとＢの双方で同時に同一の行が走査制御されないようにする。
（３）撮像領域ＡとＢのフレーム期間長を異ならせるために、一方の撮像領域からのみ信号読出しを行い、他方の撮像領域からは信号読出しを行わない期間（本実施形態では垂直ブランキング期間に充てる）を用意する。

（１）に対処するため、同一水平ブランキング期間中のパルスφＶ１，φＶ３をＨレベルにするタイミングを異ならせると共に、パルスφＳＨＡとφＳＨＢをＨレベルにするタイミングを異ならせる。図３に示されるように、パルスφＶ１，φＳＨＡがＨレベルとなるタイミングで、１行目の画素信号が、垂直読出し信号線Ｈ１〜Ｈ４を経て水平走査回路４３Ａの信号保持回路に保持される。この後、パルスφＶ３，φＳＨＢがＨレベルとなるタイミングで、３行目の画素信号が、垂直読出し信号線Ｈ１〜Ｈ４を経て水平走査回路４３Ｂの信号保持回路に保持される。このように、同一の垂直読出し信号線Ｈｘに対して、複数行の画素から同時に信号が開放されないようになっている。

（２）に対処するため、図１の分割領域設定手段２が撮像領域の設定を制御する。分割領域設定手段２は、垂直走査領域が撮像領域ＡとＢとで重複しないように撮像領域を設定する。

（３）に対処するため、図１のフレームレート設定手段３および読出し制御手段４が信号の読出し期間を制御する。図３に示されるように、走査制御パルスφＶＳＴＢ、φＶ３、φＶ４、φＨＳＴＢ、φＳＨＢをＨにしない期間を作ることで、撮像領域Ｂからの読出しが停止され、これを垂直ブランキング期間に充てることで、１フレーム期間が１ライン単位で変化する。図３では、１ライン期間だけ撮像領域Ｂからの読出しを停止することによって、撮像領域Ｂの１フレーム期間が撮像領域Ａの１フレーム期間よりも１ライン期間分長くなっている。

図３では、撮像領域Ｂから１フレーム分の画素信号が読み出される間に、撮像領域Ａから１．５フレーム分の画素信号が読み出されるので、撮像領域Ａに対応した撮像信号と、撮像領域Ｂに対応した撮像信号のフレームレートの比は３：２となる。設定されたフレームレートに応じて信号の読出し期間を制御するためには、水平・垂直ブランキング期間の長さを適宜変更すればよい。例えば、図３で撮像領域Ｂの垂直ブランキング期間を２ライン期間にすれば、撮像領域Ｂから１フレーム分の画素信号が読み出される間に、撮像領域Ａから２フレーム分の画素信号が読み出されるので、撮像領域Ａに対応した撮像信号と、撮像領域Ｂに対応した撮像信号のフレームレートの比は２：１となる。

本実施形態では、受光領域を垂直方向に２分割する例を述べたが、水平方向に分割することもできる。また、撮像領域の数は２つに限らず、さらに撮像領域の数を増やしてもよい。その場合、撮像領域の数だけ、垂直・水平走査回路および垂直・水平走査制御回路を設ければよい。また、本実施形態では、Ｘ−Ｙアドレス型の撮像素子を例に挙げたが、本発明の基本概念がこれに特化されるものではない。

上述したように、本実施形態によれば、撮像領域毎に異なるフレームレートの撮像信号を得ることが可能となる。撮像領域毎に単位時間当たりの画像情報量を調整することで、撮像装置自体が有するフレーム単位での圧縮処理能力や記録能力等に対応して、信号処理に破綻を来たすことなく高速フレームレートで撮像することができる。また、例えばフレームレートを高速化することで、後段の信号処理の負荷が増大するが、撮影者の意図として、１フレーム内のうち撮影効果を求めない領域に対してはフレームレートを下げるなど、撮像領域毎に個別に情報量を設定することで、信号処理の軽減を図ることができる。

次に、本発明の第２の実施形態を説明する。図４は、本実施形態によるフレームレート設定手段３ａの構成を示している。図示しない設定キーあるいはＰＣからのリモート制御等により、ユーザが所定の情報を入力することで、撮像領域Ａ，Ｂそれぞれのフレームレートの情報がフレームレート設定テーブル生成手段３１に入力される。フレームレート設定テーブル生成手段３１は、入力された情報に基づいて、撮像領域毎の各フレームのフレームレートの一覧であるフレームレート設定テーブルを生成し、読出し制御手段４へ出力する。これによって、撮影フレーム単位で各領域のフレームレートを個別に変化させることが可能になる。

図５はフレームレート設定の一例を示している。図５において、撮像領域Ａではａ［ｆｐｓ］のフレームレートで撮影が開始され、ｎフレーム撮影した後、フレームレートがｘ［ｆｐｓ］になる。また、撮影領域Ｂでは、ｂ［ｆｐｓ］のフレームレートから撮影が開始され、ｎフレーム撮影した後、フレームレートがｘ［ｆｐｓ］になる。フレームレートの変更は、第１の実施形態で示したように、水平・垂直ブランキング期間の長さを変更することにより実現される。

フレームレートを、α［ｆｐｓ］からスタートしてβ秒後にγ［ｆｐｓ］にする場合、ユーザは、例えば、（α，β，γ）のパラメータを設定すればよい。フレームレート設定テーブル生成手段３１には、これらのパラメータの値が通知される。フレームレート設定テーブル生成手段３１は、これらのパラメータの値に基づいて、図５のようなフレームレート変化を表すテーブルを作成し、これをパルスあるいはレジスタデータとして読出し制御手段４が展開できる情報として出力する。読出し制御手段４は、フレームレート設定手段３ａから受けた情報に基づいて、撮像素子１の読出しを制御する。

図６は、撮影開始からフレーム毎にフレームレートを設定した場合の各撮像領域での信号読出しの様子を示している。撮像領域Ａ，Ｂの両方で徐々にフレームレートが速くなる。１フレーム期間は垂直ブランキング期間と有効フレーム信号期間で構成され、垂直ブランキング期間のライン数をフレーム毎に変えることによって、フレームレートが変化する。図６において、撮像領域Ａでは、フレーム毎に１ライン期間分、フレームレートが速くなり、撮像領域Ｂでは、フレーム毎に２ライン期間分、フレームレートが速くなる。図６では、垂直ブランキング期間のライン数を変化させているが、水平ブランキング期間を含めた全てのライン期間を変化させる、あるいは特定のライン期間のみを変化させてもよい。

フレームレート設定手段３ａは、フレームレートだけでなく、信号の蓄積時間を制御することも可能である。図７は、撮影開始からフレーム毎に蓄積時間を変化させる例を示している。図７の蓄積時間は、図５のフレームレート変化に応じて設定される。撮像領域Ａでは、１／ａ［ｓ］の蓄積時間から撮影が開始され、ｎフレーム撮影した後、蓄積時間が１／ｘ［ｓ］になる。また、撮影領域Ｂでは、１／ｂ［ｓ］の蓄積時間から撮影が開始され、ｎフレーム撮影した後、蓄積時間が１／ｘ［ｓ］になる。フレームレート設定手段３ａによって設定された蓄積時間の情報は読出し制御手段４へ出力される。読出し制御手段４は、この情報に基づいて、パルスφＶ１〜φＶ４のタイミングを制御すること等によって、蓄積時間を制御する。

蓄積時間は、通常１フレーム単位で設定することが可能である。前述したように垂直ブランキング期間を変化させても、蓄積時間を設定するために制限事項は特に発生しないため、フレームレートと蓄積時間は比較的自由に設定することが可能である。この組合せにより、様々な撮像効果を実現することが可能になる。これらの設定は、フレーム動作の区切りとなる、図３で示した垂直ブランキング期間に実施すればよい。また、読出し制御を行うための情報の設定については、フレームレートや蓄積時間の情報を記憶する動作記憶手段を読出し制御手段４に設け、撮影開始の初期状態に全て設定してもよいし、各フレームの垂直ブランキング期間に設定してもよい。

ユーザがフレームレートを設定する際には、多様な設定手法が可能である。例えば、撮像装置に設けられたダイヤル状の部材をユーザが回転させてフレームレートを細かく設定する等、ダイナミックにフレームレートを変更することも可能となる。

以上により、動画撮影中に撮像映像に異常を来たすことなく、撮像領域毎にフレームレートを設定できるため、フレームレートを設定するために撮影を中断する必要がない。また、フレームレートをダイナミックに変更できるため、例えば被写体の動きに応じて撮影の１コマ毎にフレームレートを少しずつ変化させるなど、スムースなフレームレートの変更が可能になる。

次に、本発明の第３の実施形態を説明する。図８は、本実施形態によるフレームレート設定手段３ｂの構成を示している。図示しない設定キーあるいはＰＣからのリモート制御等により、ユーザが所定の情報を入力することで、撮像領域Ａのフレームレートの情報がフレームレート設定テーブル生成手段３１およびフレームレート算出手段３２に入力される。第２の実施形態と異なり、ユーザは撮像領域Ａのフレームレートだけを入力し、撮像領域Ｂのフレームレートは、撮像領域Ａのフレームレートに連動して設定される。

フレームレート算出手段３２は、入力された撮像領域Ａのフレームレートに応じて撮像領域Ｂのフレームレートを算出し、算出結果をフレームレート設定テーブル生成手段３１へ出力する。フレームレート設定テーブル生成手段３１は、入力された情報に基づいて、撮像領域毎の各フレームのフレームレートの一覧であるフレームレート設定テーブルを生成し、読出し制御手段４へ出力する。これによって、撮影フレーム単位で各領域のフレームレートを個別に変化させることが可能になる。

フレームレートの設定手法に係るその他の部分は第２の実施形態と同様である。以降、設定された各領域のフレームレート（および蓄積時間等）に基づいて、撮像領域の信号読出しが行われる。以上の構成により、ユーザは複数の撮像領域に対して逐一フレームレート等の条件を設定する手間がなく、快適な操作が可能となる。

撮像領域Ｂのフレームレートの設定は、例えば以下のようにして行われる。ユーザは、撮像領域Ｂのフレームレートの算出条件を指定することが可能であるとする。撮像領域Ｂのフレームレートの算出条件を指定可能にすれば、より撮影者のニーズに適した撮像装置となる。ユーザによって、まず撮像領域Ａ（注目する被写体が存在するものとする）のフレームレートが設定される。さらに、ユーザによって、撮像領域Ａのフレームレートと撮像領域Ｂのフレームレートの比Ｃが設定される。フレームレート算出手段３２は、撮像領域Ａのフレームレートと撮像領域Ｂのフレームレートの比がＣとなるように、撮像領域Ａのフレームレートに対応した撮像領域Ｂのフレームレートを算出する。

これによって、ユーザは、注目被写体が存在する撮像領域Ａに対してのみ所望のフレームレートを設定すればよく、撮像領域Ｂについては、所定の条件に則ってフレームレートが自動設定されるため、情報的価値の薄い撮像領域Ｂのフレームレートの設定に手間取ることがなくなる。言い換えると、撮像領域Ａのフレームレートを変更する度に、撮像領域Ｂのフレームレートを逐一設定する必要がない。よって、複数の撮像領域に対して、撮像領域間で異なるフレームレートを設定する場合においても、それぞれの撮像領域に対して個別にフレームレートを設定する必要がなく、撮影者に煩雑な手間を強いることのない快適な撮影が可能となる。

次に、本発明の第４の実施形態を説明する。図９は、本実施形態による撮像装置の構成を示している。図１の基本構成に加えて、撮像素子１の撮像領域Ａ，Ｂに対応した出力Ａ，Ｂの撮像信号を処理する信号処理手段５が設けられ、信号処理手段５の出力信号が、図示しない後段の映像信号処理部へと送出される。信号処理手段５以外の構成は第１の実施形態と同様である。

信号処理手段５は、撮像領域Ａ，Ｂから異なるフレームレートで読み出された２つの撮像信号を同一の撮像信号に合成する。この処理が施された信号処理手段５の出力信号を、それ以降、各撮像領域で同一のフレームレートの信号として扱えることが本実施形態の特長である。例えば、撮像領域Ａからは毎秒６０コマ、撮像領域Ｂからは毎秒３０コマで信号が読み出され、撮像装置の出力は毎秒６０コマで得たいとしたとき、撮像領域Ｂ側のフレームをフレーム補間して倍増し、擬似的に毎秒６０コマとして毎秒のコマ数を両撮像領域で等しくした後に、同一の撮像信号として合成する。

フレーム補間のためには、所定規模のフレームメモリなどを活用し、メモリ書き込み時に毎秒３０コマで書き込んだ撮像領域Ｂ側の１フレーム分の信号を、読出し時に毎秒６０コマで２フレームで読み出すことを繰り返せばよい。このようにして、複数の撮像領域から異なるフレームレートで信号を読み出した結果、撮像時には撮像領域毎に単位時間当たりのデータ量が異なる映像を、撮像装置内で１フレーム単位の画像となる正常なデータとして取り扱えるよう合成し、完成された一連の映像を撮像装置の出力として提供することが可能となる。

上記のように同一のフレームの信号をそのまま繰り返し用いてもよいが、撮像領域毎に異なるフレームレートの差分を埋めるための補間フレームの信号として、数フレーム間で演算した信号を用いてもよい。例えば、補間したいフレームの信号の前後のフレームの信号における撮像領域上の同位置の画素信号に所定の演算を施して得た信号を補間フレームの信号として用いればよい。より具体的には、前のフレームの信号をＦ、後のフレームの信号をＥとしたとき、補間フレームの信号Ｃを、次式に従って算出すればよい。
Ｃ＝（ｎ×Ｆ＋ｍ×Ｅ）／（ｎ＋ｍ）

ｎ，ｍの値の組合せを変化させることで、異なる補間フレームの信号を複数生成することができる。撮像領域間で大幅にフレームレートが異なる場合など、補間フレームの信号を多く生成しなければならない場合、同一信号の繰り返しではなく、補間フレームの前後のフレームとの加算比率を変化させた複数の信号を作成して補間すれば、擬似的によりスムースな動画映像表現が可能になる。

図１０は本実施形態の変形例を示している。記録手段６は、撮像素子１から出力された撮像信号を内部の記録媒体に記録すると共に、記録媒体から撮像信号を読み出して出力する機能を有している。記録手段６は、例えば２つの記録装置からなり、撮像領域Ａ，Ｂの撮像信号が個別に各記録装置に記録される。信号処理手段５は、撮像領域毎に異なるフレームレートで記録され、読み出された撮像信号を、撮像領域間で同一のフレームレートになるように、前述した処理と同等の処理を行う。このように、出力Ａ，Ｂの撮像信号を記録手段６に記録すると共に、記録手段６から各撮像信号を読み出すことができる構成にすれば、撮像領域Ｂ側では、時間当たりに記録するフレーム数が少なくて済む。これによって、限られた記録容量を有効に活用し、より多くの情報を記録したり、より長時間の記録を行ったりすることが可能となる。

また、高速撮像したことにより、単位時間当たりに記録する情報量が増加してしまうような状況においても、記録可能時間が極端に減ることがない等の効果が得られ、快適な撮影を行うことができる。さらに、記録時間を増やしたり、画像の圧縮率を下げて高画質化したりするなどのユーザニーズに応えることが可能になる。

次に、本発明の第５の実施形態を説明する。図１１は、本実施形態による撮像装置の構成を示している。図１の構成に加えて、注目被写体設定手段７および注目被写体検出手段８が設けられている。注目被写体設定手段７は、ユーザからの指示に基づいて、撮像素子１によって撮像された映像内における注目被写体を設定する。注目被写体検出手段８は、注目被写体設定手段７によって設定された注目被写体の情報を元に、撮像素子１から読み出された出力信号映像内の注目被写体を検出する。分割領域設定手段２は、注目被写体検出手段８によって検出された注目被写体の存在する位置に応じて撮像領域を設定する。

注目被写体設定手段７は、例えばユーザによる画面への接触を認識可能なタッチパネル式の液晶電子ビューファインダである。注目被写体設定手段７は、画面上で指定された注目被写体（および必要な周辺画像パタン）の情報を、画像内での位置情報として注目被写体検出手段８へ出力する。注目被写体検出手段８は、撮像素子１から随時更新出力される時系列のフレーム映像において、注目被写体の位置情報に基づいて注目被写体の画像を認識し、その画像パタンを追跡する。

例えば、図１２のように遠方から近づいて来る車が注目被写体であるとする。ユーザは注目被写体設定手段７の画面をタッチし、注目被写体を含む領域を設定する。設定された領域の位置情報は注目被写体検出手段８へ出力される。注目被写体検出手段８は、領域の位置情報に基づいて、その領域の画像に相当する撮像信号から、その領域の画像パタンを認識する。この画像パタンが収まる領域を、撮像素子１における読出しラインで定義すると、図１２では、ｎライン目とｍライン目に挟まれた領域の画像パタンが、注目被写体追跡用の画像パタンとして認識される。

注目被写体の設定には様々な方法が可能である。例えば、ユーザが画面内でｎライン目とｍライン目の位置を指定したら、それらの位置に挟まれた領域の画像パタンを認識するようにしてもよい。あるいは、長方形の上辺がｎライン目、下辺がｍライン目の位置となるように、ユーザが画面内で長方形の領域を指定したら、上辺と下辺の位置に挟まれた領域の画像パタンを認識するようにしてもよい。また、ユーザが指定した領域よりも数ライン分外側まで含めた領域の画像パタンを認識するようにしてもよい。

図１２では、注目被写体がＡフレーム目においてｎライン目からｍライン目に収まっていた場合、分割領域設定手段２はこの領域を撮像領域Ａと設定し、それ以外の領域を撮像領域Ｂとして設定する。以降、注目被写体検出手段８は、公知のブロックマッチング等によって、注目被写体の領域の画像パタンを追跡する。（Ａ＋ａ）フレーム後、注目被写体の収まる範囲がＮライン目からＭライン目までの範囲になっていたとすると、注目被写体検出手段８はＮ〜Ｍライン目を撮像領域Ａ、それ以外の領域を撮像領域Ｂとして設定する。

領域設定は、第１の実施形態で説明したのと同様に、パルスφＶＳＴとφＶＲＳＴで行えばよい。領域設定は毎フレームで行ってもよいし、数フレーム間隔で行ってもよい。以上のような構成と手法により、撮像領域の変更をダイナミックに行うことで、被写体の動く領域に合わせて、撮影意図に沿ったハイスピードモーションやスローモーションを自在にきめ細かに調整することが可能になる。

例えば、図１２のように注目被写体が映像内で次第に大きくなる場合、撮像領域を固定的に設定していると、注目被写体領域として設定した領域から注目被写体がはみ出してしまうことがある。フレームレートの異なる領域に注目被写体がまたがることによって、違和感のある画像となってしまう。しかし、注目被写体の動きに合わせて注目被写体領域を適切に設定することによって、撮像装置の処理負荷を抑えたまま、撮影意図に沿った撮像を行うことができる。

また、逆に注目被写体が映像内で次第に小さくなる場合、撮像領域を固定的に設定していると、注目被写体領域として設定した領域内で注目被写体の存在する領域以外の注目しない領域が次第に大きくなることがある。注目しない領域の画像の変化が少ない場合には、その領域のフレームレートを下げることによって、記録時間の拡張や処理時間の高速化を図ることができる。したがってこの場合、注目被写体の動きに合わせて、注目被写体領域が次第に小さくなるようにすることによって、撮像装置の処理負荷をより抑えることができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の第１の実施形態による撮像装置の構成を示すブロック図である。 本発明の第１の実施形態による撮像装置が備える撮像素子の内部構成を示すブロック図である。 本発明の第１の実施形態による撮像装置の動作タイミングを示すタイミングチャートである。 本発明の第２の実施形態による撮像装置が備えるフレームレート設定手段の構成を示すブロック図である。 本発明の第２の実施形態におけるフレームレートの設定例を示す参考図である。 本発明の第２の実施形態において、各撮像領域での信号読出しの様子を示すタイミングチャートである。 本発明の第２の実施形態における蓄積時間の設定例を示す参考図である。 本発明の第３の実施形態による撮像装置が備えるフレームレート設定手段の構成を示すブロック図である。 本発明の第４の実施形態による撮像装置の構成を示すブロック図である。 本発明の第４の実施形態による撮像装置の構成を示すブロック図である。 本発明の第５の実施形態による撮像装置の構成を示すブロック図である。 本発明の第５の実施形態における撮像領域の設定方法を説明するための参考図である。

符号の説明

１・・・撮像素子、２・・・分割領域設定手段、３，３ａ，３ｂ・・・フレームレート設定手段、４・・・読出し制御手段、５・・・信号処理手段、６・・・記録手段、７・・・注目被写体設定手段、８・・・注目被写体検出手段、３１・・・フレームレート設定テーブル生成手段、３２・・・フレームレート算出手段、４１Ａ，４１Ｂ・・・垂直走査回路、４２Ａ，４２Ｂ・・・垂直走査制御回路、４３Ａ，４３Ｂ・・・水平走査回路、４４Ａ，４４Ｂ・・・水平走査制御回路

Claims (6)

1. 受光領域に入射した光を光電変換し、前記受光領域から信号を読み出して撮像信号として出力する撮像素子と、
   前記受光領域に複数の撮像領域を設定する分割領域設定手段と、
   前記撮像領域毎にフレームレートを設定するフレームレート設定手段と、
   前記フレームレート設定手段によって設定されたフレームレートに応じて、前記受光領域から信号を読み出すタイミングを前記撮像領域毎に制御する読出し制御手段と、
   を有することを特徴とする撮像装置。
2. 前記フレームレート設定手段は、フレームレートをフレーム毎に設定することを特徴とする請求項１に記載の撮像装置。
3. 前記フレームレート設定手段は、前記複数の撮像領域に設定する少なくとも２つのフレームレートのうち、いずれか１つのフレームレートを設定した後に、設定したフレームレートに連動させて他の撮像領域のフレームレートを設定することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記複数の撮像領域から個別に読み出された前記撮像信号を合成し、各撮像領域で同一のフレームレートの撮像信号を生成する信号処理手段をさらに有することを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
5. 前記複数の撮像領域から個別に読み出された前記撮像信号を、前記撮像領域に対応して個別に記録する記録手段をさらに有することを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
6. 前記撮像素子によって撮像された映像内における注目被写体を設定する注目被写体設定手段と、
   前記注目被写体設定手段によって設定された前記注目被写体を、前記撮像信号に基づいて検出する注目被写体検出手段と、
   をさらに有し、
   前記分割領域設定手段は、前記注目被写体検出手段によって検出された前記注目被写体の存在する位置に応じて前記複数の撮像領域を設定する
   ことを特徴とする請求項１〜請求項５のいずれかに記載の撮像装置。
   
   

Images