JP7271215B2 - 同期制御装置、同期制御方法、及びプログラム - Google Patents

Description

本発明は、複数の撮像素子における画像の撮像を同期させる同期制御技術に関する。

近年、現実空間と仮想空間をリアルタイムでシームレスに融合させる技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術や拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が知られている。これらの技術の一つとして、ビデオシースルー方式のヘッドマウントディスプレイ（ＨＭＤ）を利用する技術が知られている。ビデオシースルー方式のＨＭＤを備えたシステムでは、ＨＭＤ装着者の瞳位置から観察される範囲と略一致する現実空間をビデオカメラなどで撮像し、その撮像動画像にコンピュータグラフィック（ＣＧ）画像を重畳表示した映像をＨＭＤ内部パネルに表示する。ＨＭＤ装着者は、そのＨＭＤ内部パネルの映像を観察することで、現実空間と仮想空間とが融合された拡張現実感を得ることができる。

このとき、ＨＭＤの位置姿勢を画像処理によって特定するため、また、その位置姿勢に対応した映像をＨＭＤ装着者が観察できるように表示するために、ＨＭＤは、複数の撮像部を用いることが多い。また、ＨＭＤシステムは、それら複数の撮像部で撮影された複数の撮像画像に対して画像処理を行うが、それら複数の撮像画像間に同期ずれがあると、その同期ずれが、画像処理に影響を及ぼす。また、撮像部のイメージセンサがローリングシャッター方式の撮像素子である場合、そのイメージセンサでは、各画素が順次スキャンされるため、各画素において信号が取得される実時間が異なるという特徴を有している。このため、ローリングシャッター方式のイメージセンサが用いられる場合には、撮像画像ごとの同期のみならず、ローリングシャッター方式における撮像時間ずれについても対策が必要となる。

なお、例えば特許文献１及び３には、車載カメラを用いた測距の精度を向上させることを目的として、複数のローリングシャッター方式のイメージセンサで撮像時間の同期を取る技術が開示されている。また特許文献２には、使用者に立体感を提示するカメラの補正を目的として、複数のローリングシャッター方式のイメージセンサで撮像時間の同期を取る技術が開示されている。特許文献１から３の手法では、いずれも、複数のイメージセンサの全領域による撮像画像ごとに、複数の同期信号、シャッター速度、或いは走査速度を調整して、各画像の一部重複する領域に関して最終的に撮像時間の同期をとっている。

特開２００４－３２２４４号公報 国際公開第２０１１／１３２３６４号 国際公開第２０１４／１１１８１４号

しかしながら、ＨＭＤシステムでは、画像処理などシステム後段において必要となる、重複する部分の画像を取得するために、イメージセンサの全領域で画像を撮像し、それを伝送および画像処理している。このため、ＨＭＤシステムは、システム構造が複雑で大きくなりやすく、また消費電力も多くなりやすく、非効率になることが多い。

そこで、本発明は、複数の撮像素子で撮像する場合に、簡便かつ効率的に、正確に同期した撮像画像を取得可能にすることを目的とする。

本発明の同期制御装置は、画像を撮像する複数の撮像素子を同期制御する同期制御装置であって、前記撮像素子ごとに画像を取得する取得領域と、前記撮像素子ごとの前記取得領域に対する同期信号とを、決定する決定手段を有し、前記複数の撮像素子のそれぞれは、ローリングシャッター方式の撮像素子であり、各撮像素子のそれぞれの全有効領域のうち少なくとも一部の領域において撮像する範囲が重複するように配されており、前記決定手段は、前記複数の撮像素子によって撮像された複数の画像のずれ量の情報を基に、前記撮像素子ごとに取得される画像を時間的に同期させるように、前記撮像素子ごとの前記取得領域と前記同期信号とを決定し、前記取得領域としては各撮像素子のそれぞれの全有効領域のうち前記撮像する範囲が重複している領域を決定し、さらに、前記同期信号または前記撮像素子ごとの前記取得領域を、前記撮像素子から被写体までの距離に基づいて調整することを特徴とする。

本発明によれば、複数の撮像素子で撮像する場合に、簡便かつ効率的に、正確に同期した撮像画像を取得可能となる。

ＨＭＤシステムの概略構成例を示すブロック図である。 イメージセンサの取得領域と同期位置を示す概念図である。 第１の実施形態の処理手順を示すフローチャートである。 第１の実施形態における位置関係の説明図である。 第２の実施形態における位置関係の説明図である。 第２の実施形態の処理手順を示すフローチャートである。 第３の実施形態における位置関係の説明図である。 第３の実施形態の処理手順を示すフローチャートである。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜第１の実施形態＞
本実施形態では、同期制御装置の適用例として、例えばＨＭＤ（ヘッドマウンテッドディスプレイ：頭部装着型表示装置）を備えるＨＭＤシステムを例に挙げて説明する。

図１は、本発明の実施形態にかかるＨＭＤシステム１の概略構成例を示すブロック図である。ＨＭＤシステム１は、撮像部１１、撮像部１２、制御部１４、及び処理部１３を有して構成されている。なお、利用者が頭部に装着するＨＭＤには、これら撮像部１１、撮像部１２、制御部１４、及び処理部１３の全ての構成要素が含まれていてもよいが、少なくとも撮像部１１及び撮像部１２はＨＭＤに含まれる。この場合の処理部１３及び制御部１４は、ＨＭＤとは別体のユニットとして、あるいはモバイル端末又はパーソナルコンピュータ等に含まれ、それらとＨＭＤはケーブルまたは無線通信により接続される。

図１の構成例では、いわゆるステレオ撮影を行うことを想定して、撮像部１１と撮像部１２の２個の撮像部を備えた例を挙げているが、撮像部は２個に限らず、３個ないし４個、またはそれ以上の数であってもよい。以降では、ＨＭＤが撮像部１１と撮像部１２の２個の撮像部を有している例を挙げて説明する。撮像部１１はイメージセンサ１１１を有し、撮像部１２はイメージセンサ１２１を有している。本実施形態の場合、イメージセンサ１１１及び１２１がローリングシャッター方式の撮像素子であるとする。また、撮像部１１のイメージセンサ１１１と、撮像部１２のイメージセンサ１２１と、撮像光学系とは、撮像部１１の撮像画角内と撮像部１２の撮像画角内とでそれぞれ同じ範囲を重複して撮像するように配されている。イメージセンサ１１１にて撮像された画像データと、イメージセンサ１２１にて撮像された画像データとは、それぞれ処理部１３に伝送される。なお、以下の説明では伝送等される画像データについても単に画像とのみ表記する。

処理部１３は画像処理部１３１を有しており、画像処理部１３１は、イメージセンサ１１１とイメージセンサ１２１とでそれぞれ撮像されて伝送されてきた画像に対して、所定の画像処理を行う。所定の画像処理は、イメージセンサで撮像された画像に対するベイヤー補間及び色補正など１枚の画像を演算する処理、ステレオ撮影で得られたステレオ画像を基にＨＭＤから被写体等までの距離を演算する測距処理、及び複数の画像を合成する演算処理等である。さらに、本実施形態のＨＭＤシステム１の場合、画像処理部１３１は、複数枚の画像ごとのずれ量を演算により検出するようなずれ量検出処理をも行う。画像処理部１３１で画像処理がなされた後の各画像とそれら画像ごとのずれ量の情報は、制御部１４に伝送される。また測距処理により得られた距離情報は、後述する第２及び第３の実施形態において使用される。

制御部１４は、取得領域決定部１４１と同期信号決定部１４２とを有している。
取得領域決定部１４１は、画像処理部１３１によって検出された画像ごとのずれ量の情報と、イメージセンサ１１１及び１２１の既知の仕様情報とを基に、イメージセンサ１１１と１２１について取得領域を決定する。

取得領域は、撮像部１１と撮像部１２の両撮像画角内の同じ範囲内に存在する被写体等の光学像が形成される領域、言い換えると両撮像画角内の同じ範囲を重複して撮像する領域に相当する。ただし、取得領域は、イメージセンサの機械的な構造や組み立て誤差等により、通常はイメージセンサごとに異なる領域となることが多い。つまり、イメージセンサ１１１と１１２の全有効領域内における取得領域の位置は、それらイメージセンサの機械的な構造と組み立て誤差等によって、イメージセンサごとに異なった位置になることが多い。

ここで、イメージセンサの機械的な構造及び組み立て誤差等によって生ずる位置ずれの量と位置ずれの方向などの情報は、事前に取得可能である。このため、取得領域決定部１４１は、それら事前に取得された情報を基にした演算等によって取得領域を決定することができる。このように事前に決定された取得領域の情報は領域設定情報としてメモリ等に記憶され、取得領域決定部１４１は、ＨＭＤシステム１の起動時等に、該メモリから領域設定情報を読み込むことでイメージセンサごとの取得領域を決定する。このように、事前に取得等した情報を予めメモリに記憶しておいて、そのメモリから読み出した情報を用いる処理を、本実施形態では、静的な処理と表記する。なお、イメージセンサの機械的な構造と組み立て誤差等により生ずる位置ずれの量と位置ずれの方向の情報は、工場の製造工程等において冶工具を用いた別システムによる測定と演算等によって取得することができる。例えば、それら位置ずれの量と位置ずれの方向の情報は、ユーザの設定値或いはシステムの設計値から計算される各イメージセンサの機械的な構造及び組み立て初期値と、実際に計測等して取得された位置との差を演算等することにより取得可能である。

或いは、取得領域決定部１４１は、画像処理部１３１が複数枚の画像から演算により検出した画像ごとのずれ量の情報等を用いた演算を逐次行って、イメージセンサごとの取得領域を決定してもよい。例えば、取得領域決定部１４１は、画像処理部１３１から伝送された画像ごとのずれ量の情報と、ユーザの設定値或いはシステムの設計値から計算される各イメージセンサの機械的な構造及び組み立て初期値との比較を基に、取得領域を決定する。このように、画像処理により逐次演算された値と初期値との比較に基づいて所望の情報を算出する処理を、本実施形態では、動的な処理と表記する。動的な処理により取得領域を決定する場合、ユーザの設定値或いはシステムの設計値から計算される各イメージセンサの機械的な構造及び組み立て初期値の情報が、取得領域を演算により決定する際の領域設定情報として用いられる。

そして、制御部１４は、イメージセンサ１１１について決定された取得領域を当該イメージセンサ１１１に設定し、同様に、イメージセンサ１２１について決定された取得領域を当該イメージセンサ１２１に設定する。

同期信号決定部１４２は、画像処理部１３１が演算した画像ごとのずれ量と、イメージセンサ１１１及び１２１の仕様と、取得領域決定部１４１で決定された取得領域との各情報を基に、各イメージセンサに対する同期信号を決定する。

本実施形態において、同期信号は、イメージセンサ１１１及び１２１に対して設定された取得領域における、少なくとも撮像開始のタイミングを示す信号であり、静的な処理または動的な処理により決定することができる。静的な処理の場合、事前に演算した同期信号を表す情報を、同期設定情報としてメモリ等に記憶しておき、同期信号決定部１４２は、例えばＨＭＤシステム１の起動時に、当該メモリから同期設定情報を読み込むことでイメージセンサごとの同期信号を決定する。動的な処理の場合、同期信号決定部１４２は、画像処理部１３１が演算した画像ごとのずれ量の情報と、取得領域決定部１４１での取得領域の決定結果とを同期設定情報として取得する。そして、同期信号決定部１４２は、その動的な処理で取得した同期設定情報を基に、イメージセンサごとの同期信号を決定する。ここで、第１の実施形態の場合、イメージセンサ１１１について決定された同期信号、及びイメージセンサ１２１について決定された同期信号は、同時刻に対応した値をとる信号になされる。

同期信号が決定されると、制御部１４は、その同期信号を基に、イメージセンサごとの、垂直同期信号及び水平同期信号、若しくはフレームスタート信号及びリセット信号といった撮像動作に関連する各種信号を生成する。そして、制御部１４は、それら各種信号を、それぞれ対応したイメージセンサへ伝送する。なお、制御部１４は、撮像動作に関連する各種信号における周期や電圧などについてはイメージセンサ１１１と１２１及びシステムの仕様等に基づいて決定する。

図２は、第１の実施形態において、撮像部１１のイメージセンサ１１１及び撮像部１２のイメージセンサ１２１における撮像領域を示した概念図である。
イメージセンサ１１１と１２１は、ＨＭＤを装着した利用者（以下、装着者とする）の左眼と右眼に対応するようにＨＭＤ内に配されており、それらの撮像面上には不図示の撮像光学系を介した光学像が結像される。一方で、撮像部１１におけるイメージセンサ１１１と撮像光学系の配置関係と、撮像部１２におけるイメージセンサ１２１と撮像光学系の配置関係とは、機械的な構造や組み立て誤差等によって完全には一致しないことが多い。このような配置関係のずれがあると、イメージセンサ１１１の全有効領域２１に写る光学像と、イメージセンサ１２１の全有効領域２２に写る光学像とが、それら全有効領域２１と２２内で正確に同じ位置には結像されないことになる。このため、先述の特許文献等の手法では、複数のイメージセンサのそれぞれの全有効領域について同期信号ないしシャッター速度や走査速度を制御することで、各イメージセンサの全有効領域内で同じ光学像が写る領域の時間的な同期を取るようにしている。

一方、前述したようにイメージセンサ１１１とイメージセンサ１２１と撮像光学系との配置関係が多少ずれていても、イメージセンサ１１１の全有効領域２１とイメージセンサ１２１の全有効領域２２とには、それぞれ同じ光学像が写る重複領域が存在する。
そこで、本実施形態において、制御部１４の取得領域決定部１４１は、イメージセンサ１１１と１２１のそれぞれの全有効領域のうち、同じ光学像が写る重複領域を、取得領域２３として決定する。

図２の例の場合、イメージセンサ１１１の全有効領域２１に対し、イメージセンサ１２１の全有効領域２２が斜め右下方向に相対的にずれた配置関係となっている。このため、イメージセンサ１１１では全有効領域２１のうち右下の領域が取得領域２３となり、イメージセンサ１２１では全有効領域２２のうち右上の領域が取得領域２３となっている。そして、本実施形態の場合、取得領域２３が、撮像画像を取得する領域となされる。

ここで、イメージセンサ１１１及び１２１がローリングシャッター方式の撮像素子である場合、各画素のスキャンは、例えば左上の画素から水平方向の右側に順に行われる。このため、イメージセンサ１１１における撮像信号の取得開始位置Ａ１１は、全有効領域２１の左上画素ではなく、取得領域２３の左上画素、つまり全有効領域２１内では中央部側にずれた位置の画素となる。一方、イメージセンサ１２１における撮像信号の取得開始位置Ａ１２は、取得領域２３の左上画素、つまりイメージセンサ１２１の全有効領域２１内の左上位置の画素となる。つまり、両イメージセンサ内において、取得開始位置Ａ１１とＡ１２とは、それぞれ異なる位置（Ａ１１≠Ａ１２）である。なお、取得開始位置Ａ１１とＡ１２の図示は省略している。

したがって、本実施形態において、制御部１４の取得領域決定部１４１は、イメージセンサ１１１における取得領域２３と、イメージセンサ１２１における取得領域２３とを演算により決定するようにしている。
また、本実施形態において、制御部１４の同期信号決定部１４２は、取得領域２３に対して、イメージセンサ１１１及び１２１で同期を取る位置として、同じ同期位置２４を決定する。

そして、制御部１４は、イメージセンサ１１１及び１２１に対し、取得領域２３の同期位置２４を開始点として水平方向に左から右へ各画素をスキャンするようにして撮像を行うように制御する。
イメージセンサ１１１及び１２１では、取得領域２３について同期位置２４からスキャンがなされるため、イメージセンサ１１１及び１２１の各画素では同じ時間で同じ被写体等の撮像が行われて、同期した画像が取得されることになる。

なお、取得領域２３は、イメージセンサの全有効領域に比べて小さくなるものの、例えば装着者が観察したい被写体２５等を含む画像を撮像するのには十分な大きさを有している。この取得領域２３で撮像された画像は、ＨＭＤシステム１において、実時間の同期が取れた必要最低限の伝送量によって伝送することが可能となり、実時間の同期が取れた必要最低限の処理量で処理することが可能となる。
また、イメージセンサ１１１に対する同期信号をＶ１とし、イメージセンサ１２１に対する同期信号をＶ２とした場合、イメージセンサ１１１と１２１の同期位置２４が同一点であることは、Ｖ１＝Ｖ２であることを示している。これはつまり、本実施形態の場合、システムにおける同期信号がＶ１＝Ｖ２のように同一の同期信号でよいことから、システムの簡素化が可能であることを示している。

図３は、第１の実施形態のＨＭＤシステム１における取得領域の決定から画像処理までの処理手順を示したフローチャートである。
まずステップＳ４１１の処理として、取得領域決定部１４１は、前述のような事前に演算された情報による静的な処理、若しくは画像処理部１３１からの情報による動的な処理で用いる領域設定情報を取得する。

次にステップＳ４１２の処理として、制御部１４は、Ｓ４１１で取得領域決定部１４１にて取得された領域設定情報を基に、静的な処理若しくは動的な処理により取得領域を決定し、その取得領域をイメージセンサ１１１及び１２１に対して設定する。この取得領域は、図２で説明したように、イメージセンサ１１１と１２１とが被写体２５等をずれ無く撮像できる重複領域である。なお、イメージセンサ１１１及び１２１が、リセット動作を要する撮像素子である場合、制御部１４は、ステップＳ４１２において取得領域を設定する際に当該リセット動作をも実行する。

次にステップＳ４２１の処理として、同期信号決定部１４２は、前述したように事前に演算された情報による静的な処理、若しくは画像処理部１３１からの情報による動的な処理で用いる同期設定情報を取得する。

次にステップＳ４２２の処理として、制御部１４は、Ｓ４２１で同期信号決定部１４２により取得された同期設定情報を基にして同期信号を決定する。そして、制御部１４は、その同期信号を基に、イメージセンサごとの前述した垂直同期信号及び水平同期信号、若しくはフレームスタート信号及びリセット信号等の、撮像動作に関連する各種信号を生成する。なお、第１の実施形態の場合、ステップＳ４２１で決定される同期信号は、イメージセンサ１１１及び１２１について同じ値をとる同期信号になされる。そして、制御部１４は、それらイメージセンサごとに生成した各種信号を、それに対応したイメージセンサに出力する。

これ以降は、ステップＳ４１２で決定された取得領域とステップＳ４２２で決定された同期信号とに基づいて、撮像部１１ではステップＳ１１１～Ｓ１１２の処理が行われ、撮像部１２ではステップＳ２１１～Ｓ２１２の処理が行われる。これらステップＳ１１１～Ｓ１１２の処理と、ステップＳ２１１～Ｓ２１２の処理とは、並列して実行される。すなわち、撮像部１１において、ステップＳ１１１ではイメージセンサ１１１による撮像が行われ、ステップＳ１１２ではその撮像画像が処理部１３に伝送される。同様に、撮像部１２において、ステップＳ２１１ではイメージセンサ１２１による撮像が行われ、ステップＳ２１２ではその撮像画像が処理部１３に伝送される。

本実施形態のＨＭＤシステム１では、前述したように同じ同期信号から生成されて同期している各種信号によってイメージセンサ１１１及び１２１が駆動される。このため例えば露出制御によりシャッター速度が変わっても、イメージセンサ１１１と１２１とに同一のシャッター速度が適用されている限り、それらイメージセンサ１１１及び１２１からは各画素で時刻が同期した画像が出力される。

その後、ステップＳ３１１の処理に進むと、画像処理部１３１は、撮像部１１及び１２から伝送されてきた画像に対し、前述した所定の画像処理を行う。すなわち、本実施形態の場合、イメージセンサ１１１及び１２１による撮像画像は同期したずれのない画像あるため、画像処理部１３１では同期ずれの無い画像処理が可能となる。

図４は、第１の実施形態において、イメージセンサ１１１、イメージセンサ１２１、被写体２５、取得領域２３、及び同期位置２４の位置関係を示した概念図である。図２が被写体２５をイメージセンサ１１１及び１２１の正面から見た概念図であるのに対し、図４はイメージセンサ１１１及び１２１の正面に対する上側又は下側から、被写体２５とイメージセンサ１１１及び１２１を見た概念図である。なお、複数のイメージセンサがとり得る機械的な構造によっては、図４は、イメージセンサ１１１及び１２１の正面に対する左側又は右側から被写体２５とイメージセンサ１１１及び１２１を見た概念図ともなり得る。

図４内のイメージセンサ１１１の撮像面上の点ｐ１からａを結ぶ線分、点ｐ１からａ'を結ぶ線分、及び、点ｐ１からｃを結ぶ線分は、それぞれ、点ｐ１を中心とする円弧における法線であるとする。同様に、図４内のイメージセンサ１２１の撮像面上の点ｐ２からｂを結ぶ線分、点ｐ２からｂ'を結ぶ線分、及び点ｐ２からｄを結ぶ線分は、それぞれ、点ｐ２を中心とする円弧における法線であるとする。以下、点ｐ１からａを結ぶ線分を法線ａ、点ｐ１からａ'を結ぶ線分を法線ａ'、点ｐ１からｃを結ぶ線分を法線ｃ、点ｐ２からｂを結ぶ線分を法線ｂ、点ｐ２からｂ'を結ぶ線分を法線ｂ'、点ｐ２からｄを結ぶ線分を法線ｄと表記する。図４のイメージセンサ１１１における法線ａと法線ａ'とで挟まれた範囲は撮像部１１の撮像画角に相当し、図２に示したイメージセンサ１１１の全有効領域２１には当該撮像部１１の撮像画角内の被写体等の光学像が形成される。同様に、図４のイメージセンサ１２１における法線ｂと法線ｂ'とで挟まれる範囲は撮像部１２の撮像画角に相当し、図２に示したイメージセンサ１２１の全有効領域２２には当該撮像部１２の撮像画角内の被写体等の光学像が形成される。

そして、イメージセンサ１１１の場合、図２に示した取得領域２３は、法線ｃと法線ａ'とで挟まれた画角に対応した範囲の光学像が形成される領域となる。同様に、イメージセンサ１２１の場合、取得領域２３は、法線ｂと法線ｄとで挟まれた画角に対応した範囲の光学像が形成される領域となる。さらに、図２で説明したイメージセンサ１１１及び１２１の同期位置２４は、イメージセンサ１１１の法線ｃ上と、イメージセンサ１２１の法線ｂ上で、且つ同時刻に対応した位置となる。なお、取得領域２３及び同期位置２４は、実際にはイメージセンサ１１１及び１２１の全有効領域内に各々設定されるものであるが、図４では各位置関係を分かり易く説明するために便宜的に被写体２５と同じ位置に描かれている。これらのことは後述する図５及び図７でも同様である。

ここで、イメージセンサ１１１及び１２１がローリングシャッター方式の撮像素子であるとすると、イメージセンサ１１１及び１２１の取得領域２３では、同期位置２４を開始点として水平方向に左から右へのスキャンが行われる。このとき、イメージセンサ１１１及び１２１では、取得領域２３について同期位置２４からスキャンが行われるため、イメージセンサ１１１及び１２１の各画素においてそれぞれ同じ時刻に同じ被写体等の撮像が行われることになる。すなわち、イメージセンサ１１１及び１２１の取得領域２３では、同期した画像が取得されることになる。
このように第１の実施形態によれば、イメージセンサ１１１及び１２１がローリングシャッター方式の撮像素子である場合、それらイメージセンサ１１１及び１２１で重複する取得領域では、時間的に同期した撮像画像が取得される。

＜第２の実施形態＞
次に第２の実施形態について説明する。なお第２の実施形態においてＨＭＤシステム１の構成は前述同様であるため、それらの図示と説明は省略する。
ここで、図４の例において、ローリングシャッター方式のイメージセンサに対して被写体２５の位置が近づいた場合、当該近い位置の被写体２５を撮像する各画素において、時間的な同期が取れなくなることがある。

図５は、第２の実施形態におけるイメージセンサ１１１、イメージセンサ１２１、被写体、取得領域、及び同期位置の位置関係を示した概念図である。図５に示した概念図は、概ね図４と同様に表されているが、図５の例の被写体５５は、図４の例よりもイメージセンサ１１１及び１２１に近い位置に存在しているとする。

図５の場合も図４と同様に、法線ａと法線ａ'とで挟まれた範囲は撮像部１１の撮像画角に相当し、イメージセンサ１１１の全有効領域２１には当該撮像部１１の撮像画角内の被写体等の光学像が形成される。同様に、法線ｂと法線ｂ'とで挟まれた範囲は撮像部１２の撮像画角に相当し、イメージセンサ１２１の全有効領域２２には当該撮像部１２の撮像画角内の被写体等の光学像が形成される。

また、前述の第１の実施形態でも説明したように、取得領域は、撮像部１１と撮像部１２の両撮像画角内の同じ範囲を重複して撮像する領域として決定されている。すなわち、イメージセンサ１１１の取得領域は法線ｃと法線ａ'とで挟まれた画角に対応した領域として決定され、イメージセンサ１２１の取得領域は法線ｃと法線ａ'とで挟まれた画角に対応した領域として決定されている。また、前述したようにイメージセンサ１１１の取得領域の同期位置と、イメージセンサ１２１の取得領域の同期位置は同じ位置に設定される。

ところが、被写体５５がイメージセンサから近い場合には、イメージセンサ１１１及び１２１について決定された取得領域内において、同一の被写体５５の光学像の位置が、イメージセンサ１１１と１２１とでずれてしまうことがある。つまり、図５に示すように、被写体５５の光学像の位置は、法線ｃと法線ａ'との間の画角に対応した取得領域５３と、法線ｂと法線ｄとの間の画角に対応した取得領域５６とに対して相対的にずれた位置になってしまう。また、取得領域５３の同期位置５４と取得領域５６の同期位置５７とについても同様であり、被写体５５の光学像の位置に対して相対的にずれた位置になる。

ここで図５の例において、取得領域５３及び同期位置５４と、取得領域５６及び同期位置５７と、被写体５５の光学像との位置関係を考察すると、被写体の光学像の位置は、同期位置５４よりも同期位置５７の方に近い位置になる。このとき、ローリングシャッター方式のイメージセンサ１１１は同期位置５４を開始点として、また、イメージセンサ１２１では同期位置５７を開始点として、それぞれ左から右に各画素をスキャンする。このため、前述の第１の実施形態と同様に同時刻の同期信号を用いると、イメージセンサ１２１の方がイメージセンサ１１１よりも早く、被写体５５の光学像を撮像し始めることになる。すなわち図５の例の場合、イメージセンサ１１１の同期信号Ｖ１とイメージセンサ１２１の同期信号Ｖ２とがＶ１＝Ｖ２であると、イメージセンサ１１１と１２１とで、被写体５５に対する撮像時間の同期が成立しなくなる。

そこで、第２の実施形態の場合、制御部１４は、イメージセンサ１１１における撮像開始のタイミングと、イメージセンサ１２１における撮像開始のタイミングとをそれぞれ調整する。すなわち、制御部１４は、同期位置からのスキャン方向に対して手前側（スキャン方向に対して反対方向側）に配置されているイメージセンサ１１１については、同期位置５４から同期信号Ｖ１による撮像を開始させる。一方、制御部１４は、イメージセンサ１２１については、同期信号Ｖ２による撮像開始タイミングを、イメージセンサ１１１のスキャン位置がイメージセンサ１２１の同期位置５７に相当する位置に到達する時点に同期させるようにする。言い換えると、制御部１４は、イメージセンサ１１１のスキャン位置が同期位置５７に相当する位置に到達する時点に同期させて、イメージセンサ１２１が同期位置５７から同期信号Ｖ２で撮像を開始するように制御する。これにより、法線ｂと法線ａ'とで挟まれた範囲内では、イメージセンサ１１１における各画素の撮像時刻と、イメージセンサ１２１における各画素の撮像時刻とが、時間的に同期することになる。

具体的に説明すると、同期位置５４から同期位置５７の相当位置までのスキャン時間をΔｔとした場合、制御部１４は、イメージセンサ１２１が同期位置５７から同期信号Ｖ２で撮像を開始するタイミングを時間Δｔだけ遅らせる。すなわち、制御部１４は、Ｖ２＝Ｖ１＋Δｔとする。ここで、時間Δｔは、取得領域５３に応じた画角と、取得領域５６に応じた画角と、スキャン速度、さらに、イメージセンサ１１１及び１２１から被写体５５までの距離によって求めることができる。また、イメージセンサ１１１の取得領域５３に応じた画角、イメージセンサ１２１の取得領域５６に応じた画角、及び、両イメージセンサにおけるスキャン速度は、事前に分かっている。このため、イメージセンサ１１１及び１２１から被写体５５までの距離をどのように求めるかによって、時間Δｔを演算する処理の順序が異なる。例えば、画像処理部１３１において複数の画像情報から距離を逐次算出し、その距離の情報と、事前に分かっている画角及びスキャン速度の情報とを用いた動的な処理により、時間Δｔを演算することができる。また例えば距離と時間Δｔとの対応テーブル等を事前にメモリ等に記憶させておき、ＨＭＤシステム１の起動時にメモリから対応テーブル情報を読み込み、被写体５５までの距離を基に時間Δｔを取得する静的な処理を行ってもよい。静的な処理におけるテーブルの情報は、ＨＭＤシステム１が設定する初期値、又はユーザが所望するイメージセンサから被写体までの距離に応じて事前に計算等されメモリに記憶されている。

図６は、第２の実施形態のＨＭＤシステム１における取得領域の決定から画像処理までの処理手順を示したフローチャートである。図６のステップＳ４１１とステップＳ４１２は図３のステップＳ１１１とステップＳ４１２と同様であり、ステップＳ４２２からステップＳ３１１は図３のステップＳ４２２からステップＳ３１１と同様であり、その説明は省略する。

図６において、ステップＳ４２１の処理に進むと、制御部１４の同期信号決定部１４２は、同期設定情報を取得する。この時の同期信号決定部１４２は、事前に計算されて記憶されている対応テーブル等の情報をメモリ等から読み込む静的な処理により、同期設定情報を取得する。或いは、同期信号決定部１４２は、前述同様に画像処理部１３１で逐次演算された距離情報を基にした動的な処理により、同期設定情報を取得する。

また、ステップＳ３１１の処理の終了後、制御部１４は、ステップＳ３１２の処理として、固定の静的な同期信号を用いるか、或いは、変動する動的な同期信号を用いるかどうかを判定する。つまり、制御部１４は、例えば図４のように決定された固定の同期信号を用いることができるか、或いは、距離に応じて変動する同期信号を用いるかを判定する。そして固定の同期信号を用いることができると判定した場合、ＨＭＤシステム１では常に同じ同期信号でイメージセンサ１１１及び１１２から画像を取得すればよいため、制御部１４は、図６のフローチャートの処理を終了する。

一方、固定の同期信号を用いることが望ましくない場合には、ステップＳ３１３において、制御部１４は、画像処理部１３１が演算したメージセンサから被写体５５までの距離を取得する。すなわち、被写体５５がイメージセンサ１１１及び１２１に対して近いような場合、前述のようにイメージセンサ１１１と１２１とで、被写体５５の撮像時間が同期しなくなることがあり得る。このため、ステップＳ３１３において、画像処理部１３１は、複数の画像を基に、被写体までの正確な距離を演算する処理を行う。具体的には、画像処理部１３１は、被写体５５の含む複数の画像ごとのずれ量から、イメージセンサ１１１及び１２１から被写体５５までの距離を推測する演算を行う。なお複数の画像から正確に距離を求める処理は時間を要することも多いが、例えば被写体が素早く移動しても画像の同期を素早く追従させられるように、画像処理部１３１は、距離の推測演算を高速に行える性能を有しているとする。

次に、ステップＳ４２３において、制御部１４は、イメージセンサごとに同期信号をどれだけずらすかを示す設定値を算出する。この時の制御部１４は、被写体までの距離と、イメージセンサごとの取得領域に応じた画角と、イメージセンサのスキャン速度とを基に、同期信号をずらすための設定値を算出する。このステップＳ４２３の後、処理は、同期信号決定部１４２によるステップＳ４２１に戻る。

そして、ステップＳ４２１において、同期信号決定部１４２は、ステップＳ４２３で算出した設定値を基に、イメージセンサごとの同期設定情報を設定する。これにより、次のステップＳ４２２において決定される同期信号は、イメージセンサ１１１において各画素の撮像時刻と、イメージセンサ１２１において各画素の撮像時刻とを時間的に同期させることができる同期信号となる。

以上説明したように、第２の実施形態によれば、例えば被写体がイメージセンサに対して近い位置に移動した場合であっても、被写体の撮像画像を時間的に同期させることが可能となる。

＜第３の実施形態＞
次に第３の実施形態について説明する。
前述した第２の実施形態の場合、イメージセンサ１１１及び１２１の同期信号は、同時刻の同期信号でよい場合もあるが、別々の時刻の同期信号にしなければならないこともある。つまり、被写体がイメージセンサからある程度離れていればイメージセンサ１１１と１２１とで同時刻の同期信号を用いればよいが、被写体が近い場合にはイメージセンサ１１１と１２１とで別々の時刻の同期信号を用いることになる。またその場合、同期信号線が２本必要になってしまうこともある。
そこで、第３の実施形態では、別々の時刻の同期信号の生成を不要とする例を説明する。なお、第３の実施形態のＨＭＤシステム１の構成は前述の図１と同様であるため、図示と説明は省略する。

図７は、第３の実施形態におけるイメージセンサ１１１、イメージセンサ１２１、被写体５５、取得領域、及び同期位置の位置関係を示した概念図である。
図７の場合も図４と同様に、法線ａと法線ａ'とで挟まれた範囲は撮像部１１の撮像画角に相当し、法線ｂと法線ｂ'とで挟まれた範囲は撮像部１２の撮像画角に相当する。また、第３の実施形態も第２の実施形態の例と同様に、被写体５５はイメージセンサから近い位置に存在しているとする。

第３の実施形態の場合、取得領域を決定する際には、イメージセンサから被写体までの距離の情報が用いられる。すなわち、取得領域決定部１４１は、まず第１の実施形態と同様にして求めたイメージセンサごとの取得領域を、それぞれ調整前の取得領域として決定する。また、画像処理部１３１では、前述同様に、複数の画像情報に基づいて、イメージセンサから被写体５５までの距離を算出する。さらに、取得領域決定部１４１は、画像処理部１３１が算出した距離の情報を基に、イメージセンサごとの調整前の取得領域をどれだけ変更するかを示す設定値を算出する。そして、取得領域決定部１４１は、イメージセンサごとの調整前の取得領域の位置及び大きさなどを、その設定値に基づいて調整し、その調整後の取得領域を、被写体の距離に適応した取得領域として決定する。なお、イメージセンサ１１１と１２１の取得領域の同期位置については、前述同様に同じ位置に設定される。

第３の実施形態の場合、イメージセンサ１１１の調整後の取得領域７３は、図７に示すように、点ｐ１からｃ'を結ぶ線分（以下、法線ｃ'とする。）と法線ａ'とで挟まれた画角に対応した領域として決定される。同様に、イメージセンサ１２１の調整後の取得領域７３は、点ｐ２からｄ'を結ぶ線分（以下、法線ｄ'とする。）と法線ｂとで挟まれた画角に対応した領域として決定される。すなわち、調整後の取得領域７３は、イメージセンサ１１１と１２１とで、同じ被写体５５の光学像が同じ位置に形成される領域となっている。図７内に一点鎖線で示す法線ｃは図４の法線ｃを表しており、図７内に一点鎖線で示す法線ｄは図４に示した法線ｄを表している。つまり図７の場合、イメージセンサ１１１の調整後の取得領域７３に対応した画角は、図４の一点鎖線で表す法線ｃと法線ｃ'との間の角度に相当する分だけ狭くなっている。同様に、図７の場合、イメージセンサ１２１の調整後の取得領域７３に対応した画角は、図４の一点鎖線で示す法線ｄと法線ｄ'との間の角度に相当する分だけ狭くなっている。また、イメージセンサ１１１及び１２１の同期位置７４は、イメージセンサ１１１における法線ｃ'の線分上とイメージセンサ１２１における法線ｂの線分上とで同時刻の位置となる。

ここで、第３の実施形態においても前述同様に、イメージセンサ１１１及び１２１は、ローリングシャッター方式の撮像素子であり、取得領域７３において同期位置７４を開始点として水平方向に左から右に各画素をスキャンする。そして、前述したように、イメージセンサ１１１及び１２１の取得領域７３は、同一の被写体５５の光学像が同じ位置に形成される領域であり、また、同期位置７４は同一位置である。したがって、イメージセンサ１１１の同期信号Ｖ１と、イメージセンサ１２１の同期信号Ｖ２とがＶ１＝Ｖ２であれば、イメージセンサ１１１と１２１とで、被写体５５に対する撮像時間の同期が成立する。すなわち、第３の実施形態の場合、イメージセンサから被写体までの距離が変わったとしても、別々の時刻の同期信号は不要である。

前述したように、第３の実施形態の場合、イメージセンサ１１１及び１２１の調整後の取得領域７３は、イメージセンサから被写体５５までの距離に基づいて決定されている。したがって、どのようにして距離を求めるかによって、取得領域を決定する処理の順序は異なる。すなわち例えば、取得領域は、取得領域を変更する際の設定値と距離の対応テーブルの情報をメモリ等に記憶させ、その情報をＨＭＤシステム１の起動時にメモリから読み込むような静的な処理で決定してもよい。或いは、取得領域は、画像処理部１３１が画像情報を基に距離を逐次演算し、その演算で得られた距離の情報を基に、取得領域を変更する際の設定値を求めるような動的な処理により決定されてもよい。

図８は、第３の実施形態のＨＭＤシステム１における取得領域の決定から画像処理までの処理手順を示したフローチャートである。なお、図８のステップＳ４１２～Ｓ３１１の処理は図３のステップＳ４１２～Ｓ３１１の処理と同様であり、ステップＳ３１３の処理は図６のステップＳ３１３の処理と同様であるためそれらの説明は省略する。

図８のステップＳ４１１において、取得領域決定部１４１は、まず図３のステップＳ４１１と同様にして領域設定情報を取得する。
また、ステップＳ３１１の処理後、制御部１４は、ステップＳ３１４の処理として、調整前の取得領域をそのまま固定の取得領域として用いるか、或いは、距離に応じて変動する取得領域を用いるかどうかを判定する。つまり、制御部１４は、例えば画像処理部１３１で算出された距離の情報を基に、調整前の固定の取得領域を用いることができるか、或いは、距離に応じて変動する取得領域を用いるかを判定する。そして調整前の固定の取得領域を用いることができると判定した場合、ＨＭＤシステム１では常に同じ取得領域でイメージセンサ１１１及び１１２から画像を取得すればよいため、制御部１４は、図８のフローチャートの処理を終了する。一方、被写体とイメージセンサの距離が近く、調整前の固定の取得領域を用いることが望ましくない場合には、ステップＳ３１３において、制御部１４は、画像処理部１３１が前述同様に演算した距離の情報を取得する。

その後、ステップＳ４１３において、制御部１４は、ステップＳ３１３で得られた距離の情報を基に、イメージセンサごとに取得領域をどれだけ変更するかを示す設定値を算出した後、ステップＳ４１１に戻る。
そして、ステップＳ４１１において、取得領域決定部１４１は、その設定値を用いることで、イメージセンサごとの調整後の取得領域を決定する。

第３の実施形態によれば、イメージセンサから被写体までの距離が変化した場合でも、別々の時刻の同期信号を生成することを要せずに、イメージセンサごとに同期した画像を取得可能な取得領域を決定できる。
なお、前述の第２の実施形態では距離を基に同期信号を調整し、第３の実施形態では距離を基に取得領域を調整したが、同期信号と取得領域の両方が距離に基づいて調整されてもよい。

以上説明したように、第１～第３の実施形態においては、複数のローリングシャッター方式のイメージセンサを使用する場合において、簡便かつ正確に撮像画像を同期させることができる。また、第１～第３の実施形態においては、イメージセンサの全有効領域の一部である取得領域で撮像を行うため、撮像画像の伝送量および処理量を低減することができる。

＜その他の実施形態＞
前述した実施形態では、ＨＭＤへの適用例を挙げたが、複数のイメージセンサを備えた装置は、ＨＭＤの他にも、車載カメラや測距カメラ、さらには立体感を得るカメラや全周カメラなど多様である。本実施形態に係る同期制御装置は、それら多様な装置についても適用可能であり、それら装置が有する複数のイメージセンサにおける実時間の同期を実現可能である。その他、本発明は、例えば複数の撮像部の撮影画角でそれぞれ異なる範囲が撮像されるような場合、つまり各イメージセンサに設定した各取得領域で取得した異なる撮像画像を時間的に同期させるような用途にも適用可能である。

本発明は、前述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１，１２：撮像部、１３：処理部、１４：制御部、１１１，１１２：イメージセンサ、１３１：画像信号処理部、１４１：取得領域決定部、１４２：同期信号決定部

Claims (10)

1. 画像を撮像する複数の撮像素子を同期制御する同期制御装置であって、
   前記撮像素子ごとに画像を取得する取得領域と、前記撮像素子ごとの前記取得領域に対する同期信号とを、決定する決定手段を有し、
   前記複数の撮像素子のそれぞれは、ローリングシャッター方式の撮像素子であり、各撮像素子のそれぞれの全有効領域のうち少なくとも一部の領域において撮像する範囲が重複するように配されており、
   前記決定手段は、前記複数の撮像素子によって撮像された複数の画像のずれ量の情報を基に、前記撮像素子ごとに取得される画像を時間的に同期させるように、前記撮像素子ごとの前記取得領域と前記同期信号とを決定し、前記取得領域としては各撮像素子のそれぞれの全有効領域のうち前記撮像する範囲が重複している領域を決定し、さらに、前記同期信号または前記撮像素子ごとの前記取得領域を、前記撮像素子から被写体までの距離に基づいて調整することを特徴とする同期制御装置。
2. 前記決定手段は、前記撮像素子から被写体までの距離に応じた設定値を求め、前記取得領域について前記同期信号による撮像が開始される位置を前記設定値に応じてずらすように調整することを特徴とする請求項１に記載の同期制御装置。
3. 前記決定手段は、前記撮像素子から被写体までの距離に応じた設定値を求め、前記撮像素子ごとの前記取得領域を前記設定値に応じて変更するように調整することを特徴とする請求項１に記載の同期制御装置。
4. 前記決定手段は、前記撮像素子ごとの前記取得領域に対して同期を取る位置としての同期位置を決定することを特徴とする請求項１から３のいずれか１項に記載の同期制御装置。
5. 前記撮像素子ごとの前記取得領域に対して決定された前記同期位置から、前記同期信号に応じて撮像を開始させることを特徴とする請求項４に記載の同期制御装置。
6. 前記同期位置は、前記取得領域のなかで、前記ローリングシャッター方式による撮像が開始される位置であることを特徴とする請求項４または５に記載の同期制御装置。
7. 前記決定手段は、事前に設定された情報を基に、前記撮像素子ごとの前記取得領域と前記同期信号とを決定することを特徴とする請求項１から６のいずれか１項に記載の同期制御装置。
8. 前記ずれ量の情報を検出する検出手段を有することを特徴とする請求項１から７のいずれか１項に記載の同期制御装置。
9. 画像を撮像する複数の撮像素子を同期制御する同期制御方法であって、
   前記撮像素子ごとに画像を取得する取得領域と、前記撮像素子ごとの前記取得領域に対する同期信号とを、決定する決定工程を有し、
   前記複数の撮像素子のそれぞれは、ローリングシャッター方式の撮像素子であり、各撮像素子のそれぞれの全有効領域のうち少なくとも一部の領域において撮像する範囲が重複するように配されており、
   前記決定工程では、前記複数の撮像素子によって撮像された複数の画像のずれ量の情報を基に、前記撮像素子ごとに取得される画像を時間的に同期させるように、前記撮像素子ごとの前記取得領域と前記同期信号とを決定し、前記取得領域としては各撮像素子のそれぞれの全有効領域のうち前記撮像する範囲が重複している領域を決定し、さらに、前記同期信号または前記撮像素子ごとの前記取得領域を、前記撮像素子から被写体までの距離に基づいて調整することを特徴とする同期制御方法。
10. コンピュータを、請求項１から８のいずれか１項に記載の同期制御装置の各手段として機能させるためのプログラム。

Images