JP6743191B2 - マルチセンサ画像手ぶれ補正技術 - Google Patents

Description

航空機の飛行中の動作中に撮像装置または他のセンサの使用は、ますます一般的になっている。特に、無人航空機、またはＵＡＶは、可視光または不可視光を検出する、捕捉する及び／または処理することができる、デジタルカメラ、レンジカメラ、深度センサ、赤外線センサまたは他のシステムなどの、１つ以上の撮像装置を備えることが多い。航空機が１つ以上の撮像装置を備える場合に、これらのような装置は、航空機のいずれかの数の動作または用途において、またいずれかの目的のために利用されることができる。たとえば、撮像装置を使用して、静止画像または動画像などの撮像データ、及びいずれかの関連したオーディオ信号またはメタデータ（たとえば、ジオタグまたは日付またはタイムスタンプ）を捕捉し、限定されないが衝突回避を含む、操作または制御などのために、航空機の安全な動作に援助することができる。代替に、航空機に搭載される撮像装置は、航空機が広い、若しくは多様な領域、または地上カメラマン若しくは地上写真機器が容易に接近することが不可能である角度からの領域の写真を撮影するために利用されるときなどの、調査または監視用途に使用されることができる。

空中動作中に、航空機は、異なる性質及び程度のさまざまな力を通常受ける。たとえば、航空機は、推力、揚力、せん断力または抗力を含む、飛行中の航空機の上、下及び周囲を流れる空気により生成される力を受けることができる。加えて、航空機は、たとえば、航空機内のモータ若しくは他の機械類を回転させることにより、または飛行中に共振する、若しくは振動する可能性がある航空機の１つ以上の態様により、強度を変えるノイズ若しくは振動、または周波数スペクトルを変える際にノイズ若しくは振動を受ける可能性もある。さらに航空機は、さまざまな空中対象物または地上対象物との衝突に起因する力を受ける可能性がある。

航空機が飛行中にこれらのような力を受けるときに、その上で動作するいずれかの撮像装置により捕捉される撮像データの品質は、これらにより影響を受ける可能性がある。通常、撮像装置が動作中である間に撮像装置が撮像データを捕捉するときに、撮像データは、１つ以上の物理的処理技術、またはデジタル処理技術に従い、手ぶれ補正される、または補正されることができる。これらのような技術は、撮像装置が飛行中の航空機に搭載される場合に、しかしながら、特に、撮像装置の視野が撮像装置によって捕捉される撮像データの手ぶれ補正が基づくことができる固定基準点を含まない場合に、本質的に複雑である。

本開示の実施形態に従い、マルチセンサ画像手ぶれ補正技術を実行するように構成される１つの航空機の態様の図である。 本開示の実施形態に従い、マルチセンサ画像手ぶれ補正技術を実行するように構成される１つの航空機の態様の図である。 本開示の実施形態に従い、マルチセンサ画像手ぶれ補正技術を実行するように構成される１つの航空機の態様の図である。 本開示の実施形態に従い、マルチセンサ画像手ぶれ補正技術を実行するように構成される１つの航空機の態様の図である。 本開示の実施形態に従い、マルチセンサ画像手ぶれ補正技術を実行するように構成される１つの航空機の態様の図である。 本開示の実施形態に従う、マルチセンサ画像手ぶれ補正技術を実行するための１つのシステムのブロック図である。 本開示の実施形態に従う、マルチセンサ画像手ぶれ補正のための１つのプロセスのフローチャートである。 本開示の実施形態に従い、マルチセンサ画像手ぶれ補正技術を実行するように構成される１つの航空機の態様の図である。 本開示の実施形態に従う、マルチセンサ画像手ぶれ補正のための１つのプロセスのフローチャートである。 本開示の実施形態に従い、マルチセンサ画像手ぶれ補正技術を実行するように構成される１つの航空機の態様の図である。 本開示の実施形態に従い、マルチセンサ画像手ぶれ補正技術を実行するように構成される１つの航空機の態様の図である。

以下でより詳細に記載されるように、本開示は、画像手ぶれ補正技術を対象とし、これらの画像手ぶれ補正技術は、複数のセンサを利用して、１枚以上の画像を修正する、またはこれらのセンサのうちの１つを使用して捕捉される一連の画像を手ぶれ補正する。より具体的に、本開示のシステム及び方法は、デジタルカメラなどの撮像装置を対象とし、これらの撮像装置は、その１つ以上の外面上に取り付けられる撮像装置または他のセンサに関するレンズ、レンズモジュールまたは他の光学構成要素を含む。たとえば、１つの実施形態において、航空機は、レンズ若しくはレンズモジュールを含む一次（たとえば、実質的に前方向の）撮像装置、二次（たとえば、実質的に下方向の）撮像装置、またはその下側に取り付けられる他のセンサを備えることができる。本開示の１つ以上の実施形態に従い、一次撮像装置及び二次撮像装置は、同時に撮像データを捕捉するように構成されることができる。通常の動作中に、二次撮像装置は、航空機より下に広がる二次撮像装置の視野内の、航空機が移動する地上の地形についての撮像データを捕捉するように動作する。同時に、一次撮像装置は、二次撮像装置と同期して動作し、航空機の前方向に広がる視野内の撮像データを捕捉することができる。一次撮像装置の視野は、１つ以上の構造物、障害物、危険物、動物、他の航空機、または１つ以上の他の対象物を含むことができる。

いくつかの実施形態において、航空機より下の地上の地形の特徴を有する、または説明する二次撮像装置によって捕捉される撮像データは、二次撮像装置を結合する一次撮像装置の並進運動及び／または回転運動を表現する関数、ベクトルまたは別のメトリックを決定するために、リアルタイムに、またはほぼリアルタイムに処理されることができる。このような関数、ベクトルまたはメトリックを使用して、一次撮像装置によって捕捉される撮像データは、二次撮像装置によって捕捉される撮像データを使用してそれ自体に決定された、航空機の並進運動及び／または回転運動のために撮像データを手ぶれ補正することにより修正されることができる。

図１Ａから１Ｅを参照して、マルチセンサ画像手ぶれ補正技術を実行するように構成される航空機１１０を示す。図１Ａは、飛行中の航空機１１０の概略図であり、図１Ｂは、飛行中の航空機１１０の側面図である。図１Ａ及び１Ｂに示されるように、航空機１１０は、複数のモータ１３０−１、１３０−２、１３０−３、１３０−４を含むフレーム１２０、及びそこに取り付けられる一次撮像装置１４０を備える。モータ１３０−１、１３０−２、１３０−３、１３０−４は、プロペラ１３２−１、１３２−２、１３２−３、１３２−４に結合され、各プロペラは、電力下でフレーム１２０に関して実質的に垂直方向である軸周囲で回転することにより、動作中に航空機１１０上に揚力を生成するように構成される。一次撮像装置１４０は、そこに、たとえば、レンズ１４２の下側に取り付けられる二次撮像装置１５０を含むレンズ（またはレンズモジュール）１４２を備える。図１Ｂに示されるように、一次撮像装置１４０のレンズ１４２は、フレーム１２０に関して実質的に前方向にアライメントを取り、二次撮像装置１５０のレンズ（またはレンズモジュール）１５２は、フレーム１２０に関して実質的に下方向にアライメントを取る。

図１Ｃを参照して、撮像データは、それぞれ、一次撮像装置１４０及び二次撮像装置１５０により同時に捕捉される。一次撮像装置１４０は、航空機１１０の前方向からの一次画像１４−１、１４−２、１４−３、１４−４のシーケンスを含む一次撮像データ１４−ｎを捕捉し、二次撮像装置１５０は、航空機１１０の下方向から捕捉される二次画像１５−１、１５−２、１５−３、１５−４のシーケンスを含む二次撮像データ１５−ｎを捕捉する。図１Ｃに示されるように、シーケンス１４−ｎ内の各一次画像１４−１、１４−２、１４−３、１４−４は、鮮明に合焦されるが、たとえば、動作中の航空機１１０の振動または他の動きにより、相互に関して不適切なアライメントを取る。同様に、シーケンス１５−ｎ内の各二次画像１５−１、１５−２、１５−３、１５−４も、鮮明に合焦されるが、相互に関して不適切なアライメントも取る。

本開示に従い、第一センサを使用して捕捉される撮像データは、第一センサの１つ以上の部分に物理的に結合される第二センサを使用して捕捉される情報またはデータを使用して手ぶれ補正されることができる。たとえば、図１Ａ及び図１Ｂの二次撮像装置１５０を一次撮像装置１４０のレンズ１４２に取り付けるため、二次撮像データ１５−ｎの捕捉中に二次撮像装置１５０が経験する、いずれかの並進運動及び／または回転運動は、一次撮像データ１４−ｎの捕捉中に一次撮像装置１４０が経験する、並進運動及び／または回転運動と同一である。これにより捕捉される情報またはデータを使用して第二センサの動きをモデル化することができる場合に、第一センサにより捕捉される撮像データは、第二センサのモデル化された動きに基づき調整されることができる。

図１Ｄに示されるように、二次撮像装置１５０を使用して捕捉される二次撮像データ１５−ｎは、１つ以上の画像手ぶれ補正技術に従い処理するためにコンピューティングデバイス１１２（たとえば、サーバまたは他のコンピューティングデバイスまたはその上で動作する１つ以上のプロセッサを含む機械）に提供されることができる。コンピューティングデバイス１１２は、航空機１１０内に、外部の物理的位置内に、または１つ以上の代替位置若しくは仮想位置内に、たとえば、「クラウド」ベースの環境内に、提供されることができる。また図１Ｄに示されるように、未修正状態において、二次画像１５−１、１５−２、１５−３、１５−４のそれぞれを捕捉したときに、航空機１１０の動きのために実質的に鮮明な二次画像１５−１、１５−２、１５−３、１５−４のそれぞれが相互に関してミスアライメントを取る場合、二次撮像データ１５−ｎのストリームは、ぼやけてみえる。コンピューティングデバイス１１２は、１つ以上の電子画像手ぶれ補正技術に従い、二次撮像データ１５−ｎを処理することができる。たとえば、コンピューティングデバイス１１２は、二次画像１５−１、１５−２、１５−３、１５−４のうちの１枚以上内に１つ以上の基準点を認識し、二次画像１５−１、１５−２、１５−３、１５−４内のこれらのような基準点またはアンカー点の存在を利用して、１つ以上のこれらのような基準点またはアンカー点を相互に関して手ぶれ補正する、またはアライメントを取ることができる。二次撮像装置１５０が下方向にアライメントを取るので、二次撮像装置１５０は、航空機１１０の飛行中のすべての動作またはほとんどの動作中に視野内に地上の地形を含むことを合理的に期待される可能性がある。たとえば、それぞれの二次画像１５−１、１５−２、１５−３、１５−４が相互に関して適切なアライメントを取るように、二次撮像データ１５内の地上の地形上の複数の基準点またはアンカー点のうちのいずれかを識別して、使用し、二次撮像装置１５０の動きを決定する、または予測すること、そして二次撮像データ１５−ｎの手ぶれ補正されたセット１５’−ｎを定義することができる。二次撮像装置１５０の動きを決定する、または予測すると、実質的に鮮明な画像１５−１、１５−２、１５−３、１５−４のそれぞれは、手ぶれ補正された二次撮像データ１５’−ｎのストリームがクリアにみえるように、決定された、または予測された動きに基づき、コンピューティングデバイス１１２により相互に関して適切なアライメントを取ることができる。

また図１Ｄに示されるように、コンピューティングデバイス１１２は、経時的に、二次撮像装置１５０のヨー、またはΨ（ｔ）か、二次撮像装置１５０のピッチ、またはθ（ｔ）か、二次撮像装置１５０のロール、またはφ（ｔ）かに関する関数またはベクトルを含むが、これらに限定されない、二次撮像装置１５０の動きの１つ以上の態様を決定する、または予測することができる。上述されるように、二次撮像装置１５０を一次撮像装置１４０に結合するため、二次撮像装置１５０の動きの決定または予測は、同様に、一次撮像装置１４０の動きに対応すると仮定されることができる。

その後、二次撮像装置１５０の動きの決定された、または予測された態様と、したがって、一次撮像装置１４０の動きを使用して、一次撮像装置１４０を使用して、先に、同時に、または後に捕捉される撮像データを手ぶれ補正することができる。図１Ｅに示されるように、一次撮像装置１４０のヨーΨ（ｔ）、ピッチθ（ｔ）、またはロールφ（ｔ）に対応する関数またはベクトルをコンピューティングデバイス１１２に提供して、使用することにより、捕捉される一次撮像データ１４−ｎをデジタル方式によって変換し、その結果、一次撮像データ１４−ｎの手ぶれ補正されたセット１４’−ｎを定義する。代替に、ヨー関数Ψ（ｔ）、ピッチ関数θ（ｔ）、またはロール関数φ（ｔ）を使用して、たとえば、レンズとイメージセンサとの間を通る光路を変更することにより、一次撮像装置１４０を使用して捕捉される撮像データを光学的に手ぶれ補正するために、１つ以上の電気モータまたはジャイロスコープを使用してレンズモジュールなどの１つ以上の構成要素の、動作または相対的な位置若しくは方向を修正することによるような、リアルタイムに、またはほぼリアルタイムに、一次撮像装置１４０の動作を修正することが可能である。

視覚撮像データ、または深度撮像データの形態における撮像データは、デジタルカメラ、深度センサまたはレンジカメラなどの１つ以上の撮像装置を使用して捕捉されることができる。これらのような装置は、対象物から反射される光を捕捉することにより、そしてその後に、ピクセルなどの、反射された光の態様へ１つ以上の定量的な値を計算し、または割り当て、これらのような値に基づく出力を生成し、これらの値を１つ以上のデータストア内に格納することにより、一般的に動作することができる。デジタルカメラは、それと関連する１つ以上のフィルタを含む１つ以上のセンサを備えることができ、これらのようなセンサは、反射された光の１色以上の基本色（たとえば、赤色、緑色または青色）に対応する反射された光のいずれかの数のピクセルの態様、または光が反射された対象物への距離の態様についての情報を検出することができる。これらのようなセンサは、このような情報を含むデータファイルを生成し、１つ以上のオンボードデータストア若しくはアクセス可能なデータストア（たとえば、ハードドライブまたは他の同様のコンポーネント）内に、または１つ以上のリムーバブルデータストア（たとえば、フラッシュメモリデバイス）内に、これらのデータファイルを格納することができる。代替に、これらのようなデータファイルは、１つ以上のブロードキャスト若しくは閉回路テレビネットワーク上に、またはインターネットとしてコンピュータネットワーク経由で、表示されることができる。

１つ以上のデータストア内に格納される撮像データファイルは、紙に印刷される、１つ以上のコンピュータディスプレイ上に提示される、またはそこに表現されるアイテムを識別するためなどの、１つ以上の分析を受けることができる。これらのようなデータファイルは、いずれかの数のフォーマットに格納され、これらのフォーマットは、限定されないが、．ＪＰＥＧ若しくは．ＪＰＧファイル、またはグラフィックスインターチェンジフォーマット（または「．ＧＩＦ」）、ビットマップ（または「．ＢＭＰ」）、ポータブルネットワークグラフィックス（または「．ＰＮＧ」）、タグ付き画像ファイルフォーマット（または「．ＴＩＦＦ」）ファイル、オーディオビデオインタリーブ（または「．ＡＶＩ」）、ＱｕｉｃｋＴｉｍｅ（または「．ＭＯＶ」）、ムービングピクチャエクスパーツグループ（または「．ＭＰＧ」、「．ＭＰＥＧ」若しくは「．ＭＰ４」）若しくはＷｉｎｄｏｗｓ Ｍｅｄｉａビデオ（または「．ＷＭＶ」）ファイルを含むことができる。

この装置の位置、及びこの装置のレンズの角度方向と同様に、この装置内のセンサとレンズとの間の距離、すなわち、焦点距離の関数として定義される、このデバイスの視野内に反射された光がある場合に、撮像装置は、反射された光を捕捉する、または検出することができる。その結果、対象物が被写界深度内に、または明瞭度及び焦点が十分に鮮明である視野内の距離内に出現する場合に、撮像装置は、その１つ以上のセンサを使用して十分に高解像度に任意の種類の対象物から反射される光を捕捉し、反射された光についての情報を１つ以上のデータファイル内に格納することができる。

また多くの撮像装置は、それらのそれぞれの視野または方向を修正するための機能を有する。たとえば、デジタルカメラは、固定位置内に、または固定焦点距離（たとえば、固定焦点レンズ）若しくは角度方向によって構成されることができる。代替に、撮像装置は、センサとレンズ（たとえば、光学ズームレンズまたはデジタルズームレンズ）との間の距離における変化、撮像装置の位置における変化、または角度方向を定義する角度のうちの１つ以上における変化を引き起こすことにより、撮像装置の位置を調整するために、または焦点距離（たとえば、撮像装置をズームする）若しくは角度方向（たとえば、ロール角、ピッチ角またはヨー角）のいずれか一方を調整するために、１つ以上の作動した機能、または動力化された機能を有することができる。

たとえば、撮像装置は、１軸、２軸または３軸に関して固定された構成または角度に装置を維持する支持体またはマウンティングにハードマウントされることができる。代替に、しかしながら、撮像装置は、構成要素のうちの１つ以上を手動で、若しくは自動で動作させるための、または装置の軸若しくは方向を再配向するための、すなわち、この装置をパンする、または傾けることにより、１つ以上のモータ及び／またはコントローラを提供することができる。撮像装置をパンすることは、水平面内の、または垂直軸（たとえば、ヨー）周囲の回転を引き起こすことができ、撮像装置を傾けることは、垂直面内の、または水平軸（たとえば、ピッチ）周囲の回転を引き起こすことができる。加えて、撮像装置は、その回転軸周囲で、またこの回転軸に垂直であり、この装置の視野に実質的に平行である平面内で、ロールする、または回転することができる。

さらに、いくつかの最新式の撮像装置は、１つ以上の物理的制約及び動作上の制約に従い、視野内に識別される画像をデジタル方式で、または電子的に調整することができる。たとえば、デジタルカメラは、デジタルカメラの視野に合焦する、またはこの視野を広げるために、画像のピクセルを実質的に、伸縮し、または凝縮し、また視野内の画像の１つ以上の部分を並進させることができる。光学的に調整可能な焦点距離または配向軸を有する撮像装置は、パンチルトズーム（または「ＰＴＺ」）撮像装置と一般に称され、デジタル方式で、または電子的に調整可能なズームまたは並進機能を有する撮像装置は、電子ＰＴＺ（または「ｅＰＴＺ」）撮像装置と一般に称される。

撮像データ内に表現される特徴または対象物についての情報及び／またはデータは、特徴または対象物の色、テクスチャまたは輪郭を有し、任意の数の方式においてデータから抽出されることができる。たとえば、デジタル画像内の、ピクセルの色、またはピクセルのグループの色は、ピクセル内の赤色、緑色または青色の部分を０から２５５の値内の範囲の３つの対応する数値で表現するＲＧＢ（「赤−緑−青」）色モデル、またはピクセルの色を６文字コードに表現し、その中で各文字が１６の範囲を有することができる１６進数モデルなどの、１つ以上の規格に従い決定され、定量化されることができる。また色は、６文字１６進数モデル、または＃ＮＮＮＮＮＮに従い、表現されることができ、そこで各文字Ｎは、１６桁（すなわち、０から９の数字、及びＡからＦの文字）の範囲を有する。１６進数モデルの最初の２文字ＮＮは、この色の中に含まれる赤色の部分を指し、二番目の２文字ＮＮは、この色の中に含まれる緑色の部分を指し、三番目の２文字ＮＮは、この色の中に含まれる青色の部分を指す。たとえば、これらの色の白色及び黒色は、１６進数モデルに従い＃ＦＦＦＦＦＦ及び＃００００００とそれぞれ表現され、キャンディアップルレッドの色は、＃Ｄ６１１２３と表現される。画像または写真内の色またはカラースキームを定量化するためのいずれかの手段またはモデルは、本開示に従い利用されることができる。さらに、デジタル画像に表現される対象物のテクスチャまたは特徴は、画像の領域またはセクタ内の強度における変化を識別することによる、または特定の表面に対応する画像の領域を画定することによるような、１つ以上のコンピュータベースの方法を使用して識別されることができる。

さらに、デジタル静止画像またはデジタル動画像に表現される、対象物または対象物の部分のエッジ、コンター、輪郭、色、テクスチャ、シルエット、形状または他の特性は、１つ以上のアルゴリズムまたは機械学習ツールを使用して識別されることができる。対象物、または対象物の部分は、静止している、または動いていることができ、単一の、有限の期間に、または１つ以上の期間若しくは持続時間にわたり識別されることができる。これらのようなアルゴリズムまたはツールは、可能な限り密接にデジタル画像内に、またノイズ及び途絶を最小にして偽の遷移を作成しない方式において、遷移（たとえば、対象物またはその部分のエッジ、コンター、輪郭、色、テクスチャ、シルエット、形状または他の特性）を認識し、マーク付けすることを対象とすることができる。本開示に従うデジタル画像内の対象物またはその部分の特性を認識するために利用されることができるいくつかの検出アルゴリズムまたは技術は、限定されないが、Ｃａｎｎｙエッジ検出器またはアルゴリズムか、Ｓｏｂｅｌ演算子、アルゴリズムまたはフィルタか、Ｋａｙｙａｌｉ演算子か、Ｒｏｂｅｒｔｓエッジ検出アルゴリズムか、Ｐｒｅｗｉｔｔ演算子か、Ｆｒｅｉ−Ｃｈｅｎ方法か、当業者に知られている可能性がある任意の他のアルゴリズムまたは技術かを有する。

時として画像手ぶれ補正は、これらのような画像内の対象物の見かけの動き、たとえば、振動、トラッキング誤差、微分大気差、または任意の他の要因による動きの影響を除去することにより画質を改善するための１つ以上のプロセスとして記述される。ほとんどの場合、撮像データに表現される対象物は、実際に動いていないか、実際に手ぶれのない、及び／または予測可能である動きにあるかのいずれか一方である。画像手ぶれ補正技術は、撮像装置を使用して最初に捕捉された撮像データより高い鮮鋭度、ならびにより高いコントラスト及び解像度を有する撮像データを生成することを意図される。

見かけの動きは、いずれかのタイプの撮像装置を使用して、いずれかのタイプの撮像データを捕捉するときに結果として生じることができる。たとえば、見かけの動きは、スローシャッター速度において、または比較的に長い焦点距離を有するレンズを使用して、このような撮像データを捕捉したときに、少量のカメラの揺動または動きの結果として撮像データ内に観測されることができる。代替に、また見かけの動きは、短期間でさえ、また高いシャッター速度でさえ、カメラが激しく揺動するときに、またはカメラが比較的に短い焦点距離を有するレンズを特徴とする場合に、撮像データ内に観測されることができる。

現在、撮像データは、画像レジストレーションまたは画像マッチング技術を含むがこれらに限定されない、１つ以上の手ぶれ補正技術に従い手ぶれ補正されることができる。デジタル方式で、または電子的に、画像手ぶれ補正アルゴリズムを使用して、捕捉された撮像データ内に、たとえば、撮像装置を使用して捕捉される画像シーケンス内に出現する、基準点、アンカー点、エッジパターンまたは他の認識可能な特徴と関連する動きベクトルを推定することができる。たとえば、特徴に基づく画像マッチング技術において、１セットの実質的に顕著なアンカー点は、各画像内で識別され、相互にマッチングされ、点のそれぞれの組の対応に基づき第一画像から第二画像（及びその後の画像）への変換は、計算されることができる。領域に基づく画像マッチング技術において、画像内の各ピクセル、または画像内のピクセルの実質的な一部は、類似基準に基づき、それぞれの画像、または一連の画像間において１セットの可能な変換を評価する１つ以上のアルゴリズムにより検討される。その結果、最高得点または最高割合の変換を選択する。

画像内の１つ以上の顕著な特徴、たとえば、基準点、アンカー点、エッジパターンまたは他の認識可能な特徴を識別することにより、また複数の画像内のこれらのような顕著な特徴を追跡することにより、顕著な特徴をアンカー点として利用し、これらのような顕著な特徴に関連するすべての摂動を打ち消すことができる。たとえば、いくつかのデジタル手ぶれ補正技術において、異なる期間に収集される同一シーンの２つ以上のフレームのアライメントを取ることにより、または異なるセンサにより、及び／または異なる視点からなどの、並進運動または回転運動の影響を相殺し、また手ぶれのないビデオ画像のストリームを定義するために、画像境界の外側にある画像ピクセルは、動きについてのバッファとして使用されることができ、これらのようなピクセルについての情報は、画像をフレーム間でシフトさせるために使用されることができる。他のデジタル手ぶれ補正技術において、たとえば、それぞれの画像内の特徴を検出し、追跡することにより、画像信号間の相関を使用して、画像シーケンスを手ぶれ補正することができる。

光学画像手ぶれ補正において、撮像装置の動き（たとえば、振動を有するがこれに限定されない並進運動及び／または回転運動）は、ジャイロスコープまたは加速度計などの１つ以上のセンサを使用して検出され、測定されることができる。これらのようなセンサからの読み取り値は、光路を変更することによって検出され、測定された動きを補償するために、光学チェーン内のレンズ、イメージセンサまたは他の構成要素を操作するための電気機械式アクチュエータに提供されることができる。

ノイズ、振動または他の悪影響と関連する問題は、撮像装置が動作機械類に取り付けられる、及び／または動作機械類と併せて動作する場合に特に深刻である。たとえば、航空機が飛行動作中の使用のために、デジタルカメラなどの１つ以上の撮像装置を備えるときに、これらのような撮像装置は、ノイズ、振動、流体流、衝撃、衝突または他のソースによって引き起こされる動きを一般に受ける。したがって撮像装置の動きを決定すること、または推定することは、撮像装置を使用して捕捉される撮像データを手ぶれ補正する際に有用である。上述されるように、動きは、捕捉された撮像データの部分、たとえば、捕捉された撮像データ内の、基準点、アンカー点、エッジまたは他の特徴に基づき、一般に決定される、または推定されることができる。撮像装置の動きを決定する、または推定すると、撮像装置により捕捉される撮像データをデジタル方式で手ぶれ補正することができる、または撮像装置の動作を修正し、それによりその後に捕捉される撮像データを光学的に手ぶれ補正することができる。

航空機の動作中に、撮像装置は、ガイダンス、制御、調査、衝突回避または他の用途を有するがこれらに限定されない、複数のミッションクリティカル機能において使用されることができる。しかしながら、動作する航空機内に設けられる撮像装置が実質的に前向き、上向きまたは横方向にアライメントを取るときに、撮像装置の視野は、地上の地形、または撮像装置の動きを導出することができ、また撮像装置を使用して捕捉される撮像データを手ぶれ補正することができる基準点、アンカー点若しくは他の信頼できる視覚ベンチマークとして機能することができる任意の他の特徴を含まないことが多い。この点について、ミッションクリティカル撮像装置により捕捉される撮像データは、撮像装置の動きを決定するために典型的に使用されない可能性がある。したがって、このような撮像データは、デジタルまたは光学手ぶれ補正技術のいずれか一方により、それ自体を手ぶれ補正するために、または撮像装置によりその後に捕捉される画像を手ぶれ補正するために典型的に使用されない可能性がある。

本開示のシステム及び方法は、撮像データを取得し、手ぶれ補正するために複数のセンサを利用する画像手ぶれ補正技術（たとえば、画像レジストレーション、画像マッチングまたは他の技術）を対象とする。いくつかの実施形態において、レンズ（またはレンズモジュール）または他の構造体を含む第一撮像装置は、レンズまたは構造体に取り付けられる第二センサを含むことができる。第一撮像装置のレンズまたは構造体の動き（たとえば、並進運動及び／または回転運動）のレベルを決定する、または予測するために、第二センサを使用して捕捉されるデータを処理することができる。その後、第一撮像装置を使用して捕捉される撮像データは、１つ以上の関数またはベクトルに関連して表現されることができる、動きの決定された、または予測されたレベルに基づき、手ぶれ補正されることができる。第二センサは、視野内に地上の地形を含むように指向されることができる、撮像装置（たとえば、デジタルカメラだけではなくレンジカメラ、深度センサ、赤外線センサ、超音波撮像装置またはＸ線撮像装置も）であることができ、その結果、地上の地形の部分は、第二センサの動きを推定するために識別され、使用されることができる。代替に、第二センサは、第二センサの動きと、したがって、第一撮像装置の動きを決定する、または推定することができる、ジャイロスコープ、加速度計、または別の同様の装置であることができる。第二センサを第一撮像装置のレンズまたは他の構造体へ物理的に結合するため、第二センサの動きは、第一撮像装置の動きに均等とみなされることができ、光学若しくはデジタル手ぶれ補正技術によって、または任意の他の方式において、第一撮像装置を使用して捕捉される撮像データを手ぶれ補正するために使用されることができる。

いくつかの実施形態において、航空機は、ガイダンス、制御、調査、衝突回避または他の機能などの、１つ以上のミッションクリティカル機能における使用に専用である一次撮像装置を含むことができる。二次撮像装置などの、二次センサは、一次撮像装置のレンズ（またはレンズモジュール）に取り付けられることができる。一次撮像装置は、それらのそれぞれの視野内にいずれかの地上地形、または地上構造体を含まない方向を有するが、これらに限定されない、前方向に、またはいずれかの他の関連した方向に動作することができる。二次撮像装置は、それらのそれぞれの視野の少なくとも一部内に、またはそれらのそれぞれの視野全体内に、地上の地形、または他の地上の構造体を定期的に、または絶えず含む方向を有するが、これらに限定されない、下方向に、またはいずれかの他の関連した方向に動作することができる。したがって、二次撮像装置によって捕捉される撮像データを使用して、一次撮像装置のレンズの動きのレベルを決定する、または予測することができ、決定された、または予測された動きのレベルを使用して、一次撮像装置により、たとえば、光学またはデジタル手ぶれ補正技術により、捕捉される撮像データを手ぶれ補正することができる。

いくつかの実施形態において、一次撮像装置は、ガイダンス、制御、調査、衝突回避または他の用途などの、１つ以上のミッションクリティカル機能を実行するために提供される高品質、高解像度デジタルカメラであることができる。いくつかの実施形態において、一次撮像装置のレンズ（またはレンズモジュール）または他の光学素子は、デジタルカメラにサイズ及び／または品質において類似する１つ以上の二次撮像装置を用意される、またはその他の方法によりこれらの二次撮像装置と関連することができ、これらの二次撮像装置は、いずれかの数（たとえば、８から４８メガピクセル）またはサイズのピクセルセンサ（たとえば、約１ミクロン）、いずれかの関連したアパーチャ若しくは焦点距離、または静止画像若しくは動画像、及びいずれかの関連したオーディオ信号若しくはメタデータ（たとえば、ジオタグまたは日付またはタイムスタンプ）を捕捉するように構成される、いずれかの数のレンズ、フィルタ若しくは他の構成要素を含む、オートフォーカスカメラを含むが、これらに限定されない、ラップトップコンピュータ、タブレットコンピュータ、スマートフォンまたは他のモバイルデバイス内に一般に提供される。１つ以上の二次撮像装置は、二次撮像装置をレンズ若しくは光学素子へ接着する、若しくは貼付すること、二次撮像装置をレンズ若しくは光学素子の表面内に埋め込むことによるような、いずれかの方式において、またはいずれかの他の方式において一次撮像装置のレンズまたは光学素子に結合されることができる。

いくつかの実施形態において、一次撮像装置は、一次撮像装置が提供される、また一次撮像装置の１つ以上の動作上の制約内にある、またはこれらの動作上の制約に従う、１つ以上の用途に少なくとも部分的に基づき選択されることができる第一フレームレートにおいて画像を捕捉するように構成されることができる。１つ以上の二次撮像装置は、一次撮像装置のレンズまたはレンズモジュールの外面に結合されることができ、一次撮像装置の並進運動及び／または回転運動を表現する関数、ベクトルまたは他のメトリックの正確度または精度の所望のレベルに少なくとも部分的に基づき選択されることができる第二フレームレートにおいて画像を捕捉するように構成されることができる。たとえば、第二フレームレートは、それにより決定される動きの関数、ベクトルまたはメトリックの正確度または精度を最適化するために、第一フレームレートより実質的に高い可能性がある。

図２を参照して、本開示の実施形態に従う、マルチセンサ画像手ぶれ補正技術を実行するための１つのシステム２００の構成要素のブロック図を示す。図２のシステム２００は、全体的に、または部分的に、インターネットを含むことができる、ネットワーク２８０経由で相互に接続される航空機２１０及びデータ処理システム２７０を含む。別段に記述される場合を除き、図２に示される数字「２」が先行する参照番号は、図１Ａから１Ｅに示される数字「１」が先行する参照番号を含む構成要素または特徴に類似する構成要素または特徴を示す。

航空機２１０は、プロセッサ２１２、メモリ２１４及びトランシーバ２１６、制御システム２２０、複数の推進モータ２３０−１、２３０−２．．．２３０−n、一次撮像装置２４０及び二次撮像装置２５０を含む。

プロセッサ２１２は、１つ以上の画像処理アルゴリズムまたは技術の実行を含むが、これらに限定されない、任意の種類または形式の計算機能を実行するように構成されてもよい。たとえば、プロセッサ２１２は、制御システム２２０、推進モータ２３０−１、２３０−２．．．２３０−ｎ、一次撮像装置２４０または二次撮像装置２５０を含むが、これらに限定されない、航空機２１０及びその上の１つ以上のコンピュータベースの構成要素の動作のいずれかの態様を制御することができる。たとえば、プロセッサ２１２は、航空機２１０の構成要素の動作を行うための、たとえば、推進モータ２３０−１、２３０−２．．．２３０−ｎのうちの１つ以上を動作させるための、インストラクションを生成するための制御システム２２０の動作を制御する、または制御面、ライト若しくはその上に提供されるペイロード操作機器（図示せず）を含むが、これらに限定されない、航空機２１０のいずれかの他の態様を制御することができる。制御システム２２０は、ネットワーク２８０を介して、プロセッサ２１２と、及び／または１つ以上の他のコンピューティングデバイスまたはマシン（示されない）と関連付けられてよく、ネットワーク２８０を介して、デジタルデータの送信及び受信を通じてデータ処理システム２７０または１つ以上の他のコンピュータデバイス若しくはマシン（示されない）と通信してよい。航空機２１０は、航空機２１０を動作させるためのインストラクション、または航空機２１０の動作中に捕捉される情報若しくはデータなどの、いずれかの種類の情報またはデータを格納するための１つ以上のメモリまたはストレージ構成要素２１４（データベースまたはデータストアなど）をさらに含む。

プロセッサ２１２は、１つのプロセッサ、またはいくつかのプロセッサ（たとえば、２、４、８または他の適切な数）を含むマルチプロセッサシステムであることができ、インストラクションを実行することが可能であることができる。たとえば、いくつかの実施態様では、プロセッサ２１２は、ｘ８６、ＰｏｗｅｒＰＣ、ＳＰＡＲＣ、若しくはＭＩＰＳ インストラクションセットアーキテクチャ（ＩＳＡ）、またはいずれかの他の適切なＩＳＡなどの、複数のＩＳＡのうちのいずれかを実装する、汎用または埋め込み型プロセッサであることができる。プロセッサ２１２がマルチプロセッサシステムである場合に、マルチプロセッサシステム内の各プロセッサは、同一のＩＳＡ、または異なるＩＳＡを動作させることができる。

プロセッサ２１２は、電子速度制御、電源、ナビゲーションシステム及び／または要望通りに、アイテムと係合する、またはこれらのアイテムを解放するためのペイロードエンゲージメントコントローラなどの１つ以上の他のシステムの部分として提供されることができる、またはこれらの他のシステムを動作させるようにさらに構成されることができる。たとえば、プロセッサ２１２は、航空機２１０を決定された、または所望の飛行経路沿いに誘導するために、推進モータ２３０−１、２３０−２．．．２３０−ｎのうちの１つ以上を所望の速度で動作させることにより、一次撮像装置２４０または二次撮像装置２５０に撮像データを捕捉させることにより、または１つ以上の制御面、ライト、ペイロード操作機器、若しくはその上に提供されるいずれかの他の構成要素を動作させることなどにより、推進モータ２３０−１、２３０−２．．．２３０−ｎ、一次撮像装置２４０または二次撮像装置２５０のうちの１つ以上の動作を引き起こす、または制御するように構成されることができる。

加えて、メモリ２１４は、プロセッサ２１２により、またはこのプロセッサにアクセス可能な、実行可能なインストラクション、飛行経路、飛行制御パラメータ及び／または他のデータアイテムを格納するように構成されることができる。メモリ２１４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、同期ダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または任意の他のタイプのメモリなど、任意の適切なメモリ技術を使用して実装されてもよい。いくつかの実施形態において、プログラムインストラクション、飛行経路、飛行制御パラメータ及び／または他のデータアイテムは、たとえば、有線及び／または無線リンクなどの通信媒体を介して搬送されることができる、電気、電磁またはデジタル信号などの伝送媒体または信号により、トランシーバ２１６を介して受信される、または送信されることができる。

トランシーバ２１６は、たとえば、ユニバーサルシリアルバス（または「ＵＳＢ」）若しくは光ファイバケーブルなどの有線技術、またはＢｌｕｅｔｏｏｔｈ（登録商標）若しくは任意のワイヤレスフィデリティー（または「ＷｉＦｉ」）プロトコルなどの標準無線プロトコルといった１つまたは複数の有線または無線手段を介して、たとえば、ネットワーク２８０を介して、または直接的に航空機２１０が通信することを可能にするように構成され得る。トランシーバ２１６は、１つ以上の入出力（または「Ｉ／Ｏ」）インターフェース、ネットワークインタフェース及び／または入出力デバイスをさらに含む、またはこれらと通信することができ、情報若しくはデータを航空機２１０の構成要素のうちの１つ以上の間で、または１つ以上の他のコンピュータデバイス若しくはシステム（たとえば、示されない、他の航空機）へネットワーク２８０経由で交換することを可能にするように構成されることができる。たとえば、いくつかの実施形態において、トランシーバ２１６は、プロセッサ２１２と１つ以上のオンボードまたは外部コンピュータデバイスまたは構成要素との間のＩ／Ｏトラフィックを調整するように構成されることができる。トランシーバ２１６は、一方の構成要素による使用に適切である第一フォーマットからのデータ信号を他方の構成要素による使用に適切である第二フォーマットに変換するために、いずれかの必要なプロトコル、タイミングまたは他のデータ変換を実行することができる。いくつかの実施形態において、トランシーバ２１６は、たとえば、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス規格、またはユニバーサルシリアルバス（ＵＳＢ）規格の異形などのさまざまなタイプのペリフェラルバスを通じて取設されるデバイスに対するサポートを含んでも良い。いくつかの他の実施形態において、トランシーバ２１６の機能は、２つ以上の別々の構成要素に分割される、またはプロセッサ２１２内に直接に組み込まれることができる。

推進モータ２３０−１、２３０−２．．．２３０−ｎは、１つ以上のプロペラまたは他の構成要素の十分な回転速度を生じ、揚力及び／または推力を航空機２１０及びいずれかの係合されたペイロードへ与えることにより、係合されたペイロードを航空機によって輸送することが可能である、いずれかのタイプまたは形態のモータ（たとえば、電気の、ガソリン動力の、またはいずれかの他のタイプのモータ）であることができる。たとえば、推進モータ２３０−１、２３０−２．．．２３０−ｎのうちの１つ以上は、アウトランナーブラシレスモータまたはインランナーブラシレスモータなどのブラシレス直流（ＤＣ）モータであることができる。航空機２１０は、いずれかの種類のこれらのような推進モータ２３０−１、２３０−２．．．２３０−ｎのいずれかの数を含むことができる。たとえば、推進モータ２３０−１、２３０−２．．．２３０−ｎのうちの１つ以上は、排他的に、揚力を航空機２１０へ与えるようにアライメントを取る、または構成されることができ、推進モータ２３０−１、２３０−２．．．２３０−ｎのうちの１つ以上は、排他的に、推力を航空機２１０へ与えるようにアライメントを取る、または構成されることができる。代替に、推進モータ２３０−１、２３０−２．．．２３０−ｎのうちの１つ以上は、必要に応じて、航空機２１０へ揚力及び推力を与えるようにアライメントを取る、または構成されることができる。たとえば、推進モータ２３０−１、２３０−２．．．２３０−ｎは、航空機２１０上でのそれらの方向に固定されることができる、またはティルトローター航空機などの、それらのそれぞれの方向を変えるように構成されることができる。さらに、推進モータ２３０−１、２３０−２．．．２３０−ｎは、異なる容量若しくは定格によって、若しくは異なる速度において、動作するようにアライメントを取る、若しくは構成されることができる、または異なるサイズ及び形状を有するプロペラに結合されることができる。

一次撮像装置２４０及び二次撮像装置２５０は、航空機２１０の動作中に遭遇する、またはいずれかの他の目的のために、構造体、設備、地形またはいずれかの他の要素の、写真を撮る、またはその他の方法により撮像データを記録するために使用されることができる光記録装置のいずれかの形態であることができる。図２に示されるように、一次撮像装置２４０は、レンズ（またはレンズモジュール）２４２を含み、二次撮像装置２５０は、レンズ２５２を含む。上記に考察されるように、レンズ２４２のいずれかの並進運動及び／または回転運動が二次撮像装置２５０の並進運動及び／または回転運動に実質的に均等とみなされることができるように、二次撮像装置２５０は、いずれかのアライメントまたは方向（たとえば、実質的に前方向にアライメントを取る一次撮像装置２４０に関する、また実質的に下方向にアライメントを取る二次撮像装置２５０に関する）において、一次撮像装置２４０のレンズ２４２へ取り付けられる、または物理的に結合される。

レンズ２４２及びレンズ２５２に加えて、一次撮像装置２４０及び／または二次撮像装置２５０は、１つ以上のセンサ、メモリ若しくはストレージコンポーネント、またはプロセッサをさらに含むことができ、これらのようなセンサ、メモリ若しくはストレージコンポーネント、またはプロセッサは、１つ以上の感光面、フィルタ、チップ、電極、クロック、ボード、タイマーまたはいずれかの他の関連した特徴（示されない）をさらに含むことができる。一次撮像装置２４０及び／または二次撮像装置２５０は、航空機２１０の動作中に、いずれかの種類または形態の１枚以上の静止画像または動画像、及びいずれかの関連したオーディオ信号または他の情報の形態において撮像データを捕捉することができ、内部ネットワーク（示されない）のすべてまたは部分に専用である、またはこのすべてまたは部分を含むことができる有線または無線接続として、プロセッサ２１２、メモリ２１４及び／またはトランシーバ２１６に、または相互に結合される、及び／またはデータ処理システム２７０と、またはネットワーク２８０として１つ以上の他のコンピュータデバイスと通信するように適合される、またはその他の方法によりこれらと通信するように構成されることができる。図２の航空機２１０が１つの一次撮像装置２４０に対応する単一のボックス、及び１つの二次撮像装置２５０に対応する単一のボックスを含むが、当業者は、デジタルカメラ、深度センサまたはレンジカメラ、赤外線カメラ、ラジオグラフィックカメラまたは他の光センサを含むが、これらに限定されない、本開示に従い、いずれかの数または種類の一次撮像装置または二次撮像装置を提供することができることを認識するであろう。

一次撮像装置２４０及び二次撮像装置２５０に加えて、航空機２１０は、外的情報若しくはデータ、または内的情報若しくはデータを含む、航空機２１０が動作している、または動作することを予期されることができる環境の１つ以上の属性を決定するために、１つ以上の環境または動作センサを含むが、これらに限定されない、航空機２１０の動作における制御または支援のために、いずれかの数の他のセンサ、構成要素または他の特徴を含むこともできる。たとえば、航空機２１０は、１つ以上の全地球測位システム（「ＧＰＳ」）受信器若しくはセンサ、コンパス、速度計、高度計、温度計、気圧計、湿度計、ジャイロスコープ、空気監視センサ（たとえば、酸素、オゾン、水素、一酸化炭素または二酸化炭素のセンサ）、オゾンモニタ、ｐＨセンサ、磁気異常検出器、金属探知器、放射線センサ（たとえば、ガイガーカウンタ、中性子検出器、アルファ検出器）、姿勢指示器、深度計、加速度計、または音センサ（たとえば、１つ以上の方向からの音響エネルギーを検出し、記録するための、マイクロホン、圧電センサ、振動センサまたは他のトランスデューサ）を含むことができる。

データ処理システム２７０は、それに関連する複数のデータベース２７４を有する１つまたは複数の物理的コンピュータサーバ２７２、及び任意の特定の、または一般的な目的のために設けられた１つまたは複数のコンピュータプロセッサ２７６を含む。たとえば、図２のデータ処理システム２７０は、航空機２１０から受信する、撮像データ、若しくは他の情報かデータを受信する、分析する、若しくは格納する排他的な目的のために独立して設けられることができる、または代替に、このような撮像データ、若しくは他の情報かデータ、及び１つ以上の他の機能を受信する、分析する、若しくは格納するように構成される１つ以上の物理的または仮想サービスと関連して設けられることができる。サーバ２７２は、データベース２７４及びプロセッサ２７６に接続されてもよく、またはそうでなければそれらと通信してもよい。データベース２７４は、いずれかの目的のための、環境条件、動作特性、または位置についての、撮像データ、または情報若しくはデータに関連する、音響信号、情報またはデータを含むが、これらに限定されない、いずれかのタイプの情報またはデータを格納することができる。また、サーバ２７２及び／またはコンピュータプロセッサ２７６は、デジタルデータを送信する及び受信することを通じて、回線２７８によって示されるように、ネットワーク２８０に接続してもよい、またはそれ以外の場合ネットワーク２８０と通信してもよい。たとえば、データ処理システム２７０は、ネットワーク２８０を介して航空機２１０から、または互いから、または１つ以上の他の外部コンピュータシステム（図示せず）から受信されたメディアファイルなどの、メディアファイルなどの情報またはデータを受信し、１つ以上のデータストアに記憶する能力または容量を有する任意の施設、ステーション、または場所を含んでよい。いくつかの実施形態では、データ処理システム２７０は、物理的な場所に設けられてもよい。他のそのような実施形態では、データ処理システム２７０は、例えば「クラウド」ベースの環境といった１つまたは複数の代替のまたは仮想の場所に設けられてもよい。さらに他の実施形態では、データ処理システム２７０は、航空機２１０を含むが、これに限定されるものではない１つ以上の航空機に搭載されて設けられてよい。

ネットワーク２８０は、任意の有線ネットワーク、無線ネットワーク、またはその組み合わせであってよく、全体的にまたは部分的にインターネットを含んでよい。さらに、ネットワーク２８０は、パーソナルエリアネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、ケーブルネットワーク、衛星ネットワーク、携帯電話ネットワーク、またはその組み合わせであってよい。ネットワーク２８０は、インターネットなどのさまざまな異なる当事者らによって運用される可能性がある、リンクされたネットワークの公共的にアクセス可能なネットワークであってもよい。いくつかの実施形態では、ネットワーク２８０は、企業または大学のイントラネットなどのプライベートまたはセミプライベートネットワークであってもよい。ネットワーク２８０は、グローバルシステムフォーモバイルコミュニケーションズネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、またはいくつかの他の種類の無線ネットワークなどの１つ以上の無線ネットワークを含んでよい。インターネットまたは他の前述のタイプの通信ネットワークのいずれかを介して通信するためのプロトコル及び構成要素は、コンピュータ通信の当業者に周知であり、したがって、本明細書により詳細に記載される必要はない。

本明細書で説明されるコンピュータ、サーバ、装置などは、必要な電子機器、ソフトウェア、メモリ、ストレージ、データベース、ファームウェア、ロジック／ステートマシン、マイクロプロセッサ、通信リンク、ディスプレイまたは他のビジュアル若しくはオーディオユーザインタフェース、印刷装置、及び本明細書に記載された機能またはサービスのいずれかを提供する、及び／または本明細書に記載の結果を達成するための任意の他の入力／出力インターフェースを有する。また、当業者であれば、係るコンピュータ、サーバ、装置などのユーザが、コンピュータ、サーバ、装置などとインタラクトするために、または本開示のアイテム、リンク、ノード、ハブ若しくは任意の他の態様を「選択」するために、キーボード、キーパッド、マウス、スタイラス、タッチスクリーン、または他の装置（図示せず）若しくは方法を操作し得ることを認識するだろう。

航空機２１０及び／またはデータ処理システム２７０は、ウェブによって有効化される任意のアプリケーション若しくは機能、またはインターネットのアプリケーション若しくは機能、あるいはＥメールまたは他のメッセージング技術を含む任意の他のクライアント／サーバアプリケーションまたは機能を使用してネットワーク２８０に接続し得る、またはたとえばショートメッセージサービス若しくはマルチメディアメッセージングサービス（ＳＭＳ若しくはＭＭＳ）のテキストメッセージを介して、互いに通信し得る。たとえば、航空機２１０は、ネットワーク２８０を介して、リアルタイム若しくはほぼリアルタイムで、または１つ以上のオフラインプロセスで、データ処理システム２７０に、または任意の他のコンピュータデバイスに（たとえば、１機以上の他の航空機に）、同期メッセージまたは非同期メッセージの形で情報またはデータを送信するように適合されてよい。当業者であれば、航空機２１０またはデータ処理システム２７０が以下に限定するものではないがセットトップボックス、パーソナルデジタルアシスタント、デジタルメディアプレーヤー、ウェブパッド、ラップトップコンピュータ、デスクトップコンピュータ、電子書籍リーダなどを含む、ネットワークを介して通信することができる多数のコンピューティングデバイスのいずれかを操作し得る、またはこれらのいずれかにより操作され得ることを認識するであろう。係る装置間で通信を提供するためのプロトコル及び構成要素は、コンピュータ通信の当業者には周知であり、本明細書でより詳細に説明される必要はない。

本明細書で説明されるデータ及び／またはコンピュータ実行可能インストラクション、プログラム、ファームウェア、ソフトウェアなど（本明細書では「コンピュータ実行可能」構成要素とも呼ばれる）は、コンピュータまたはコンピュータ構成要素の中にあるか、コンピュータまたはコンピュータ構成要素によってアクセス可能なコンピュータ可読媒体に記憶されてよく、たとえば、プロセッサ２１２若しくはプロセッサ２７６などのコンピュータまたはコンピュータ構成要素、または任意の他のコンピュータ若しくは制御システムは、航空機２１０またはデータ処理システム２７０によって（たとえば、１機以上の他の航空機によって）利用され、プロセッサ（たとえば、中央処理装置、または「ＣＰＵ］）による実行時に、プロセッサに本明細書に記載された機能、サービス及び／または方法のすべてまたは一部分を実行させるインストラクションシーケンスを有する。係るコンピュータ実行可能インストラクション、プログラム、ソフトウェアなどは、フロッピードライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＯＭドライブなどのコンピュータ可読媒体に関連付けられたドライブ機構、ネットワークインタフェースなどを使用し、または外部接続を介して１つ以上のコンピュータのメモリにロードされ得る。

本開示のシステム及び方法のいくつかの実施形態はまた、本明細書中に記載されたプロセスまたは方法を実行するようにコンピュータ（または他の電子機器）をプログラムするのに用いられ得るインストラクション（圧縮形式で、または非圧縮形式で）を格納する非一時的な機械可読記憶媒体を含むコンピュータ実行可能プログラム製品として提供されてもよい。本開示の機械可読記憶媒体は、ハードドライブ、フロッピーディスケット、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭ、ＲＡＭ、消去可能プログラマブルＲＯＭ（「ＥＰＲＯＭ」）、電気的消去可能プログラマブルＲＯＭ（「ＥＥＰＲＯＭ」）、フラッシュメモリ、磁気カード若しくは光カード、ソリッドステートメモリデバイス、または電子インストラクションを記憶するのに適した他の種類の媒体／機械可読媒体を含んでよいが、これに限定されるものではない。さらに、実施形態はまた、一時的な機械可読信号（圧縮形式で、または非圧縮形式で）を含むコンピュータ実行可能プログラム製品として提供されてもよい。機械可読信号の例としては、搬送波を使用して変調されるか否かに関わらず、以下に限定するものではないが、コンピュータプログラムをホスティングまたは実行するコンピュータシステムまたは機械がアクセスするように構成され得る信号、またはインターネットもしくは他のネットワークを介してダウンロードされ得る信号を含む信号が挙げられ得る。

上記に考察されるように、本開示の実施形態に従い、航空機内で動作しているレンズ（またはレンズモジュール）または他の光学素子を含む第一撮像装置によって捕捉される撮像データは、第一撮像装置のレンズまたは他の光学素子に結合される第二撮像装置によって捕捉される撮像データを使用して処理され、手ぶれ補正されることができる。図３を参照して、本開示の実施形態に従う、マルチセンサ画像手ぶれ補正のための１つのプロセスのフローチャート３００を示す。ボックス３１０において、航空機内に提供される前向き撮像装置の動作、及び前向き撮像装置のレンズに取り付けられる下向き航空機の動作は、航空機が飛行中でありながら同期される。たとえば、下向き撮像装置が前向き撮像装置及び下向き撮像装置の両方の動作中にその視野の少なくとも一部内に地上の地形、または他の固定された特徴を好ましくは維持するように、下向き撮像装置は、前向き撮像装置より実質的に小さい撮像装置であることができ、前向き撮像装置のレンズの下側に取り付けられることができる。撮像装置は、それにより捕捉される各フレームにタイムスタンプを押すように構成されることができる、または前向き撮像装置がフレームを捕捉するのと同時に下向き撮像装置がフレームを捕捉するように、同時に、また同一のフレームレートにおいて、若しくは前向き撮像装置のフレームレートが下向き撮像装置のフレームレートの整数倍であるような同様のフレームレートにおいて、撮像データを捕捉し始めることができる。

ボックス３２０において、前向き撮像装置は、航空機が飛行中でありながら、第一撮像データを捕捉する。たとえば、前向き撮像装置は、たとえば、航空機についての衝突危険性を表すことができる対象物（建物または他の構造体、植物、飛行動物または他の航空機など）について探索するために、任意のマーキング若しくはウェイポイントを識別するために、調査若しくは監視を実行するために、またはいずれかの他の目的のために、航空機の前方向にある視野内の静止画像または動画像を捕捉するようにアライメントを取ることができる。ボックス３３０において、下向き撮像装置は、航空機が飛行中でありながら、第二撮像データを捕捉する。たとえば、下向き撮像装置が前向き撮像装置及び下向き撮像装置の両方の動作中にその視野の少なくとも一部内に地上の地形、または他の固定された特徴を好ましくは維持するように、下向き撮像装置は、前向き撮像装置より実質的に小さい撮像装置であることができ、前向き撮像装置のレンズモジュールの下側に取り付けられることができる。

ボックス３４０において、下向き撮像装置によって捕捉される第二撮像データは、下向き撮像装置を取り付ける前向き撮像装置のレンズの並進運動及び／または回転運動を導出するように処理される。たとえば、第二撮像データは、第二撮像データ内の１つ以上の地上の基準点、アンカー点、エッジまたは他の特徴を認識することによるような、また第二撮像データの一連のフレーム内のこれらのような点、エッジまたは他の特徴の動きを追跡することによるような、そこから下向き撮像装置の並進運動及び／または回転運動を導出する、１つ以上のアルゴリズムまたは技術に従い処理されることができる。第二撮像データから認識される動きは、並進運動（たとえば、垂直軸、水平軸及び／または横軸沿いの移動）、または回転運動（たとえば、これらの軸周囲のヨー、ピッチまたはロール）、または並進運動及び回転運動の組み合わせのいずれかであることができ、１つ以上のベクトルまたは関数において表現されることができる。

ボックス３５０において、第二撮像データから導出されるレンズの並進運動及び／または回転運動を使用して、前向き撮像装置によって捕捉される第一撮像データを手ぶれ補正する。たとえば、第二撮像データから導出される動きを表現する関数またはベクトルを使用して、第一撮像データのフレームは、並進運動または回転運動の影響を相殺し、手ぶれのないビデオ画像ストリームを定義するために、たとえば、１つ以上の画像レジストレーション、画像マッチングまたは他の画像手ぶれ補正技術に従い、フレーム間で、シフトされることができる。代替に、第二撮像データから導出されるレンズの動きの関数またはベクトルは、動きを補償するために、たとえば、レンズ、イメージセンサまたは撮像装置の光学チェーン内の他の構成要素を操作するために、光学式手ぶれ補正技術において利用されることができる。

ボックス３６０において、手ぶれ補正された第一撮像データは、データストア内に、たとえば、航空機内に、外部の物理的位置に、または１つ以上の代替の位置若しくは仮想位置内に、たとえば、「クラウド」ベースの環境内に、格納され、これらから、手ぶれ補正された第一撮像データは、いずれかの目的のために呼び出され、使用されることができる。ボックス３７０において、航空機がその動作を完了したかどうかを判定する。航空機がその動作を完了していない場合に、つぎにプロセスは、ボックス３２０に戻り、そこで前向き撮像装置が第一撮像データを捕捉し、下向き撮像装置が第二撮像データを捕捉し、第二撮像データが連続処理され、下向き撮像装置を使用して捕捉される撮像データに基づき決定される、前向き撮像装置のレンズの並進運動及び／または回転運動を導出する。航空機がその動作を完了した場合に、つぎにプロセスは終了する。

図４を参照して、一次撮像装置４４０及び二次撮像装置４５０を含む航空機４１０の部分を示す。別段に記述される場合を除き、図４に示される数字「４」が先行する参照番号は、図２に示される数字「２」が先行する、または図１Ａから１Ｅに示される数字「１」が先行する、参照番号を含む構成要素または特徴に類似する構成要素または特徴を示す。

図４に示されるように、一次撮像装置４４０は、レンズモジュール４４２を含み、二次撮像装置４５０は、レンズ４５２を含む。二次撮像装置４５０は、一次撮像装置４４０及び二次撮像装置４５０の視野が相互に関して垂直に、または直角にアライメントに設けられるように、一次撮像装置４４０のレンズモジュール４４２の下側に取り付けられる。したがって、航空機４１０が反転したアライメントにおいて、または極端なロール若しくは他のバンクした飛行中に動作する場合を除き、二次撮像装置４５０の視野は、地上の地形をそのすべて、または一部内に含むことを合理的に期待される可能性がある。したがって、二次撮像装置４５０を使用して捕捉される撮像データは、１つ以上の配向軸沿いに、またはこれらの配向軸の周囲で、二次撮像装置４５０と、したがって一次撮像装置４４０の動きを決定する、または予測するように処理されることができる。

たとえば、図４に示されるように、二次撮像装置４５０を使用して捕捉される撮像データを処理し、それぞれｘ、ｙまたはｚ軸沿いに、速度関数またはベクトルＶ_ｘ（ｔ）、Ｖ_ｙ（ｔ）またはＶ_ｚ（ｔ）を決定する、または予測することができ、二次撮像装置４５０の並進運動は、これらのような関数またはベクトルのうちの１つ以上を使用して表現されることができる。同様に、二次撮像装置４５０を使用して捕捉される撮像データを処理し、それぞれｘ、ｙまたはｚ軸周囲で二次撮像装置４５０のヨー、ピッチまたはロールに対応するために、関数またはベクトルΨ（ｔ）、θ（ｔ）またはφ（ｔ）を決定する、または予測することができ、二次撮像装置４５０の回転運動は、これらのような関数またはベクトルのうちの１つ以上を使用して表現されることができる。二次撮像装置４５０の並進運動及び／または回転運動を二次撮像装置４５０により捕捉される撮像データに基づき決定する、または予測すると、これらの並進運動及び／または回転運動は、一次撮像装置４４０と関連し、一次撮像装置４４０により捕捉される撮像データを手ぶれ補正するために使用されることができる。

上記に考察されるように、本開示の実施形態に従い、第一撮像装置の動きは、第一モバイルデバイスのレンズ（またはレンズモジュール）または他の光学素子に物理的に結合される第二センサ（別の撮像装置など）により捕捉される情報またはデータに基づきモデル化されることができる。第二センサを第一撮像装置のレンズまたは他の光学素子に結合するため、第二センサを用いて捕捉される情報またはデータを使用して、第一撮像装置のレンズまたは他の光学素子の動きを決定する、または予測することができる。第一撮像装置のレンズまたは他の光学素子の決定された、または予測された動きを使用して、第一撮像装置により捕捉される撮像データは、たとえば、１つ以上の光学またはデジタル手ぶれ補正技術に従い、手ぶれ補正されることができる。

図５を参照して、本開示の実施形態に従う、マルチセンサ画像手ぶれ補正のための１つのプロセスのフローチャート５００を示す。ボックス５１０において、一次撮像装置は、航空機のミッション中に第一フレームレートにおいて一次画像を捕捉する。たとえば、一次画像は、航空機の安全動作を誘導するために、１つ以上の領域の調査若しくは監視を実行するために、またはいずれかの他の目的のために、捕捉されることができる。いくつかの実施形態において、一次撮像装置は、航空機の移動方向、または航空機の標準アライメントに関連して実質的に前方向の視野に関して構成されることができる。いくつかの他の実施形態において、一次撮像装置は、別の方向において、または別の軸沿いにアライメントを取る視野に関して構成されることができる。

ボックス５２０において、一次撮像装置に取り付けられる二次撮像装置は、航空機のミッション中に第二フレームレートにおいて二次画像を捕捉する。たとえば、いくつかの実施形態において、二次撮像装置は、一次撮像装置のレンズまたは他の構成要素に、たとえば、レンズモジュールの下側に、取り付けられることができる。この方式において（たとえば、実質的に下方向において）、二次撮像装置を一次撮像装置のレンズまたは他の構成要素に取り付けることは、ほとんどの例において、二次撮像装置を使用して捕捉される撮像データが二次撮像装置のすべての、またはほとんどの視野内に地上の地形を含むことを確保する。いくつかの実施形態において、二次撮像装置及び一次撮像装置は、相互に関して垂直方向、その結果、いくつかの実施形態において、二次撮像装置について実質的に下方向、及び一次撮像装置について実質的に前方向に取り付けられることができる。いくつかの実施形態では、第二フレームレートは、第一フレームレートに等しいことができる。いくつかの他の実施形態において、第二フレームレートは、第一フレームレートより小さいことができる。さらに他の実施形態において、第二フレームレートは、第一フレームレートを超えることができる。代替に、撮像装置（たとえば、ジャイロスコープまたは加速度計）である必要がない第二センサは、一次撮像装置に取り付けられ、一次撮像装置の第一フレームレートに関して航空機のミッション中に第二レートにおける情報またはデータを捕捉するように動作することができ、これらのような情報またはデータは、一次撮像装置の動きを決定する、または予測するために使用されることもできる。

ボックス５３０において、増分時間変数ｔは、ｔ_０に設定される。ボックス５４０において、時間ｔに一次撮像装置の動きは、時間ｔの前後の二次画像の所定数のフレームを使用してモデル化される。たとえば、所与の時間について、時間ｔの前後に二次撮像装置を使用して捕捉される任意の数の画像は、二次撮像装置を使用して捕捉される画像内の、１つ以上の地上の基準点、アンカー点、エッジまたは他の特徴を認識するために処理されることができる。二次撮像装置を使用して捕捉される所定数の画像は、一次撮像装置若しくは二次撮像装置のフレームレート、航空機を利用しているミッション若しくはアプリケーション、航空機の動きにおける変動性、または一次撮像装置を利用している目的（たとえば、ガイダンス、調査、衝突回避または任意の他の目的）を有するが、これらに限定されない、任意の基準に基づき選択される、または決定されることができる。

たとえば、二次画像の比較的に多数のフレームを使用して、一次撮像装置の動きをモデル化する場合に、このような動きを表現する関数またはベクトルは、より滑らかである、またはより低レベルの変動性を受ける可能性があり、その結果、二次撮像装置の第二フレームレートは、選択されることができる。反対に、二次画像の比較的に少数のフレームを使用して、一次撮像装置の動きをモデル化する場合に、このような動きを表現する関数またはベクトルは、動きにおける屈曲または他の変化において、急激な変化を識別する、または表現することができる。いくつかの実施形態において、時間ｔの前後に二次撮像装置により捕捉される１枚、２枚または３枚（または３枚以上）の画像を使用して、時間ｔにおける一次撮像装置の動きをモデル化することができる。代替に、時間ｔに二次撮像装置により捕捉される単一の画像を使用して、たとえば、リアルタイムに、またはほぼリアルタイムに、時間ｔにおける一次撮像装置の動きをモデル化することができる。

ボックス５５０において、時間ｔに一次撮像装置により捕捉される一次画像フレームは、二次撮像データから導出される一次撮像装置のモデル化された動きを使用して調整される。たとえば、時間ｔの前後に二次撮像装置により捕捉される二次画像から導出される並進運動または回転運動の関数またはベクトルを使用して、一次撮像装置により捕捉される撮像データは、この運動の影響を相殺するために、シフトされる、またはその他の方法により調整されることにより、一次撮像装置を使用して捕捉される、手ぶれのない画像、または手ぶれのないビデオ画像ストリームをもたらすことができる。ボックス５６０において、時間ｔに一次撮像装置により捕捉される調整された一次画像フレームは、航空機内に、外部の物理的位置内に、または１つ以上の代替の、若しくは仮想の位置内に、たとえば、「クラウド」ベースの環境内に、維持される少なくとも１つのデータストア内に格納されることができる。調整された一次画像フレームは、いずれかの目的のために呼び出され、使用されることができる。

ボックス５７０において、航空機のミッションが完了したかどうかを判定する。ミッションの状態は、航空機の物理的な位置、航空機かこれにより搬送される任意のペイロードの状態、若しくは任意の他の関連した要因に基づき、またはネットワーク経由で１つ以上の信号若しくはインストラクションを受信するときに、決定されることができる。航空機のミッションがまだ完了していない場合に、プロセスは、ボックス５８０に進み、そこで増分時間変数の値ｔは、ボックス５４０に戻る前に、ｔ＋１に設定される。二次撮像装置を使用して捕捉される画像に基づく一次撮像装置の動きのモデル化、及び一次撮像装置を使用して捕捉される画像の調整は、連続して航空機のミッションが完了するまで続くことができる。しかしながら航空機のミッションが完了した場合に、つぎにプロセスは終了する。

図６Ａ及び６Ｂにおいて、本開示の１つの実施形態に従い、一次撮像装置のレンズ、レンズモジュールまたは他の構成要素に取り付けられる、二次撮像装置などの二次センサを使用して捕捉される情報またはデータに基づく一次撮像装置の動きのモデル化を示す。図６Ａ及び６Ｂを参照して、本開示の実施形態に従い、マルチセンサ画像手ぶれ補正技術を実行するように構成される１機の航空機６１０の態様の図を示す。別段に記述される場合を除き、図６Ａ及び６Ｂに示される数字「６」が先行する参照番号は、図４に示される数字「４」が先行する、図２に示される数字「２」が先行する、または図１Ａから１Ｅに示される数字「１」が先行する、参照番号を含む構成要素または特徴に類似する構成要素または特徴を示す。

図６Ａ及び６Ｂに示されるように、航空機６１０は、一次撮像装置６４０及び二次撮像装置６５０を含む。二次撮像装置６５０は、一次撮像装置６４０のレンズモジュールの下側に取り付けられる。一次撮像装置６４０は、複数の一次画像６４−０、６４−１、６４−２、６４−３などを捕捉するように、またサーバ６１２または１つ以上のデータストアを含む他のコンピュータデバイスへこれらのような画像を提供するように、アライメントを取る。サーバ６１２または他のコンピュータデバイスは、航空機６１０内に、外部の物理的位置内に、または１つ以上の代替位置若しくは仮想位置内に、たとえば、「クラウド」ベースの環境内に、提供されることができる。また二次撮像装置６５０は、複数の二次画像６５−０、６５−１、６５−２、６５−３などを捕捉するように、またサーバ６１２または他のコンピュータデバイスへこれらのような画像を提供するように、アライメントを取る。一次撮像装置６４０及び二次撮像装置６５０は、図６Ａに示されるように、一次画像及び二次画像を同時に捕捉するように、同期された、同一のフレームレートにおいて画像を捕捉するように構成されることができる。代替に、一次撮像装置６４０及び二次撮像装置６５０は、異なるフレームレートにおいて画像を捕捉するように構成されることができる。いくつかの実施形態において、二次撮像装置６５０は、一次撮像装置６４０より高いフレームレートにおいて（たとえば、より高速のレートにおいて）画像を捕捉するように構成されることができる。また図６Ａに示されるように、一次撮像装置６４０は、実質的に前方向にアライメントを取る視野を有し、二次撮像装置６５０は、実質的に下方向にアライメントを取る視野を有する。その結果、二次画像６５−０、６５−１、６５−２、６５−３、及び他のものは、地上の地形、またはその内の他の特徴をそれぞれ含む。

上記に考察されるように、一次撮像装置６４０の動きは、二次撮像装置６５０を使用して捕捉される情報またはデータ（たとえば、複数の二次画像６５−０、６５−１、６５−２、６５−３、及び他のもの）に基づきモデル化されることができる。たとえば、所与の時間の前後に二次撮像装置６５０を使用して捕捉される、所定数の二次画像６５−０、６５−１、６５−２、６５−３、及び他のものを使用して、所与の時間に一次撮像装置６４０の動きをモデル化し、その結果、所与の時間に一次撮像装置６４０を使用して捕捉される撮像データを手ぶれ補正することができる。

図６Ｂに示されるように、それぞれ、時間ｔ_{（ｉ−３）}、ｔ_{（ｉ−２）}、ｔ_{（ｉ−１）}、ｔ_（ｉ）、ｔ_{（ｉ＋１）}、ｔ_{（ｉ＋２）}、ｔ_{（ｉ＋３）}に捕捉される、複数の二次画像６５−（ｉ−３）、６５−（ｉ−２）、６５−（ｉ−１）、６５−（ｉ）、６５−（ｉ＋１）、６５−（ｉ＋２）、６５−（ｉ＋３）を使用して、たとえば、それに従う時間の関数として、前方向の速度関数Ｖ_ｘ（ｔ）、垂直方向の速度関数Ｖ_ｙ（ｔ）、横方向の速度関数Ｖ_ｚ（ｔ）、ヨー関数Ψ（ｔ）、ピッチ関数θ（ｔ）、及び／またはロール関数φ（ｔ）を一次撮像装置６４０のために導出することにより、時間ｔ_ｉに一次撮像装置６４０の動きをモデル化することができる。その後、時間ドメインｔ_{（ｉ−３）}≦ｔ≦ｔ_{（ｉ＋３）}内の、前方向の速度関数Ｖ_ｘ（ｔ）、垂直方向の速度関数Ｖ_ｙ（ｔ）、横方向の速度関数Ｖ_ｚ（ｔ）、ヨー関数Ψ（ｔ）、ピッチ関数θ（ｔ）、またはロール関数φ（ｔ）の値を使用して、それに従い時間ｔ_ｉに捕捉される一次画像６４−ｉを修正することができる。たとえば、手ぶれ補正された一次画像６４’−ｉは、個別に、または集合的に、それぞれの関数Ｖ_ｘ（ｔ）、Ｖ_ｙ（ｔ）、Ｖ_ｚ（ｔ）、Ψ（ｔ）、θ（ｔ）及び／またはφ（ｔ）によりモデル化されるように、航空機６１０の動きを考慮する方式において、一次画像６４−ｉの位置、アライメントまたは配向を調整することにより、時間ｔ_ｉに捕捉される、一次画像６４−ｉから形成されることができる。１セットまたは一連の手ぶれ補正された一次画像は、同一の方式において導出されることができ、これらのような手ぶれ補正された一次画像ストリームは、手ぶれ補正された一次画像のそれぞれが相互に関して適切なアライメントを取る場合に、クリアにみえる。

本明細書に開示されるいくつかの実施態様は、フレームと、このフレームに結合され、一次レンズモジュールを含む一次撮像装置と、この一次レンズモジュールの外面に結合され、二次レンズモジュールを含む二次撮像装置と、少なくとも１つのコンピュータプロセッサを含む制御ユニットとを含む無人航空機を備えることができる。コンピュータプロセッサは、複数の一次画像を一次撮像装置に捕捉させるように、複数の二次画像を二次撮像装置に捕捉させるように、複数の二次画像に少なくとも部分的に基づき二次撮像装置の動きを表現する少なくとも１つのベクトルを定義するように、また二次撮像装置の動きを表現する少なくとも１つのベクトルに少なくとも部分的に基づき複数の一次画像のうちの少なくとも１枚を手ぶれ補正するように、少なくとも構成されることができる。

任意選択で、コンピュータプロセッサは、二次画像の第一の１枚における少なくとも１つの顕著な特徴を識別するように、また二次画像の第二の１枚における少なくとも１つの顕著な特徴を識別するように少なくともさらに構成されることができ、そこで二次撮像装置の動きを表現する少なくとも１つのベクトルは、二次画像のうちの第一の１枚における少なくとも１つの顕著な特徴に、また二次画像のうちの第二の１枚における少なくとも１つの顕著な特徴に少なくとも部分的に基づき定義される。任意選択で、少なくとも１つのベクトルは、二次撮像装置のヨー、ピッチまたはロールのうちの少なくとも１つを表現することができる。任意選択で、一次撮像装置は、飛行中に実質的に前方向にアライメントを取ることができ、二次撮像装置は、飛行中に実質的に下方向にアライメントを取ることができる。

本明細書に開示されるいくつかの実施態様は、航空機に取り付けられる第一センサにより、航空機の動作中に第一データを捕捉すること、第一センサの少なくとも一部に取り付けられる第二センサにより、航空機の動作中に第二データを捕捉すること、少なくとも１つのコンピュータプロセッサにより、第二データに少なくとも部分的に基づき第一センサの動きを表現する少なくとも１つのベクトルを決定すること、少なくとも１つのコンピュータプロセッサにより、少なくとも１つのベクトルに少なくとも部分的に基づき第一データを修正すること、及び少なくとも１つのデータストアに修正された第一データを格納することを備える方法を有することができる。

任意選択で、第一センサは、第一レンズを含む第一撮像装置であることができ、第二センサは、この第一レンズの外面に結合される第二撮像装置であることができ、第一データは、第一撮像装置により捕捉される第一撮像データであることができ、第二データは、第二撮像装置により捕捉される第二撮像データであることができ、少なくとも１つのベクトルに少なくとも部分的に基づき第一データを修正することは、少なくとも１つのコンピュータプロセッサにより、第一撮像データを手ぶれ補正することを備えることができる。任意選択で、第一撮像データは、第一画像及び第二画像を含むことができ、第一撮像データを手ぶれ補正することは、第一画像内の複数のアンカー点のうちの少なくとも１つを識別すること、第二画像内の複数のアンカー点のうちの少なくとも１つを識別すること、第一画像から第二画像への変換を計算すること、ならびにこの変換に少なくとも部分的に基づき第一画像または第二画像のうちの少なくとも１枚を修正することを備えることができる。任意選択で、第一撮像装置は、動作中に航空機の移動方向に関して実質的に前方向にアライメントを取ることができ、第二撮像装置は、第一レンズの下側に埋め込まれることができ、第二撮像装置は、動作中に航空機の移動方向に関して実質的に下方向にアライメントを取ることができる。

任意選択で、第一撮像データは、第一の複数の画像を含むことができ、第二撮像データは、第二の複数の画像を含むことができ、第二データに少なくとも部分的に基づき第一センサの動きを表現する少なくとも１つのベクトルを決定することは、第二の複数の画像の第一サブセットに少なくとも部分的に基づき第一ベクトルを決定すること、そこで第一サブセットは第一時間前に捕捉される所定数の第二の複数の画像、及び第一時間後に捕捉される所定数の第二の複数の画像を含み、第一時間に捕捉される第一の複数の画像のうちの第一の１枚を識別すること、ならびに第一ベクトルに少なくとも部分的に基づき第一の複数の画像のうちの第一の１枚を手ぶれ補正することを備えることができる。任意選択で、第二データに少なくとも部分的に基づき第一センサの動きを表現する少なくとも１つのベクトルを決定することは、第二の複数の画像の第二サブセットに少なくとも部分的に基づき第二ベクトルを決定すること、そこで第二サブセットは第二時間前に捕捉される所定数の第二の複数の画像、及び第二時間後に捕捉される所定数の第二の複数の画像を含み、第二時間に捕捉される第一の複数の画像のうちの第二の１枚を識別すること、ならびに第二ベクトルに少なくとも部分的に基づき第二の複数の画像のうちの１枚を手ぶれ補正することをさらに備えることができる。

任意選択で、第二撮像データは、第二の複数の画像を含むことができ、第二データに少なくとも部分的に基づき第一センサの動きを表現する少なくとも１つのベクトルを決定することは、少なくとも１つのコンピュータプロセッサにより、第一時間に捕捉される第二の複数の画像のうちの第一の１枚における少なくとも１つの顕著な特徴の少なくとも第一位置を識別すること、少なくとも１つのコンピュータプロセッサにより、第二時間に捕捉される第二の複数の画像のうちの第二の１枚における少なくとも１つの顕著な特徴の少なくとも第二位置を識別すること、ならびに第一位置、第二位置、第一時間及び第二時間に少なくとも部分的に基づき少なくとも１つのベクトルを決定することを備えることができる。任意選択で、この方法は、少なくとも１つのベクトルに少なくとも部分的に基づき第一レンズを再配置すること、及び第一撮像装置により、航空機の動作中に第三データを捕捉することをさらに備えることができる。任意選択で、第一センサの動きを表現する少なくとも１つのベクトルを決定することは、第二撮像データに少なくとも部分的に基づき第一撮像装置の前方向速度、垂直方向速度または横方向速度のうちの少なくとも１つを決定することを備えることができる。任意選択で、第一センサの動きを表現する少なくとも１つのベクトルを決定することは、第二撮像データに少なくとも部分的に基づき第一センサのヨー関数、ピッチ関数またはロール関数のうちの少なくとも１つを決定することを備えることができる。

任意選択で、第一センサは、第一レベルの解像度において撮像データを捕捉するように構成される第一デジタルカメラであることができ、第二センサは、第二レベルの解像度において撮像データを捕捉するように構成される第二デジタルカメラであることができ、第一レベルの解像度は、第二レベルの解像度より高いことができる。任意選択で、第一センサは、第一デジタルカメラであることができ、第二センサは、第二デジタルカメラ、ジャイロスコープまたは加速度計のうちの１つであることができる。

本明細書に開示されるいくつかの実施態様は、第一レンズと、第一レンズに結合され、第一レンズと実質的に垂直方向にアライメントを取る第二レンズと、データストアと、少なくとも１つのコンピュータプロセッサとを備える撮像装置を含むことができる。コンピュータプロセッサは、第一レンズを使用して少なくとも第一画像を捕捉し、少なくとも第一画像に少なくとも部分的に基づき第二レンズの動きを決定し、第二レンズを使用して第二画像及び第三画像を含む複数の画像を捕捉し、第一レンズの動きに少なくとも部分的に基づき少なくとも第三画像に関して第二画像を手ぶれ補正し、そして手ぶれ補正された第二画像、及び第三画像を含む複数の画像ストリームをデータストアに格納するように少なくとも構成されることができる。任意選択で、第一画像は、第一レンズを使用して捕捉される複数の画像のうちの１枚であることができ、コンピュータプロセッサは、第一レンズを使用して捕捉される第一の複数の画像に少なくとも部分的に基づき第二レンズの動きのモデルを導出し、第一時間に第二レンズのモデル化された動きに対応するベクトルを決定し、第一時間に第二レンズを使用して第二画像を捕捉したことを決定し、そして第一時間に第二レンズの動きに対応するベクトルに少なくとも部分的に基づき第二画像を修正するように少なくともさらに構成されることができる。

任意選択で、コンピュータプロセッサは、第一レンズを使用して第一時間前にそれぞれ捕捉される複数の画像の第一所定数を選択し、第一レンズを使用して第一時間後にそれぞれ捕捉される複数の画像の第二所定数を選択し、そして第一レンズを使用して捕捉される複数の画像の第一所定数、及び第一レンズを使用して捕捉される第一の複数の画像の第二所定数に少なくとも部分的に基づき第一時間に第二レンズの動きに対応するベクトルを決定するように少なくともさらに構成されることができる。任意選択で、ベクトルは、前方向の速度関数、垂直方向の速度関数、横方向の速度関数、ヨー関数、ピッチ関数、またはロール関数のうちの少なくとも１つを表現することができる。

本開示は、本開示のシステム及び方法を実施するための例示的な技術、構成要素、及び／またはプロセスを使用して本明細書に記載されているが、当業者であれば、本明細書に記載された同一の機能（複数可）及び／または結果（複数可）を達成し、かつ本開示の範囲内に含まれる、他の技術、構成要素、及び／またはプロセス、または本明細書に記載の技術、構成要素、及び／またはプロセスの他の組み合わせ及びシーケンスが使用または実行され得ることを理解すべきである。

二次センサの動きを決定する、または予測することができる情報またはデータを捕捉する二次センサは、撮像装置だけではなく、ジャイロスコープ、加速度計、または動きを決定する、若しくは予測するための任意の他のデバイスをも含む、任意のタイプのセンサであることができる。いくつかの実施形態において、二次センサは、二次撮像装置を貼付する一次撮像装置より、より低品質のセンサ若しくは画像プロセッサ、またはより少数のピクセル（またはピクセルレーティング）、より小さいアパーチャ、若しくはより低レベルの鮮鋭度を有する二次撮像装置であることができる。いくつかの他の実施形態において、一次撮像装置、及びそこに結合される二次撮像装置は、同一の仕様、または品質レベルを有することができる。さらに、一次センサに取り付けられる１つ以上の二次センサを含む一次センサは、位置若しくは回転に固定される拡張部若しくは付属部、または動く、若しくは回転することができる拡張部若しくは付属部のような、航空機上の任意の箇所に設けられることができる。

さらに、いくつかの実施形態において、「一次」センサ及び「二次」センサの役割または機能は、動作中に変えることができる。たとえば、航空機が相互に結合される２つのセンサを含み、複数のモード、たとえば、垂直方向飛行モード及び水平方向飛行モードにおいて動作するように構成される場合に、２つのセンサのうちの第一センサは、「二次」センサとして機能することができ、これら２つのセンサの第二センサ、または一方の飛行モード中の「一次」センサにより捕捉される情報またはデータを手ぶれ補正するために情報またはデータを捕捉することができ、２つのセンサのうちの第二センサは、これら２つのセンサのうちの第一センサ、または他方の飛行モード中の「一次」センサにより捕捉される情報またはデータを手ぶれ補正するために情報またはデータを捕捉するために「二次」センサとして機能することができる。

飛行方向について本明細書に使用されるように、用語「前方向」、または「水平方向」は、地面（すなわち、海面）に実質的に平行な方向における飛行を指す。飛行方向について本明細書に使用されるように、用語「垂直方向」は、地心から実質的に半径方向外側に拡張する方向における飛行を指す。当業者は、飛行軌跡が「前方向」または「水平方向」の飛行ベクトル、及び「垂直方向」の飛行ベクトルの両方の成分を有することができ、本明細書に開示されるシステム及び方法がこれらのようなベクトルと関連する速度または方向に関係なく動作することができることを認識するであろう。加えて、撮像装置または他のセンサの方向について本明細書に使用されるように、用語「前方向」は、航空機が実質的にゼロピッチ角においてアライメントを取るときの飛行方向におけるセンサの実質的に水平方向を指し、用語「下方向」は、航空機が実質的にゼロピッチ角においてアライメントを取るときの地球に対するセンサの実質的に垂直方向を指す。しかしながら、「前方向」または「下方向」にアライメントを取るセンサの視野は、水平方向の、または垂直方向の角度に限定されない。さらに、本明細書に開示されるセンサの実施形態のいくつかは、相互に直角、または垂直であるように示される、または記述されるが、当業者は、２つ以上のセンサが相互に関するいずれかのアライメントに設けられることができ、これらのセンサのうちの１つ以上を使用して捕捉される画像または他の撮像データを手ぶれ補正するために使用されることができることを認識するであろう。

さらに、本明細書に開示する実施形態のいくつかは、倉庫または他の同様の設備から顧客にペイロードを配達するための無人航空機の使用を参照するが、当業者は、本明細書に開示されるシステム及び方法がこのように限定されず、任意の意図された工業的用途、商業的用途、娯楽的用途または他の用途のために固定翼または回転翼を有する任意の種類または形の航空機（例えば、有人または無人）と関連して利用され得ることを認識する。

本明細書中に明示的にまたは黙示的に別段の指示がない限り、本明細書中で特定の実施形態に関して記載された特徴、特性、代替物または変形のいずれも、本明細書中に記載された任意の他の実施形態にも適用、使用、または組み込み得ること、及び本開示の図面と詳細な説明は、添付の特許請求の範囲によって定義される様々な実施形態に対する全ての変形、等価物及び代替物を網羅することを意図することが理解されるべきである。さらに、図３または５のフローチャートに表現されるプロセスを含むが、これらに限定されない、本明細書に記載される本開示の１つ以上の方法またはプロセスに関して、そのような方法またはプロセスが提示される順番は、特許請求された発明に対する制限として解釈されることを意図しておらず、本明細書に記載された任意の数の方法またはプロセスステップまたはボックスは、本明細書に記載された方法またはプロセスを実現するために、任意の順番において、及び／または並列して組み合わされることが可能である。また、本明細書の図面は縮尺通りに描かれていない。

特に断りのない限り、または使用されている文脈の中でそれ以外に理解されない限り、とりわけ、「ｃａｎ（できる）」、「ｃｏｕｌｄ（場合がある）」、「ｍｉｇｈｔ（可能性がある）」または「ｍａｙ（してよい）」等の条件付き言語は、概して、特定の実施形態が特定の特徴、要素、及び／またはステップを含む場合がある、または含む可能性があるが、特定の特徴、要素、及び／またはステップを要求しないまたは必要としないことを許容的に伝達することを意図する。同様に、「ｉｎｃｌｕｄｅ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含んでいる）」及び「ｉｎｃｌｕｄｅｓ（含む）」などの用語は、一般に、「ｉｎｃｌｕｄｉｎｇ，ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ（含むがこれに限定するものではない）」ことを意味することが意図される。したがって、そうした条件付き言語は、一般に、特徴、要素及び／またはステップが１つまたは複数の実施形態にいずれにせよ必要とされること、または、１つまたは複数の実施形態が、これらの特徴、要素及び／またはステップが任意の特定の実施形態に含まれているまたは実行されるかどうかを、ユーザ入力またはプロンプトを用いてまたは用いずに、決定する論理を必ず含むことを黙示することを意図しない。

特に明記しない限り、句「Ｘ、ＹまたはＺのうちの少なくとも１つ」または「Ｘ、Ｙ及びＺのうちの少なくとも１つ」などの選言的な言葉は、そうでなければ項目、用語等がＸ、Ｙ若しくはＺまたはそのいずれかの組み合わせ（例えば、Ｘ、Ｙ及び／またはＺ）であってよいことを示すために一般的に用いられるとして文脈の中で理解される。ゆえに、このような選言的言語は、特定の実施形態がＸの少なくとも１つ、Ｙの少なくとも１つ、またはＺの少なくとも１つがそれぞれ存在することを必要とすることを黙示することを一般的に意図しておらず、意図するべきではない。

特に明記しない限り、「ａ」または「ａｎ」などの冠詞は、概して、1つ以上の記載された項目を含むと解釈すべきである。したがって、「〜するように構成された装置」等の語句は、１つ以上の列挙された装置を含むことを目的とする。そのような１つまたは複数の列挙された装置は、記載された列挙を実行するように集合的に構成されることもできる。例えば、「記述Ａ、Ｂ及びＣを実行するように構成されたプロセッサ」は、列挙Ｂ及びＣを実行するように構成された第２のプロセッサと連動して機能し、列挙Ａを実行するように構成された第１のプロセッサを含む場合がある。

本明細書中で使用される「ａｂｏｕｔ（約）」、「ａｐｐｒｏｘｉｍａｔｅｌｙ（およそ）」、「ｇｅｎｅｒａｌｌｙ（一般に）」、「ｎｅａｒｌｙ（ほぼ）」または「ｓｕｂｓｔａｎｔｉａｌｌｙ（実質的に）」という用語のような本明細書中で使用される程度の言語は、記載された値、量、または依然として所望の機能を果たすかもしくは所望の結果を達成する特性に近似の値、量または特性を示す。例えば、用語「ａｂｏｕｔ（約）」、「ａｐｐｒｏｘｉｍａｔｅｌｙ（約）」、「ｇｅｎｅｒａｌｌｙ（概して）」、「ｎｅａｒｌｙ（ほぼ）」または「ｓｕｂｓｔａｎｔｉａｌｌｙ（実質的に）」は、記載された量の１０％未満の範囲内、５％未満の範囲内、１％未満の範囲内、０．１％未満の範囲内、及び０．０１％未満の範囲内である量を指してよい。

本発明をその例示的な実施形態に関して説明し示したが、前述のかつ様々な他の追加及び省略は、本開示の趣旨及び範囲から逸脱することなく、その中でかつそれになされ得る。

Claims (12)

1. 無人航空機であって、
   フレームと、
   前記フレームに結合され、一次レンズモジュールを含み前記無人航空機の前方を撮像する一次撮像装置と、
   前記一次レンズモジュールの外面に結合され、二次レンズモジュールを含み前記無人航空機の下方を撮像する二次撮像装置と、
   少なくとも１つのコンピュータプロセッサを含む制御ユニットと、
   を備え、前記少なくとも１つのコンピュータプロセッサは、少なくとも
   複数の一次画像を前記一次撮像装置により捕捉させ、
   複数の二次画像を前記二次撮像装置により捕捉させ、
   前記複数の二次画像に基づき前記二次撮像装置の動きを表現する少なくとも１つのベクトルを定義し、
   前記二次撮像装置の前記動きを表現する前記少なくとも１つのベクトルに基づき前記複数の一次画像のうちの少なくとも１枚を手ぶれ補正する、
   ように構成される、無人航空機。
2. 前記少なくとも１つのコンピュータプロセッサは、少なくとも
   前記二次画像のうちの第一の１枚において少なくとも１つの顕著な特徴を識別し、
   前記二次画像のうちの第二の１枚において前記少なくとも１つの顕著な特徴を識別する、
   ようにさらに構成され、
   前記二次撮像装置の前記動きを表現する前記少なくとも１つのベクトルは前記二次画像のうちの前記第一の１枚において前記少なくとも１つの顕著な特徴、及び前記二次画像のうちの前記第二の１枚において前記少なくとも１つの顕著な特徴に基づき定義される、
   請求項１に記載の無人航空機。
3. 前記少なくとも１つのベクトルは、前記二次撮像装置のヨー、ピッチまたはロールのうちの少なくとも１つを表現する、請求項１または請求項２に記載の無人航空機。
4. 航空機に取り付けられ、前記航空機の移動方向に関して前方向にアライメントを取る第一レンズを含む第一撮像装置により、前記航空機の動作中に第一撮像データを捕捉することと、
   前記第一レンズの外面に結合され、下方向にアライメントを取る第二撮像装置により、前記航空機の前記動作中に第二撮像データを捕捉することと、
   少なくとも１つのコンピュータプロセッサにより、前記第二撮像データに基づき前記第一撮像装置の動きを表現する少なくとも１つのベクトルを決定することと、
   前記少なくとも１つのコンピュータプロセッサにより、前記少なくとも１つのベクトルに基づき前記第一撮像データを修正することと、
   前記修正された第一撮像データを少なくとも１つのデータストアに格納することと、
   を含む、方法。
   
5. 前記第一撮像データは、第一の複数の画像を含み、
   前記第二撮像データは、第二の複数の画像を含み、
   前記第二撮像データに基づき前記第一撮像装置の前記動きを表現する前記少なくとも１つのベクトルを決定することは、
   第一時間前に捕捉される所定数の前記第二の複数の画像と、前記第一時間後に捕捉される所定数の前記第二の複数の画像とに基づき第一ベクトルを決定することと、
   前記第一時間に捕捉される前記第一の複数の画像のうちの第一の１枚を識別することと、
   前記第一ベクトルに基づき前記第一の複数の画像のうちの前記第一の１枚を手ぶれ補正することと、
   を含む、請求項４に記載の方法。
6. 前記第二撮像データは、第二の複数の画像を含み、
   前記第二撮像データに基づき前記第一撮像装置の前記動きを表現する前記少なくとも１つのベクトルを決定することは、
   前記少なくとも１つのコンピュータプロセッサにより、第一時間に捕捉される前記第二の複数の画像のうちの第一の１枚において少なくとも１つの顕著な特徴の少なくとも第一位置を識別することと、
   前記少なくとも１つのコンピュータプロセッサにより、前記第一時間とは異なる第二時間に捕捉される前記第二の複数の画像のうちの第二の１枚において前記少なくとも１つの顕著な特徴の少なくとも第二位置を識別することと、
   前記第一位置、前記第二位置、前記第一時間及び前記第二時間に基づき前記少なくとも１つのベクトルを決定することと、
   を含む、請求項４又は請求項５に記載の方法。
   
7. 前記少なくとも１つのベクトルに基づいて前記第一レンズの方向を調整することと、
   前記第一撮像装置により、前記航空機の前記動作中に第三データを捕捉することと、
   をさらに含む、請求項４から請求項６のいずれかに記載の方法。
8. 前記第一撮像装置の前記動きを表現する前記少なくとも１つのベクトルを決定することは、
   前記第二撮像データに基づき前記第一撮像装置の前方向速度、垂直方向速度または横方向速度のうちの少なくとも１つを決定すること、
   を含む、請求項４から請求項７のいずれかに記載の方法。
9. 前記第一撮像装置の前記動きを表現する前記少なくとも１つのベクトルを決定することは、
   前記第二撮像データに少なくとも部分的に基づいて、前記第一撮像装置のヨー関数、ピッチ関数またはロール関数のうちの少なくとも１つを決定すること、
   を含む、請求項４から請求項８のいずれかに記載の方法。
10. 水平方向にアライメントを取る第一レンズと、
    前記第一レンズに結合され、前記第一レンズに対して垂直方向にアライメントを取る第二レンズと、
    データストアと、
    少なくとも１つのコンピュータプロセッサと、
    を備え、
    前記少なくとも１つのコンピュータプロセッサは、少なくとも
    前記第一レンズを使用して少なくとも第一画像を捕捉し、
    前記第二レンズを使用して、第二画像及び第三画像を捕捉し、
    少なくとも前記第二画像及び前記第三画像に基づいて前記第一レンズの動きを決定し、
    前記第一レンズの前記動きに基づき少なくとも前記第一画像を手ぶれ補正し、
    前記手ぶれ補正された前記第一画像を前記データストア内に格納する、
    ように構成される、撮像装置。
11. 前記少なくとも１つのコンピュータプロセッサは、少なくとも
    前記第二レンズを使用して捕捉される前記第二画像及び前記第三画像に基づき前記第一レンズの前記動きのモデルを導出し、
    第一時間に前記第一レンズの前記動きのモデルに対応するベクトルを決定し、
    
    前記第一時間に前記第一レンズの前記動きのモデルに対応する前記ベクトルに基づき前記第一画像を修正する、
    ようにさらに構成される、請求項１０に記載の撮像装置。
12. 前記少なくとも１つのコンピュータプロセッサは、少なくとも
    前記第二レンズを使用して前記第一時間前に捕捉される前記第二画像を含む複数の画像の第一所定数を選択することと、
    前記第二レンズを使用して前記第一時間後に捕捉される捕捉される前記第三画像を含む複数の画像の第二所定数を選択することと、
    前記第二レンズを使用して捕捉される前記複数の画像の前記第一所定数、及び前記第二レンズを使用して捕捉される前記複数の画像の前記第二所定数に基づき前記第一時間に前記第一レンズの前記動きに対応する前記ベクトルを決定することと、
    を行う、請求項１１に記載の撮像装置。