JP6666245B2 - モバイルプラットフォームの動作モードを選択する方法、システム、コンピュータプログラム製品及び装置 - Google Patents

Description

開示されている実施形態は、一般に、モバイルプラットフォームの動作に関し、且つ、更に詳しくは、限定を伴うことなしに、広い高さの範囲内においてモバイルプラットフォームを動作させる方法、システム、コンピュータプログラム製品及び装置に関する。

無人航空機（「Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ：ＵＡＶ」）は、一般に、視覚技術を介してナビゲートされるか又はその他の方法で操作されている。但し、視覚技術の性能及び精度は、限られており、且つ、ＵＡＶの高さに従って変化する可能性がある。

現時点において利用可能な視覚技術は、特定の高さの範囲内においてしか、その性能及び精度を保証することができない。視覚技術の固有の欠点に起因し、相対的に小さな又は大きな高さにおいて、モバイルプラットフォームを動作させる精度は、限られており、且つ、保証不能である。

以上の理由に鑑み、広い高さの範囲内においてモバイルプラットフォームを効果的に動作させる方法、システム、コンピュータプログラム製品及び装置に対するニーズが存在している。

本明細書において開示されている第１の態様によれば、モバイルプラットフォームの動作モードを選択する方法が開示され、この方法は、
モバイルプラットフォームの高さグレードを検出するステップと、
検出の結果に従ってモバイルプラットフォームの動作モードを選択するステップと
を有する。

開示されている方法の例示用の実施形態において、高さグレードを検出するステップは、モバイルプラットフォームの高さを判定するステップ及び／又はモバイルプラットフォームの観点からの遠隔物体の第１及び第２画像の間の差異を判定するステップを有する。

開示されている方法の別の例示用の実施形態において、判定ステップは、バロメータ、超音波検出器、及び／又は全地球測位システム（「Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：ＧＰＳ」）を介して高さを取得するステップを有する。

開示されている方法の別の例示用の実施形態において、判定ステップは、モバイルプラットフォームと関連付けられた双眼撮像システムによって、キャプチャされた物体の第１及び第２画像の間の差異を取得するステップを有する。

開示されている方法の例示用の実施形態は、高さ及び／又は差異の値に基づいて動作モードを分類するステップを更に有する。

開示されている方法の例示用の実施形態は、第１高さモードで動作するようにモバイルプラットフォームを起動するステップを更に有する。

開示されている方法の例示用の実施形態において、第１高さモードは、超低高度単眼モードを有する。

開示されている方法の例示用の実施形態は、運動するプラットフォームの距離センサを提供して、超低高度単眼モードを支援するステップを更に有する。

開示されている方法の例示用の実施形態において、動作モードを選択するステップは、高さグレードに基づいて動作モードをスイッチングするステップを有し、且つ、この場合に、高さグレードは、判定された高さ及び判定された差異のうちの少なくとも１つに基づいて判定される。

開示されている方法の別の例示用の実施形態において、動作モードを選択するステップは、高さが第１高さ閾値を上回っている際に、モバイルプラットフォームを第２高さモードにスイッチングするステップを有する。

開示されている方法の別の例示用の実施形態において、動作モードを選択するステップは、差異が第１差異閾値未満である際に、モバイルプラットフォームを第２高さモードにスイッチングするステップを有する。

開示されている方法の別の例示用の実施形態において、動作モードを選択するステップは、高さが第１高さ閾値を上回ると共に差異が第１差異閾値未満である際にモバイルプラットフォームを第２高さモードにスイッチングするステップを有する。

開示されている方法の別の例示用の実施形態において、モバイルプラットフォームを第２高さモードにスイッチングするステップは、第１解像度を有するステレオ視覚モードを選択するステップを有する。

開示されている方法の別の例示用の実施形態において、動作モードを選択するステップは、差異が第３差異閾値以下である際にモバイルプラットフォームを第３高さモードにスイッチングするステップを有する。

開示されている方法の別の例示用の実施形態において、モバイルプラットフォームを第３高さモードにスイッチングするステップは、双眼撮像デバイスから改善された解像度を有するステレオ視覚モードにスイッチングするステップを有する。

開示されている方法の別の例示用の実施形態において、動作モードを選択するステップは、高さが第３高さ閾値を上回っている際にモバイルプラットフォームを第４高さモードにスイッチングするステップを有する。

開示されている方法の別の例示用の実施形態において、動作モードを選択するステップは、高さが第３高さ閾値を上回ると共に差異が第５差異閾値未満である際にモバイルプラットフォームを第４高さモードにスイッチングするステップを有する。

開示されている方法の別の例示用の実施形態において、モバイルプラットフォームを第４高さモードにスイッチングするステップは、双眼撮像デバイスをバロメータ、ＧＰＳ、及び／又はモバイルプラットフォームとグラウンドレベルとの間の垂直方向距離の視覚的計測の組合せにおける高高度単眼モードにスイッチングするステップを有する。

開示されている方法の別の例示用の実施形態において、動作モードを選択するステップは、高さが第４高さ閾値未満である際にモバイルプラットフォームを第３高さモードにスイッチングするステップを有する。

開示されている方法の別の例示用の実施形態において、動作モードを選択するステップは、高さが第４高さ閾値未満であると共に差異が第６差異閾値を上回る際にモバイルプラットフォームを第３高さモードにスイッチングするステップを有する。

開示されている方法の別の例示用の実施形態において、動作モードを選択するステップは、差異が第４差異閾値を上回る際にモバイルプラットフォームを第２高さモードにスイッチングするステップを有する。

開示されている方法の別の例示用の実施形態において、動作モードを選択するステップは、高さが第２高さ閾値未満である際にモバイルプラットフォームを第１高さモードにスイッチングするステップを有する。

開示されている方法の別の例示用の実施形態において、動作モードを選択するステップは、高さが第２高さ閾値未満であると共に差異が第２差異閾値を上回る際にモバイルプラットフォームを第１高さモードにスイッチングするステップを有する。

開示されている方法の別の例示用の実施形態において、第２差異閾値は、第１差異閾値を上回っており、
第１及び第２差異閾値のうちの少なくとも１つは、第３及び第４差異閾値のうちの少なくとも１つを上回っており、
第３差異閾値は、第４差異閾値を上回っており、
第３及び第４差異閾値のうちの少なくとも１つは、第５及び第６差異閾値のうちの少なくとも１つを上回っており、且つ、
前記第６差異閾値は、第５差異を上回っている。

開示されている方法の別の例示用の実施形態において、
第１高さ閾値は、第２高さ閾値を上回っており、
第３及び第４高さ閾値のうちの少なくとも１つは、第１及び第２高さ閾値のうちの少なくとも１つを上回っており、且つ、
第３高さ閾値は、第４高さ閾値を上回っている。

開示されている方法の別の例示用の実施形態において、第１及び第２画像の差異を判定するステップは、
第１画像から複数の特徴点を選択するステップと、
第１画像の特徴点を第２画像の点とマッチングするステップと
を有する。

開示されている方法の別の例示用の実施形態において、特徴点は、第１画像又は第２画像のピクセルを有する。

開示されている方法の別の例示用の実施形態において、複数の特徴点をマッチングするステップは、
第２画像をスキャンして第１画像の選択された特徴点にマッチングする第２画像の点を選択するステップと、
第１画像の選択された特徴点と第２画像の点との間の類似性を算出するステップと
を有する。

開示されている方法の別の例示用の実施形態において、類似性を算出するステップは、
領域のそれぞれの点ペアの強度を比較して選択された特徴点の周りの第１領域を表す第１二値ストリングを構築することにより、第１二値安定独立基本特徴（「Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅ：ＢＲＩＥＦ」）記述子を生成するステップと、
第２領域のそれぞれの点ペアの強度を比較して第２画像の点の周りの第２領域を表す第２二値ストリングを構築することにより、第２ＢＲＩＥＦ記述子を生成するステップと、
第１ＢＲＩＥＦ記述子と第２ＢＲＩＥＦ記述子との間のハミング距離が第１ハミング閾値未満である際に、第２画像の点が、選択された特徴点とマッチングしていると判定するステップと
を有する。

開示されている方法の別の例示用の実施形態において、類似性を算出するステップは、第１画像の選択された特徴点を第２画像上の点を中心としてセンタリングされた３×３ピクセルエリアと比較するステップを有する。

開示されている方法の別の例示用の実施形態において、比較ステップは、カラー画像のそれぞれのピクセルのそれぞれのカラー成分ごとの差の合計又は白黒画像のそれぞれのピクセルのグレースケール値の差の合計を比較するステップを有する。

開示されている方法の別の例示用の実施形態において、差異を判定するステップは、特徴点の差異の平均値に基づいて差異を取得するステップを有する。

開示されている方法の別の例示用の実施形態において、差異を判定するステップは、１つ又は複数の特徴点を選択し、且つ、選択された特徴点の差異に基づいて差異を取得するステップを有する。

本明細書に開示されている別の態様によれば、開示されている方法の上述の実施形態のうちのいずれか１つに従って検出プロセスを実行するように構成されたモバイルプラットフォームの動作モードを選択するシステムが開示される。

本明細書において開示されている別の実施形態によれば、開示されている方法の上述の実施形態のうちのいずれか１つに従って検出プロセスを実行するように構成されたモバイルプラットフォームの動作モードを選択する命令を有するコンピュータプログラム製品が開示される。

本明細書において開示されている別の態様によれば、モバイルプラットフォームの動作モードを選択する装置が開示され、装置は、
モバイルプラットフォームと関連付けられた双眼撮像デバイスと、
プロセッサであって、
モバイルプラットフォームの高さグレードを検出し、且つ、
検出の結果に従ってモバイルプラットフォームの動作モードを選択する
ために構成されたプロセッサと
を有する。

開示されている装置の例示用の実施形態において、プロセッサは、モバイルプラットフォームの高さ、及び／又はモバイルプラットフォームの観点からの遠隔物体の第１及び第２画像の間の差異を判定するように構成されている。

開示されている装置の例示用の実施形態は、モバイルプラットフォームの高さを取得するためモバイルプラットフォームと関連付けられたバロメータを更に有する。

開示されている装置の例示用の実施形態は、モバイルプラットフォームの高さを取得するためモバイルプラットフォームと関連付けられた超音波検出器を更に有する。

開示されている装置の例示用の実施形態は、モバイルプラットフォームの高さ及び／又は位置を取得するためモバイルプラットフォームと関連付けられたＧＰＳを更に有する。

開示されている装置の例示用の実施形態において、プロセッサは、モバイルプラットフォームと関連付けられた双眼撮像システムによって、キャプチャされる物体の第１及び第２画像の間の差異を取得するように構成されている。

開示されている装置の例示用の実施形態において、モバイルプラットフォームの動作モードは、高さ値及び／又は差異値に基づいて分類される。

開示されている装置の例示用の実施形態において、プロセッサは、第１高さモードで、動作するようにモバイルプラットフォームを初期化するように構成されている。

開示されている装置の例示用の実施形態において、第１高さモードは、超低高度単眼モードを有する。

開示されている装置の例示用の実施形態において、超低高度単眼モードを支援するため、運動するプラットフォームの距離センサが提供されている。

開示されている装置の別の例示用の実施形態において、プロセッサは、高さグレードに基づいて動作モードをスイッチングするように構成されており、且つ、この場合に、高さグレードは、判定された高さ及び判定された差異のうちの少なくとも１つに基づいて判定される。

開示されている装置の別の例示用の実施形態において、プロセッサは、高さが第１高さ閾値を上回る際に第２高さモードにスイッチングするように構成されている。

開示されている装置の別の例示用の実施形態において、プロセッサは、差異が第１差異閾値未満である際に第２高さにスイッチングするように構成されている。

開示されている装置の別の例示用の実施形態において、プロセッサは、高さが第１高さ閾値を上回ると共に差異が第１差異閾値未満である際に第２高さモードにスイッチングするように構成されている。

開示されている装置の別の例示用の実施形態において、第２高さモードは、第１解像度を有するステレオ視覚モードを有する。

開示されている装置の別の例示用の実施形態において、プロセッサは、差異が第３差異閾値以下である際に第３高さモードにスイッチングするように構成されている。

開示されている装置の別の例示用の実施形態において、第３高さモードは、改善された解像度を有するステレオ視覚モードである。

開示されている装置の別の例示用の実施形態において、プロセッサは、高さが第３高さ閾値を上回る際に第４高さモードにスイッチングするように構成されている。

開示されている装置の別の例示用の実施形態において、プロセッサは、高さが第３高さ閾値を上回ると共に差異が第５差異閾値未満である際に第４高さモードにスイッチングするように構成されている。

開示されている装置の別の例示用の実施形態において、第４高さモードは、バロメータ、ＧＰＳ、及び／又はモバイルプラットフォームとグラウンドレベルとの間の垂直方向距離の視覚的計測の組合せにおける高高度単眼モードである。

開示されている装置の別の例示用の実施形態において、プロセッサは、高さが第４高さ閾値未満である際に第３高さモードにスイッチングするように構成されている。

開示されている装置の別の例示用の実施形態において、プロセッサは、高さが第４高さ閾値未満であると共に差異が第６差異閾値を上回る際に第３高さモードにスイッチングするように構成されている。

開示されている装置の別の例示用の実施形態において、プロセッサは、差異が第４差異閾値を上回る際に第２高さモードにスイッチングするように構成されている。

開示されている装置の別の例示用の実施形態において、プロセッサは、高さが第２高さ閾値未満である際に第１高さモードにスイッチングするように構成されている。

開示されている装置の別の例示用の実施形態において、プロセッサは、高さが第２高さ閾値未満であると共に差異が第２差異閾値を上回る際に第１高さモードにスイッチングするように構成されている。

開示されている装置の別の例示用の実施形態において、第２差異閾値は、第１差異閾値を上回っており、
第１及び第２差異閾値のうちの１つ又は両方は、第３及び第４差異閾値のうちの１つ又は複数を上回っており、
第３差異閾値は、第４差異閾値を上回っており、
第３及び第４差異閾値のうちの１つ又は複数は、第５及び第６差異閾値のうちの１つ又は複数を上回っており、且つ、
第６差異閾値は、第５閾値を上回っている。

開示されている装置の別の例示用の実施形態において、第１高さ閾値は、第２高さ閾値を上回っており、
第３及び第４高さ閾値のうちのいずれか１つは、第１及び第２高さ閾値を上回っており、且つ、
第３高さ閾値は、第４高さ閾値を上回っている。

開示されている装置の別の例示用の実施形態において、プロセッサは、無人航空機（「ＵＡＶ」）の高さとＵＡＶの観点からの差異を判定するように構成されており、且つ、
ここで、プロセッサは、判定に従ってＵＡＶの動作モードを選択するように構成されている。

開示されている装置の別の例示用の実施形態において、プロセッサは、第１画像上の複数の特徴点を選択すると共に第１画像の複数の特徴点を第２画像の点とマッチングするように、構成されている。

開示されている装置の別の例示用の実施形態において、特徴点は、第１画像又は第２画像のピクセルを有する。

開示されている装置の別の例示用の実施形態において、差異は、少なくとも５つのピクセルであり、且つ、第１画像又は第２画像の幅の５分の１を上回っていない。

開示されている装置の別の例示用の実施形態において、プロセッサは、第２画像をスキャンして第１画像の選択された特徴点にマッチングする第２画像の点を識別すると共に第１画像の選択された特徴点と点の間の類似性を算出するように、構成されている。

開示されている装置の別の例示用の実施形態において、プロセッサは、
領域のそれぞれの点ペアの強度を比較して選択された特徴点の周りの第１領域を表す第１二値ストリングを構築することにより、第１二値安定独立基本特徴（「ＢＲＩＥＦ」）記述子を生成し、
第２領域のそれぞれの点ペアの強度を比較して第２画像の点の周りの第２領域を表す第２二値ストリングを構築することにより、第２ＢＲＩＥＦ記述子を生成し、且つ、
第１ＢＲＩＥＦ記述子と第２ＢＲＩＥＦ記述子との間のハミング距離が第１ハミング閾値未満である際に、第２画像の点が、選択された特徴点にマッチングしていると判定する
ように構成されている。

開示されている装置の別の例示用の実施形態において、類似性は、第１画像の選択された特徴点を第２画像上の点を中心としてセンタリングされた３×３ピクセルエリアと比較することにより、算出される。

開示されている装置の別の例示用の実施形態において、３×３ピクセルエリアは、カラー画像のそれぞれのピクセルのそれぞれの色成分ごとの差の合計又は白黒画像のそれぞれのピクセルのグレースケール値の差の合計により、比較される。

開示されている装置の別の例示用の実施形態において、差異は、特徴差異の平均値に基づいて判定される。

開示されている装置の別の例示用の実施形態において、プロセッサは、１つ又は複数の特徴点を選択すると共に選択された特徴点の特徴差異に基づいて差異を取得するように、構成されている。

本明細書において開示されている別の態様によれば、モバイルプラットフォームの動作モードを判定する方法が開示され、方法は、
モバイルプラットフォームの高さグレードを検出するステップと、
検出の結果に基づいて１つ又は複数のセンサを選択するステップと、
選択されたセンサから計測を取得するステップと
を有し、
この場合に、高さグレードは、４つの高さグレードのグループから選択される。

開示されている方法の別の例示用の実施形態において、１つ又は複数のセンサを選択するステップは、第１高さグレードにおいて１つの画像センサを選択するステップを有する。

開示されている方法の別の例示用の実施形態において、１つ又は複数のセンサを選択するステップは、第１高さグレードにおいて１つの画像センサ及び距離センサを選択するステップを有する。

開示されている方法の別の例示用の実施形態において、距離センサは、超音波検出器及び／又はレーザー検出デバイスを有する。

開示されている方法の別の例示用の実施形態において、１つ又は複数のセンサを選択するステップは、第２高さグレードにおいて少なくとも２つの画像センサを選択するステップを更に有し、
この場合に、少なくとも２つの画像センサは、第１解像度を有する。

開示されている方法の別の例示用の実施形態において、１つ又は複数のセンサを選択するステップは、第３高さグレードにおいて第２解像度を有する少なくとも２つの画像センサを選択するステップを更に有し、第２解像度は、改善された解像度である。

開示されている方法の別の例示用の実施形態において、第２解像度は、第１解像度を上回っている。

開示されている方法の別の例示用の実施形態において、１つ又は複数のセンサを選択するステップは、第４高さグレードにおいて１つの画像センサ及び１つの高さセンサを選択するステップを更に有する。

開示されている方法の別の例示用の実施形態において、高さセンサは、バロメータ及び／又は全地球測位システム（「ＧＰＳ」）を有する。

本明細書に開示されている別の態様によれば、モバイルプラットフォームの飛行動作システムが開示され、システムは、
モバイルプラットフォームの高さグレードを検出する高さセンサと、
検出された高さグレードに基づいて１つ又は複数のセンサを選択すると共に選択されたセンサから計測値を取得するように構成されたプロセッサと
を有し、
この場合に、高さグレードは、４つの高さグレードの群から選択される。

開示されているシステムの別の例示用の実施形態において、プロセッサは、第１高さグレードにおいて１つの画像センサを選択するように構成されている。

開示されているシステムの別の例示用の実施形態において、プロセッサは、第１高さグレードにおいて１つの画像センサ及び距離センサを選択するように構成されている。

開示されているシステムの別の例示用の実施形態において、高さセンサは、距離センサを有し、且つ、この場合に、距離センサは、超音波検出器及び／又はレーザー検出デバイスを有する。

開示されているシステムの別の例示用の実施形態において、プロセッサは、第２高さグレードにおいて少なくとも２つの画像センサを選択するように構成されており、
この場合に、少なくとも２つの画像センサは、第１解像度を有する。

開示されているシステムの別の例示用の実施形態において、プロセッサは、第３高さグレードにおいて第２解像度を有する少なくとも２つの画像センサを選択するように構成されており、第２解像度は、改善された解像度である。

開示されているシステムの別の例示用の実施形態において、第２解像度は、第１解像度を上回っている。

開示されているシステムの別の例示用の実施形態において、プロセッサは、第４高さグレードにおいて１つの画像センサ及び１つの高さセンサを選択するように構成されている。

開示されているシステムの別の例示用の実施形態において、高さセンサは、バロメータ及び／又は全地球測位システム（「ＧＰＳ」）を有する。

広い高さの範囲内において動作モードを選択する方法の一実施形態の最上位フローチャートである。 装備したモバイルプラットフォームを示す概略図である。 図１の方法の代替実施形態の例示用のフローチャートである。 図３の方法の代替実施形態の例示用のブロックダイアグラムであり、この場合に、方法は、高さに基づいて４つの動作モードを分類する。 図１の方法の別の代替実施形態の例示用のブロックダイアグラムであり、この場合に、稼働動作モードを決定するため、高さ及び差異情報が使用されている。 図２のモバイルプラットフォームの代替実施形態の例示用のブロックダイアグラムであり、この場合に、モバイルプラットフォームは、高さ情報を取得するため、バロメータ、超音波検出器、及び／又はＧＰＳを使用している。 図２のモバイルプラットフォームの別の代替実施形態を示す例示用の最上位の図であり、この場合に、プロセッサは、状態データを収集すると共に動作モードを制御している。 図１の方法の別の代替実施形態の例示用のフローチャートであり、４つの異なる動作モードの間におけるスイッチング条件を示している。 ステレオスコープ撮像方法の一実施形態を示す例示用の詳細図であり、この場合に、図１の方法の差異が決定されている。 図９の方法の代替実施形態の例示用の図であり、２つの画像をオーバーラップエリアとマッチングする例示用の方法を示している。 図９の代替実施形態を示す例示用の図であり、この場合に、第１画像は、複数の特徴点を有する第２画像とマッチングされている。 図１１の方法の代替実施形態を示す例示用の図であり、この場合に、それぞれの特徴点は、類似性を算出することにより、マッチングされている。 動作モードを判定する方法の代替実施形態の例示用の最上位フローチャートであり、この場合に、モバイルプラットフォームのセンサは、図４の４つの動作モードのそれぞれについて選択されている。 図１３の方法の代替実施形態の例示用のフローチャートであり、動作モードのそれぞれに基づいてセンサを選択する方式を示している。 図２のモバイルプラットフォームの飛行動作システムの更に別の代替実施形態を示す例示用の最上位の図であり、この場合に、プロセッサは、４つの動作モードのそれぞれについてモバイルプラットフォームのセンサを選択している。

添付図面は、縮尺が正確ではなく、且つ、類似の構造又は機能の要素は、一般に、図面の全体を通じて、例示を目的として同一の参照符号によって表されていることに留意されたい。又、添付図面は、好適な実施形態の説明の促進を意図したものに過ぎないことにも留意されたい。添付図面は、記述されている実施形態の全ての側面を示すものではなく、且つ、本開示の範囲を限定するものでもない。

一般には、ＵＡＶを動作させるために、ステレオ視覚技術を使用する無人航空機（「ＵＡＶ」）のナビゲーションは、実行されている。但し、ステレオ視覚技術の精度は、限られており、且つ、高さに従って変化する可能性がある。

ステレオ視覚システムは、一般的に、２つのレンズのそれぞれによって観察されるシーンのオーバーラップエリアを検討することにより、ナビゲーションを実行している。従来のステレオ視覚システムのレンズの間におけるベースライン長は、一般的に、４センチメートル〜２０センチメートルである。但し、ステレオ視覚技術の適用可能な高さの範囲は、ベースライン長によって限定されている。換言すれば、計測可能な高さの範囲は、ベースライン長によって制限されている。

シーンのオーバーラップエリアに依存して、ＵＡＶは操作されている。例えば、低高度の場合、双眼撮像システムのレンズとグラウンドとの間の距離は短すぎるため、双眼撮像デバイスのレンズによって観察されるそれぞれのシーンの間に使用可能なオーバーラップエリアを形成できない。一方、非常に高い高度においては、ステレオ視覚システムのレンズとグラウンドとの間の距離は、長すぎる。このようなケースにおいては、長い距離は、ステレオ視覚システムの２つのレンズの間に短いベースラインを生成し、この結果、不正確な計算結果がもたらされる。

現時点において入手可能なステレオ視覚ナビゲーションシステムは、ベースライン長によって制限されている。そのため、モバイルシステムの高さ及び差異に基づいて様々な高さに動作モードの間でスイッチングすることにより、ＵＡＶを動作させる要件を満たすことができるモバイルシステム及び方法は、望ましいものであり得る。且つ、このモバイルシステム及び方法は、ＵＡＶシステム及びその他のモバイルシステムなどのシステムの場合、深度を正確に計測するために、基礎を提供することができる。この結果は、図１に開示されている一実施形態に従って実現することができる。

まず、図１を参照すれば、広い高さの範囲内において（図２に示されている）モバイルプラットフォーム２００の動作モードを選択する方法は１００の実施形態が示されている。図１について、１２０において、モバイルプラットフォーム２００の動作モードを判定する基礎として、高さ１２１及び／又は差異１２２を検出することができる。高さ１２１及び／又は差異１２２は、高さグレードを表すことができる。好適な一実施形態においては、このような検出は、リアルタイム方式で、且つ／又は、時間遅延された方式において、実施することができる。高さ１２１は、モバイルプラットフォーム２００の飛行の高さ、即ち、高度などの標高情報と関連付けられている。差異１２２は、２つの画像又はフレーム内において描かれた物体の画像の位置の差異を表している。差異１２２は、統計的に静的に決定することも可能であり、且つ／又は、図９〜図１２を参照して以下において図示及び記述されている方式により、動的に決定することもできる。モバイルプラットフォーム２００は、任意の形態の航空機体を有することができる。高さ１２１は、図６を参照して以下において図示及び記述されている方式により、判定することができる。

１３０において、モバイルプラットフォーム２００は、取得された高さグレードを、即ち、高さ１２１及び／又は差異１２２を、使用することにより、幾つかの既定の動作モード１３１を選択することが可能であり、或いは、これらの動作モードの間にスイッチングすることができる。動作モード１３１は、モバイルプラットフォーム２００と関連付けられた様々なデバイスを伴う動作を有することが可能であり、これらのデバイスは、任意の時点において含むことができる。このようなデバイスについては、図６及び図７を参照し、以下において図示及び記述されている。動作モード１３１の選択又はスイッチングについては、図８を参照し、詳細に図示及び説明することとする。

例示を目的としてのみ、動作モードの選択又はスイッチング用の基準として高さ１２１及び／又は差異１２２が使用されるものとして図示及び記述されているが、動作モードの選択又はそれらの動作モードの間におけるスイッチングの基準として、その他の適切な条件データを使用することもできる。

図２は、動作モード１３１をスイッチングすることによって方法１００を実現するため、状態を検出するデバイス２５１〜２５４を有するモバイルプラットフォーム２００を示している。図２においては、デバイス２５１〜２５４は、少なくともバロメータ２５１、１つ又は複数の超音波検出器２５２、ＧＰＳ２５３、及び双眼撮像デバイス２５４を含むことができる。デバイス２５１〜２５４のうち、バロメータ２５１、超音波検出器２５２、及び／又はＧＰＳ２５３は、モバイルプラットフォーム２００の高さ（又は、高度）を検出することが可能であり、且つ、双眼撮像デバイス２５４は、差異１２２の情報ソースとなることができる。図２において、超音波検出器２５２は、グラウンドであってもよい物体２８８までの距離を検出することができる。従って、超音波検出器２５２と物体２８８との間の距離は、グラウンドレベルとモバイルプラットフォーム２００の垂直方向の高さ１２１を表すことができる。

図２において、バロメータ２５１は、モバイルプラットフォーム２００の本体２６０上に設置することができる。超音波検出器２５２は、本体２６０の下部部分の周りに配置することができる。ＧＰＳ２５３は、モバイルプラットフォーム２００の本体２６０内に設置することができる。双眼撮像デバイス２５４は、本体２６０の下方において配置することができる。但し、本開示においては、バロメータ２５１及びＧＰＳ２５３は、本体２６０の内部、本体２６０の下方、又は本体２６０の任意の側部などのように、モバイルプラットフォーム２００の任意の部分上に配設することができる。超音波検出器２５２は、本体２６０の周りの任意の位置に配設することができる。双眼撮像デバイス２５４は、本体２６０の下部部分の任意の適切な位置に配設することができる。

例示を目的としてのみ、デバイス２５１〜２５４を使用するものとして図示及び記述されているが、動作モード１３１の間におけるスイッチングの判定のための状態を検出するために、任意のその他の適切なデバイスを使用することもできる。モバイルプラットフォーム２００は、標高を有することができる任意の従来型のモバイルプラットフォームを有することが可能であり、且つ、図２には、限定を目的としてではなく、例示を目的としてのみ、無人航空機ＵＡＶ２５０を有するものとして示されている。

図３は、方法１００の別の代替実施形態を示している。図３においては、方法１００は、３１０において、動作モードを分類する手順を有することができる。動作モードは、例えば、異なる高さグレードに基づいて、即ち、高さ範囲及び／又は差異値に基づいて、分類することができる。上述のように、現時点において利用可能なシングルモード動作は、様々な高さの要件を満たすことができず、例えば、ステレオ視覚技術を使用する双眼システムは、高高度／高さ及び超低高度／高さ用の要件を満たすことができない。その一方で、モバイルプラットフォーム２００のその他の利用可能な動作モードは、高高度／高さ又は低高度／高さの場合に、より適したものとなることができる。

異なる高さ又は高度において、様々な動作モードを使用することにより、モバイルプラットフォーム２００を動作させることができる。全ての高さでモバイルプラットフォーム２００を動作させるために、動作モードを幾つかの高さグレードに分類することができる。以下において、図４を参照し、分類の更なる詳細について図示及び説明することとする。

尚、例示を目的としてのみ、異なる高さグレードに従って動作モードを分類するものとして記述されているが、本開示における分類は、高さ１２１と差異１２２の組合せに基づいたものなどのように、任意のその他の適切な情報に基づいたものとすることができる。

図４は、動作モードを方法１００用の４つのモードに分類する一実施形態を示している。図４においては、異なる高さグレードに従って、第１高さモード４１１、第２高さモード４１２、第３高さモード４１３、及び第４高さモード４１４を提供することができる。第４高さモード４１４は、例えば、２０メートル（２０ｍ）以上の第４高さ範囲で使用されるように設計されている。第４高さモード４１４においては、（図２に示されている）モバイルプラットフォーム２００は、高高度単眼モードと共に動作することができる。高高度単眼モードにおいては、高さ１２１を判定するため、例えば、バロメータ２５１、ＧＰＳ２５３、及び／又は視覚検出の組合せにより、物体の深度を判定することができる。モバイルプラットフォーム２００の動作モードは、高さ情報に基づいて判定することができる。

第３高さモード４１３は、例えば、３．５メートル（３．５ｍ）〜２０メートル（２０ｍ）の第３高さ範囲で使用されるように設計されている。第３高さ範囲内においては、３２０×２４０という通常の解像度を有する双眼デバイスは、深度の検出とモバイルプラットフォーム２００の動作モードの選択の要件を満たすことができない。この課題に対処するために、第３高さモード４１３においては、改善された解像度双眼モードを利用することにより、モバイルプラットフォーム２００の高さ１２１を判定する共に動作モードを選択することができる。解像度が改善された双眼モードにおいては、解像度は、少なくとも６４０×４８０であってもよい。

第２高さモード４１２は、例えば、５０センチメートル（５０ｃｍ）〜３．５メートル（３．５ｍ）の第２高さ範囲で使用されるように設計されている。第２高さ範囲内においては、第２高さモード４１２は、通常解像度双眼モードを使用することが可能であり、これのモードは、３２０×２４０という解像度を使用することができる。

第１高さモード４１１は、例えば、１０センチメートル（１０ｃｍ）〜５０センチメートル（５０ｃｍ）の第１高さ範囲で使用されるように設計されている。第１高さ範囲内においては、レンズと対象の物体との間の距離が短いため、双眼システム用の２つのレンズによって取得される画像の間に、十分なオーバーラップが取得できない場合がある。従って、第１高さモード４１１においては、超低高度単眼モードを使用することが可能であり、この場合に、その他の距離センサは、モバイルプラットフォーム２００の動作モードを選択するため、レンズの光学中心とグラウンドレベルとの間の距離を、即ち、物体の深度を、検出することができる。

例示を目的としてのみ、動作モードを４つのカテゴリに分類するものとして図示及び記述されているが、本開示においては、任意の適切な数のカテゴリを利用することができる。グラウンドまでの高さ１２１に加えて、本開示は、動作モードの分類及び／又はこれらのモードの間におけるスイッチングの際に、その他の条件を使用することができる。このような条件は、差異１２２を有することができる。

図５は、方法１００の別の実施形態を示しており、この場合には、動作モード１３１を決定するため、高さ１２１及び／又は差異１２２を使用することができる。高さ１２１は、（図２に示されている）モバイルプラットフォーム２００とグラウンドレベルとの間の垂直方向の距離を表している。高さ１２１は、図６を参照して以下において図示及び記述されている方式により、バロメータ２５１、超音波検出器２５２、及び／又はＧＰＳ２５３を介して取得することができる。図１を参照して図示及び記述されているように、差異１２２は、２つの画像又はフレーム内における物体の画像位置の差異を表している。差異１２２は、図９〜図１２を参照して以下において図示及び記述されている方式により、判定することができる。

２３０において、高さ１２１及び差異１２２の情報を組み合わせることができる。組み合わせられた情報は、２４０において、動作モード１３１を判定する際に使用することができる。動作モード１３１を決定するために、組み合わせられた情報を使用するものとして図示及び記述されているが、動作モード１３１を決定する際に、高さ１２１及び／又は差異１２２を別個に使用することもできる。

図６は、１２０において、方法１００で高さ１２１を取得するステップを示すモバイルプラットフォーム２００の実施形態を示している。図６においては、（図２に集合的に示されている）バロメータ２５１、超音波検出器２５２、及び／又はＧＰＳ２５３を使用して、モバイルプラットフォーム２００の高さ１２１を取得することができる。バロメータ２５１は、大気圧の計測に基づいて高さ１２１を判定する市販の任意のタイプのバロメータ又は圧力高度計であってもよい。このようなバロメータ２５１は、水ベースのバロメータ、水銀バロメータ、真空ポンプオイルバロメータ、アネロイドバロメータ、バログラフ、又はＭＥＭＳバロメータを有することができる。又、バロメータ２５１は、ストームバロメータなどのその他のタイプのバロメータを含むこともできる。

更には、且つ／又は、この代わりに、超音波検出器２５２は、超音波を放射すると共に物体２８８から反射された超音波を受け取ることにより、（図２に示されている）環境内の物体２８８の距離１２１を検出することもできる。距離１２１は、グラウンドレベルまでの距離であってもよく、この場合には、物体２８８は、グラウンドである。グラウンドレベル８８０は、実際のグラウンド、水位、又は任意の構造を有するグラウンドであってもよい。このような超音波検出器２５２は、任意の市販の超音波センサを有することができる。例示を目的としてのみ、１つの方向において物体２８８を検出するため、単一の超音波検出器２５２を使用するものとして図示及び記述されているが、複数の方向において物体２８８を検出するため、複数の超音波検出器２５２を提供することもできる。

ＧＰＳ２５３は、４つ以上のＧＰＳ衛星に対して可視領域にある地球上の又はその近傍の位置、高さ、及び／又は時刻情報を提供しうる宇宙衛星ナビゲーションシステムである。ＧＰＳ２５２は、市販の任意のＧＰＳデバイスを有することができる。位置は、緯度及び経度として、ＧＰＳ２５３によって提供することができる。高さは、グラウンドレベルまでのメートル又はフィートを単位とした高さであってもよい。

本開示において適用可能である高さ１２１は、グラウンドレベルまでの２５センチメートル（２５ｃｍ）〜１００メートル（１００ｍ）の範囲内の任意の垂直方向の距離であってもよい。図４を参照して図示及び記述されているように、高さ１２１は、本開示においては、第１高さ、第２高さ、第３高さ、及び第４高さに分類することができる。例示を目的としてのみ、高さ１２１を検出するため、バロメータ２５１、超音波検出器２５２、又はＧＰＳ２５３が使用されるものとして図示及び記述されているが、モバイルプラットフォーム２００の高さ１２１を検出するため、その他の適切な検出装置を使用することもできる。

図７は、図２のモバイルプラットフォーム２００の別の実施形態を示している。図７においては、プロセッサ９１０は、状態データを収集するため、バロメータ２５１、超音波検出器２５２、ＧＰＳ２５３、及び双眼撮像デバイス２５４と接続されることが可能であり、且つ、方法１００を実現するために、操作モードを制御している。プロセッサ９１０は、モバイルプラットフォーム２００を制御するためモバイルプラットフォームと関連付けられたプロセッサであってもよい。双眼撮像デバイス２５４は、物体の２つの画像を同時にキャプチャする双眼レンズを有する撮像デバイスであってもよい。

モバイルプラットフォーム２００の好適な実施形態においては、バロメータ２５１、超音波検出器２５２、ＧＰＳ２５３、及び又は双眼デバイス２５４から得られた情報を取得及び／又は処理するため、プロセッサ９１０を提供することができる。このような情報は、（図１に集合的に示されている）高さ１２１及び差異１２２を含む。プロセッサ９１０は、情報に基づいて動作モード１３１の選択を判定することができる。動作モード１３１の決定に関する更なる詳細については、以下において、図８を参照し、図示及び説明することとする。

プロセッサ９１０は、任意の市販の処理チップを有することも可能であり、或いは、モバイルプラットフォーム２００の動作モードを選択するため装置９００用に任意のカスタム設計された処理チップであってもよい。更には、且つ／又は、この代わりに、プロセッサ９１０は、１つ又は複数の汎用マイクロプロセッサ（例えば、シングル又はマルチコアプロセッサ）、アプリケーション特定の集積回路、アプリケーション特定の命令セットプロセッサ、データ処理ユニット、物理演算処理ユニット、デジタル信号処理ユニット、コプロセッサ、ネットワーク処理ユニット、オーディオ処理ユニット、暗号化処理ユニット、及びこれらに類似したものを含むことができる。プロセッサ９１０は、動作モードの選択に関係した様々な動作を含む本明細書において記述されている方法のうちの任意のものを実行するように構成することができるが、それらに限定されない。幾つかの実施形態においては、プロセッサ９１０は、動作モードの選択に関する特定の動作を処理するための専用ハードウェアを含むことができる。

図８は、方法１００用の別の実施形態を示しており、この場合には、高さ１２１及び／又は差異１２２に基づいて、４つの動作モードを選択（又は、スイッチング）することができる。離陸する際に、（図２に示されている）モバイルプラットフォーム２００は、第１高さで動作することができる。モバイルプラットフォーム２００の動作モードを選択する装置は、対応する動作モード、即ち、第１高さモード４１１により、動作することができる。図４を参照して図示及び記述されているように、第１高さモード４１１は、モバイルプラットフォーム２００の動作モードを選択するため（図示されてはいない）距離センサとの組合せで超低高度単眼モードである。

第１高さモード４１１で動作している際には、且つ、９３０において、２つの条件が満たされている際には、モバイルプラットフォーム２００は、第２高さモード４１２にスイッチングすることができる。２つの条件は、双眼撮像デバイス２５４の差異１２２が第１差異閾値Ｔｄ１以下であり、且つ、モバイルプラットフォーム２００の高さ１２１が第１高さ閾値Ｔｈ１を上回る、ということを含むことができる。一代替実施形態においては、モバイルプラットフォーム２００の高さ１２１が第１高さ閾値Ｔｈ１を上回る際にのみ、動作モードを第１高さモード４１１から第２高さモード４１２にスイッチングすることができる。

第１差異閾値Ｔｄ１は、６２センチメートル（６２ｃｍ）〜８２センチメートル（８２ｃｍ）の第１差異範囲から選択することが可能であり、且つ、好ましくは、７２センチメートル（７２ｃｍ）となるように選択することができる。第１高さ閾値Ｔｈ１は、２０センチメートル（２０ｃｍ）〜８０センチメートル（８０ｃｍ）の第１高さ範囲内の値から選択することが可能であり、且つ、好ましくは、５０センチメートル（５０ｃｍ）となるように選択することができる。

ステレオ視覚システムの双眼撮像デバイスの差異１２２が第３差異閾値Ｔｄ３以下である際には、モバイルプラットフォーム２００は、第３高さモード４１３にスイッチングすることができる。図４を参照して図示及び記述されているように、第３高さモード４１３は、高解像度双眼モードを有することができる。

第３差異閾値Ｔｄ３は、５センチメートル（５ｃｍ）〜１５センチメートル（１５ｃｍ）の第３差異範囲から選択することが可能であり、且つ、好ましくは、１０センチメートル（１０ｃｍ）となるように選択することができる。

９３４において、２つの条件が満たされた際には、動作モードを第４高さモード４１４にスイッチングすることができる。２つの条件は、ステレオ視覚システムの双眼撮像デバイスの差異１２２が第５差異閾値Ｔｄ５以下であり、且つ、モバイルプラットフォーム２００の高さが第３高さ閾値Ｔｈ３を上回る、というものを有することができる。第４高さモード４１４は、高高度単眼動作モードを有することが可能であり、この動作モードは、図４を参照して先程図示及び記述したように、バロメータ、ＧＰＳ、及び／又は視覚検出器を利用することができる。一代替実施形態においては、モバイルプラットフォーム２００の高さ１２１が第３高さ閾値Ｔｈ３を上回る際にのみ、動作モードを第３高さモード４１３から第４高さモード４１４にスイッチングすることができる。

第５差異閾値Ｔｄ５は、１センチメートル（１ｃｍ）〜３センチメートル（３ｃｍ）の第５差異範囲内の値から選択することが可能であり、且つ、好ましくは、２センチメートル（２ｃｍ）となるように選択することができる。第３高さ閾値Ｔｈ３は、１５メートル（１５ｍ）〜２５メートル（２５ｍ）の第３高さ範囲内の値から選択することが可能であり、且つ、好ましくは、２０メートル（２０ｍ）となるように選択することができる。

第４高さモード４１４で動作している際には、モバイルプラットフォーム２００は、特定の条件９３１、９３３のうちのいずれかが満たされた際に、その他の動作モードにスイッチングすることができる。９３１において、例えば、差異１２２が第６差異閾値Ｔｄ６以上であり、且つ、モバイルプラットフォーム２００の高さ１２１が第４高さ閾値Ｔｈ４以下である際には、モバイルプラットフォーム２００は、第３高さモード４１３にスイッチングすることができる。一代替実施形態においては、モバイルプラットフォーム２００の高さ１２１が第４高さ閾値Ｔｈ４以下になった際にのみ、モバイルプラットフォーム２００を第３高さモード４１３にスイッチングすることができる。

９３３において、差異１２２が第４差異閾値Ｔｄ４以上である際には、モバイルプラットフォーム２００は、第２高さモード４１２にスイッチングすることができる。

第６差異閾値Ｔｄ６は、１．５センチメートル（１．５ｃｍ）〜４センチメートル（４ｃｍ）の第５差異範囲内の値から選択することが可能であり、且つ、好ましくは、２．５センチメートル（２．５ｃｍ）となるように選択することができる。第４高さ閾値Ｔｈ４は、１５メートル（１５ｍ）〜２２メートル（２２ｍ）の第４高さ範囲内の値から選択することが可能であり、且つ、好ましくは、１８メートル（１８ｍ）となるように選択することができる。第４差異閾値Ｔｄ４は、９センチメートル（９ｃｍ）〜１５センチメートル（１５ｃｍ）の第４差異範囲内の値から選択することが可能であり、且つ、好ましくは、１２センチメートル（１２ｃｍ）となるように選択することができる。

第３高さモード４１３で動作している際に、差異１２２が第４差異閾値Ｔｄ４以上となった場合には、モバイルプラットフォーム２００は、第２高さモード４１２にスイッチングすることができる。

第２高さモード４１２で動作している際には、モバイルプラットフォーム２００は、９３５において条件が満たされた際に、第１高さモード４１１にスイッチングすることができる。９３５において、差異１２２が第２差異閾値Ｔｄ２以上であり、且つ、モバイルプラットフォーム２００の高さ１２１が第２高さ閾値Ｔｈ２以下である際には、モバイルプラットフォーム２００は、第１高さモード４１１にスイッチングすることができる。一代替実施形態においては、モバイルプラットフォーム２００は、モバイルプラットフォーム２００の高さ１２１が第２閾値Ｔｈ２以下になった際にのみ、第１高さモード４１１にスイッチングすることができる。

第２差異閾値Ｔｄ２は、６０センチメートル（６０ｃｍ）〜８０センチメートル（８０ｃｍ）の第２差異範囲内の値から選択することが可能であり、且つ、この好ましくは、７０センチメートル（７０ｃｍ）となるように選択することができる。第２高さ閾値Ｔｈ２は、２５センチメートル（２５ｃｍ）〜６５センチメートル（６５ｃｍ）の第２高さ範囲内の値から選択することが可能であり、且つ、好ましくは、４５センチメートル（４５ｃｍ）となるように選択することができる。

第２差異閾値Ｔｄ２は、第１差異閾値Ｔｄ１を上回っていてもよい。第１及び第２差異閾値Ｔｄ１、Ｔｄ２のうちの１つ又は両方は、第３及び第４差異閾値Ｔｄ３、Ｔｄ４のうちの１つ又は両方を上回っていてもよい。第１高さ閾値Ｔｈ１は、第２高さ閾値Ｔｈ２を上回っていてもよい。第１及び第２高さ閾値Ｔｈ１、Ｔｈ２のうちの１つ又は両方は、第３及び第４高さ閾値Ｔｈ３、Ｔｈ４のうちの１つ又は両方を上回っていてもよい。第３差異閾値Ｔｄ３は、第４差異閾値Ｔｄ４を上回っていてもよい。第３及び第４差異閾値Ｔｄ３、Ｔｄ４のうちの１つ又は両方は、第５及び第６差異閾値Ｔｄ５、Ｔｄ６のうちの１つ又は両方を上回っていてもよい。第６差異閾値Ｔｄ６は、第５差異閾値Ｔｄ５を上回っていてもよい。

図９は、対象の物体５９８から、２つのレンズ５１０ａ、５１０ｂによって取得された２つのステレオスコープ画像５２０ａ、５２０ｂの間の双眼差異を特定する例示用の方法７００を示している。三角測量の方法を使用して、画像５２０ａ及び５２０ｂの間の差異ｄを特定することができる。具体的には、その座標（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）によって表されているインデックスｉを有する対象の物体５９８の位置は、以下の式によって付与することができる。

式(1)

式(2)

式(3)
ここで、ｃ_ｘ及びｃ_ｙは、レンズ５１０ａ及び５１０ｂの個々の中心Ｏ_ｌ、Ｏ_ｒ座標を表しており、ｘ_ｉ及びｙ_ｉは、それぞれ、画像５２０ａ及び５２０ｂのそれぞれの内部における対象の物体５９８の座標を表しており、Ｔは、ベースラインであり（換言すれば、レンズ５１０ａ及び５１０ｂの中心座標の間の距離であり）、ｆは、レンズ５１０ａ及び５１０ｂの修正された焦点距離であり、ｉは、複数の対象物体５９８上における且つ／又は対象物体５９８の（図１０に示されている）複数の特徴点３５５におけるインデックスであり、且つ、ｄは、ここでは、次式として表される画像５２０ａ及び５２０ｂの間の双眼差異である。

式(4)

図９の説明に基づいて、差異ｄは、第２画像５２０ｂ上の点Ｘ_ｒを第１画像５２０ａのＸ_ｌとマッチングすることにより、算出することが可能であり、この場合に、Ｘ_ｌは、既知の要素である。図９においては、第２画像５２０ｂ上のマッチング点Ｘ_ｒの検出は例示用の一実施形態が、例示を目的としてのみ、示されている。図９において、Ｉ^Ｌは、同一の対象物体５９８の第１画像５２０ａを表しており、且つ、Ｉ^Ｒは、第２画像５２０ｂを表している。第１画像５２０ａ上の点ｘ_ｉ ^ｌは、既知であってもよく、且つ、第２画像５２０ｂ上のマッチング点ｘ_ｉ ^ｒは、第１画像５２０ａ上の点ｘ^ｌ _ｉに「最も類似した」点として定義することが可能であり、これは、次式によって表すことができる。
ｄ＝ａｒｇｍｉｎ_ｄ｜Ｉ^Ｌ（ｘ_ｌ）−Ｉ^Ｒ（ｘ_ｌ＋ｄ）｜ 式（５）
ここで、ｄは、２つのレンズ５１０ａ、５１０ｂの差異を表しており、Ｉ^Ｌは、同一の対象物体５９８の第１画像５２０ａを表しており、Ｉ^Ｒは、第２画像５２０ｂを表しており、且つ、ｘ_ｌは、第１画像５２０ａの点ｘ_ｉ ^ｌである。

マッチング精度及び視覚範囲を特定するとき、発生可能なマッチング誤差があり、差異ｄが特定の既定の値未満又は超となることが許さない。好適な一実施形態においては、差異ｄは、５ピクセルを上回ると共に第２画像５２０ｂの幅の５分の１未満であり、この幅は、第１画像５２０ａと同一のサイズであってもよい。例示用の例として、ｆ＝４８０であり、Ｔ＝０．１５ｍであり、且つ、画像解像度が３２０×２４０ピクセルであると仮定すれば、１．５ｍ〜１５．４ｍという実効視覚範囲を控除することができる。

図１０は、第２画像５２０ｂの点を第１画像５２０ａの対応する点３５５とマッチングする方法７００の実施形態を示している。図１０においては、中心に比較点がある３×３ピクセルブロックが、画像５２０ａ、５２０ｂのそれぞれから取得されている。第１及び第２画像５２０ａ及び５２０ｂがカラー画像である際には、３×３ピクセルブロックのそれぞれのピクセルごとに、色成分の値を比較することができる。逆に、画像５２０ａ及び５２０ｂが白黒画像である際には、それぞれのピクセルのグレースケール値を比較することができる。式５に基づいて、全ての９つのピクセルの値の差の最小合計を有する点をマッチング点として選択することができる。このプロセスは、第１画像５２０ａ上の全ての選択された特徴点について反復で実行することができる。

或いは、この代わりに、第２画像５２０ｂの点を第１画像５２０ａの対応する点３５５とマッチングさせるため、二値安定独立基本特徴（「ＢＲＩＥＦ」）記述子を使用する方法を使用することもできる。実施形態においては、領域のそれぞれの点ペアの強度を比較することにより、第１画像５２０ａの選択された特徴点の周りの第１領域を表す第１二値ストリングを構築することができる。第１二値ストリングは、第１画像５２０ａの選択された特徴点の第１ＢＲＩＥＦ記述子であってもよい。

同様に、第２領域のそれぞれの点ペアの強度を比較することにより、第２画像５２０ｂの点３５５の周りの第２領域を表す第２二値ストリングを構築することができる。第２二値ストリングは、第２ＢＲＩＥＦ記述子であってもよい。

第１ＢＲＩＥＦ記述子と第２ＢＲＩＥＦ記述子との間のハミング距離を比較することにより、第１画像５２０ａの選択された特徴点と第２画像５２０ｂの点３５５の間における類似性を算出することができる。第１ＢＲＩＥＦ記述子と第２ＢＲＩＥＦ記述子との間のハミング距離が第１ハミング閾値未満である際に、第２画像５２０ｂの点３５５を第１画像５２０ａの選択された特徴点とマッチングするものとして判定することができる。

次に図１１を参照すれば、対象の物体５９８の特徴点３５５を介して差異ｄを取得する方法７００の実施形態が示されている。９２２において、対象の物体５９８上の複数の特徴点３５５を選択することができる。特徴点３５５は、様々な異なる方法のうちの１つ又は複数を使用して、選択することができる。例示用の一実施形態においては、特徴点３５５は、対象の物体５９８の予め定義された形状として識別することができる。別の実施形態においては、特徴点３５５は、特定の色又は強度を有する対象の物体５９８の１つ又は複数の部分として認識することができる。別の実施形態においては、特徴点３５５は、対象の物体５９８のランダムな部分として選択することができる。別の実施形態においては、特徴点３５５は、例えば、ピクセルごと、１つ飛ばしのピクセルごと、２つ飛ばしのピクセルごと、３つ飛ばしのピクセルごとなどのように、対象の物体５９８上において規則的に離隔したインターバルで選択することができる。特徴点３５５は、必要に応じて、変化する形状及びサイズを有することができる。幾つかの実施形態においては、上述の方法の組合せを使用することにより、特徴点３５５を選択することができる。

９２４において、選択された特徴点３５５を第１画像５２０ａから第２画像５２０ｂ上にマッチングすることができる。好適な実施形態においては、特徴点３５５のマッチングは、図１２に示されているように、２つの手順から構成されている。図１２の９２４Ａにおいて、第１画像の特徴点３５５を選択することができる。算出された点から始まって、且つ、レンズ５１０ａ、５１０ｂのセンタリングされたラインに平行なラインに沿って、マッチング点をスキャニングすることができる。第１画像５２０ａ上の点の座標、ベースラインの方向、及び／又はその長さに基づいて、マッチング開始点を算出することができる。好ましくは、選択されたラインに沿った１つの方向のみに限定されているが、スキャニングは、１つ又は複数の既定の方向のうちのいずれかにおいて実行することができる。

９２４Ｂにおいて、それぞれの点ごとにスキャニングしている間に、図１０を参照して本明細書において詳細に先程図示及び記述された方式により、２つの点の間の類似性が算出され、且つ、第１画像５２０ａの特徴点３５５との間の差の最小合計を有する第２画像５２０ｂの点３５５を選択されて、特徴点３５５に対応するマッチング点として選択することができる。

図１１を再度参照すれば、９２６において、２つの画像５２０ａ及び５２０ｂのそれぞれの特徴点３５５の間の特徴差異ｄを見出すことができる。様々な方法のうちのいずれかを使用することにより、差異ｄを判定することができる。一実施形態においては、差異ｄは、特徴点３５５のそれぞれごとの差異ｄの平均値に基づいて見出すことができる。例示用の平均値のタイプは、数値平均、幾何学平均、メジアン、及び／又はモードを含むことができるが、これらに限定されない。別の実施形態においては、差異ｄは、特徴点３５５のうちの１つ又は複数を選択すると共に選択された特徴点３５５に基づいて差異ｄを取得することにより、見出すことができる。

図１３は、（図１５に示されている）モバイルプラットフォーム２００の動作モードを判定する方法３００の一実施形態を示しており、この場合には、高さグレードに基づいて、（図４に示されている）４つの高さモード４１１〜４１４のそれぞれごとに、（図１５に示されている）センサ３６０を選択することができる。図１３の３２０において、モバイルプラットフォーム２００の高さグレードを検出することができる。モバイルプラットフォーム２００の高さグレードは、例えば、図１、図５、及び図６を参照して先程図示及び記述した方式により、検出することができる。３３０において、検出された高さグレードに従って、１つ又は複数のセンサ３６０を選択することが可能であり、これらのセンサ３６０は、既定しておくことができる。センサ３６０の選択については、図１４を参照し、更に詳細に以下において図示及び説明することとする。３４０において、モバイルプラットフォームを動作させるために特定の情報を取得することができる。例えば、情報は、モバイルプラットフォームの高さ、（図２に示されている）物体２８８までの距離、変位、速度、及びこれらに類似したものを含むことができる。

図１４は、方法３００の代替実施形態を示しており、且つ、図４の４つの高さモードのそれぞれごとに対するセンサの選択を示している。図１４においては、３２１において、（図１５に示されている）モバイルプラットフォーム２００が高さを第１高さグレード内にあることを検出した際に、（図４に示されている）第１高さモード４１１を選択することができる。３２１において、モバイルプラットフォーム２００が第１高さモード４１１を選択した際には、３２２において、１つの画像センサ３６３を選択することができる。一代替実施形態においては、３２１において、第１高さモード４１１が選択された際に、１つの画像センサ３６３及び距離センサ３６１を選択することができる。例えば、（図２に示されている）モバイルプラットフォーム２００と対象の物体２８８との間の距離を判定するため、距離センサ３６１を利用することができる。例示を目的としてのみ、１つの距離センサ３６１及び１つの画像センサ３６３が選択されるものとして図示及び記述されているが、この代わりに、第１高さモード４１１について、その他の適切なタイプのセンサ３６０を選択することもできる。

本明細書において記述されている距離センサ３６１は、距離を検出する超音波検出器及び／又はレーザー検出デバイスを含むことができるが、これらに限定されない。

図１４において、モバイルプラットフォーム２００は、第２高さグレードの高さを検出することができる。第２高さグレードを検出した際に、モバイルプラットフォーム２００は、３２３において、（図４に示されている）第２高さモード４１２を選択することができる。３２３において、モバイル２００が第２高さモード４１２を選択した際には、３２４において、（図１５に示されている）少なくとも２つの画像センサ３６３を選択することができる。第２高さモード４１２について選択された画像センサ３６３のそれぞれは、第１解像度を有することができる。

モバイルプラットフォーム２００は、第３高さグレードの動作高さを検出することができる。第２高さグレードを検出した際に、モバイルプラットフォーム２００は、３２５において、（図４に示されている）第３高さモード４１３を選択することができる。３２５において、モバイルプラットフォーム２００が第３高さモード４１３を選択した際には、３２６において、少なくとも２つの画像センサ３６３を選択することができる。第３高さモード４１３用に選択される画像センサ３６３のそれぞれは、第２解像度を有することができる。第２解像度は、第２高さモード４１２において使用される第１解像度を上回ってもよい。

モバイルプラットフォーム２００は、第４高さグレードの稼働高さを検出することができる。第４高さグレードを検出した際に、モバイルプラットフォーム２００は、３２７において、（図４に示されている）第４高さモード４１４を選択することができる。３２７において、モバイルプラットフォーム２００が第４高さモード４１４を選択した際に、３２８において、１つの画像センサ３６３及び１つの高さセンサ３６２を選択することができる。高さセンサ３６２は、（図６において集合的に示されている）バロメータ２５１及び／又は全地球測位システム（「ＧＰＳ」）２５３を有することができるが、これらに限定されない。

図１５は、図２のモバイルプラットフォームの飛行動作システム４００の別の代替実施形態を示しており、この場合には、（図７に示されている）プロセッサ９１０は、（図１３及び図１４に示されている）方法３００に従って１つ又は複数のセンサ３６０を選択することができる。図１５を参照すれば、距離センサ３６１、高さセンサ３６２、及び１つ又は複数の画像センサ３６３は、プロセッサ９１０と関連付けられることも可能であり、且つ、これらと通信することもできる。図１４を参照して上述したように、距離センサ３６１は、（図７に示されている）超音波検出器２５２及び／又はレーザー検出デバイスを含むことができるが、これらに限定されない。高さセンサ３６２は、（図７に集合的に示されている）バロメータ２５１及び／又は全地球測位システム（「ＧＰＳ」）２５３を含むことができるが、これらに限定されない。画像センサ３６３は、（図２に示されている）双眼撮像デバイス２５４を含むことができるが、これらに限定されない。

飛行動作システム４００の好適な実施形態においては、プロセッサ９１０がセンサ３６０から取得された計測値を取得及び処理することができる。このような計測値は、（図２に示されている）物体２８８までの距離、（図１に集合的に示されている）高さ１２１、及び／又は差異１２２を含むことができるが、これらに限定されない。計測値に基づいて、プロセッサ９１０は、選択可能な動作モードと、選択された動作モード用に含まれうる１つ又は複数の既定のセンサ３６０と、を判定することができる。

記述されている実施形態には、様々な変更及び代替形態が可能であり、且つ、これらの具体的な例は、例示を目的として、図面に図示され、且つ、本明細書において詳述されている。但し、記述されている実施形態は、開示されている特定の形態又は方法に限定されるものではなく、逆に、本開示は、全ての変更、均等物、及び代替肢を含むことを理解されたい。

Claims (28)

1. 双眼撮像デバイスを備えるモバイルプラットフォームの動作モードを選択する方法であって、
   前記モバイルプラットフォームの高度と、前記双眼撮像デバイスにより遠隔物体を撮像した第１画像及び第２画像の間の差異と、を検出するステップと、
   検出された前記高度及び前記差異に基づいて、一つの動作モードを選択するステップと、を有し、
   前記モバイルプラットフォームの動作モードは、前記モバイルプラットフォームの高度が第１高さ範囲で使用される第１高さモードと、前記モバイルプラットフォームの高度が第２高さ範囲で使用される第２高さモードと、前記モバイルプラットフォームの高度が第３高さ範囲で使用される第３高さモードと、前記モバイルプラットフォームの高度が第４高さ範囲で使用される第４高さモードとを有し、
   前記第２高さ範囲は、前記第１高さ範囲よりも高度が高く、
   前記第３高さ範囲は、前記第２高さ範囲よりも高度が高く、
   前記第４高さ範囲は、前記第３高さ範囲よりも高度が高く、
   前記第１高さモードは、単眼モードを使用する動作モードであり、
   前記第２高さモードは、第１の解像度を有する双眼モードを使用する動作モードであり、
   前記第３高さモードは、前記第１の解像度よりも高い第２の解像度を有する双眼モードを使用する動作モードであり、
   前記第４高さモードは、単眼モードを使用する動作モードである、
   動作モードの選択方法。
2. 前記高度は、バロメータ、超音波検出器、及び全地球測位システム（「ＧＰＳ」）のうち少なくとも１つを介して取得される、請求項１に記載の方法。
3. 第１高さモードで動作するように、前記モバイルプラットフォームを起動するステップを更に有する、請求項１に記載の方法。
4. 前記第１高さモードを支援するため、前記モバイルプラットフォームの距離センサを提供するステップを更に有する、請求項３に記載の方法。
5. 前記動作モードを選択するステップは、前記高度に基づいて前記動作モードをスイッチングするステップを有する、請求項３又は４に記載の方法。
6. 前記動作モードを選択する前記ステップは、前記高度が第１高度閾値を上回る際に前記モバイルプラットフォームを第２高さモードにスイッチングするステップを有する、請求項３に記載の方法。
7. 前記動作モードを選択する前記ステップは、前記差異が第１差異閾値未満である際に前記モバイルプラットフォームを第２高さモードにスイッチングするステップを有する、請求項３に記載の方法。
8. 前記動作モードを選択する前記ステップは、前記高度が第１高度閾値を上回ると共に前記差異が第１差異閾値未満である際に前記モバイルプラットフォームを第２高さモードにスイッチングするステップを有する、請求項３に記載の方法。
9. 前記動作モードを選択する前記ステップは、前記差異が第３差異閾値以下である際に前記モバイルプラットフォームを第３高さモードにスイッチングするステップを有する、請求項３〜８のいずれか一項に記載の方法。
10. 前記動作モードを選択する前記ステップは、前記高度が第３高度閾値を上回る際に前記モバイルプラットフォームを第４高さモードにスイッチングするステップを有する、請求項９に記載の方法。
11. 前記動作モードを選択する前記ステップは、前記高度が第３高度閾値を上回ると共に前記差異が第５差異閾値未満である際に前記モバイルプラットフォームを第４高さモードにスイッチングするステップを有する、請求項９に記載の方法。
12. 前記動作モードを選択する前記ステップは、前記高度が第４高度閾値未満である際に前記モバイルプラットフォームを前記第３高さモードにスイッチングするステップを有する、請求項１０又は請求項１１に記載の方法。
13. 前記動作モードを選択する前記ステップは、前記高度が第４高度閾値未満であると共に前記差異が第６差異閾値を上回る際に前記モバイルプラットフォームを前記第３高さモードにスイッチングするステップを有する、請求項１０又は請求項１１に記載の方法。
14. 前記動作モードを選択する前記ステップは、前記差異が第４差異閾値を上回る際に前記モバイルプラットフォームを第２高さモードにスイッチングするステップを有する、請求項１０〜１３のいずれか一項に記載の方法。
15. 前記動作モードを選択する前記ステップは、前記高度が第２高度閾値未満である際に前記モバイルプラットフォームを前記第１高さモードにスイッチングするステップを有する、請求項１４に記載の方法。
16. 前記動作モードを選択する前記ステップは、前記高度が第２高度閾値未満であると共に前記差異が第２差異閾値を上回る際に前記モバイルプラットフォームを前記第１高さモードにスイッチングするステップを有する、請求項１４に記載の方法。
17. 前記第２差異閾値は、前記第１差異閾値を上回っており、
    前記第１及び第２差異閾値のうちの少なくとも１つは、前記第３及び第４差異閾値のうちの少なくとも１つを上回っており、
    前記第３差異閾値は、前記第４差異閾値を上回っており、
    前記第３及び第４差異閾値のうちの少なくとも１つは、前記第５及び第６差異閾値のうちの少なくとも１つを上回っており、且つ、
    前記第６差異閾値は、前記第５差異閾値を上回っている、請求項１６に記載の方法。
18. 前記第１高度閾値は、前記第２高度閾値を上回っており、
    前記第３及び第４高度閾値のうちの少なくとも１つは、前記第１及び第２高度閾値のうちの少なくとも１つを上回っており、且つ、
    前記第３高度閾値は、前記第４高度閾値を上回っている、請求項１６又は１７に記載の方法。
19. 前記第１画像及び前記第２画像の前記差異を判定する前記ステップは、
    前記第１画像から複数の特徴点を選択するステップと、
    前記第１画像の前記特徴点を前記第２画像の点とマッチングするステップと、を有する、請求項１８に記載の方法。
20. 前記特徴点は、前記第１画像又は前記第２画像のピクセルを有する、請求項１９に記載の方法。
21. 前記複数の特徴点をマッチングする前記ステップは、
    前記第２画像をスキャニングして前記第１画像の選択された特徴点にマッチングする前記第２画像の点を識別するステップと、
    前記第１画像の前記選択された特徴点と前記第２画像の前記点との間の類似性を算出するステップと、を有する、請求項１９又は２０に記載の方法。
22. 前記類似性を算出する前記ステップは、前記第１画像の前記選択された特徴点を前記第２画像上の前記点を中心としてセンタリングされた３×３ピクセルエリアと比較するステップを有する、請求項２１に記載の方法。
23. 前記比較するステップは、カラー画像のそれぞれのピクセルのそれぞれの色成分ごとの差の合計又は白黒画像のそれぞれのピクセルのグレースケール値の差の合計を比較するステップを有する、請求項２２に記載の方法。
24. 前記差異を検出する前記ステップは、前記特徴点の前記差異の平均値に基づいて前記差異を取得するステップを有する、請求項２３に記載の方法。
25. 前記差異を検出する前記ステップは、１つ又は複数の特徴点を選択すると共に前記選択された特徴点の前記差異に基づいて前記差異を取得するステップを有する、請求項２２〜２４のいずれか一項に記載の方法。
26. 請求項１〜２５のいずれか一項に従って前記検出するステップを実行するように構成されたモバイルプラットフォームにおいて動作モードを選択するシステム。
27. 請求項１〜２５のいずれか一項に従って前記検出するステップを実行するように構成されたモバイルプラットフォームにおいて動作モードを選択する命令を有するコンピュータプログラム製品。
28. モバイルプラットフォームと関連付けられた双眼撮像デバイスと、
    プロセッサであって、
    前記モバイルプラットフォームの高度と、前記双眼撮像デバイスにより遠隔物体を撮像した第１画像及び第２画像の間の差異と、を検出し、
    検出された前記高度及び前記差異に基づいて、前記モバイルプラットフォームの動作モードのうちの一つを選択するために構成されたプロセッサと、を有し、
    前記モバイルプラットフォームの動作モードは、前記モバイルプラットフォームの高度が第１高さ範囲で使用される第１高さモードと、前記モバイルプラットフォームの高度が第２高さ範囲で使用される第２高さモードと、前記モバイルプラットフォームの高度が第３高さ範囲で使用される第３高さモードと、前記モバイルプラットフォームの高度が第４高さ範囲で使用される第４高さモードとを有し、
    前記第２高さ範囲は、前記第１高さ範囲よりも高度が高く、
    前記第３高さ範囲は、前記第２高さ範囲よりも高度が高く、
    前記第４高さ範囲は、前記第３高さ範囲よりも高度が高く、
    前記第１高さモードは、単眼モードを使用する動作モードであり、
    前記第２高さモードは、第１の解像度を有する双眼モードを使用する動作モードであり、
    前記第３高さモードは、前記第１の解像度よりも高い第２の解像度を有する双眼モードを使用する動作モードであり、
    前記第４高さモードは、単眼モードを使用する動作モードである、装置。

Images