JP7753164B2 - 推定装置、推定方法及びプログラム - Google Patents

Description

本発明の実施形態は推定装置、推定方法及びプログラムに関する。

ドローンのような自律移動ロボットなどの移動体の運動推定に関する技術が従来から知られている。例えば自律移動ロボットにおいて、運動推定は重要課題のひとつである。単眼カメラを用いて運動推定を行う場合、自己位置（位置及び姿勢）と３次元点とを同時に推定する単眼ＳＬＡＭ（Ｍｏｎｏｃｕｌａｒ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）技術が一般的に用いられる。

特表２０１６－５２６３１３号公報

ＯＲＢ－ＳＬＡＭ、［ｏｎｌｉｎｅ］、［令和４年６月２１日検索］、インターネット〈ＵＲＬ：ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１５０２．００９５６〉

しかしながら従来の技術では、単眼ＳＬＡＭによるドローンのような自律移動ロボットなどの移動体の運動推定精度を向上させることが難しかった。

実施形態の推定装置は、推定部と制御部とＳＬＡＭ部とを備える。推定部は、移動体に搭載された単眼カメラにより取得された複数の第１の単眼画像から、前記移動体の運動が、その場回転であるか否かを推定する。制御部は、前記移動体の運動が、その場回転である場合、前記単眼カメラを並進させる並進量を決定する。ＳＬＡＭ部は、前記複数の第１の単眼画像と、前記並進量に基づき並進させた前記単眼カメラに取得された第２の単眼画像とから、単眼ＳＬＡＭ（Ｍｏｎｏｃｕｌａｒ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）によって、前記単眼カメラの位置及び姿勢の少なくとも一方と、前記単眼カメラの被写体の３次元点とを推定する。

第１実施形態の自律移動ロボット及び目的地までの移動例を示す俯瞰図。 単眼ＳＬＡＭによる３次元点の推定処理の例について説明するための図。 オプティカルフローの例について説明するための図。 オプティカルフローから、その場回転と並進との区別がつかない例１を示す図。 オプティカルフローから、その場回転と並進との区別がつかない例２を示す図。 ３次元点を推定できる場合の例１を示す図。 ３次元点の推定に失敗する場合の例１を示す図。 ３次元点を推定できる場合の例２を示す図。 ３次元点の推定に失敗する場合の例２を示す図。 その場回転が必要な状況の例を示す俯瞰図。 有限の奥行きで推定された３次元点に基づく並進の推定方法の例について説明するための図。 第１実施形態の推定装置の機能構成の例を示す図。 単眼カメラを水平横方向に４０ｃｍ並進させたときのオプティカルフローの例を示す図。 単眼カメラを水平横方向に４０ｃｍ並進させたときの３次元点の奥行きの例を示す図。 単眼カメラをｙａｗのみ１．５ｄｅｇｒｅｅその場回転したときのオプティカルフローの例を示す図。 単眼カメラをｙａｗのみ１．５ｄｅｇｒｅｅその場回転しときの３次元点の奥行きの例を示す図。 第１実施形態の推定方法の例を示すフローチャート。 第２実施形態の推定装置の機能構成の例を示す図。 第２実施形態の移動部の例を示す図。 第１及び第２実施形態の推定装置のハードウェア構成の例を示す図。

以下に添付図面を参照して、推定装置、推定方法及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
第１実施形態では、次のような自律移動ロボット（移動体の一例）に搭載される推定装置を例にして説明する。

・自律移動ロボットは、目的地を与えられそこに移動しているとする。
・自律移動ロボットがどこを通るかは、障害物の状況に応じて、走行中に変わるものとする。
・自律移動ロボットの例としてドローンが挙げられる。ドローンが目的地を与えられそこに移動している例を図１に示す。

図１は、第１実施形態の自律移動ロボット１００及び目的地までの移動例を示す俯瞰図である。図１の例では、自律移動ロボット１００が、単眼カメラ１が搭載されたドローンである場合を示す。図１の例は、与えられた目的地までの経路が左右を壁に囲まれた狭い空間である場合を示す。

第１実施形態では、単眼ＳＬＡＭを用いて運動推定を行う場合について説明する。単眼ＳＬＡＭは、同じ対象物（例えば、３次元空間上にある被写体のコーナー点など）が画像上で映っている位置に基づいて、自己位置と周囲環境の３次元点を推定する技術である。例として、運動推定に２フレームを用いる場合を図２に示す。

図２は単眼ＳＬＡＭによる３次元点１０４の推定処理の例について説明するための図である。図２では、過去フレーム１０１ａの画像上と、現在フレーム１０１ｂの画像上から、例えばＳｈｉ－Ｔｏｍａｓｉのコーナー点検出を用いて、被写体１０２のコーナー点が検出される。なお、被写体１０２は任意でよい。本実施形態では、被写体１０２のコーナー点などの特徴となるような画像上の位置を、特徴点１０３という。

特徴点１０３検出後、過去フレーム１０１ａの特徴点１０３と、現在フレーム１０１ｂの特徴点１０３との間で類似している特徴点ペアを見つける。これらの特徴点ペアは、対応関係にあるとする。単眼ＳＬＡＭでは、特徴点ペアの対応関係に基づいて３次元点１０４を推定する。また、単眼カメラ１の自己位置１０５の推定は、推定された３次元点１０４に基づいて行われる（詳細は後述の図８参照）。

単眼ＳＬＡＭは、回転のみ運動（本実施形態では、「その場回転（ｐｕｒｅ ｒｏｔａｔｉｏｎ）」という。）をすると、問題が発生する。まず、オプティカルフローについて説明する。

図３はオプティカルフロー１０６の例について説明するための図である。オプティカルフロー１０６は、各フレーム１０１で対応関係にある特徴点１０３の動きを示すベクトルである。オプティカルフロー１０６は、単眼カメラ１の自己位置１０５の推定に用いられる。

図４Ａは、オプティカルフロー１０６から、その場回転と並進との区別がつかない例１を示す図である。図４Ｂは、オプティカルフロー１０６から、その場回転と並進との区別がつかない例２を示す図である。まず、運動推定開始時（推定された３次元点１０４が無く、単眼カメラ１の自己位置１０５もわかっていない段階）の問題について説明する。

運動推定開始時の運動推定は、一般的な手法として、５点アルゴリズム等を用いて行われる。５点アルゴリズムでは、５つのオプティカルフロー１０６の入力に基づき、運動推定開始時の単眼カメラ１の動き（すなわち自己位置）が推定される。

しかし、図４Ａ及び４Ｂに示すように、オプティカルフロー１０６だけでは、回転と並進との区別がつかない場合がある。図４Ａ及び４Ｂは、オプティカルフロー１０６がほぼ同じ向きでほぼ同じ長さである場合に運動推定する例である。

図４Ａの例では、被写体１０２の各３次元点１０４と単眼カメラ１との距離が異なる場合の、その場回転（右周り）と、被写体１０２の各３次元点１０４と単眼カメラ１との距離が概ね同じ場合の、並進（右移動）との区別がつかない場合を示す。

図４Ｂの例では、被写体１０２の各３次元点１０４と単眼カメラ１との距離が同じ場合の、その場回転（右周り）と、被写体１０２の各３次元点１０４と単眼カメラ１との距離が概ね同じ場合の、並進（右移動）との区別がつかない場合を示す。

図４Ａ及び４Ｂで示すように、その場回転している場合と、被写体１０２と単眼カメラ１との距離がほぼ一定で、並進運動している場合との区別がつかない。オプティカルフロー１０６を用いた運動推定において、上述した区別のつかないオプティカルフロー１０６を基に推定すると、回転と並進の両方の推定を誤る場合がある。したがって、運動推定開始時に、単眼カメラ１が搭載された自律移動ロボット１００が、その場回転すると、運動推定の精度が劣化する。

次に、運動推定継続時（推定された３次元点１０４が有り、過去フレーム１０１ａの単眼カメラ１の自己位置１０５もわかっている段階）の問題について説明する。

図５Ａは３次元点１０４を推定できる場合の例を示す図である。図５Ｂは３次元点１０４の推定に失敗する場合の例を示す図である。図５Ａ及び５Ｂ中の光軸の位置は、実際の単眼カメラ１の光軸の位置である。

運動推定継続時に、単眼カメラ１が十分なベースラインを取るように動く場合（図５Ａ）に比べて、単眼カメラ１がその場回転すると、図５Ｂに示すように、ベースラインが小さくなる。ベースラインが小さい状況で３次元点１０４の３次元位置の推定を行うと、図５Ｂのように誤った奥行き（無限遠方）が推定されてしまうことがある。

図６Ａは３次元点１０４を推定できる場合の例２を示す図である。図６Ｂは３次元点１０４の推定に失敗する場合の例２を示す図である。図６Ａ及び６Ｂ中の光軸の位置は、実際の単眼カメラ１の光軸の位置である。その場回転後、有限の奥行き（図５Ａに示すように、ベースラインが大きい状況で推定した３次元点の３次元位置）で推定された３次元点１０４が無い場合がある。推定する運動のうち特に並進においては、図６Ａのように、有限の奥行きで推定された３次元点１０４が必要である。したがって、このような有限の奥行きで推定された３次元点１０４がない場合（図６Ｂ）、正しい並進運動を推定できなくなってしまう。

図７は、その場回転が必要な状況の例を示す俯瞰図である。図７の例では、単眼カメラ１が搭載された自律移動ロボット１００が、前方の壁まで並進した後、曲がり角で右に９０度回転するまで、その場回転が継続する場合を示す。このように、自律移動ロボット１００は、障害物の状況に応じて、その場回転する場合がある。上述の問題により、その場回転後、自律移動ロボット１００の運動推定に失敗する。

例えば特許文献１などの従来の技術では、運動推定継続時に、その場回転し続ける場合（例えば、１８０度続く場合）、被写体１０２の３次元点１０４のほとんどが無限遠方の３次元点１０４となり、正しい並進運動を推定できなくなってしまう。

ここで、有限の奥行きで推定された３次元点１０４に基づく並進の推定方法の例について説明する。

図８は、有限の奥行きで推定された３次元点１０４に基づく並進の推定方法の例について説明するための図である。有限の奥行きで推定された３次元点１０４が得られている場合に、例えば、図８に示すように、単眼ＳＬＡＭを用いて、単眼カメラ１の自己位置１０５をリアルタイムで推定しているとする。まず、特徴点１０３ペアの対応関係に基づいて有限の奥行きで推定された３次元点１０４が推定される。次に、有限の奥行きで推定された３次元点１０４が、現在のカメラ画像上の点１０７に投影される。最後に、投影された点１０７が示す位置と、特徴点１０３ペアの対応関係にある画像上の位置との差が最小になるように、単眼カメラ１の位置と姿勢（回転）とが最適化される。

ここで、有限の奥行きの３次元点１０４は並進と回転を、無限遠方の３次元点１０４は回転のみを最適化するための運動推定の入力として使われる。最適化時に入力される３次元点１０４のうち、有限の奥行きで推定された３次元点１０４が数点ある場合は、例えば、有限の奥行きで推定された３次元点１０４だけを用いることで、並進の推定ができる。一般的には、入力する３次元点１０４の数が多い程、運動推定の精度が良くなる。したがって、有限の奥行きで推定された３次元点１０４が多ければ多い程、並進の推定の精度の向上が期待できる。反対に、運動推定時に用いる有限の奥行きで推定された３次元点１０４が少ないほど、並進の推定精度が劣化し、有限の奥行きで推定された３次元点１０４が無い場合、並進の推定ができない。

上述したように、自律移動ロボット１００の運動推定開始時及び運動推定継続時に以下の課題がある。

＜運動推定開始時＞
運動推定開始時において、オプティカルフロー１０６がほぼ同じ向きでほぼ同じ長さとなる場合がある。この場合、上述の図４Ａ及び４Ｂに示すように、回転と並進の区別がつかないため、運動推定開始時に運動推定の精度が劣化する。

＜運動推定継続時＞
運動推定継続時であっても、その場回転し続ける場合（例えば、１８０度続く場合）、被写体１０２の３次元点１０４のほとんどが無限遠方の３次元点１０４となってしまう。したがって、その場回転が継続すると、並進の推定の精度が劣化する。

以下、上記のような場合であっても、自律移動ロボット１００の運動の推定精度を向上させることができる推定装置の実施形態について説明する。

上記課題を解決するために、第１実施形態の推定装置１０は、単眼カメラ１の運動が、その場回転の場合は、十分なベースラインになるように、自律移動ロボット１００（単眼カメラ１）を並進させ、運動推定精度の劣化、または運動推定の失敗が発生しないようにする。

ここで、第１実施形態の説明における推定精度の劣化と失敗の定義はそれぞれ以下である。また、運動推定の精度の劣化と失敗の具体例をその次に示す。

「推定精度の劣化」とは、推定結果と真値との差が大きいこと（所定の閾値より大きいこと）である。「推定の失敗」とは、推定装置１０によって実行される運動推定に使用されるデータが無いため、推定ができないことである。

「運動推定精度の劣化」の具体例
・運動推定開始時に、オプティカルフロー１０６だけでは、回転と並進の区別がつかない場合があり、回転と並進の両方の推定の精度が劣化する。
・その場回転が継続すると、最適化時に入力される３次元点１０４のうち、有限の奥行きで推定された３次元点１０４の数が減るため、並進の推定精度が劣化する。

「運動推定の失敗」の具体例
・運動推定時に、推定された３次元点１０４の入力が無い場合（有限奥行の３次元点１０４と無限遠方の３次元点１０４の両方が運動推定の入力に使えない場合）、回転と並進の両方の推定ができない。
・運動推定時に、有限の奥行きで推定された３次元点１０４の入力が無い場合、並進の推定ができない。

第１実施形態の推定装置１０の特徴は以下である。
・その場回転時に、自律移動ロボット１００（単眼カメラ１）を並進させる。
・被写体１０２の距離に応じて、自律移動ロボット１００（単眼カメラ１）を並進させる量（ベースライン）を変える。被写体１０２までの距離が遠いほど、見え方の変化（視差）が小さい。単眼ＳＬＡＭは、見え方の変化に基づいて被写体１０２と単眼カメラ１との距離の情報を得るので、見え方の変化が小さいほど運動推定の精度がでない。
・オプティカルフロー１０６からその場回転を検出する。具体的には次の基準で判断する。オプティカルフロー１０６の長さに、ばらつきがある場合は、並進と判定する。オプティカルフロー１０６の長さに、ばらつきがない場合は、その場回転と判定する。

以下に、第１実施形態の推定装置１０の機能構成の例について詳細に説明する。第１実施形態の推定装置１０は、単眼カメラ１からリアルタイムに入力される単眼画像を基に自律移動ロボット１００の自己位置１０５（位置及び姿勢）と３次元点１０４を推定する。

［機能構成の例］
図９は第１実施形態の推定装置１０の機能構成の例を示す図である。第１実施形態の推定装置１０は、自律移動ロボット１００に接続される。推定装置１０は、自律移動ロボット１００に搭載される。なお、推定装置１０を、単眼カメラ１以外の構成（ＳＬＡＭ部２、推定部３及び制御部４）を含むサーバ装置とし、当該サーバ装置が無線ネットワークなどによって遠隔から自律移動ロボット１００に接続されてもよい。

第１実施形態の推定装置１０は、単眼カメラ１、ＳＬＡＭ部２、推定部３及び制御部４を備える。

単眼カメラ１は、自律移動ロボット１００に搭載され、リアルタイムに単眼画像を取得する。自律移動ロボット１００は、例えば、ドローンである。自律移動ロボット１００は、与えられた目的地に移動することができるロボットである。また、自律移動ロボットの移動経路は、ＳＬＡＭ部２により推定された障害物の状況に応じて、走行中に変えることができる。

ＳＬＡＭ部２は、単眼カメラ１で取得された単眼画像から、ＳＬＡＭ技術により、単眼カメラ１（自律移動ロボット１００）の自己位置１０５と、被写体１０２の３次元点１０４とを推定する。ＳＬＡＭ技術としては、例えば、非特許文献１及びＰＴＡＭ（Ｐａｒａｌｌｅｌ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ）等が利用できる。ＰＴＡＭは特徴点の対応関係からカメラポーズを推定する単眼ＳＬＡＭである。

推定部３は、被写体１０２の特徴点の動きを示すオプティカルフロー１０６から、自律移動ロボット１００の運動が、その場回転であるか否かを推定する。例えば、推定部３は、オプティカルフローの長さに、ばらつきがある場合（長さのばらつきが閾値以上の場合）、並進と推定する。また例えば、推定部３は、オプティカルフローの長さに、ばらつきがない場合（長さのばらつきが閾値未満の場合）、その場回転と推定する。

ただし、上述の図４Ａ及び４Ｂに示すように、オプティカルフロー１０６がほぼ同じ向きで、ほぼ同じ長さである場合に並進と回転の区別がつかないことがある。このような場合に、第１実施形態の推定部３は、その場回転と推定しても問題ない。なぜなら、その場回転と推定された時に、自律移動ロボット１００（単眼カメラ１）を並進させることによって、単眼カメラ１をベースラインが取れるように動かしても、新規の３次元点１０４が増えるだけだからである。したがって、第１実施形態の推定部３では、オプティカルフロー１０６の長さに、ばらつきがない場合は、その場回転と推定する。

制御部４は、単眼カメラ１が搭載された自律移動ロボット１００を並進させる。例えば、図１の例では、水平左右方向は壁が近いため、並進させる方向は、垂直上下方向である。並進させる量（並進量）は、制御部４によって決定される。

例えば、制御部４は、単眼カメラ１を並進させる量ｂ（ベースライン）を、下記式（１）及び（２）で求める。

＜運動推定開始時＞
ｂ＝移動可能領域の上限 ・・・（１）
＜運動推定継続時＞
ｂ＝Ｆ（ｄ） ・・・（２）
ただし、Ｆ（ｄ）が移動可能領域を超える場合、ｂは移動可能領域の上限に設定される。

ここで、ｄは、単眼カメラ１と被写体１０２との距離であり、Ｆは、単眼カメラ１を並進させる量を決める関数である。

すなわち、制御部４は、運動の推定開始時に、単眼カメラ１の移動可能領域の上限を決定し、運動の推定継続時に、並進量ｂを、被写体１０２との距離に応じて上限以下の範囲で決定する。

制御部４は、単眼カメラ１を並進させる場合、自律移動ロボット１００を所定の方向に並進させることによって、単眼カメラ１を並進させる。制御部４は、運動の推定開始時に、単眼カメラ１の移動可能領域の上限に基づき、当該上限がより大きい方向を所定の方向に決定する。例えば、移動可能領域は、図１の例では、地面から天井までの高さである。

例えば、距離ｄは、自律移動ロボット１００又は推定装置１０に超音波センサが備えられている場合は、超音波センサにより取得された３次元点１０４の奥行きの統計量（例えば、平均値や中央値）でもよい。また例えば、距離ｄは、特定の歩行者や対向車などの注目されるオブジェクトの奥行きの統計量でもよい。注目されるオブジェクトの検出は、推定部３が、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの機械学習手法により得られたニューラルネットワークを用いることで実現可能である。

距離ｄが大きいほど、見え方の変化が小さいので、単眼カメラ１が搭載された自律移動ロボット１００を大きく並進させなければ、運動推定の精度がでない。したがって、距離ｄが大きいほど、単眼カメラ１が搭載された自律移動ロボット１００を大きく並進させる。つまりＦは、距離ｄが大きいほど、ｂ＝Ｆ（ｄ）も大きくなるような関数とする。

ここで、距離ｄが大きいほど、単眼カメラ１が搭載された自律移動ロボット１００を大きく並進させなければ、見え方の変化が小さい理由を示す。単眼カメラ１の焦点距離（定数）をｆ、見え方の変化（視差）をｓとすると、ｄ、ｂ、ｓ及びｆには次の関係がある。
ｄ＝ｂ×（ｆ／ｓ） ・・・（３）

式（４）を変形すると、下記式（４）が得られる。
ｓ＝ｆ×（ｂ／ｄ） ・・・（４）

したがって、式（４）より、距離ｄが大きいほど、並進量（ベースライン）ｂが大きくなるように、単眼カメラ１が搭載された自律移動ロボット１００を並進させないと、視差ｓすなわち見え方の変化が小さくなってしまう。

次に、自律移動ロボット１００（単眼カメラ１）が、並進運動した場合のオプティカルフロー１０６のシミュレーション結果の一例と、その場回転運動した場合に発生するオプティカルフロー１０６のシミュレーション結果の一例を示す。

図１０Ａは単眼カメラ１を水平横方向に４０ｃｍ並進させたときのオプティカルフロー１０６の例を示す図である。図１０Ｂは単眼カメラ１を水平横方向に４０ｃｍ並進させたときの３次元点１０４の奥行きの例を示す図である。

図１１Ａは単眼カメラ１をｙａｗのみ１．５ｄｅｇｒｅｅその場回転したときのオプティカルフロー１０６の例を示す図である。図１１Ｂは単眼カメラ１をｙａｗのみ１．５ｄｅｇｒｅｅその場回転しときの３次元点１０４の奥行きの例を示す図である。

図１０Ａ及び図１１Ａのｎｕｍｂｅｒ ｏｆ ｖａｌｉｄ ｆｌｏｗはオプティカルフロー１０６のサンプル数である。ｆｌｏｗ ｌｅｎｇｔｈはオプティカルフロー１０６の長さの統計量（最大値、最小値及び平均値）である。図１１Ａのｆｌｏｗ ｌｅｎｇｔｈの最大値、最小値及び平均値の差は、図１０Ａのｆｌｏｗ ｌｅｎｇｔｈの最大値、最小値及び平均値の差より小さい。

最小値、最大値及び平均値に差があることはオプティカルフロー１０６にばらつきがあることを意味する。ここで、ばらつきとは、オプティカルフロー１０６のベクトルの長さが、画像内の奥行き（手前及び奥）で差があることを意味する。例えば、推定部３は、オプティカルフロー１０６のｆｌｏｗ ｌｅｎｇｔｈの分散値を計算し、分散値と、自律移動ロボット１００の動作環境等に応じてあらかじめ適切な値に設定された閾値とを用いて、ばらつきの大きさを判定する。

具体的には、推定部３は、例えばｆｌｏｗ ｌｅｎｇｔｈの分散値が、閾値以上である場合は、ばらつきが大きいと判定する（並進と推定）。また、推定部３は、ｆｌｏｗ ｌｅｎｇｔｈの分散値が、閾値未満である場合は、ばらつきが小さいと判定する（その場回転と推定）。

なお、推定装置１０には、複数の単眼カメラ１が備えられていてもよい。例えば、性能の異なる複数の単眼カメラ１が備えられている場合、任意の単眼カメラ１により撮像された単眼画像が推定処理に用いられてよい。

［推定方法の例］
図１２は第１実施形態の推定方法の例を示すフローチャートである。図１２の例は、自律移動ロボット１００の運動が、その場回転であることが推定された場合のフローチャートを示す。

はじめに、推定部３が、自律移動ロボット１００（移動体の一例）に搭載された単眼カメラ１により取得された複数の第１の単眼画像から、自律移動ロボット１００の運動が、その場回転であることを推定する（ステップＳ１１）。

次に、ステップＳ１１の処理によって、自律移動ロボット１００の運動が、その場回転であると推定された場合、制御部４が、単眼カメラ１を並進させる並進量を決定する（ステップＳ１２）。

次に、ＳＬＡＭ部２が、複数の第１の単眼画像と、ステップＳ１２の処理により決定された並進量に基づき並進させた単眼カメラ１に取得された第２の単眼画像とから、単眼ＳＬＡＭによって、単眼カメラ１の位置及び姿勢と、単眼カメラ１の被写体１０２の３次元点１０４とを推定する（ステップＳ１３）。

なお、ステップＳ１３において、単眼カメラ１の位置及び姿勢の推定は、単眼カメラ１の位置及び姿勢の少なくとも一方の推定であってもよい。例えば、単眼カメラ１の位置のみの推定結果が利用されてもよい。

これにより第１実施形態の推定装置１０によれば、単眼ＳＬＡＭによる自律移動ロボット１００（移動体の一例）の運動推定精度を向上させることができる。具体的には、第１実施形態の推定装置１０では、例えば下記（１）～（３）の効果が得られる。

（１）その場回転時に、単眼カメラ１を並進させることによる効果
・運動推定開始時にその場回転する場合でも、十分なベースラインが取れるようになるため、有限の奥行きの３次元点１０４が得られる。これにより運動推定精度の劣化、または運動推定の失敗を防ぐことができる。
・その場回転し続ける（例えば、１８０度続く場合）場合でも、十分なベースラインが取れるため、有限の奥行きの３次元点１０４が得られる。これにより運動推定精度の劣化、または運動推定の失敗を防ぐことができる。

（２）被写体１０２の距離に応じて、並進させる量を変えることによる効果
・被写体１０２の距離に対して、単眼カメラ１を並進させる量が小さいと、運動推定の精度や、３次元点の推定精度が劣化することがある。第１実施形態の推定装置１０は、被写体１０２が遠いほどベースラインが大きくなるように、単眼カメラ１を並進させる量を大きくする（被写体１０２の距離に応じて、単眼カメラ１を並進させる量を変える）ことにより、運動推定精度の劣化を防ぐことができる。
・遠方の被写体１０２に対応するため、無条件に、単眼カメラ１を大きく並進させる場合と比較して、単眼カメラ１を並進させる量を削減できる。

（３）オプティカルフローのばらつきからその場回転を検出することによる効果
・運動推定の履歴を用いないので、運動推定開始時でもその場回転か否かを検出できる（開始時は運動推定の履歴が無い）。
・その場回転か否かを単眼カメラ１のみで検出できる。その場回転検出用にＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などを必要としていたアプリケーションにおいても、単眼カメラ１以外のセンサを取り付けなくても良くなるため、製品コストを削減できる。
・ドローンなどの長時間動かすことが想定されるような自律移動ロボット１００の場合、ＩＭＵを用いたその場回転検出方法に課題が生じる。具体的には、ＩＭＵから回転運動と並進運動とが推定される場合、速度の推定に誤差が蓄積し、その場回転の推定精度が著しく劣化する課題である。第１実施形態の推定装置１０によるその場回転検出方法であれば、このような課題が発生しない。以下、加速度にのる誤差が蓄積する具体例を述べる。ある時刻に初速が与えられるとする。また、ある時刻以降の速度を求めるために、加速度から速度を積分し続けるとする。このとき、ＩＭＵから取得できる加速度に誤差がのっている場合、積分するたびに、加速度の誤差が速度に蓄積する。したがって、速度にのる誤差の量は、時間経過に伴い大きくなっていく。

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

［機能構成の例］
図１３は第２実施形態の推定装置１０－２の機能構成の例を示す図である。第２実施形態の推定装置１０－２は、単眼カメラ１、ＳＬＡＭ部２、推定部３、制御部４及び移動部５を備える。第１実施形態の構成との違いは、移動部５を更に備えていることである。

移動部５は、制御部４により決定された並進量ｂ（ベースライン）に基づき、自律移動ロボット１００に搭載された単眼カメラ１の位置を、並進移動させることによって変更する。

図１４は第２実施形態の移動部５の例を示す図である。第２実施形態の自律移動ロボット１００は、例えば、産業用ロボット及び自動車などである。移動部５は、例えば図１４のように、単眼カメラ１を並進させる。図１４の例では、単眼カメラ１の可動域が、第１実施形態の移動可能領域の上限（式（１））に対応する。図１４の例では、単眼カメラ１を並進させる方向は、カメラの光軸方向に対して垂直方向である。並進量ｂ（ベースライン）は、制御部４により決定される。

以上説明したように、第２実施形態の推定装置１０－２は、並進量に基づき、産業用ロボット及び自動車などの移動体に搭載された単眼カメラ１の位置を、並進移動させる移動部５を更に備える。制御部４は、単眼カメラ１を並進させる場合、移動部５を制御することによって単眼カメラ１を並進させる。

これにより第２実施形態の推定装置１０－２によれば、第１実施形態の推定装置１０と同様の効果が得られる。

最後に、第１及び第２実施形態の推定装置１０（１０－２）のハードウェア構成の例について説明する。第１及び第２実施形態の推定装置１０（１０－２）は、例えば、任意のコンピュータ装置を基本ハードウェアとして用いることで実現できる。

［ハードウェア構成の例］
図１５は第１及び第２実施形態の推定装置１０（１０－２）のハードウェア構成の例を示す図である。第１及び第２実施形態の推定装置１０（１０－２）は、プロセッサ２０１、主記憶装置２０２、補助記憶装置２０３、表示装置２０４、入力装置２０５及び通信装置２０６を備える。プロセッサ２０１、主記憶装置２０２、補助記憶装置２０３、表示装置２０４、入力装置２０５及び通信装置２０６は、バス２１０を介して接続されている。

なお、推定装置１０（１０－２）は、上記構成の一部が備えられていなくてもよい。例えば、推定装置１０（１０－２）が、外部の装置の入力機能及び表示機能を利用可能な場合、推定装置１０（１０－２）に表示装置２０４及び入力装置２０５が備えられていなくてもよい。

プロセッサ２０１は、補助記憶装置２０３から主記憶装置２０２に読み出されたプログラムを実行する。主記憶装置２０２は、ＲＯＭ及びＲＡＭ等のメモリである。補助記憶装置２０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びメモリカード等である。

表示装置２０４は、例えば液晶ディスプレイ等である。入力装置２０５は、推定装置１０（１０－２）を操作するためのインタフェースである。なお、表示装置２０４及び入力装置２０５は、表示機能と入力機能とを有するタッチパネル等により実現されていてもよい。通信装置２０６は、他の装置と通信するためのインタフェースである。

例えば、推定装置１０（１０－２）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルで、メモリカード、ハードディスク、ＣＤ－ＲＷ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＡＭ及びＤＶＤ－Ｒ等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

また例えば、推定装置１０（１０－２）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

また例えば、推定装置１０（１０－２）で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。具体的には、例えばＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ）型のクラウドサービスによって、推定処理を実行する構成としてもよい。

また例えば、推定装置１０（１０－２）のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

推定装置１０（１０－２）で実行されるプログラムは、上述の機能構成のうち、プログラムによっても実現可能な機能を含むモジュール構成となっている。当該各機能は、実際のハードウェアとしては、プロセッサ２０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置２０２上にロードされる。すなわち上記各機能ブロックは主記憶装置２０２上に生成される。

なお上述した各機能の一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 単眼カメラ
２ ＳＬＡＭ部
３ 推定部
４ 制御部
５ 移動部
１０ 推定装置
１００ 自律移動ロボット
２０１ プロセッサ
２０２ 主記憶装置
２０３ 補助記憶装置
２０４ 表示装置
２０５ 入力装置
２０６ 通信装置
２１０ バス

Claims (8)

1. 移動体に搭載された単眼カメラにより取得された複数の第１の単眼画像から、前記移動体の運動が、その場回転であるか否かを推定する推定部と、
   前記移動体の運動が、前記単眼カメラの被写体の特徴点の動きを示すオプティカルフローから、その場回転であると推定される場合、前記単眼カメラを並進させる並進量を決定する制御部と、
   前記複数の第１の単眼画像と、前記並進量に基づき並進させた前記単眼カメラに取得された第２の単眼画像とから、単眼ＳＬＡＭ（Ｍｏｎｏｃｕｌａｒ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）によって、前記単眼カメラの位置及び姿勢の少なくとも一方と、前記単眼カメラの被写体の３次元点とを推定するＳＬＡＭ部と、を備え、
   前記推定部は、前記オプティカルフローの長さのばらつきを、前記オプティカルフローの長さの分散値により特定し、前記分散値が閾値未満の場合、前記運動が、その場回転であると推定する、
   推定装置。
2. 前記制御部は、前記運動の推定開始時に、前記単眼カメラの移動可能領域の上限を決定し、前記運動の推定継続時に、前記並進量を、前記被写体との距離に応じて前記上限以下の範囲で決定する、
   請求項１に記載の推定装置。
3. 前記制御部は、前記単眼カメラを並進させる場合、前記移動体を所定の方向に並進させることによって、前記単眼カメラを並進させる、
   請求項２に記載の推定装置。
4. 前記制御部は、前記運動の推定開始時に、前記単眼カメラの移動可能領域の上限に基づき、前記上限がより大きい方向を前記所定の方向に決定する、
   請求項３に記載の推定装置。
5. 前記並進量に基づき、前記移動体に搭載された単眼カメラの位置を、並進移動させる移動部を更に備え、
   前記制御部は、前記単眼カメラを並進させる場合、前記移動部を制御することによって前記単眼カメラを並進させる、
   請求項２に記載の推定装置。
6. 前記推定部は、前記分散値が閾値以上の場合、前記運動が並進であると推定する、
   請求項１に記載の推定装置。
7. 推定装置が、移動体に搭載された単眼カメラにより取得された複数の第１の単眼画像から、前記移動体の運動が、その場回転であるか否かを推定するステップと、
   前記推定装置が、前記移動体の運動が、前記単眼カメラの被写体の特徴点の動きを示すオプティカルフローから、その場回転であると推定される場合、前記単眼カメラを並進させる並進量を決定するステップと、
   前記推定装置が、前記複数の第１の単眼画像と、前記並進量に基づき並進させた前記単眼カメラに取得された第２の単眼画像とから、単眼ＳＬＡＭ（Ｍｏｎｏｃｕｌａｒ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）によって、前記単眼カメラの位置及び姿勢の少なくとも一方と、前記単眼カメラの被写体の３次元点とを推定するステップと、を含み、
   前記その場回転であるか否かを推定するステップは、前記オプティカルフローの長さのばらつきを、前記オプティカルフローの長さの分散値により特定するステップと、
   前記分散値が閾値未満の場合、前記運動が、その場回転であると推定するステップと、
   を含む推定方法。
8. コンピュータを、
   移動体に搭載された単眼カメラにより取得された複数の第１の単眼画像から、前記移動体の運動が、その場回転であるか否かを推定する推定部と、
   前記移動体の運動が、前記単眼カメラの被写体の特徴点の動きを示すオプティカルフローから、その場回転であると推定される場合、前記単眼カメラを並進させる並進量を決定する制御部と、
   前記複数の第１の単眼画像と、前記並進量に基づき並進させた前記単眼カメラに取得された第２の単眼画像とから、単眼ＳＬＡＭ（Ｍｏｎｏｃｕｌａｒ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）によって、前記単眼カメラの位置及び姿勢の少なくとも一方と、前記単眼カメラの被写体の３次元点とを推定するＳＬＡＭ部、として機能させ、
   前記推定部は、前記オプティカルフローの長さのばらつきを、前記オプティカルフローの長さの分散値により特定し、前記分散値が閾値未満の場合、前記運動が、その場回転であると推定する、
   プログラム。