JP6845790B2 - 位置推定装置、位置推定方法及び端末装置 - Google Patents

Description

本発明の実施形態は、位置推定装置、位置推定方法及び端末装置に関する。

物体の位置を推定する技術として、カメラ画像を用いるものや無線通信を用いるものが広く研究されている。カメラを用いる方法は、物体までの距離測定精度が高く、また、複数のカメラを用いることにより、物体の２次元及び３次元の位置を推定することができる。一方で、カメラから遠くにある物体については測定しづらく、また、状況によっては画像処理によっても物体を把握できないことがあると言った欠点もある。無線通信を用いる方法は、広いエリアに亘り物体の位置が推定でき、通信内容から当該物体のＩＤ（Identifier）を検知し、物体を識別することができる。一方で、無線伝搬路における減衰、反射、回折の影響や、無線回路の歪み等の影響により誤差が大きくなることがあり、必ずしも高精度な位置推定を行うことができないという欠点がある。

これを解決するために、無線通信とカメラ画像を併用した位置推定技術が開発されている。例えば、ＧＰＳ（Global Positioning System）受信器とカメラを具備した移動体が、自己位置を高精度に検出する。ＧＰＳが受信可能な場所ではＧＰＳによって位置を推定し、ＧＰＳが受信できない場所ではカメラ画像によって移動量を把握することで自己位置を推定する。しかしながら、従来の手法だと、無線（ＧＰＳ）が受信できる場所では無線による位置推定結果をそのまま利用しているため、無線に起因する推定誤差（伝搬路・雑音・同期誤差等に起因する誤差）を改善することはできない。また、無線としてＧＰＳのみを想定しているため、ＧＰＳが全く届かないエリアでは使用することが困難である。

特開２０１３−２４５９５０号公報

そこで、本発明の実施形態は、カメラと無線を併用し、無線に起因する位置推定精度の劣化を抑制する位置推定装置を提供する。

一実施形態によれば、位置推定装置は、受信部と、制御部と、を備える。受信部は、ターゲットから発信された無線を受信する。制御部は、撮影された情報である撮影情報を用いてターゲットの第１位置情報を推定し、前記第１位置情報及び受信した無線の情報である無線受信情報に基づいて、ターゲットの第２位置情報を推定する。

一実施形態に係る位置推定装置の構成を示す図。 一実施形態に係る位置推定部の機能を示すブロック図。 一実施形態に係る位置推定装置の動作を示すフローチャート。 一実施形態に係る位置推定装置の設置例を示す図。 一実施形態に係る位置推定部の別の例を示すブロック図。 一実施形態に係る位置推定装置の動作の別の例を示すフローチャート。 一実施形態に係る位置推定部のさらに別の例を示すブロック図。 一実施形態に係る位置推定装置の構成を示す図。 一実施形態に係るターゲット端末の機能を示すブロック図。

以下、図面を参照しながら実施形態について詳細に説明する。説明においては、位置推定の対象となる人又はものを「ターゲット」と呼ぶ。ターゲットは、例えば、電波を送受信できるスマートホン、タブレット又はビーコン等のターゲット端末を携帯（搭載）しているものとする。または、ターゲット端末そのものがターゲットであってもよい。

（第１実施形態）
本実施形態に係る位置推定装置は、カメラの撮影による位置推定及び無線による位置推定の双方を用いて、相補的にターゲットの位置推定の精度を向上させようとするものである。

図１は、本実施形態に係る位置推定装置１の構成例を示す図である。位置推定装置１は、位置推定部１０と、撮影部２０と、通信部３０と、を備え、ターゲット端末４０を備えるターゲットの位置を推定する。

図１においては、撮影部２０が１台と、通信部３０が通信部３０Ａ乃至通信部３０Ｄの４台ある構成となっているが、これらには限られず、適切に位置情報を取得できるのであれば任意の数で構わない。例えば、撮影部２０は、２台以上備えられていてもよいし、通信部３０は、１台、２台、３台、あるいは、５台以上備えられていてもよい。また、ターゲット端末４０の個数も１個には限られず、複数のターゲット端末４０が存在し、複数のターゲット端末４０の位置推定を同じタイミングで並行して、又は、異なるタイミングにおいて行うようにしてもよい。

なお、図１においては、位置推定部１０、撮影部２０及び通信部３０は、別々の構成とされているが、これらには限られず、一体として構成されていてもよい。あるいは、位置推定部１０の一部の機能を撮影部２０又は通信部３０に実装し、残りの機能を外部装置に実装しておいてもよい。さらに、位置推定装置１内に撮影部２０を備えている必要は無く、位置推定装置１とは別に設置されたカメラ等が撮影部２０を代替するものであってもよい。

例えば、複数の撮影部２０と複数の通信部３０を設置することにより、工場内において移動する車両又は作業車の位置を推定したり、ショッピングモール内で来客者の動線を追跡したり、又は、病院内で患者の動向をモニタリングしたりしてもよい。

撮影部２０は、例えば、カメラであり、所定の領域内の画像を撮影し、位置推定部１０へと出力する。撮影は、所定のタイミングごとにおこなわれてもよいし、別途備えられた手段によりターゲットが所定の領域内に存在すると感知した場合に撮影をするものであってもよい。また、動画を撮影して位置推定部１０へと出力するものであってもよい。

通信部３０は、少なくとも無線を受信する受信部を備え、ターゲット端末４０からの無線（例えば、電波）情報を受信する。無線情報とは、ターゲット端末４０の位置を推定するために使用可能なものであればどのようなものであってもよく、例えば受信電力、受信タイミング、受信方向等である。あるいは、これらの情報に加え、無線信号の復号結果や、無線信号のＥＶＭ（Error Vector Magnitude）、周波数スペクトルに関する情報等があってもよい。受信した情報は、位置推定部１０へと出力される。通信部３０は、この他に送信部を備えていてもよく、位置推定部１０が推定した情報を、ターゲット端末４０へと送信するようにしてもよい。

図２は、位置推定部１０の機能の一例を示すブロック図である。位置推定部１０は、第１推定部１２と、第２推定部１４と、を備える。また、図示しないが、これらの位置推定部を制御するための位置推定制御部が備えられていてもよい。また、位置推定装置１の各構成要素の機能を制御するための制御部が備えられていてもよい。すなわち、図示しない制御部が以下に説明する位置推定装置１の各種制御を行ってもよい。この制御部は、制御回路としてデジタル又はアナログの回路で構成されるプロセッサ上に実装されていてもよい。

第１推定部１２は、撮影部２０で撮影された情報に基づいて、第１位置情報を推定する。第１位置情報は、撮影部２０により撮影された画像から得られる位置情報であり、画像を解析することにより推定される。第１位置情報は、例えば、ターゲットまでの距離、方位、ターゲットの個数又はターゲットの座標等である。

第２推定部１４は、推定された第１位置情報及び通信部３０が受信したターゲットからの通信に基づいて、第２位置情報を推定する。第２位置情報は、このように、撮影部２０により撮影された画像及び通信部３０から受信したデータを解析することにより推定される。

この第２推定部１４は、学習部１４０と、算出部１４２と、を備える。学習部１４０は、第１位置情報に基づいて、通信部３０が受信した電波の状態からの位置推定の精度を向上させる学習を行う。この学習部１４０は、例えば、受信した電波から位置を推定するためのパラメタを学習により算出する。別の例としては、ニューラルネットワーク等のモデルを生成してもよい。

算出部１４２は、学習部１４０が学習したパラメタ又はモデルを用いて、第１位置情報及び通信部３０が受信した電波の状態から、第２位置情報を算出することにより推定し、出力する。出力先は、位置推定部１０の標準出力又は内部メモリであってもよいし、通信部３０から無線信号として送信し、位置推定結果をターゲット端末へと通知するようにしてもよい。

図３は、位置推定装置１の動作を示すフローチャートである。以下、このフローチャートを用いて位置推定装置１の動作を具体的に説明する。

まず、位置推定装置１は、ターゲット端末４０に関するデータを取得する（Ｓ１００）。ターゲット端末４０に関するデータとは、撮影部２０が撮影したターゲット端末４０の画像及び通信部３０が受信したターゲット端末４０から発信された電波の状態のデータである。

次に、第１推定部１２は、第１位置情報を推定する（Ｓ１０２）。第１位置情報は、例えば、撮影部２０が撮影した画像に写り込んだターゲット端末４０の画像内における位置及び大きさ等の情報に基づいて、ターゲット端末４０の位置を推定する。このアルゴリズムは、特に限定されるものではなく、画像から適切に位置を算出できるアルゴリズムであればよい。また、撮影部２０が複数備えられている場合には、複数の撮影部２０により撮影された画像を用いることにより、精度を向上させることも可能である。

次に、第２推定部１４は、第１位置情報が適切な位置情報として取得されているか否かを判断する（Ｓ１０４）。例えば、第１位置情報として、ターゲット端末４０までの距離や座標等の適切な結果が出力されている場合、撮影部２０が撮影した画像から高精度な位置推定が可能であると判断する。

別の例として、第１推定部１２が第１位置情報を推定する際に、ターゲット端末４０の画像との相関演算をしたり、ターゲット端末４０のシャープネス値を算出し、当該シャープネス値がしきい値を超えているか否かを判断したりすることにより、このＳ１０４の判断を行ってもよい。なお、撮影部２０が撮影するのは、ターゲット端末４０には限られず、ターゲット端末４０を携帯している人又はターゲット端末４０が掲載されているものの画像であってもよい。

第１位置情報として適切な位置情報が取得できていると判断された場合（Ｓ１０４：ＹＥＳ）、第１位置情報に基づいて、無線による位置推定処理に用いるパラメタ（以下、無線パラメタと呼ぶ）を学習する（Ｓ１０６）。この無線パラメタとは、無線通信の時間オフセット、伝搬路モデルの係数、又は、信号処理アルゴリズムで用いる係数等であり、これらのパラメタにより位置推定の精度が決定される。無線パラメタの学習についての詳細は、後述する。

次に、第１位置情報及び通信部３０が受信した電波の状態に基づいて、第２位置情報を推定する（Ｓ１０８）。Ｓ１０４において、第１位置情報として十分な精度が得られていると判断した場合には、この第１位置情報をそのまま第２位置情報として出力してもよいし、無線受信情報を用いて補正、演算処理をした結果を第２位置情報としてもよい。この補正、演算処理には、受信した電波の状態を加味してもよい。無線受信情報を用いた補正とは、撮影情報から推定された第１位置情報を、無線受信情報から推定された暫定的な位置情報に基づいて補正するものであればどのようなものであってもよく、例えば、撮影情報から推定された第１位置情報と、無線受信情報から推定された暫定的な位置情報とを、重み付け平均するような補正である。

一方、第１位置情報として適切な位置情報を取得できていないと判断した場合（Ｓ１０４：ＮＯ）、撮影部２０において適切にターゲット端末４０が検出できなかったと判断し、第２推定部１４において、無線ベースの位置推定を行う（Ｓ１１０）。第２推定部１４は、既に学習部１４０が学習した無線パラメタ、又は、あらかじめ保持している無線パラメタを用いて位置推定を行い、算出部１４２が第２位置情報を算出し、推定する。

このように、撮影部２０でターゲット端末４０を検知可能な場合は、画像ベースで位置推定を行いつつ、無線パラメタの学習を行う。撮影部２０がターゲット端末４０を検知できない場合、学習済みの無線パラメタ又はあらかじめ保持していた無線パラメタを用い、通信部３０が受信した無線情報に基づいて位置推定を行う。この結果、無線パラメタを適切に学習し、無線を用いた位置推定処理の精度を高めることが可能となる。

図４は、位置推定装置１が設置される別の例を示す図である。図１と異なり、障害物があり、撮影部２０でターゲット又はターゲット端末４０が撮影困難な位置がある場合を示す図である。この図４を用いて、位置推定の処理を具体的に説明する。

位置推定を行う領域内に、撮影部２０を遮蔽する遮蔽物５０がある場合について考える。このような場合、ターゲット端末４０が撮影部２０に対して遮蔽物５０の裏側に回り込んでしまうと、ターゲット端末４０を撮影することができなくなり、撮影した情報に基づいて距離の推定を行うことが困難となる。

ターゲット端末４０が撮影部２０から見通せる範囲内の経路４００を移動している場合には、撮影部２０でターゲット端末４０を認識することが可能であるため、撮影部２０の撮影情報を用いて第１位置推定を行うことが可能である。この第１位置推定を行うことが可能であるタイミングで、学習部１４０は、第２位置推定を行うための学習を行う。

一方で、ターゲット端末４０が撮影部２０から見通せない範囲である経路４０２を移動している場合には、上記において学習した無線パラメタを用い、通信部３０が受信した無線受信信号に基づいて、第２推定部１４の算出部１４２が第２位置情報を算出し、推定する。

このように、撮影部２０から撮影できる範囲内における第１位置情報の推定結果に基づき、学習部１４０が無線パラメタを学習しておくことにより、遮蔽物５０により撮影部２０が撮影できない範囲にターゲット端末４０が存在する場合にも、無線を用いた位置推定の精度を向上することが可能となる。これは、無線パラメタを学習するための教師データとして、カメラ等の撮影部２０による高精度な位置推定結果を用いることができるためである。

次に、無線による位置推定の方法及び無線パラメタの具体例をあげる。無線による位置推定手法としては、無線信号の到来時間を用いる方法、受信した電力を用いる方法、到来方向を用いる方法等がある。

到来時間を用いる場合、複数の通信部３０があるとして、ｉ番目の通信部３０におけるターゲット端末４０からの無線信号の到来時間ｔ_ｉは、以下の式で与えられる。

ここで、ｃは光速、ｄ_ｉは、ｉ番目の通信部３０とターゲット端末４０との距離であり、ΔＴ_ｉは、時間オフセットである。この式（１）を変形すると以下の式が得られる。

すなわち、時間オフセットΔＴ_ｉが十分に小さければ、無線信号の到来時間ｔ_ｉの観測によって、通信部３０のそれぞれと、ターゲット端末４０との間の距離ｄ_ｉを推定することができる。

この際、少なくとも３台の通信部３０との間で距離を推定することにより、三点測量の原理により、ターゲット端末４０の位置を算出し、推定することが可能である。

誤差推定の要因となり得るのは、式（１）における時間オフセットΔＴ_ｉである。時間オフセットは、ターゲット端末４０と、通信部３０それぞれとのクロックのずれ、伝搬路における反射、無線回路の歪等に起因して発生する誤差である。この時間オフセットの影響が大きいと、式（２）が成立しなくなり、位置推定の精度が劣化する。

本実施形態では、一例として、この時間オフセットを無線パラメタとして、撮影部２０による第１位置情報の推定結果を用いて学習を行う。経路４００のように、ターゲット端末４０が撮影部２０によって撮影できる領域内に存在する場合、カメラベースでの高精度な位置推定が可能であり、この第１位置情報の推定結果が［ｘ０，ｙ０］であったとする。以下、簡単のため、二次元座標系で説明するが三次元であっても同様である。

ｉ番目の通信部３０の座標を［ｘｉ，ｙｉ］とすると、ターゲット端末４０からｉ番目の無線局までの距離は以下のように近似できる。

式（１）及び式（３）より、誤差の要因となる時間オフセットΔＴ_ｉは、以下のように算出できる。

第１位置情報として推定された座標［ｘ０，ｙ０］と、通信部３０を介した受信時間情報ｔ_ｉとを取得するごとに、式（４）に基づいて通信部３０それぞれにおける時間オフセットの値を取得する。時間オフセットが取得できれば、式（２）で表されるターゲット端末４０までの距離を正確に算出することが可能であるため、距離に基づいて計算する位置推定の精度を向上することができる。

撮影部２０でターゲット端末４０を検出可能である場合、撮影部２０による撮影情報を用いた第１位置情報の推定を実行しつつ、無線パラメタである時間オフセットを推定する。撮影部２０でターゲット端末４０が検出できなくなった場合、それまでに推定した時間オフセットの値を用い、無線の到来時間に基づいた第２位置情報の推定をすることにより、高精度な位置推定が実現できる。

このような推定精度の向上効果は、カメラベースでの位置推定と、無線ベースでの位置推定を実行するときにおいて、その時間オフセットが共通である必要がある。時間オフセットは、ターゲット端末４０と通信部３０のハードウェアに起因する固定的な成分と、伝搬路に起因する変動成分が存在するため、必ずしも常に同じ値となる保証はない。しかしながら、少なくとも、固定成分の影響を軽減することが可能となる。

また、本実施形態では、カメラベースで位置推定をしている間は、時間オフセットを算出し続けるため、その時間変動や統計的な性質を学習することが可能である。このため、無線ベースで位置推定をする場合において、学習した統計的な性質を用いて時間オフセットの影響を軽減することもできる。ここで、統計的な性質とは、例えば、平均値、分散値等であってもよいし、無線パラメタの確率密度関数等であってもよい。

このようにすることにより、通信部３０間のクロックのずれをキャリブレーションする必要なく、時間オフセットの影響を軽減することが可能となる。

無線による位置推定手法の例として、到来時間による手法を説明したが、上述したように、受信電力による手法を用いてもよい。無線信号の受信電力は、自由空間内において以下のように定義できる。

ここで、Ｒ_ｉは、ｉ番目の通信部３０における受信電力、Ｐ_ｔｘは、ターゲット端末４０における送信電力、ｄ_ｉは、伝搬距離をそれぞれ表す。この式（５）を変形すると、以下の伝搬距離を得ることができる。

実際の位置推定環境は、必ずしも自由空間であるとは限られず、障害物等の影響により、式（６）は、成り立たないことが多い。そのため、位置推定の際には、変動パラメタαを導入し、以下のような形式に基づいて距離ｄ_ｉを定義してもよい

この変動パラメタαは、伝搬環境により定められるパラメタであり、このパラメタの設定値が正確であれば、伝搬距離の推定精度を向上し、正確な位置推定を実現することができる。

無線信号の受信電力を用いる位置推定を行う場合、式（７）のαを無線パラメタとして学習する。撮影部２０からターゲット端末４０が検出可能である場合には、式（３）に基づいて、距離ｄ_ｉが取得できるため、あらかじめ既知の送信電力Ｐ_ｔｘ及び受信電力の観測値Ｒ_ｉを用いて、式（７）により無線パラメタαを算出することが可能である。

撮影部２０から得られた情報に基づいて、第１推定部１２が第１位置情報を推定するごとに、無線パラメタαを計算し、その統計的な性質を学習する。撮影部２０がターゲット端末４０を検出できなくなった場合には、それまでに学習したαの値、又は、学習した統計的な性質を用いて、無線電力ベースで第２位置情報の推定を行うことにより、高精度な位置推定を実現することができる。また、ターゲット端末４０における送信電力Ｐ_ｔｘが未知の場合は、αに加えてＰ_ｔｘを無線パラメタとしてもよい。

さらに別の無線パラメタの例としては、通信部３０それぞれの信頼度を表す重み係数ｃ_ｉをパラメタとしてもよい。ｉ番目の通信部３０で観測された観測データをｏ_ｉとすると、ｉ番目の通信部３０と、ターゲット端末４０との距離ｄ_ｉは、次のように表される。

ここで、ｆ（・）は、観測データを距離に変換する関数である。観測データが伝搬時間であれば、式（２）に相当し、観測データが受信電力であれば、式（７）に相当する。第２項の１／ｃ_ｉは、観測誤差に相当し、信頼度を表す重み係数ｃ_ｉが大きいほど、誤差が小さくなる。

一例として、無線パラメタとして、この重み係数ｃ_ｉを学習してもよい。学習方法は、他のパラメタの場合と同様である。この重み係数を学習することにより、各通信部３０における観測値に重み付けをして位置推定処理を行う、または、観測誤差の少ない通信部３０を用いて位置推定を行う、と言う処理が可能となり、第２位置情報の推定精度を向上することができる。

さらに別の例として、位置推定アルゴリズム、又は、フィルタリングアルゴリズムに関するパラメタを無線パラメタとして設定してもよい。位置推定アルゴリズムとは、通信部３０における観測データから実際の測位座標を計算するための信号処理に関するアルゴリズムであり、三角測量法、最尤推定法、最小二乗法等、様々な手法が存在する。フィルタリングアルゴリズムとは、観測データ又は測位座標を平滑化する信号処理に関するアルゴリズムであり、カルマンフィルタ、粒子フィルタ等、様々な手法が存在する。

さらに、これらの位置推定アルゴリズム及びフィルタリングアルゴリズムは、それぞれが独自の内部パラメタを持つ場合がある。すなわち、アルゴリズムとそのパラメタ設定の候補が複数考えられる場合がある。このような場合に、最適な候補を選ぶ手段として、本実施形態を適用することも可能である。

例えば、アルゴリズムとパラメタの組み合わせとして、以下のような候補があったとする。
候補１：（アルゴリズム１、パラメタＡ）
候補２：（アルゴリズム２、パラメタＢ）
候補３：（アルゴリズム３、パラメタＣ）
候補４：（アルゴリズム４、パラメタＤ）

このような場合に、いずれの候補が最も確からしいかを学習部１４０が学習するようにしてもよい。具体的には、撮影部２０によりターゲット端末４０が撮影できる領域にいるタイミングにおいて、撮影部２０により得られた撮影情報に基づいた第１位置情報の推定処理と並行し、候補となるアルゴリズム、パラメタの組み合わせによる第２位置情報の推定処理を行う。撮影部２０による位置推定結果に対して、各候補による推定結果がどれだけ類似しているかを学習する。このような学習において、例えば、第１位置情報と最も相関の高くなる候補を、無線での推定処理に採用する。

無線による位置推定手法は、上記説明した以外にも、様々な観測手段及びアルゴリズムが存在するが、いずれの場合であっても何らかの無線パラメタを設定することにより、本実施形態を適用することが可能である。カメラを介して高精度な位置検出が可能である場合に、その無線パラメタの値又は統計的な性質を学習することにより、カメラが撮影できない領域において無線ベースで位置推定をする際に、学習結果を反映させることにより、高精度な位置推定処理が可能となる。

なお、本実施例では高精度な位置推定を可能とする手段としてカメラを、低精度な位置推定手段として無線を用いた場合の例を示したが、別の手段であってもよい。例えば、カメラの代わりに非常に高精度で誤差の少ない測位衛星を用いる、といった構成であってもよい。

以上のように、本実施形態によれば、カメラ（撮影部２０）を用いた位置推定と、無線（通信部３０による通信）を用いた位置推定とを相補的に利用することにより、位置推定の精度を向上することが可能となる。すなわち、カメラで撮影できる範囲にターゲットが存在する場合には、撮影された情報に基づく高精度な位置推定を行うとともに、無線を用いた位置推定のパラメタを学習する。カメラで撮影できる範囲にターゲットが存在しない場合には、学習されたパラメタを用いて、無線を用いた位置推定を行うことにより、カメラを用いた位置推定ができなくとも高精度な位置推定を行うことが可能となる。

なお、撮影部２０及び通信部３０の設置されている環境がそれほど変化しない場合には、上述したようにあらかじめ無線パラメタを保持しておくことも可能である。この場合、例えば、撮影部２０及び通信部３０等の設置状況に基づいて算出し、設定しておくこともできる。このように、あらかじめ無線パラメタを設定する場合には、第２推定部１４内に学習部１４０は、必須の構成要素ではない。

（第２実施形態）
本実施形態では、前述した実施形態に加えて、撮影部２０による撮影情報から得られた第１位置情報の推定結果の信頼度を取得し、当該信頼度に基づいて、第２位置情報の推定方法を変更しようとするものである。

図５は、本実施形態に係る位置推定部１０の機能を示すブロック図である。位置推定部１０は、撮影部２０からの撮影情報及び第１推定部からの第１位置情報を受け取り、当該撮影情報に基づいて信頼度を取得し、第２推定部１４へと出力する、信頼度取得部１６をさらに備える。

信頼度取得部１６は、撮影部２０からの受信した撮影情報に基づいて、第１位置情報の信頼度を取得する。信頼度を判定するための手段としては、例えば、撮影情報に含まれるターゲット端末４０の有無、ターゲット端末４０が撮影情報内でしめる領域の大きさ（画像内の画素数）、撮影環境の明るさ、鮮明度等である。前述したように、撮影部２０による位置推定は、高精度な推定結果を推定できる一方、撮影環境によっては十分な精度を得られないことがある。

例えば、ターゲット端末４０までの距離が遠い、撮影している領域が暗いような環境かにおいては、十分な精度を出すことができない可能性がある。信頼度取得部１６は、撮影情報の信頼度を算出し、取得することにより、第１位置情報の推定が十分高精度に行われているか否かを第２推定部１４へと通知する。

第２推定部１４は、入力された第１位置情報、その信頼度、及び、通信部３０からの無線受信情報を用いて、無線パラメタの学習及び第２位置情報の推定を行う。

図６は、本実施形態に係る位置推定装置１の動作を示すフローチャートである。図中、図２の符号と同じ符号を付した処理は、同じ処理を行うものとする。

第１推定部１２が第１位置情報を推定（Ｓ１０２）した後、信頼度取得部１６は、撮影部２０から送信された撮影情報及び第１推定部１２が推定した第１位置情報に基づいて、信頼度を取得する（Ｓ２０３）。信頼度は、上述したように、撮影部２０が撮影した撮影情報（画像）から取得する。

例えば、ターゲット端末４０が画像内で占めている画素数を信頼度として取得する。他の例としては、画像内の全画素のグレースケール値の統計量、画像内の全画素の彩度及び明度から求められる統計量、画像の一部又は全体のシャープネス等から求められる値等である。シャープネスを用いる場合、例えば、画像にラプラシアンフィルタ等の微分フィルタをかけ、あるいは、キャニーフィルタ等によりエッジ検出し、フィルタリングした後の画素値の統計量を算出して信頼度を取得する。統計量とは、合計、平均、分散等のうち、少なくとも１つの値のことである。

次に、第２推定部１４は、信頼度取得部１６が取得した信頼度が、所定のしきい値以上であるか否かを判断する（Ｓ２０４）。所定のしきい値は、あらかじめ設定されている値でもよいし、例えば、長期間のカメラベース及び無線ベースによる位置推定を運用している中で、第２推定部１４により自動的に決定される値でもよい。なお、しきい値以上であるとは、しきい値より大きい値であると読み替えてもよい。

信頼度がしきい値以上であれば、Ｓ１０６からの動作を行い、そうで無ければ、Ｓ１１０からの動作を行う。

以上のように、本実施形態によっても、前述した実施形態と同様に、カメラベース及び無線ベースの推定を行うことにより、位置推定の精度を向上することができる。さらに、カメラベースの位置推定の信頼度に基づいて、無線ベースの位置推定の学習を行うか、又は、無線ベースの第２位置情報を算出するかを判断する。この結果、カメラベースの位置推定の信頼度が高い場合の結果に基づいて第２推定部１４の学習を行うことができるので、第２推定部１４による第２位置情報の推定の精度を向上することが可能となる。

（第３実施形態）
前述した第２実施形態は、撮影部２０から取得した情報に基づいて信頼度を取得するものであったが、本実施形態では、さらに通信部３０から取得した情報にも基づいて信頼度を取得しようとするものである。

図７は、本実施形態に係る位置推定部１０の構成を示すブロック図である。前述した第２実施形態と異なる点は、信頼度取得部１６に、通信部３０における無線受信情報も入力される点である。

信頼度取得部１６は、撮影部２０からの撮影情報とともに、通信部３０からの無線受信情報に基づいて、第１位置情報の推定における信頼度を取得する。撮影情報におけるターゲット端末４０の有無、又は、その個数を知るための補足情報として、通信部３０が受信した無線受信情報を用いる。

無線を用いることにより、無線信号のＩＤ（Identifier）を取得し、認識できる。受信した無線信号の復号処理を介し、無線信号の発信元のＩＤを認識することにより、通信部３０の周囲にターゲット端末４０がいくつあるかを正確に把握することが可能となる。さらに、ターゲット端末４０から送信された信号の受信電力、到来時間、及び、到来方向等の少なくとも１つを推定することにより、ターゲット端末４０のおおよその位置を認識することができる。

本実施形態においては、無線受信信号から得られるこれらの情報を信頼度取得部１６へと入力することにより、撮影部２０の撮影情報から推定された位置情報の信頼度をより正確に算出することが可能となる。具体的には、カメラの撮影情報から得られたターゲット端末４０の個数及び位置関連情報等と、無線受信情報により得られた同様の情報とを比較し、両者の相関が高い場合には、信頼度を高く算出して取得することができる。

以上のように、本実施形態によっても、前述した実施形態と同様に、カメラベース及び無線ベースの推定を行うことにより、位置推定の精度を向上させ、カメラベースの位置推定の信頼度に基づいて、無線ベースの位置推定の学習を行うか、又は、無線ベースの第２位置情報を算出するかを判断することが可能となる。さらに、無線受信情報を用いることにより、信頼度の計算をより正確に行うことが可能となり、無線パラメタの学習処理や、無線による位置推定処理の高精度化を図ることができる。

（第４実施形態）
前述した各実施形態においては、位置推定装置１側に撮影部がある場合について説明したが、これには限られない。すなわち、ターゲット端末４０が撮影部を備えており、当該ターゲット端末４０に備えられた撮影部により撮影された撮影情報を用いて位置推定を行ってもよい。

図８は、本実施形態に係る位置推定装置１及びターゲット端末４０の概略を示す図である。この図８に示すように、本実施形態に係るターゲット端末４０は、撮影部４２を備えている。ターゲット端末４０は、備えられた撮影部４２を用いて撮影情報を取得し、通信部４４を介して撮影情報を位置推定部１０へと送信し、位置推定を行う。

撮影情報と、無線受信情報を用いた位置推定部１０の動作については、前述の各実施形態と同様である。

以上のように、本実施形態によれば、ターゲット端末４０に備えられたカメラ等により前述した各実施形態と同様の位置推定を行うことが可能となる。

（第４実施形態の変形例）
図９は、前述の第４実施形態の変形例に係るターゲット端末４０及び通信部３０の構成を示す図である。

ターゲット端末４０は、撮影部４２と、通信部４４と、位置推定部４６と、を備える。

撮影部４２は、前述した実施形態の撮影部２０と、通信部４４は、通信部３０と、位置推定部４６は、位置推定部１０とそれぞれ同等のものである。このように、必要となる機能をターゲット端末４０に備えるようにしてもよい。

ターゲット端末４０の位置推定部４６は、撮影部４２により撮影された撮影情報を用いてみずからの位置推定（以下、自己位置推定と呼ぶ）を行う。このように、撮影部４２により撮影された撮影情報により、みずからの第１位置情報を推定する。

自己位置推定は、撮影部４２による撮影情報に含まれる特徴点までの距離を計算するようにしてもよいし、物体認識と環境地図作成を同時に行うＳＬＡＭ（Simultaneous Localization and Mapping）の手法を用いてもよい。

位置推定部４６は、第１位置情報の推定における信頼度、すなわち、自己位置推定の信頼度を取得してもよい。自己位置推定の信頼度は、特徴点の数、撮影環境の明るさ等に基づいて行う。

通信部４４は、周囲にある通信部３０Ａ乃至３０Ｄからの無線信号を受信し、無線受信情報を用いた位置推定の処理を行う。位置推定部４６は、ターゲット端末４０における自己位置推定の信頼度が高いと判断した場合は、自己位置推定結果により、みずからの位置を第２位置情報としてもよい。前述の実施形態と同様に、通信部３０から発信された電波の受信情報に基づいて、補正を行って第２位置情報として推定するようにしてもよい。なお、前述した実施形態と同様に、信頼度は、必ずしも求めなくてもよい。また、通信部３０の個数は、任意である。

さらに、位置推定部４６は、自己位置推定結果に基づいて、無線パラメタを学習するようにしてもよい。そして、信頼度が低いと判断した場合には、学習した無線パラメタを用いて無線受信情報に基づいた第２位置情報の推定を行い、この第２位置情報をみずからの位置としてもよい。このような構成により、前述の各実施形態と同様に、カメラベース及び無線ベースを併用した高精度な自己位置推定を行うことが可能となる。

推定した位置情報は、図１に示すようにターゲット端末４０の外部にある位置推定部１０で保持してもよいし、位置推定部４６に保持してもよい。また、図示しないサーバ等に送信してもよい。以上のような構成をとることで、外部に位置推定部１０が備えられていない場合においても、通信部３０を制御し、位置推定部４６において位置推定を行うことにより、カメラと無線機能を備えたターゲット端末４０自身が、自己位置を正確に知ることができる。

なお、本実施形態の位置推定装置１の構成要素は、プロセッサなどを実装しているＩＣ（Integrated Circuit：集積回路）などの専用のハードウェアにより実現されてもよい。例えば、位置推定装置１は、通信部３０又は通信部４４内において受信部を実現する受信回路と、送信部を実現する送信回路と、位置推定部１０又は位置推定部４６を実現する制御部として、制御（処理）回路と、を備えていてもよい。制御部の内部構成も、専用の回路で実現されてもよい。あるいは、構成要素がソフトウェア（プログラム）を用いて実現されてもよい。ソフトウェア（プログラム）を用いる場合は、上記に説明した実施形態は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用い、コンピュータ装置に搭載された中央処理装置（ＣＰＵ：Central Processing Unit）等のプロセッサにプログラムを実行させることにより、実現することが可能である。機能の一部をソフトウェアで構成する場合には、位置推定装置１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、位置推定装置１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本実施形態で用いられる用語は、広く解釈されるべきである。例えば用語“プロセッサ”は、汎用目的プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、状態マシンなどを包含してもよい。状況によって、“プロセッサ”は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラム可能論理回路（ＰＬＤ）などを指してもよい。“プロセッサ”は、複数のマイクロプロセッサのような処理装置の組み合わせ、ＤＳＰおよびマイクロプロセッサの組み合わせ、ＤＳＰコアと協働する１つ以上のマイクロプロセッサを指してもよい。

別の例として、用語“メモリ”は、電子情報を格納可能な任意の電子部品を包含してもよい。“メモリ”は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、プログラム可能読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、フラッシュメモリ、磁気または光学データストレージを指してもよく、これらはプロセッサによって読み出し可能である。プロセッサがメモリに対して情報を読み出しまたは書き込みまたはこれらの両方を行うならば、メモリはプロセッサと電気的に通信すると言うことができる。メモリは、プロセッサに統合されてもよく、この場合も、メモリは、プロセッサと電気的に通信していると言うことができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

例えば、通信部３０又は通信部４４は、電波を用いて無線受信情報を取得するものとしたが、これには限られない。電波の他に、音波、光波等、他の手段を用いて無線受信情報を取得し、位置推定を行うようにしてもよい。

１：位置推定装置
１０：位置推定部
１２：第１推定部
１４：第２推定部
１４０：学習部
１４２：算出部
１６：信頼度取得部
２０：撮影部
３０、３０Ａ、３０Ｂ、３０Ｃ、３０Ｄ：通信部
４０：ターゲット端末
４２：撮影部
４４：通信部
４６：位置推定部

Claims (13)

1. ターゲット端末から発信された無線を受信する、受信部と、
   撮影された情報である撮影情報を用いて前記ターゲット端末の第１位置情報を推定する、第１推定部と、
   前記第１位置情報及び前記ターゲット端末から受信した無線の情報である無線受信情報に基づいて、前記ターゲット端末の第２位置情報を推定する、第２推定部と、
   を備え、
   前記第２推定部は、前記無線受信情報に関連するパラメタであって、前記無線受信情報から前記第２位置情報を推定する無線パラメタを、前記第１位置情報を用いて学習する、学習部、を備える、
   位置推定装置。
2. 前記第１位置情報の信頼度を取得する、信頼度取得部をさらに備える、請求項１に記載の位置推定装置。
3. 前記信頼度取得部は、前記撮影情報、前記第１位置情報及び前記無線受信情報のうち少なくとも１つに基づいて信頼度を取得する、請求項２に記載の位置推定装置。
4. 前記学習部は、前記第１位置情報に加え、さらに、前記無線受信情報及び前記信頼度に基づいて前記無線パラメタを学習する、請求項２又は請求項３に記載の位置推定装置。
5. 前記学習部は、
   前記信頼度が所定のしきい値以上の場合には、前記無線受信情報及び前記第１位置情報に基づいて前記無線パラメタを更新し、
   前記信頼度が前記所定のしきい値未満の場合には、前記無線パラメタを更新しない、
   請求項４に記載の位置推定装置。
6. 前記第２推定部は、
   前記信頼度が前記所定のしきい値以上の場合には、前記第１位置情報に基づいて前記第２位置情報を推定し、
   前記信頼度が前記所定のしきい値未満の場合には、前記無線受信情報及び前記無線パラメタに基づいて前記第２位置情報を推定する、
   請求項５に記載の位置推定装置。
7. 情報を送信する送信部を備え、
   前記受信部及び前記送信部と接続される、少なくとも１つのアンテナを備える請求項１乃至請求項６のいずれかに記載の位置推定装置。
8. ターゲット端末から発信された無線を受信し、
   撮影された情報である撮影情報を用いて前記ターゲット端末の第１位置情報を推定し、
   前記第１位置情報及び前記ターゲット端末から受信した無線の情報である無線受信情報に基づいて、前記ターゲット端末の第２位置情報を推定し、
   前記無線受信情報に関連するパラメタであって、前記無線受信情報から前記第２位置情報を推定する無線パラメタを、前記第１位置情報を用いて学習する、
   位置推定方法。
9. 画像を撮影する、撮影部と、
   通信部から発信された無線を受信する、受信部と、
   撮影された情報である撮影情報を用いて、みずからの第１位置情報を推定する、第１推定部と、
   前記第１位置情報及び受信した無線の情報である無線受信情報に基づいて、みずからの第２位置情報を推定する、第２推定部と、
   を備え、
   前記第２推定部は、前記無線受信情報に関連するパラメタであって、前記無線受信情報から前記第２位置情報を推定する無線パラメタを、前記第１位置情報を用いて学習する、学習部、
   を備える、端末装置。
10. ターゲットから発信された無線を受信する、受信部と、
    撮影された情報である撮影情報を用いてターゲットの第１位置情報を推定し、前記第１位置情報及び受信した無線の情報である無線受信情報に基づいて、ターゲットの第２位置情報を推定する、制御部と、
    前記第１位置情報の信頼度を取得する、信頼度取得部と、
    前記第１位置情報、前記無線受信情報及び前記信頼度に基づいて、前記第２位置情報を推定するパラメタを学習する、学習部と、
    を備える、位置推定装置。
11. 前記学習部は、
    前記信頼度が所定のしきい値以上の場合には、前記無線受信情報及び前記第１位置情報に基づいて前記パラメタを更新し、
    前記信頼度が前記所定のしきい値未満の場合には、前記パラメタを更新しない、
    請求項１０に記載の位置推定装置。
12. 前記制御部は、
    前記信頼度が前記所定のしきい値以上の場合には、前記第１位置情報に基づいて前記第２位置情報を推定し、
    前記信頼度が前記所定のしきい値未満の場合には、前記無線受信情報及び前記パラメタに基づいて前記第２位置情報を推定する、
    請求項１１に記載の位置推定装置。
13. 制御回路により、
    ターゲットから発信された無線を受信し、
    撮影された情報である撮影情報を用いてターゲットの第１位置情報を推定し、
    前記第１位置情報及び受信した無線の情報である無線受信情報に基づいて、ターゲットの第２位置情報を推定し、
    前記第１位置情報の信頼度を取得し、
    前記第１位置情報、前記無線受信情報及び前記信頼度に基づいて、前記第２位置情報を推定するパラメタを学習する、
    位置推定方法。

Images