JP7335205B2

JP7335205B2 - 位置推定システム、方法及びプログラム並びに位置照合サーバ

Info

Publication number: JP7335205B2
Application number: JP2020103917A
Authority: JP
Inventors: 賢史小森田; 和之田坂
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2020-06-16
Filing date: 2020-06-16
Publication date: 2023-08-29
Anticipated expiration: 2040-06-16
Also published as: JP2021196965A

Description

本発明は、位置推定システム、方法及びプログラム並びに位置照合サーバに係り、特に、不特定の物体の位置を推定するにあたり、対象の物体を一意に識別するための事前学習が不要であり、最初に画像送信を伴う位置要求を行えば、再度の位置要求には画像送信が不要な位置推定システム、方法及びプログラム並びに位置照合サーバに関する。

特許文献１には、個体を示すタグを持たない人物でも、その侵入位置、退出位置を検知可能とする技術が開示されている。特許文献２には、動画像に含まれる物体を高精度に追跡する技術が開示されている。特許文献３には、タグ無しで複数カメラの映像に基づき、事前に学習した物体を識別する技術が開示されている。

特開2013-253779号公報特開2019-185210号公報特開2015-001941号公報

定点カメラ画像に映った人物等の物体の位置を推定する技術は従来から研究されているが、物体を追跡するためには各物体のユニークな識別が必要となる。しかしながら、物体のユニークな識別、特に人物の識別には顔の識別が必要となることから、人物をその顔の識別が可能になるほど拡大する必要があった。

また、顔や動作を用いた認識では、事前に顔や動作の特徴を学習し、これらの情報を登録しておく必要があるため、不特定の人物追跡には適用が難しかった。

さらに、既存の景観画像に基づく位置推定では、同一ユーザが短い時間間隔で位置要求を繰り返す場合でも常に景観画像を送る必要があった。

本発明の目的は、上記の技術課題を解決し、不特定多数の物体の位置を推定するにあたって対象の物体を一意に認識するための事前学習が不要であり、最初に画像送信を伴う位置要求を行えば、再度の位置要求には画像送信が不要となる位置推定システム、方法及びプログラム並びに位置照合サーバを提供することにある。

上記の目的を達成するために、本発明は、以下の構成を具備した点に特徴がある。

(1) 本発明の位置推定システムは、定点カメラの画像に映る各物体の位置を繰り返し計算する定点カメラサーバと、移動カメラ端末から受信した位置要求に含まれる画像に基づいて当該移動カメラ端末の位置を推定する位置照合サーバと、位置照合サーバが推定した位置またはその近傍に同時刻に位置する物体を、定点カメラサーバが位置を計算した物体の中から探索する手段と、位置照合サーバが推定した移動カメラ端末の位置を前記探索された物体について定点カメラサーバが計算した位置で補正する手段と、前記補正した位置を前記移動カメラ端末へ応答する手段とを具備した。

(2) 本発明の位置照合サーバは、定点カメラの画像に映る各物体の位置を繰り返し計算する定点カメラサーバから各物体の位置情報を繰り返し取得する手段と、移動カメラ端末の推定位置またはその近傍に同時刻に位置する物体を、定点カメラサーバが位置を計算した物体の中から探索する手段と、移動カメラ端末の推定位置を前記探索された物体について定点カメラサーバが計算した位置で補正する手段と、前記補正した位置を前記移動カメラ端末へ応答する手段とを具備した。

(3) 移動カメラ端末とその位置または近傍で探索された物体とをペアリングし、定点カメラサーバが計算した各物体の位置に基づいて、当該各物体とペアリングされた移動カメラ端末の位置を繰り返し補正するようにした。

(4) 位置要求した移動カメラ端末がペアリング済みであると、ペアリング相手の物体に関して定点カメラサーバが計算した位置に基づいて補正された位置を応答するようにした。

本発明によれば以下のような効果が達成される。

(1) 位置照合サーバで推定した移動カメラ端末の位置と定点カメラサーバで計算した物体の位置とに基づいて各物体を識別するので、物体を一意に認識するための事前学習が不要となる。

(2) 位置照合サーバが推定した移動カメラ端末の位置またはその近傍に同時刻に位置する物体を定点カメラサーバが検知した物体の中から探索し、位置照合サーバが推定した移動カメラ端末の位置を前記探索された物体について定点カメラサーバが計算した位置で補正するので、移動カメラ端末の正確な位置推定が可能になる。

(3) 移動カメラ端末とその位置または近傍に同時刻に位置した物体とをペアリングし、定点カメラサーバが各物体の位置を計算するごとに、当該各物体とペアリングされた移動カメラ端末の位置が補正されるので、移動カメラ端末の正確な追跡が可能になる。

(4) 位置要求した移動カメラ端末がペアリング済みであると、ペアリング相手の物体に関して定点カメラサーバが計算した最新の位置に基づいて補正された位置が応答されるので、最初に画像送信を伴う位置要求を行えば、再度の位置要求には画像送信が不要になる。

本発明の一実施形態に係る位置推定システムの機能ブロック図である。物体の位置を推定して追跡する手順を示したシーケンスフローである。位置照合サーバの動作を示したフローチャートである。位置登録処理の手順を示したフローチャートである。位置応答処理の手順を示したフローチャートである。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る位置推定システム１０の全体構成を示したブロック図であり、移動カメラ端末１、定点カメラサーバ２および位置照合サーバ３をネットワークで相互に接続して構成される。定点カメラサーバ２は定点カメラ４を備え、位置照合サーバ３は景観ランドマークデータベース(DB)５を備えている。

前記定点カメラ４の位置、向きおよび各種のカメラパラメータは既知であり、本実施形態ではその視野内に位置座標が既知の少なくとも４つの基準点P1～P4が登録されている。景観ランドマークDB５には、撮影位置、向きおよび各種のカメラパラメータが既知の多数の景観画像から抽出した画像特徴が登録済みである。

定点カメラサーバ２において、定点カメラ画像取得部２０１は定点カメラ４から定点カメラ画像を周期的に、例えばフレーム単位で取得する。物体検知部２０２は定点カメラ画像に映る移動物体を検知する。

位置座標計算部２０３は、検知された各移動物体の位置座標を計算する。本実施形態では、前記４つの基準点P1～P4と、物体検知で得られた各移動物体に外接するバウンディングボックスの例えば底辺の中点座標とを用いて、透視投影変換により各物体の位置座標が算出される。

追跡部２０４は、今回のフレームで新たに検知された移動物体に新しいトラッキングIDを付すると共に、前回および今回の各フレーム画像から検知された各移動物体の位置座標に基づいて同一とみなせる移動物体に同一のトラッキングIDを付することでフレーム間での追跡を実現する。

位置情報送信部２０５は、各移動物体の位置座標およびトラッキングIDを位置情報として位置照合サーバ３へ繰り返し送信する。

移動カメラ端末１は、例えばデジタルカメラ機能を備えたスマートフォンや送受信機能を備えたデジタルカメラであり、現在位置を知りたいユーザが撮影した景観画像や屋内画像（以下、景観画像で代表する）および端末IDを含む位置要求を位置照合サーバ３へ送信し、現在位置の位置座標が登録された位置応答を当該位置照合サーバ３から受信する。

位置照合サーバ３において、位置情報取得部３０１は定点カメラサーバ２が繰り返し送信する前記位置情報を受信する。位置要求取得部３０２は移動カメラ端末１から位置要求を取得する。

位置要求識別部３０３は、移動カメラ端末１から受信した位置要求に記述されている端末IDがトラッキングIDとペアリング済みであるか否かに基づいて当該位置要求を識別する。本実施形態では、ペアリング済みでなければ新規要求に識別され、ペアリング済みであれば再要求に識別される。

画像特徴抽出部３０４は、新規要求に識別された位置要求に記述されている景観画像から画像特徴Fkを抽出する。位置推定部３０５は、景観ランドマークDB５に蓄積されている多数の画像特徴Fmと前記景観画像から抽出した画像特徴Fkとの類似度を計算し、類似度スコアが最も高い景観ランドマークDB５の画像特徴Fmに基づいて移動カメラ端末１の現在位置を推定する。

あるいは別の実施形態として、類似度スコアが所定閾値以上の複数の画像特徴Fmに紐付けられた位置を統計処理した値（例えば、単に平均した値や類似度スコアで重み付け平均した値）を移動カメラ端末１の現在位置として推定するようにしても良い。

対応物体探索部３０６は、位置照合サーバ３が推定した移動カメラ端末１の位置またはその近傍に、同時刻または同時刻とみなせる時刻範囲内に位置する移動物体を、定点カメラサーバ２が位置を計算した物体の中から探索する。そして、位置座標が同一または最近傍となる移動カメラ端末１と移動物体とを同一とみなし、移動カメラ端末１の端末IDと移動物体のトラッキングIDとをペアリングする。

位置補正部３０７は、移動カメラ端末１の推定位置を、前記ペアリングされたトラッキングIDに対応した移動物体について定点カメラサーバ２が計算した位置座標に基づいて補正する。当該補正では、移動カメラ端末１の推定位置を移動物体の座標位置に置き換えても良いし、移動物体の座標位置をより重み付けした重み付け計算を適用しても良い。

追跡部３０８は、定点カメラサーバ２からトラッキングIDと対応付けられた各移動物体の最新の位置座標が入力されるごとに、当該トラッキングIDとペアリングされている端末IDに対応する移動物体の位置座標を上記と同様に補正する。

位置応答部３０９は、移動カメラ端末１から位置要求を受信すると、その位置要求に記述されている端末IDがペアリング済みでなければ前記位置補正部３０７による補正後の位置座標を移動カメラ端末１へ応答する。これに対して、位置要求に記述されている端末IDがペアリング済みであれば前記追跡部３０８が補正を繰り返している最新の位置座標を移動カメラ端末１へ応答する。

このような位置照合サーバ３は、CPU、メモリ、入出力インタフェースおよびバス等を備えた１台以上の汎用のコンピュータやサーバに、上記の各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成することもできる。

図２は移動カメラ端末１、定点カメラサーバ２および位置照合サーバ３が協調動作して移動カメラ端末１の位置を推定し、さらに追跡する手順を示したシーケンスフローであり、図３は位置照合サーバ３の動作を示したフローチャートである。

図２において、定点カメラサーバ２は時刻t0以降繰り返し、定点カメラ４が撮影した定点カメラ画像を取得し、当該カメラ画像に映る移動物体を検知してトラッキングIDを割り当て、移動物体ごとに位置座標を計算する。定点カメラサーバ２は更に、各移動物体のトラッキングIDおよび位置座標を撮影時刻と対応付け、定点カメラベースの位置情報として位置照合サーバ３へ送信する。

図３を参照し、位置照合サーバ３はステップS１で定点カメラサーバ２から前記定点カメラベースの位置情報を取得するとステップS２へ進む。ステップS２では位置登録処理を実行する。

図４は位置登録処理の手順を示したフローチャートであり、ステップS２１では、定点カメラベースの位置情報に登録されているトラッキングIDとペアリングされている端末IDが探索される。ステップS２２では当該端末IDに紐付いた位置座標が、前記定点カメラベースの位置情報において当該トラッキングIDと紐付いた位置座標に基づいて補正される。

図２，３を参照し、時刻t1において現在位置を知りたいユーザが移動カメラ端末１で景観を撮影すると、時刻t2では撮影された景観画像、撮影時刻t1および端末IDを含む位置要求が位置照合サーバ３へ送信される。位置照合サーバ３はステップS３において前記位置要求を取得するとステップS４へ進む。ステップS４では位置応答処理を実行する。

図５は、前記位置応答処理の手順を示したフローチャートであり、ステップS４１では位置要求に記述されている端末IDがトラッキングIDとペアリング済みであるか否かが判定される。ペアリング済みでなければステップS４２へ進み、位置要求に含まれる景観画像から画像特徴Fkが抽出される。なお、端末IDがペアリング済みでない位置要求に景観画像が含まれていなければエラー応答が送信される。当該エラー応答には、景観画像を添付した位置要求を促すメッセージを含ませることができる。

ステップS４３では、位置要求に含まれる景観画像から抽出した画像特徴Fkと景観ランドマークDB５に蓄積されている画像特徴Fmとが比較され、類似度スコアが最大となる画像特徴Fmまたは類似度スコアが閾値以上となる複数の画像特徴Fmに基づいて移動カメラ端末１の位置座標が推定される。

ステップS４４では、移動カメラ端末１の推定位置またはその近傍に所定の時刻差閾値Δt以内に位置する物体が、定点カメラサーバ２により検知されてその位置を計算された移動物体の中から探索され、探索できればステップS４５へ進む。ステップS４５では、時刻差閾値Δt以内に位置座標が同一または最近傍となる移動カメラ端末１と移動物体とを同一とみなし、移動カメラ端末１の端末IDと移動物体のトラッキングIDとがペアリングされる。

当該ペアリングは、定点カメラサーバ２でトラッキングIDに対応した物体が検知されなくなり、その結果、トラッキングIDに紐付いた位置座標が最後に補正されてから所定時間が経過したタイミングで破棄される。

ステップS４６では、端末IDに紐付いた移動カメラ端末１の位置座標が、ペアリングされたトラッキングIDに紐付いた移動物体の位置座標に基づいて補正される。ステップS４７では、前記補正後の位置座標が移動カメラ端末１へ位置応答として送信される。

なお、前記ステップＳ４４において、移動カメラ端末１の位置座標またはその近傍に、前記所定の時刻差閾値Δt以内に定点カメラサーバ２により検知されてその位置を計算された移動物体を探索できなければペアリング失敗となる。この場合、ステップS４５，S４６をスキップしてステップS４７へ進み、位置照合サーバ３による推定位置が補正されることなくそのまま移動カメラ端末１へ位置応答として送信される。この位置応答には、ペアリングに失敗したために、応答した位置の精度が十分ではない可能性のある旨のメッセージやエラーコード等を含ませても良い。

図２へ戻り、移動カメラ端末１は前記位置応答を時刻t3で受信する。その後、ユーザが時刻t4において、移動カメラ端末１から景観画像を含まず、端末IDのみが記述された位置要求を位置照合サーバ３へ送信すると、位置照合サーバ３では位置応答処理（図５）が再び実行される。

ステップS４１では、位置要求に記述されている端末IDがトラッキングIDとペアリング済みであるか否かが判定される。ここではペアリング済みと判断されるのでステップS４８へ進む。ステップS４８では、当該ペアリングに関して最後に位置登録処理（ステップS２）が実行されてからの経過時間に基づいて、当該ペアリングに紐付いた既登録の位置情報の精度が評価される。

すなわち、前記ステップS２の位置登録処理では、前記定点カメラベースの位置情報に基づいて前記トラッキングIDと紐付いた位置座標が補正されることから、最後（前回）の位置登録処理において移動カメラ端末の位置を補正した時刻、換言すれば移動カメラ端末の位置を最後に補正した時刻から今回の位置要求までの間隔が長いと、今回の位置要求に対して、補正時刻の古い位置が応答されることになるため、特に移動カメラ端末１の移動速度が大きいような場合には誤った位置が応答され得る。

そこで、本実施形態では最後に位置登録処理が実行されてから位置要求までの間隔が所定の基準時間を超えていると、既登録の位置情報の精度を低く評価してステップS５０へ進み、当該位置要求に対してエラー応答を送信する。ただし、追跡部２０４による追跡は正常に継続している可能性が高いので、当該エラー応答には再度の位置要求を促すメッセージを含ませることが望ましい。

なお、前記ステップS４８において、最後に位置登録処理が実行されてから今回の位置要求までの間隔が所定の基準時間を超えていなければステップS４９へ進む。ステップS４９では、端末IDとペアリングされているトラッキングIDと紐付いた位置座標が移動カメラ端末１へ位置応答として抽出され、ステップS４７において移動カメラ端末１へ位置応答として送信される。

このように、本実施形態によれば位置照合サーバ３で推定した移動カメラ端末１の位置座標と定点カメラサーバ２で計算した物体の位置座標とに基づいて各物体を識別するので、物体のテクスチャベースでの識別や物体認識のための事前学習が不要となる。

また、本実施形態によれば位置照合サーバ３が推定した移動カメラ端末１の位置座標またはその近傍に同時刻に位置する物体を定点カメラサーバ２が検知した物体の中から探索し、位置照合サーバ３が推定した移動カメラ端末１の位置座標を前記探索された物体について定点カメラサーバ２が計算した位置座標で補正するので、移動カメラ端末１の正確な位置推定が可能になる。

さらに、本実施形態によれば移動カメラ端末１とその位置または近傍に同時刻に位置した物体とをペアリングし、定点カメラサーバ２が各物体の位置座標を計算するごとに、当該各物体とペアリングされた移動カメラ端末１の位置座標が補正されるので、移動カメラ端末１の正確な追跡が可能になる。

さらに、本実施形態によれば位置要求した移動カメラ端末１がペアリング済みであると、ペアリング相手の物体に関して定点カメラサーバ２が計算した最新の位置に基づいて補正された位置座標が移動カメラ端末１へ応答されるので、最初に画像送信を伴う位置要求を行えば、再度の位置要求には画像送信が不要になる。

１…移動カメラ端末，２…定点カメラサーバ，３…位置照合サーバ，４…定点カメラ，５…景観ランドマークDB，２０１…定点カメラ画像取得部，２０２…物体検知部，２０３…位置座標計算部，２０４…追跡部，２０５…位置情報送信部，３０１…位置情報取得部，３０２…位置要求取得部，３０３…位置要求識別部，３０４…画像特徴抽出部，３０５…位置推定部，３０６…対応物体探索部，３０７…位置補正部，３０８…追跡部，３０９…位置応答部

Claims

定点カメラの画像に映る各物体の位置を繰り返し計算する定点カメラサーバと、
移動カメラ端末から受信した位置要求に基づいて当該移動カメラ端末の位置を推定する位置照合サーバと、
位置照合サーバが推定した位置またはその近傍に同時刻に位置する物体を、定点カメラサーバが位置を計算した物体の中から探索する手段と、
前記移動カメラ端末から受信した位置要求に含まれる画像に基づいて当該移動カメラ端末の位置を推定する手段と、
前記移動カメラ端末とその位置または近傍で探索された物体とをペアリングする手段と、
位置照合サーバが推定した移動カメラ端末の位置を、前記ペアリング相手の物体について定点カメラサーバが計算した位置で繰り返し補正する手段と、
前記補正した位置を前記移動カメラ端末へ応答する手段とを具備し、
前記応答する手段は、前記ペアリングされた移動カメラ端末から受信した、前記画像を含まない位置要求に対しては、当該移動カメラ端末の位置を前記定点カメラサーバが計算した位置で最後に補正した時刻と当該位置要求を受信した時刻との間隔が所定の基準時間未満であると、前記補正する手段が最後に補正した位置を応答することを特徴とする位置推定システム。
前記応答する手段は、前記ペアリングされた移動カメラ端末の位置を前記定点カメラサーバが計算した位置で最後に補正した時刻と位置要求を受信した時刻との間隔が所定の基準時間以上であると、当該位置要求に対してエラー応答を送信することを特徴とする請求項１に記載の位置推定システム。
移動カメラ端末から受信した位置要求に基づいて当該移動カメラ端末の位置を推定する位置照合サーバにおいて、
定点カメラの画像に映る各物体の位置を繰り返し計算する定点カメラサーバから各物体の位置情報を繰り返し取得する手段と、
移動カメラ端末からネットワーク経由で受信した位置要求に含まれる画像に基づいて当該移動カメラ端末の位置を推定する手段と、
移動カメラ端末の推定位置またはその近傍に同時刻に位置する物体を、定点カメラサーバが位置を計算した物体の中から探索する手段と、
前記移動カメラ端末とその位置または近傍で探索された物体とをペアリングする手段と、
移動カメラ端末の推定位置を、前記ペアリング相手の物体について定点カメラサーバが計算した位置で繰り返し補正する手段と、
前記補正した位置を前記移動カメラ端末へ応答する手段とを具備し、
前記応答する手段は、前記ペアリングされた移動カメラ端末から受信した、前記画像を含まない位置要求に対しては、当該移動カメラ端末の位置を前記定点カメラサーバが計算した位置で最後に補正した時刻と当該位置要求を受信した時刻との間隔が所定の基準時間未満であると、前記補正する手段が最後に補正した位置を応答することを特徴とする位置照合サーバ。
前記応答する手段は、前記ペアリングされた移動カメラ端末の位置を前記定点カメラサーバが計算した位置で最後に補正した時刻と位置要求を受信した時刻との間隔が所定の基準時間以上であると、当該位置要求に対してエラー応答を送信することを特徴とする請求項３に記載の位置照合サーバ。
位置照合サーバが、移動カメラ端末からネットワーク経由で受信した位置要求に基づいて当該移動カメラ端末の位置を推定する位置推定方法において、
定点カメラの画像に映る各物体の位置を繰り返し計算する定点カメラサーバから各物体の位置情報をネットワーク経由で繰り返し受信し、
移動カメラ端末からネットワーク経由で受信した位置要求に含まれる画像に基づいて当該移動カメラ端末の位置を推定し、
移動カメラ端末の推定位置またはその近傍に同時刻に位置する物体を、定点カメラサーバが位置を計算した物体の中から探索し、
前記移動カメラ端末とその位置または近傍で探索された物体とをペアリングし、
移動カメラ端末の推定位置を、前記ペアリング相手の物体について定点カメラサーバが計算した位置で繰り返し補正し、
前記補正した位置をネットワーク経由で前記移動カメラ端末へ送信して応答し、
前記応答では、前記ペアリングされた移動カメラ端末から受信した、前記画像を含まない位置要求に対しては、当該移動カメラ端末の位置を前記定点カメラサーバが計算した位置で最後に補正した時刻と当該位置要求を受信した時刻との間隔が所定の基準時間未満であると、前記補正において最後に補正した位置を応答することを特徴とする位置推定方法。
前記ペアリングされた移動カメラ端末の位置を前記定点カメラサーバが計算した位置で最後に補正した時刻と位置要求を受信した時刻との間隔が所定の基準時間以上であると、当該位置要求に対してエラー応答を送信することを特徴とする請求項５に記載の位置推定方法。
移動カメラ端末から受信した位置要求に基づいて当該移動カメラ端末の位置を推定する位置推定プログラムにおいて、
定点カメラの画像に映る各物体の位置を繰り返し計算する定点カメラサーバから各物体の位置情報を繰り返し取得する手順と、
移動カメラ端末からネットワーク経由で受信した位置要求に含まれる画像に基づいて当該移動カメラ端末の位置を推定する手順と、
移動カメラ端末の推定位置またはその近傍に同時刻に位置する物体を、定点カメラサーバが位置を計算した物体の中から探索する手順と、
前記移動カメラ端末とその位置または近傍で探索された物体とをペアリングする手順と、
移動カメラ端末の推定位置を、前記ペアリング相手の物体について定点カメラサーバが計算した位置で繰り返し補正する手順と、
前記補正した位置を前記移動カメラ端末へ応答する手順とをコンピュータに実行させ、
前記応答する手順では、前記ペアリングされた移動カメラ端末から受信した、前記画像を含まない位置要求に対しては、当該移動カメラ端末の位置を前記定点カメラサーバが計算した位置で最後に補正した時刻と当該位置要求を受信した時刻との間隔が所定の基準時間未満であると、前記補正する手順において最後に補正した位置を応答する位置推定プログラム。
前記応答する手順では、前記ペアリングされた移動カメラ端末の位置を前記定点カメラサーバが計算した位置で最後に補正した時刻と位置要求を受信した時刻との間隔が所定の基準時間以上であると、当該位置要求に対してエラー応答を送信することを特徴とする請求項７に記載の位置推定プログラム。