JP6100380B2 - 特に装置に係る視覚ベースの位置決めに使用される画像処理方法 - Google Patents

Description

本発明は、少なくとも１つのオブジェクト若しくは該少なくとも１つのオブジェクトの一部に係る少なくとも１つの画像を供給することを具備する、特に装置に係る視覚ベースの位置決めに使用される画像処理方法に関する。また本発明は、該方法を実行するための処理装置が加速される、ソフトウェアコードセクション又はハードウェアを具備するコンピュータプログラムプロダクトに関する。

画像からの情報のフィルタリング及び抽出を含む画像処理は、例えばコンピュータのバージョン、機械学習、ロボット工学、又は通常の画像処理における領域に限定されることなく、より高いレベルの問題を解決するために必要とされる重要な手段である。数多くの例の１つとしては、既知のオブジェクト若しくは既知のオブジェクトの一部を含めることができる画像の中でのエッジの検出であり、参照座標系が配される既知のオブジェクトのエッジと、これらのエッジとをマッチングするのに使用される。画像の中のエッジと、オブジェクト自体との間の一致（マッチ）に基づいて、画像がキャプチャされたカメラが、既知オブジェクトの参照座標系に対して、位置決めされ得る。

画像からの情報に対する画像処理、フィルタリング及び抽出は、例えばカーネルに基づく形態演算子やコンボリューションに限定されずに、非常に様々な方法で可能であり、そして、より早い若しくは平行な処理手段の中間の結果に同じ若しくは異なる処理手段、フィルタ若しくは抽出方法を適用若しくは結合することにより、可能である。画像からの情報に対する画像処理、フィルタリング及び抽出は、明暗度、勾配、導関数、エッジ、線、セグメント、角、特徴、補整、ぼやけ、変換、ノイズ除去、鮮明化、エロージョン、及び／又は拡張を実行、解析、抽出又は創出することに限定されずに実現可能である。等方的画像処理、フィルタ又は抽出方法に加え、いくつかの方法は、１次元若しくは画像軸配列コンボリューションカーネルには限定されずに異方的であり、画像軸配列コンボリューションカーネルを使用する例えば既知のソーベル、プレヴィット、若しくはシェアー（Scharr）フィルタのような勾配フィルタは、一般的にこれらのカーネルが、画像の画像水平若しくは垂直勾配を抽出することを意味する。スムージングコンボリューションカーネルのために、例えば２Ｄカーネルの代わりに、例えば１Ｄコンボリューションカーネルを使用することによって、等方的画像処理、フィルタ若しくは抽出方法はまた、異方性になるよう適用できる。

このような場合において、以下のタイプの標準的アプローチが、画像処理のために存在している。画像処理方法の画像処理演算子が、画像エッジの検出を具備する場合、一般的に画像勾配計算は、画像軸にアライン（配列）されるカーネルと共に、例えばソーベル、プレヴィット、又はシェアー（Scharr）フィルタのような画像フィルタを適用することを具備する。これは、一般的にこれらのカーネルが、画像‐水平又は画像‐垂直勾配（図３の上列Ａを参照）を生じさせることを意味している。これらのアプローチは、例えあったとしても、いくつかの自由度に関するいずれの付加情報を考慮せず、ひいてはそれら自身が、例えば重力‐配列エッジのような既知の方向に対して、いずれのオブジェクト属性を検出しない。

もし、フィルタされることを必要とする、例えば画像の中における重力配列エッジのような、特定方向のフィルタエッジを基にしたこれらの画像軸配列カーネルに基づいた場合、画像軸配列フィルタに係る先の結果の付加的後処理が適応される。例えば、画像の中のそれぞれのエッジ点の方向は、その点のための画像水平及び画像垂直勾配に基づいて計算される。最終的に、画像の中におけるそれぞれのピクセルのエッジ方向は、画像の中の投影された重力方向と比較される。これは、画像水平及び画像垂直勾配が、双方の軸配列カーネルを適合することにより、事前に計算される必要があること、並びに比較の付加的後処理手段が、適応されるために必要であるというこのアプローチを意味する。このことは、計算的により高価なアプローチだと見なす。

付加情報をいくつかの自由度に使用している第２のアプローチは、この付加情報と合わせるための全体像を第１に適応させることである（図４参照）。例えば、重力配列データを計算するための画像処理方法を制約する場合、一つの画像軸が、画像中の投影された重力ベクトルとつながり、且つその後画像処理によりアラインされた該画像軸が適合され得るように、全体像が最初に調整され得る。勾配フィルタの場合には、これは、重力修正勾配を作り出すであろう。この第２のアプローチは、２つの欠点を持っている。第１に、画像フィルタが、もはや原画像の状態で加工しておらず、且つそれゆえに最終フィルタの結果物が、実行された修正アプローチの中間的結果物に依存する。第２に、それ自体の修正が必要とされ、且つそれゆえにこのアプローチが、原画像の状態での１つの直接的処理よりも、計算的に高価である。

S. Holzer, S. Hinterstoisser, S. Ilic, N. Navab, Distance Transform Tmplates for Object Detection and Pose Estimation, IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009. Georg Klein and David Murray, Full-3D Edge Tracking with a Particle Filter, In Proc. British Machine Vision Conference, 2006. D. Kurz and S. Benhimane: "Inertial sensor-aligned visual feature descriptors", Computer Vision and Pattern Recognition, 2011.

上記の事情に鑑み、本発明の目的は、その結果及び処理速度の質に関するより効果的な結果を供給することができる画像処理方法を提供する。

態様においては、少なくとも１つのオブジェクト若しくは該少なくとも１つのオブジェクトの一部に係る少なくとも１つの画像を供給し、且つ該画像に関連した座標系を供給する手段、前記座標系若しくは前記座標系中の少なくとも１つのセンサデータにおける少なくとも１つの自由度を供給する手段、並びに前記少なくとも１つの画像又は前記少なくとも１つの自由度若しくは前記少なくとも１つのセンサデータにより、制約若しくはアラインされた前記少なくとも１つの画像の一部に係る画像データを計算する手段を具備する画像処理方法が提供される。

具体的に、少なくとも１つの高い信頼のある自由度の値により制約される画像処理方法を導くために、該少なくとも１つの高い信頼のある自由度を使用することが提案されている。付言すると、画像処理方法を制約するのに使用される、高い信頼のある自由度に係る実際の信頼度は、画像処理方法の特性を更に一致させるために利用される。具体的に、画像処理方法は、少なくとも１つのオブジェクト若しくは前記少なくとも１つのオブジェクトの一部に係る少なくとも１つの画像を供給する手段、前記画像に対応した座標系を供給する手段、少なくとも１つの自由度を供給し、且つ前記座標系若しくは前記座標系中の少なくとも１つのセンサデータにおいて、付加的に一致する信頼度を供給する手段、並びに少なくとも１つの自由度若しくは少なくとも１つのセンサデータにより制約される、少なくとも１つの画像若しくは該少なくとも１つの画像の一部分の画像データを計算する手段を具備する。例えば、計算された画像は、高い信頼度を伴った自由度に従って制約若しくはアラインされ、又は画像若しくは該画像をキャプチャした装置に対応した画像処理方法で使用されるデータを供給する高い信頼のあるセンサに従って制約若しくはアラインされ得る、形態学的画像操作若しくは画像フィルタリングを含んでいる画像処理の結果に成り得る。更に具体的には、該画像処理方法における画像処理演算が、画像エッジの検出を具備する場合、一般的に画像勾配計算は、画像軸にアラインされたカーネルを伴った画像フィルタ（例えばソーベル又はプレヴィットフィルタ）を適用することを具備する。このことは、一般的にカーネルが、水平又は垂直勾配を作り出すことを意味する。例えば正確になるよう仮定された重力センサ（該重力センサは、画像をキャプチャする装置と関連される）で決定された回転のような、高い信頼度を伴う自由度を伴った画像データだとした場合、それは画像中の重力ベクトルの投影方向にアラインされる若しくは画像中の重力ベクトルの投影方向に対応したいくつかの予め定義された方向を有しているフィルタのカーネルを使用することができる。画像処理は、オブジェクトの表現を必ずしも必要としないということに留意することが、重要である。

画像処理方法における態様は、例えばオブジェクトのデジタル表現に係る少なくとも１つの特徴と、少なくとも１つの画像におけるオブジェクトの少なくとも１つの特徴とのマッチングのようなマッチング処理を含む。

画像処理方法は、該画像処理方法の結果に基づいた距離変換画像を作り出すのに使用され得る。

画像処理方法の使用例は、国際的に登録されたアルゴリズムを実行することを含めることができ、互いに異なる自由度が反復して改良され、且つその反復の質が、例えば距離変換画像（例えば、“S. Holzer, S. Hinterstoisser, S. Ilic, N. Navab, Distance Transform Tmplates for Object Detection and Pose Estimation, IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009.”これを「非特許文献１」とする。）を含む、いくつかの予め定義された費用関数により測定されるところで、国際的に登録されたアルゴリズムを実行することを含めることができる。その国際的に登録されたアルゴリズムに係る反復は、パーティクルフィルタアプローチ（例えば、“Georg Klein and David Murray, Full-3D Edge Tracking with a Particle Filter, In Proc. British Machine Vision Conference, 2006.”これを「非特許文献２」とする。）によってコントロールされ得る。例えば、当該方法は、例えば少なくとも１つの画像をキャプチャするためのキャプチャ装置に関連する装置のような、装置に係る視覚ベースの位置決めに使用される。

例えば、画像処理方法を実行する、例えば携帯電話、固定若しくは分散型コンピュータシステムのような装置は、少なくとも１つの画像をキャプチャするためのキャプチャ装置と関連し、該方法は、前記キャプチャ装置で前記少なくとも１つの画像をキャプチャする手段及び前記キャプチャ装置の固有パラメータに係る概算を準備する手段を更に具備する。

上記に示したように、画像処理方法に係る「画像処理演算を制約された信頼のある自由度」の使用法は、画像とオブジェクト表現との間の対応におけるマッチングの間中可能である。

従って、本発明の考えによれば、例えば屋外環境における複合的場面に対応した移動カメラに係る視覚ベースの位置決めに限られることなく、より高いレベルの課題を解決するために、その位置決めシステムは、例えば設置されたセンサに限定されずに、供給される位置及び方向を備えているカメラポーズに係るいくつかの自由度に関して付加情報を生かすことができる。異なる自由度におけるこの付加情報は、カメラが、位置付けられ、及び、異なる信頼度になることができるように対応した、オブジェクト若しくはシーンに付随した参照座標系に対応して与えられる。それは、それの信頼度によって違い、且つ、例えば視覚ベースの位置決めのような、それをサポートするためのより高いレベルのタスクの処理内における異なる手段にて、処理及び使用され得る。例えば、及び実質的に、スマートフォンのような、カメラに備え若しくは接続されている最新の携帯電話デバイスに接続されているセンサは、高い信頼度を伴った重力に対応して、装置の方向を供給することができる。この情報は、屋外環境において、６自由度から４自由度への最適化まで、オブジェクトの重力配列参照座標系に対応してカメラの視覚ベースの位置決めの中で制約するために使用され、且つ通常は、より多くのロバスト解をもたらす。

本発明の態様によれば、位置決めの中の特別な手段にて、即ち画像処理の間中、参照座標系に対応したカメラポーズの異なる信頼度を伴った自由度についての付加情報を生かす、アプローチが提案される。具体的に、このようなアプローチは、参照、例えばオブジェクト座標系に対応するカメラポーズの高い信頼を伴った少なくとも１つの自由度によって既存の画像処理方法を制約することにより、該方法を適合させる。その制約された画像処理方法は、１つ以上の制約自由度に係るそれぞれの信頼度を反映するために、更に調整される。このアプローチは、カメラの位置決めの中での使用に限られず、一般に並びに画像処理を用いる他のタスク及びアプリケーションのために応用される。その提案された方法は、前述した画像処理、フィルタ又は抽出方法のいずれかで一般に応用される。

好ましくは、計算された画像データが、形態学的画像操作若しくは画像フィルタリングを含む画像処理の結果である。

態様によれば、画像データの計算は、とりわけ、好ましくは高い信頼度を伴った自由度により、制約若しくはアラインされ、又は画像若しくは画像をキャプチャする装置に対応した、画像処理方法にて使用されるデータを供給する、好ましくは高い信頼のあるセンサにより、制約若しくはアラインされる。

態様によれば、画像処理方法は、画像における重力配列勾配のフィルタリングを具備する画像勾配計算を含む。

別態様によれば、画像処理方法は、カーネルを伴った画像フィルタリングを具備する画像勾配計算を含み、該カーネルは、重力ベクトルの測定に依存して計算される。例えば、画像の画像面が、重力ベクトルとフロントパラレル（fronto-parallel）である場合、同じ重力配列カーネルは、全体画像に応用される。

態様によれば、該方法は、異なる自由度が、反復的に改良され、及び、前記反復が、とりわけ距離変換画像を含んでいる、所定の費用関数により測定されるところで、国際的に登録されたアルゴリズムを実行することを更に含む。

例えば、画像処理方法が、少なくとも１つの画像をキャプチャするためのキャプチャ装置と関連する装置に対応して運用され、更に該方法は、該キャプチャ装置で該少なくとも１つの画像をキャプチャし、且つ該キャプチャ装置の固有のパラメータに係る概算を供給する手段を具備する。

通常、画像処理方法は、キャプチャ装置に関連した装置で操作（運用）されるか、又は該装置と通信し、且つ該装置に関連したデータを受信するようなリモートサーバで操作（運用）される。

別態様によれば、画像処理方法は、少なくとも１つの画像をキャプチャするためのキャプチャ装置と関連する装置に対応して運用され、更に該方法は、各個の信頼度を伴った座標系に対して該キャプチャ装置の異なる自由度の測定を供給する位置及び方向を供給することを更に具備する。

態様によれば、該方法は更に、重力配列座標系に接続されている平面若しくは区分的平面オブジェクトの画像水平勾配に作り出す若しくはフィルタリングする手段を更に含む。

画像処理方法は、少なくとも１つの画像をキャプチャするためのキャプチャ装置と関連する装置に関して運用され、該方法は更に、該キャプチャ装置で該少なくとも１つの画像をキャプチャする手段及び該キャプチャ装置の移動方向における画像を鮮明化する手段を具備する。画像若しくは画像をキャプチャする装置に関連した、センサにより供給される加速データを考慮したとすると、カメラのシャッタが開いたときのカメラの軌道に密接に関連している、被写体ぼやけ修正カーネルを概算することが可能になる。従来の方法（方法）は、このようなぼやけ修正カーネルにおける計算的に高価な概算手段を必要とする。それどころか、私たち（発明者ら）は、このような手段を避けるために加速度計を使用することを提案し、並びに例えば携帯電話装置及び／若しくはリアルタイムでの、モーションブラー（被写体ぶれ）を修正することを可能にする。ぼやけ修正は、画像の鮮明化を認める。同じような原理は、重力或いはいくつかのカメラの被写体に関連した確実な方向により、方向フィルタリングカーネルを応用することにより、画像スムージングに使用され得る。

別態様によれば、画像処理方法は、少なくとも１つの画像をキャプチャするためのキャプチャ装置に関連した装置に対応して運用され、該方法は、キャプチャ装置で少なくとも１つの画像をキャプチャする手段及び座標系に対応したキャプチャ装置の位置に依存した画像フィルタのカーネルのサイズに係るアダプテーション（適応）を具備する。

本発明の態様によれば、１若しくは多数の自由度に係る情報を供給する少なくとも１つのセンサを備えられ、前記少なくとも１つのセンサは、ＧＰＳセンサ、慣性センサ、加速度計、ジャイロスコープ、磁気探知器、機械センサ、具体的には回転エンコーダ、又はいくつかのセンサ及び／若しくは例えば計測アーム若しくはレーザトラッカーのようなトラッキングシステムの組み合わせから成る群から選択される。

例えば、該方法は、情報に係る少なくとも１つの画像処理、フィルタリング及び抽出、とりわけ、少なくとも１つの明暗度、勾配、導関数、エッジ、線、セグメント、角、機能、スムージング、ぶれ、変換、ノイズ除去、鮮明化、浸食及び拡張を実行、解析、抽出又は創出することを包含する。

本発明によれば、本方法は、拡張現実アプリケーション若しくはロボットシステムナビゲーションにおけるオブジェクトに対応した、少なくとも１つの画像をキャプチャするためのキャプチャ装置に関連する装置の位置及び方向を決定するための方法である。

態様によれば、いくつかの参照座標系に対応した画像座標系のいくつかの信頼のある自由度によって、制約された画像データを計算するような形態学的画像操作若しくは画像フィルタリングを基にしたカーネルを含む画像処理、フィルタリング、若しくは抽出が提案される。とりわけ、その入力源は、例えばカメラ（図２下部に示されている。）のような、キャプチャ装置によりキャプチャされたいくつかのオブジェクトオブインタレスト若しくは環境に係る画像データになることがある。該画像は、当該画像処理方法により解析されるべく、１つ以上のオブジェクトからある種の画像を供給するような、可視光カメラ、赤外線カメラ、タイムオブフライトカメラ、深さカメラシステム、又は他のいかなるシステム等に限定されないような、カメラによりキャプチャされる。該オブジェクト若しくは環境に係るインタレストは、参照座標系と称される所定の座標系の中にある。制約された画像処理方法が、地球に付随した参照座標系に関連して実行される場合、例えば建物が、オブジェクトオブインタレストの役割を果たす。より一般的には、参照座標系が、地球座標系に成り得る。

任意に、オブジェクトオブインタレストの表現は、例えばマーカ、設計図、画像、テンプレート、深度表現、テクスチャ及び非テクスチャ多角形モデル、テクスチャ若しくは非テクスチャＣＡＤモデル、並びに／又は特徴、点、エッジ、線、勾配、セグメント、ボーダー、シルエット、輪郭、エッジレット（edgelet）、方向及び／若しくは極性に係るセット若しくは地図に限定されない参照座標系にもたらされた。

カメラの固有パラメータの概算。

付加情報及び方向データのいずれも、各個の信頼度を伴った参照座標系に対応したカメラの異なる自由度の測定を供給している。この付加情報は、例えばＧＰＳ、慣性、加速度計、ジャイロスコープ、磁気探知器、オドメータ、回転エンコーダのような機械センサに限定されることのない、単一の精密さ及び的確さを有するセンサにより供給されることが可能であり、又は多数のセンサ及び／若しくは測定アーム若しくはレーザトラッカーのようなトラッキングシステムの組み合わせからの結果となり得る。これらのセンサは、参照座標系に直接的に対応した測定を供給することができるか、又は、システムに係る生のセンサデータ及び可能性のある付加情報をいくつか処理した後のこのデータを供給する修正システムに統合されるかのいずれかである。カメラとセンサとの間における空間変換は、知られることを必要とする、又は、画像処理方法を実行する前に、評価されることを必要とする。異なるセンサの信頼度が、変化することができる。例えば、スマートフォンに組み込まれている標準的なＧＰＳは、１０メートル前後の精度で位置を与え、磁気探知器の正確さは、取り囲んでいる環境に依存し、且つ数度においては正確であるが、潜在的に総合的に悪くなり、それに故信頼できない。対照的に、重力方向を測定するための現代のハンドヘルド装置に組み立てられた加速度計とジャイロスコープの組み合わせは、かなり高い精密さを備えるとして、“D. Kurz and S. Benhimane: “Inertial sensor-aligned visual feature descriptors”, Computer Vision and Pattern Recognition, 2011”（以下、「非特許文献３」とする。）に開示されている。

本発明はまた、デジタルコンピュータシステムの内部メモリの中で起動されるように構成されるコンピュータプログラムプロダクトであって、前記プロダクトが、前記コンピュータシステムで実行されるときに、前記態様及び形態のいずれかによる手段を用いることによるソフトウェアコードセクションを具備するコンピュータプログラムプロダクトに関する。

画像面が重力とフロントパラレルな場合、重力に対応してカメラに備えられている装置の方向に照らして、画像処理フィルタの変化の例を示す。 携帯電話と一体となった重力配列オブジェクトの典型的なフロントパラレルな画像のキャプチャを示す。 画像におけるフィルタ勾配に対して、図２に従ってフロントパラレルにキャプチャされた画像でソーベルフィルタを応用した場合に可能な結果を示す。 初めに重力に対してキャプチャされた画像を調整し、且つその時画像軸配列ソーベルフィルタを応用した標準的なアプローチを示す。 画像におけるピクセル位置での投影重力ベクトルの依存状態を示す。左段は通常の場合であり、右段は、フロントパラレルな場合であり、画像の中における投影された重力ベクトルは、画像におけるピクセル位置とは無関係である。

以下に、図面を参照しながら、本発明の更なる態様、有益な特徴及び形態をより詳細に説明する。

通常、例えばオブジェクト座標系における方向のようなオブジェクトに接続され、参照座標系のいくらか既知の自由度にアラインされた画像のいくつかのオブジェクト属性における特殊抽出が、必要とされ、又は、画像処理手段の結果を改善するのに使用され得る、アプリケーションが存在する。１つの実例アプリケーションは、重力配列オブジェクトエッジ、又はオブジェクトに付随した重力配列参照座標系に対応した、画像撮影用移動カメラのエッジベースの位置決めのための画像における重力に関連した予め定義された方向と一体となったエッジの抽出である。一般に、これら重力配列オブジェクト及びオブジェクトエッジは、屋外及び屋内シナリオ、即ち街中、建物、工場、又は家具付きの部屋に限られることのない、あらゆる人工環境において種々存在する。例えば、屋外環境に移動カメラのエッジベースの位置決めの間中、カメラによりキャプチャされた画像の中に検出されるエッジは、カメラが位置決めされるのに必要なターゲットオブジェクトのエッジにマッチされることを必要とする。例えば画像におけるそれらの方向のような、エッジにおける付加情報は、ターゲットオブジェクトのためのマッチングプロセスを支える。従って、例えば画像における重力ベクトルのような、おおよその方向が知られているならば、例えば重力配列オブジェクトエッジのような、対応するオブジェクトエッジのためのマッチングプロセスが、支えられる。

また、コンパス、ＧＰＳ、慣性センサ、加速度計、ジャイロスコープ、磁気探知器、オドメータ、回転エンコーダのような機械センサ、又は例えば測定アーム若しくはレーザトラッカーのようなトラッキングシステムからの結果に限定されることなく、参照座標系に対応するカメラポーズの異なる信頼度に付随する１つ若しくは多数の自由度に関する付加情報を供給するセンサ若しくはシステムが存在する。これらのセンサは、参照座標系に直接的に対応した異なる自由度に関する測定を供給する、又は、システムに係る生センサデータ及び可能性のある付加情報に係る処理の後のこのデータを供給する修正システムに組み込まれるかのいずれかである。例えば、最新のスマートフォンに限定されることのない、最新の携帯電話デバイスは今日通常、特に装置の方向及び高い信頼度を伴った重力に関連した組み込まれたカメラを供給する画像及びセンサを備えるカメラを備えている。本発明において提案される処理方法は、先に述べたセンサのいずれかを使用することが実施され得る。

いくつかの参照座標系に対応したカメラポーズの１つ若しくは多数の信頼のある自由度が、例えば前述のような、携帯電話デバイスにより供給される重力配列座標系似た皇知るカメラポーズのように、今日容易に供給される場合、画像の中で検出された対応するエッジを伴う重力に対応する所定の方向を有するマッチングオブジェクトエッジに限定されることなく、結果及び／若しくは処理の速度の質に関する好ましくはより効率の良いそれらの結果を作るため、並びに、高いレベルのタスクを解決するためのそれらの結果を使用するために、異なるレベルでの画像処理手段におけるこの信頼のある情報の使用がここに提案される。

次に、画像面が、重力と前面で平行な場合、図１は、重力（重力ベクトルＧＶとして示されている）に対応して、例えばカメラのようなキャプチャ画像のためのキャプチャ装置に備え付けられた装置Ｄの方向に従った画像処理フィルタの変化の例を示しており、その中に描かれた図を参照する。この例では、装置Ｄが、前述のようなハンドヘルド装置である。重力ベクトルＧＶは、例えば加速度計及び／若しくはジャイロスコープのような、装置Ｄに組み込まれた重力センサ（図示せず）又は重力ベクトルを示すセンサの組み合わせにより供給される。図２は、携帯電話Ｄと重力配列オブジェクトＯＢにフロントパラレルな画像ＩＭのキャプチャを示す。ここで示されている画像処理方法は、装置Ｄで、又は装置Ｄと通信して、装置Ｄに関連するデータを受信し、且つ計算されたデータを装置Ｄに送り返すようなリモートサーバで運用される。

図３は、フロントパラレルなキャプチャ画像ＩＭにおけるソーベルフィルタを、画像におけるフィルタ勾配に応用した結果を示す。強い結果として生じる勾配は、実線で示され、弱い勾配は、点線で示される。上列（Ａ）は、強い重力配列エッジではなく、画像垂直エッジを計算した、画像軸配列ソーベルフィルタカーネル（ＦＫ）を応用した標準的なアプローチを示す。下列（Ｂ）は、重力配列エッジにおける強い勾配を計算した、重力配列ソーベルフィルタを応用した本発明に係る態様を示す。

図４は、始めにキャプチャ画像ＩＭを重力（重力ベクトルＧＶとして示されている）へと調整（調整）して、且つその時に画像軸配列ソーベルフィルタを応用した標準的なアプローチを示す。キャプチャ画像がフロントパラレルである時から、該調整は、回転により単純に行われている。このアプローチは、画像における重力配列エッジの強い勾配を計算するが、調整に係る付加的手段を必要とする。

図５は、画像におけるピクセル位置での投影重力ベクトルの依存状態を示す。即ち、左段（Ａ）においては、一般的な場合が示されている。右段（Ｂ）においては、フロントパラレルな場合が示されており、画像ＩＭの中の投影重力ベクトルが、画像におけるピクセル位置とは独立している。

カメラが、例えば建物、都市景観、都市スカイライン、又は例えば山岳のような自然景観みたいな所定のオブジェクトから、相対的に離れた距離において位置付けられるとき、フロントパラレルな場合が、常に想定される。これらのような場合、そのような想定は、合理的である。フロントパラレルな条件とは、例えば消滅線、及び該消滅線の位置を使用することで検出される。もし物理的に平行な線に対応する所定の数の可視エッジがあるならば、それらが無限若しくはとても遠いところで交差するという事実は、カメラが観測シーンとフロントパラレルであるという想定を導くかもしれない。もしそれらが、近くで若しくは画像境界から遠くないところで交差するならば、フロントパラレル性（fronto-parallelism）に係る想定は、妥当ではないと見做される。

フロントパラレル性（fronto-parallelism）条件が想定されない場合、カーネルフィルタは、画像におけるピクセル位置に依存して計算されることが必要とされる。図５における下部左の画像は、画像における投影重力ベクトルの方向が、全てのピクセルで同じではないということを示す。それは、ピクセル位置に従って変化する。

更に上記の動機付け及び開示された図面に与えられる例における、本発明の態様を説明すると、そのゴールは、方向が地球座標系のような参照座標系に備えられている重力に対応した所定の方向を有する画像ＩＭにおけるオブジェクトＯＢのエッジを抽出することであり、並びに装置Ｄのカメラに接続された付加的センサが、高い信頼を伴う重力に対応したカメラの位置の自由度を供給する場合、その時の画像におけるエッジを検出するための勾配フィルタに係る画像処理方法は、それが直接的に重力配列画像勾配を計算するように、制約される。上記のように、画像勾配計算に係る標準的なアプローチは、画像軸（図３の上列（Ａ）参照）にアラインされたカーネルを伴った画像フィルタ（例えば、ソーベル、プレヴィット又はシェアー（Scharr）フィルタ）を応用することを具備する。このことは、一般にこれらの画像フィルタのカーネルが、画像水平若しくは画像垂直勾配を作り出すことを意味する。高い信頼度を伴った重力に対応したカメラの方向の自由度を考慮すると、測定された重力ベクトル（図１並びに図３の下列Ｂ参照）に従って方向づけられた、フィルタのカーネルを応用することにより、画像のフィルタリングを制約することがここに提案される。画像上で、重力方向に依存するカーネルを応用することにより、画像における重力ベクトルに対応した、予め定義された方向を伴った勾配が、直接的に計算される。画像の中で投影された重力は、重力、カメラの固有パラメータに対応したカメラの方向、及び画像におけるピクセル位置に依存する。それゆえ、重力配列勾配を計算するための画像におけるそれぞれのピクセルに応用されたカーネルは、通常全体画像と同じではなく、且つ例えばそれぞれのピクセル位置におけるルックアップテーブルにより、若しくはそれぞれの画像領域のための近似（図５の左段Ａ参照）として、計算若しくは供給されることを必要とする。もし、画像面が重力とフロントパラレル（図２並びに図５の右段Ｂ）ならば、画像の中での重力の投射は、画像におけるどのピクセル位置においても同じであり、並びにそれにより、同じ重力配列カーネルが、画像の全てのピクセルに応用される。画像面がおおよそフロントパラレルな場合、全体画像の同じ、重力依存カーネルを応用するという近似は、アプリケーションの十分な依存により、いまだに決まってくる。このことは、全体画像のための処理をスピードアップすることができる。

本発明において提案されたアプローチは、例えば高い勾配値のような強い結果、例えば画像における重力ベクトルの投影方向のようなインタレストの方向、又は重力ベクトルに対応した予め定義された方向を作り出すためのそれらのカーネルを適合させることにより、これらの画像フィルタの異方性を生かすことである。従って、既存のアプローチの比較において、それが画像軸配列特性を作り出すのではなく、全体画像で何回も画像フィルタリングを応用する及び付加的後処理なしで、インタレストの方向特性を作り出す。付言すると、オリジナルの画像データで直接的に動いており、且つそれゆえ、画像の調整に限定されることなく、好ましくない中間処理手段の質及び速度に係るパフォーマンスに依存しない。

更に、提案されたアプローチは、更に画像フィルタのカーネル特性を調整するために、与えられた高い信頼性のある自由度に係る信頼度を使用することを想定する。例えばカーネルをベースとしたガウシアンは、高い信頼のある自由度に沿って位置付けられると同時に、標準偏差が、供給された忠実性レベルによって調整される。このようなアプローチの態様は、重力ベクトルを具備する自由度に係る信頼度に沿って調整された標準偏差を伴って、重力ベクトルに対応して位置付けられたエッジ検出のためのガウシアンカーネルになる。例えば、とても薄く及び細長のカーネルは、重力が高い信頼と共に与えられる場合に、使用される。逆に、そのときに、より線方向を考慮した、広域カーネルが、重力が低い信頼と共に与えられる場合に、使用される。

このような画像処理方法の態様は、重力ベクトルに対応した既知の方向を伴う座標系における、与えられたモデルに係るオブジェクトのエッジの間でのマッチングのための重力ベクトルに対応する所定のアラインメントと共に、画像勾配を抽出するための画像の中において、信頼のある既知の投影重力に対して、画像処理方法を制約するための与えられた例に基づいて成り得る。このマッチングは、屋外環境における移動カメラに限定されることなく、移動カメラの位置決めに組み込まれる。制約された画像フィルタは、可能なマッチング対象の量を絞ることにより、マッチング手段を支持し、且つそれにより、正確にマッチされた対応の可能性を増やす。このことは順に、カメラの位置付けのための手段に基づいた最適化を強化する。

より一般的には、画像からフィルタされたデータを計算し、且つ参照座標系に対応した信頼のある自由度に向かって制約される、このような制約型画像処理方法の別態様は、例えばその制約が、制約された画像から導かれる画像における１つの計算された特徴を認める参照座標系におけるオブジェクトの特徴をマッチングするような、マッチング処理を含む。その結果たる改良されたマッチングは、参照座標系に対応した画像を撮影する移動カメラの位置決めのために、その後使用される。

重力に対応した所定の方向を伴った勾配及びエッジのフィルタリングに似ている、このような制約型画像処理方法の別態様は、地球座標系のような重力配列座標系に付随した平面若しくは区分的に平面なオブジェクトに係る水平勾配を、画像の中で作り出す若しくはフィルタすることができるかもしれない。もし地球座標系における例が、北に向かうのに対応し、且つコンパスセンサにより供給された、回転の残余自由度に対応した重力の方向に対応したカメラの方向に加わった場合、並びに、更に、参照座標系に対応した平面若しくは区分的に平面なオブジェクトの法線が知られている場合に、このようなアウトプットデータが作り出される。水平的にアラインされた勾配に係る、この制約された画像処理のアウトプットは、重力配列勾配に類似した更なる処理手段及びアプリケーションに使用され得る。

制約型画像処理方法に係る別態様は、例えばオブジェクトのモデルのような、オブジェクトについての明確な知識なしで、２つのフレーム間に係るあらゆる種類のマッチングを認めるためのいくつかの参照座標系に対応した信頼のある自由度へと制約された、いくつかの特性に係るフィルタ若しくは処理されたデータを作り出すことである。具体的には、もし参照座標系が、地球座標系であり、並びにカメラに係る信頼のある自由度が、地球座標系に対応するそれの重力方向であるならば、画像データは、移動カメラの異なるフレーム（すなわち画像）において、重力配列画像処理により導き出される。異なるフレームにおいて、この結果である重力配列画像データは、該フレームの間での対応をマッチングするのに使用される。これら適合状態でのレーザは、移動カメラのフレームツーフレーム（frame-to-frame）トラッキング、画像スイッチング、又は観測環境における３Ｄ（三次元）復元に限定されずに、フレームツーフレーム（frame-to-frame）に依存するあらゆるアプローチに使用される。

更に、画像処理方法の別態様は、画像からの距離変換を生み出すことであり、フィルタ特性に伴うピクセルに対して、最接近した距離の画像におけるそれぞれのピクセルを保存する。例えば、それは、重力配列勾配に対して、最接近した距離の画像における、それぞれのピクセルを保存する。この距離変換画像は、異なる自由度が、反復して改良され、且つその改良の質が、予め定義された費用関数により測定されるところで、例えば国際的に登録されたアルゴリズムにおいて後で使用される。国際的に登録されたアルゴリズムの改良は、前述したパーティクルフィルタにより制御される。

制約型画像処理方法の別態様は、モーションブラー効果を補正することにより、又は重力測定に対応して、若しくは加速度計若しくはジャイロスコープのデータと共に測定されるいくつかのカメラのモーションに沿って定義される、いくつかの方向により、画像をスムージングすることにより、画像を鮮明化することである。参照座標系に対応したカメラの位置決めに対する、又はカメラに付随したセンサ若しくはシステムにより直接的に供給された時間情報に基づいて、参照座標系に対応した動作軌道が供給される。この運動ベクトルに基づき、画像処理方法は、例えば運動軌道に対応した画像フィルタリングに基づいた鮮明化若しくはスムージング又はそのほかの処理のような、この運動軌道に対して制約されたデータを作り出す若しくはフィルタするために制約され得る。その結果は、鮮明化された画像における特徴の検出に限定されることなく、別の画像処理手段におけるインプットとして使用され得る。

制約型画像処理方法の別態様は、参照座標系に対応したカメラの位置に依存する、画像フィルタに係るカーネルのサイズの適応である。例えば、参照座標系におけるオブジェクトのためのカメラの距離に依存している、勾配フィルタに係るカーネルのサイズの適応は、画像におけるエッジの修正検出を改善することができる。同じように、スムージング又はぶれフィルタを保持し、例えばノイズを減らすといった別の画像処理方法よりも前に実行される。それらのカーネルのサイズの適応は、例えば勾配検索といった、もっと後の処理手段を改良することができる。撮像データのインタレストの所定の描写（表現）と、環境及びとりわけオブジェクトオブインタレストに対応するカメラの接近した位置決め（調整）を有することを認めるということを考慮すると、オブジェクトオブインタレスト及びカメラの間における距離を概算することが可能になる。屋外環境においては、位置調整データは、ＧＰＳシステムによってもたらされており、並びに建物におけるオブジェクトの表現は、一般的に知られたオープンストリートマップ若しくはグーグルマップ（共に登録商標）のような、地理的データシステムによってもたらされている。

概算された距離を考慮すると、１つは、カーネルフィルタのサイズに適応する。

移動装置又はオブジェクト（参照原点及び参照方向を定義している）に付随した座標系におけるオブジェクトに対応した、例えばカメラのようなキャプチャ装置に備え付けられている、カメラのような移動キャプチャ装置に係る位置決めは、コンピュータビジョンの領域における重要なタスクである。多くの異なるアプローチは、ここに提案され、アプリケーション領域にて使用される。

１つの大きな分類は、視覚ベースの位置決めを含み、例えば可視光カメラ、赤外線カメラ、タイムオブフライトカメラ、深度カメラシステム、スキャンシステム又はオブジェクトから位置決めされるためのいくつかの画像を供給している他のシステムに限定されることのない、１つ若しくは多数のカメラからキャプチャされたデータは、既に知られたアラインメントに或いはオブジェクトの表現を学習された実行時間の間中に、解析若しくは使用される。以上に示したような、本発明の種々の態様に沿ったこのアプリケーションにおける提案された方法は、この領域及び前述したキャプチャ装置のいずれにも効率的に利用される。

Ｄ 装置
ＧＶ 重力ベクトル
ＩＭ 画像
ＯＢ オブジェクト

Claims (20)

1. 特に装置に係る視覚ベースの位置決めに使用される画像処理方法であって、前記方法は、
   少なくとも１つのオブジェクト若しくは前記少なくとも１つのオブジェクトの一部に係る少なくとも１つの画像を供給し、且つ前記画像に対応する座標系を供給するステップと、
   前記座標系における少なくとも１つの自由度を供給するステップであって、前記少なくとも１つの自由度の少なくとも１つは信頼値に関連づけられる、ステップと、
   前記少なくとも１つの自由度の少なくとも１つに関連づけられた信頼値に基づいて、前記少なくとも１つの自由度により、制約若しくはアラインされた、前記少なくとも１つの画像若しくは前記少なくとも１つの画像の一部に係る画像データを計算するステップと、
   を具備することを特徴とする画像処理方法。
2. 計算された前記画像データが、形態学的画像操作若しくは画像フィルタリングを含んでいる画像処理の結果である請求項１に記載の画像処理方法。
3. 前記画像データの計算は、とりわけ、好ましくは高い信頼度を伴った自由度により制約若しくはアラインされ、又は前記画像若しくは前記画像をキャプチャするための装置に関連した、前記画像処理方法に使用されるデータを供給する、好ましくは高い信頼のあるセンサにより、制約若しくはアラインされる請求項２に記載の画像処理方法。
4. 前記画像処理方法は、前記画像における重力配列勾配のフィルタリングを具備する画像勾配計算を含む請求項１乃至３のいずれか１項に記載の画像処理方法。
5. 前記画像処理方法は、カーネルを伴う画像フィルタリングを具備する画像勾配計算を含み、前記カーネルが、前記画像の軸又は重力ベクトルにアラインされた請求項１乃至４のいずれか１項に記載の画像処理方法。
6. 前記画像の画像面が、前記重力ベクトルとフロントパラレルである場合、同じ重力配列カーネルが、全体画像に応用される請求項５に記載の画像処理方法。
7. 特に前記オブジェクトのデジタル表現に係る少なくとも１つの特徴を伴った前記少なくとも１つの画像における、前記オブジェクトの少なくとも１つの特徴をマッチングする、マッチング処理を更に含む請求項１乃至６のいずれか１項に記載の画像処理方法。
8. 前記画像処理方法が、前記画像処理方法の結果に基づいた距離変換画像を作り出すために使用される請求項１乃至７のいずれか１項に記載の画像処理方法。
9. 国際的に登録されたアルゴリズムを用いて異なる自由度を反復的に改良するステップを更に含み、該反復の質が、とりわけ距離変換画像を取り込むような、予め定義された費用関数により測定される、請求項１乃至８のいずれか１項に記載の画像処理方法。
10. 前記画像処理方法は、前記少なくとも１つの画像をキャプチャするためのキャプチャ装置に関連した装置に対応して運用され、前記画像処理方法は、前記キャプチャ装置で前記少なくとも１つの画像をキャプチャするステップ及び前記キャプチャ装置に係る固有のパラメータの概算を供給するステップを更に具備する請求項１乃至９のいずれか１項に記載の画像処理方法。
11. 前記画像処理方法は、前記少なくとも１つの画像をキャプチャするためのキャプチャ装置に関連した装置に対応して運用され、前記画像処理方法は、各個の信頼値を有する前記座標系に対応する、前記キャプチャ装置の異なる自由度の測定を供給する位置及び方向を供給することを更に具備する請求項１乃至１０のいずれか１項に記載の画像処理方法。
12. 重力配列座標系に付随した平面若しくは区分的に平面なオブジェクトに係る、前記画像垂直若しくは水平勾配に作り出させる若しくはフィルタリングさせるステップを更に含む請求項１乃至１１のいずれか１項に記載の画像処理方法。
13. 前記画像処理方法は、前記少なくとも１つの画像をキャプチャするためのキャプチャ装置に関連した装置に対応して運用され、前記画像処理方法は、前記キャプチャ装置で前記少なくとも１つの画像をキャプチャするステップ及び前記キャプチャ画像の動きの方向において前記画像を鮮明化するステップを更に具備する請求項１乃至１２のいずれか１項に記載の画像処理方法。
14. 前記画像処理方法は、前記少なくとも１つの画像をキャプチャするためのキャプチャ装置に関連した装置に対応して運用され、前記画像処理方法は、前記キャプチャ装置で前記少なくとも１つの画像をキャプチャするステップ及び前記座標系に対応した前記キャプチャ装置の位置に依存している画像フィルタに係るカーネルのサイズの適応のステップを更に具備する請求項１乃至１３のいずれか１項に記載の画像処理方法。
15. １つ若しくは多数の自由度についての情報を供給する少なくとも１つのセンサを更に含み、前記少なくとも１つのセンサは、ＧＰＳセンサ、慣性センサ、加速度計、ジャイロスコープ、磁気探知器、オドメータ、特に回転エンコーダのような機械センサ、又は多数のセンサ及び／若しくは例えば測定アーム若しくはレーザトラッカーのようなトラッキングシステムの組み合わせから成る群から選択される請求項１乃至１４のいずれか１項に記載の画像処理方法。
16. 前記画像処理方法は、情報に係る少なくとも１つの画像処理、フィルタリング及び抽出、とりわけ、少なくとも１つの明暗度、勾配、導関数、エッジ、線、セグメント、角、機能、スムージング、ぶれ、変換、ノイズ除去、鮮明化、浸食及び拡張を実行、解析、抽出又は創出することを包含する請求項１乃至１５のいずれか１項に記載の画像処理方法。
17. 前記画像処理方法は、拡張現実アプリケーション若しくはロボットシステムナビゲーションにおけるオブジェクトに対応した、前記少なくとも１つの画像をキャプチャするためのキャプチャ装置に関連する装置の位置及び方向を決定するための方法である請求項１乃至１６のいずれか１項に記載の画像処理方法。
18. 前記画像処理方法は、カーネルを伴った画像フィルタリングを具備し、前記カーネルは、重力ベクトル及び該重力ベクトルを具備する自由度に係る信頼度に依存して計算される請求項１に記載の画像処理方法。
19. 前記画像処理方法は、エッジ検出のためのガウシアンカーネルを具備するエッジ検出方法を含み、該カーネルが重力ベクトルに対応して方向調整され、同時に標準偏差が、前記重力ベクトルを具備する自由度に係る信頼度を使用して計算される請求項１８に記載の画像処理方法。
20. コンピュータプログラムであって、デジタルコンピュータシステムに、請求項１乃至１９のいずれか１項に記載された方法を実行させるコンピュータプログラム。

Images