JP2004523027A

JP2004523027A - 空間的または時間的にオーバーラップしない画像シーケンスの位置合わせのための装置並びに方法

Info

Publication number: JP2004523027A
Application number: JP2002548680A
Authority: JP
Inventors: イラニ、マイカル; カスピ、ヤロン
Original assignee: イエダリサーチアンドディベロプメントカンパニーリミテッド
Priority date: 2000-12-05
Filing date: 2001-12-04
Publication date: 2004-07-29
Also published as: CA2436607A1; AU2002221023A1; WO2002047031A2; WO2002047031A3; EP1356431A2; US20040071367A1; IL156250A0; US7596281B2

Abstract

それぞれの第１および第２の時間数列を有する少なくとも第１および第２の描写のシーケンスの間における空間関係および時間関係の少なくとも一方を計算する方法並びにシステムであって、空間関係および時間関係の少なくとも一方を獲得するようにして第１および第２の時間数列を採用することを包含するものである。

Description

【技術分野】
【０００１】
本発明は、様々なソースからの視覚情報を結合して統合させる方法論並びにシステムに関する。
【背景技術】
【０００２】
画像位置合わせまたは画像重ね合わせの問題は、徹底的に研究されてきたものであり、この問題を解決する方法が成功裡に開発されている。これらの方法の幾つかは、抽出した局所的な画像特徴をマッチングさせることに基づくものである。その他のアプローチは、画像強度を直接にマッチングさせることに基づくものである。しかしながら、これらのすべての方法は、共通の画像特性の抽出を許容するに足る十分なオーバーラップが画像の間に存在し、すなわち画像の間に十分な「類似性」が存在するという１つの基本的な想定を共有している。類似性という用語は、本文書では、最も広い意味において使用される。例えば、グレーレベル類似性、特徴類似性、頻度の類似性、および相互情報のような統計的類似性などである。結果として、先行技術は、画像の間に非常に僅かな類似性しか存在しない場合、または画像の間に空間的なオーバーラップが存在しない場合には、画像間の位置合わせを提供しないのである。
【０００３】
しかしながら、画像のシーケンスは、如何なる個別的な画像の場合よりも遥かに多くの情報を包含している。例えば、シーンの画像シーケンスは、そのシーンにおける動的な変化によって生じる時間的な変化、またはカメラの運動によって誘導される時間的な変化を包含するのである。本発明に拠れば、この情報は、シーケンスが空間的にオーバーラップしないかまたは非常に低い類似性しか有さないときでさえも、２つの画像シーケンスの画像間の位置合わせを提供するために採用される。
【０００４】
シーケンス対シーケンスの位置合わせに関する最新技術の方法、およびその他の関連技術は、以下で説明されている。
［１］ S.AvidanおよびA.Shashua。「基本行列の装填（Threading Fundamental matrices）」。コンピュータビジョンに関する欧州会議、１９９８年。
［２］ P.A.Beardsley、P.H.S.TorrおよびA.Zisserman。「広範な画像シーケンスからの３Ｄモデルの獲得（3D Model acquisition from extended image sequences）」。コンピュータビジョンに関する第４回欧州会議の会報、ＬＮＣＳ１０６５、ケンブリッジ、６８３−６９５ページ、１９９６年。
［３］ P.R.BurtおよびR.J.Kolczynsky。「融合による画像キャプチャの改善（Enhanced image capture through fusion）」。コンピュータビジョンに関する国際会議、１９９３年。
［４］ Y.CaspiおよびM.Irani。「シーケンス対シーケンスの位置合わせを目指すステップ（A step towards sequence-to-sequence alignment）」。コンピュータビジョンおよびパターン認識に関するＩＥＥＥ会議、サウスカロライナ州、ヒルトン・ヘッド・アイランド、２０００年６月。
［５］ D.Demirdijian、A.ZissermanおよびR.Horaud。「一平面からの立体自動較正（Stereo autocalibration from one plane）」。コンピュータビジョンに関する欧州会議、２０００年。
［６］ Y.Dufournaud、C.SchmidおよびR.Horaud。「異なった解像度を備えた画像のマッチング（Matching images with different resolutions）」。コンピュータビジョンおよびパターン認識に関するＩＥＥＥ会議、サウスカロライナ州、ヒルトン・ヘッド・アイランド、２０００年６月。
［７］ C.E.Pearson（編集）。「応用数学ハンドブック−第２版（Handbook of applied mathematics Second Edition）」。ヴァン・ノストランド・ラインホルト社、ニューヨーク、１９８３年、８９８ページ。
［８］ F.R.Gantmakher。「行列理論（The theory of matrices）」。第８章、チェルシー出版、ニューヨーク、１９５９年。
［９］ Gene GolubおよびCharles Van Loan。「行列計算（Matrix Computations）」。ジョン・ホプキンス大学出版、ボルチモアおよびロンドン、１２３−１２７ページ、１９８９年。
［１０］ Richard I.Hartley。「８ポイント・アルゴリズムの防御において（In Defence of the 8-point Algorithm）」。パターン認識およびマシン・インテリジェンス１９（６）６月、５８０−５９３ページ、１９９７年。
［１１］ R.HartleyおよびA.Zisserman。「コンピュータビジョンにおける多数画像の幾何学（Multiple View Geometry in Computer Vision）」。第３章、ケンブリッジ大学出版、ケンブリッジ、２０００年。
［１２］ R.Horaud およびG.Csurka。「立体的な道具の運動を使用する再構築（Reconstruction using motions of a stereo rig）」。コンピュータビジョンに関する国際会議、９６−１０３ページ、１９９８年。
［１３］ R.Horaud およびF.Dornaika。「ハンド・アイ較正（Hand-eye calibration）」。ロボット工学研究国際ジャーナル、１４（３）１９５−２１０、１９９５年６月。
［１４］ M.IraniおよびP.Anandan。「直接的な方法に関するもの（About direct methods）」。ビジョン・アルゴリズム・ワークショップ、２６７−２７７ページ、コルフ、１９９９年。
［１５］ M.Irani、P.AnandanおよびD.Weinshall。「参照フレームから参照平面に対する：マルチ画像の視差幾何学およびアプリケーション（From reference frames to reference planes: Multi-view parallax geometry and applications）」。コンピュータビジョンに関する欧州会議、フライブルク、１９９８年６月。
［１６］ M.Irani、B.RoussoおよびS.Peleg。「閉塞的な運動および透明な運動の計算（Computing occluding and transparent motions）」。コンピュータビジョン国際ジャーナル１２（１）：５−１６、１９９４年１月。
［１７］ R.Kumar、P.AnandanおよびK.Hanna。「多数画像からの形状の直接的な復元：視差ベースのアプローチ（Direct recovery of shape from Multiple views: parallax based approach）」。パターン認識に関する国際会議、１９９４年。
［１８］ Harpreet Sawhney。「平面視差からの３Ｄ幾何学（3D geometry from planar parallax）」。コンピュータビジョンおよびパターン認識に関するＩＥＥＥ会議、１９９４年６月。
［１９］ A.ShashuaおよびN.Navab。「相対的なアフィン構造：斜視図からの３Ｄ再構築に関する理論およびアプリケーション（Theory and application to 3D reconstruction from perspective views）」。コンピュータビジョンおよびパターン認識に関するＩＥＥＥ会議、４８３−４８９ページ、ワシントン州、シアトル、１９９４年６月。
［２０］ G.P.Stein。「多数画像ポイントからのトラッキング：空間および時間の自動的較正（Tracking from multiple view points: Self-calibration of space and time）」。ＤＡＲＰＡＩＵワークショップ、１０３７−１０４２ページ、１９９８年。
［２１］ P.H.S.TorrおよびA.Zisserman。「構造および運動の評価のための特徴ベースの方法（Feature based methods for structure and motion estimation）」。ビジョン・アルゴリズム・ワークショップ、２７９−３２９ページ、コルフ、１９９９年。
［２２］ R.Y.TsaiおよびR.K.Lenz。「完全に自律的且つ効率的な３Ｄロボット工学的ハンド／アイ較正に関する新技術（A new technique for full autonomous and efficient 3D robotics hand/eye calibration）」。ロボット工学およびオートメーションに関するＩＥＥＥジャーナル５（３）：３４５−３５８、１９８９年６月。
［２３］ P.ViolaおよびW.Wells ３。「相互情報の最大化による位置合わせ（Alignment by maximization of mutual information）」。コンピュータビジョンに関する国際会議、１６−２３ページ、１９９５年。
［２４］ A.Zisserman、P.A.BeardsleyおよびI.D.Reid。「立体的な道具の距離的較正（Metric calibration of a stereo rig）」。ビジュアル・シーンの描写に関するワークショップ、９３−１００ページ、１９９５年。
［２５］ P.H.S.TorrおよびA.Zisserman。「構造および運動の評価のための特徴ベースの方法（Feature based methods for structure and motion estimation）」。ビジョン・アルゴリズム・ワークショップ、２７９−２９０ページ、コルフ、１９９９年。
［２６］ Z.Zhang、R.Deriche、O.FaugerasおよびQ.Luong。「未知のエピポーラ幾何学の復元によって２つの未較正の画像をマッチングさせるロバスト技術（A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry）」。人工知能７８：８７−１１９、１９９５年。
本件明細書において言及されるすべての出版物および本文において引用される出版物の開示内容は、引例として本文に組み込まれるものとする。
【発明の開示】
【０００５】
本発明は、様々なソースからの視覚情報を結合して統合させる方法論並びにシステムを提供しようと努める。
【０００６】
本発明は、先行技術の画像位置合わせ方法における基本的な想定である「干渉性の外観」という要件を、「一貫した時間的挙動」という要件に置き換えるものである。「一貫した時間的挙動」という要件は、例えば一緒に空間的に移動される２台のカメラを使用して２つの画像シーケンスを形成することによって、より容易に満足させることができる。従って、本発明は、オーバーラップしないシーケンスの場合に有益であるだけでなく、標準的な画像位置合わせ技術では本質的に困難である場合にも有益である。
【０００７】
本発明の１つの好適な実施例では、２台のカメラは、互いに接近して取り付けられ、それらの映写の中心は、非常に接近していて、一緒に空間的に移動する。この場合、各々のシーケンス内において誘導されるフレーム対フレームの変換は、２つのシーケンスにわたって相関的な挙動を有する。
【０００８】
本発明の１つの好適な実施例は、２つのシーケンスの画像の間における空間的変換および時間的変換の両者を解決するために相関的な時間的挙動を採用する。
【０００９】
従って、本発明は、以下のものを包含する様々なリアルワールドのアプリケーションに対して有益である。
【００１０】
（１）画像融合のためのマルチセンサ位置合わせ。これは、赤外線および可視光線のような異なったセンサ様式のセンサによって獲得される画像の正確な位置合わせを必要とする。そのような画像は、異なったセンサ特性の故に外観が大きく異なっている。
（２）異なったズームで獲得された画像シーケンスの位置合わせ。ここでの問題は、異なった画像解像度では、異なった画像特徴が際立っているということである。広視野シーケンスを狭視野シーケンスと位置合わせすることは、ズームアウトした視野の内側または外側におけるズームインした小さな対象を検出するために有益である。これは、監視用途において有益であり得るものである。
（３）ＩＭＡＸ（登録商標）ムービーの場合のようなオーバーラップしない多数の狭いＦＯＶ動画からのワイドスクリーン動画の再生。
【００１１】
本件出願の明細書および請求項において使用される「相関的」という用語は、特には以下のようなものを包含すると認識される。数学的な相関関係、統計的な相関関係、およびその他の任意の相互関係である。
【００１２】
従って、本発明の１つの好適な実施例に拠れば、それぞれの第１および第２の時間数列を有する少なくとも第１および第２の描写のシーケンスの間における空間関係および時間関係の少なくとも一方を計算する１つの方法が提供されている。この方法は、空間関係および時間関係の少なくとも一方を獲得するために、第１および第２の時間数列を採用することを包含する。
【００１３】
更に、本発明の１つの好適な実施例に拠れば、それぞれの第１および第２の時間数列を有する少なくとも第１および第２の描写のシーケンスの間における空間関係および時間関係の少なくとも一方を計算する１つの方法が提供されている。この方法は、空間関係および時間関係の少なくとも一方を獲得するために、第１および第２の時間数列のみを採用することを包含する。
【００１４】
更に、本発明の１つの好適な実施例に拠れば、それぞれの第１および第２の時間数列を有する少なくとも第１および第２の描写のシーケンスの間における空間関係および時間関係の少なくとも一方を計算する１つのシステムが提供されている。このシステムは、描写の第１シーケンスおよび第１の時間数列、および描写の第２シーケンスおよび第２の時間数列を受信する入力機能性と、空間関係および時間関係の少なくとも一方を獲得するために、描写の第１シーケンスおよび第１の時間数列の少なくとも一方、および描写の第２シーケンスおよび第２の時間数列の少なくとも一方を採用する計算機能性とを包含する。
【００１５】
更に、本発明のもう１つの好適な実施例に拠れば、それぞれの第１および第２の時間数列を有する少なくとも第１および第２の描写のシーケンスの間における空間関係および時間関係の少なくとも一方を計算する１つのシステムが提供されている。このシステムは、第１および第２の時間数列を受信する入力機能性と、空間関係および時間関係の少なくとも一方を獲得するために、第１および第２の時間数列を採用する計算機能性とを包含する。
【００１６】
更に、本発明の１つの好適な実施例に拠れば、その方法は、その後、空間関係および時間関係の少なくとも一方を獲得するために採用される、第１および第２の時間数列を計算することをも包含する。
【００１７】
好適には、それらの描写は、視覚的な描写と、画像と、少なくとも３次元の対象とを包含する。
【００１８】
更になお、本発明の１つの好適な実施例に拠れば、採用するステップは、空間関係および／または時間関係を獲得する。
【００１９】
補足的に、本発明の１つの好適な実施例に拠れば、採用ステップは、描写の間における空間的なオーバーラップが存在しない場合に、空間関係および時間関係を獲得する。
【００２０】
補足的に或いは代替的に、採用ステップは、描写の間における共通の空間情報が存在しない場合に、空間関係および時間関係を獲得する。
【００２１】
更に、本発明の１つの好適な実施例に拠れば、採用するステップは、少なくとも第１および第２のシーケンスの異なったものに所属する描写の個別的なものの間における共通の情報が存在しない場合に、空間関係および時間関係を獲得する。
【００２２】
更になお、本発明の１つの好適な実施例に拠れば、採用するステップは、少なくとも第１および第２のシーケンスの異なったものに所属する描写の任意の個別的なものの間における共通の情報が存在しない場合に、空間関係および時間関係を獲得する。
【００２３】
補足的に、本発明の１つの好適な実施例に拠れば、空間関係は、描写の少なくとも第１および第２のシーケンスの間における幾何学的変換の少なくとも１つのパラメータを包含する。
【００２４】
好適には、空間関係は、２次元射影変換を包含する。
【００２５】
代替的には、空間関係は、３次元射影変換を包含する。
【００２６】
更に、本発明の１つの好適な実施例に拠れば、空間関係は、基本行列を包含する。
【００２７】
更になお、本発明の１つの好適な実施例に拠れば、空間関係は、２次元パラメトリック変換を包含する。
【００２８】
補足的に、本発明の１つの好適な実施例に拠れば、空間関係は、少なくとも３次元のパラメトリック変換を包含する。
【００２９】
更に、本発明の１つの好適な実施例に拠れば、空間関係は、２次元ノンパラメトリック変換を包含する。
【００３０】
補足的に或いは代替的に、空間関係は、少なくとも３次元のノンパラメトリック変換を包含する。
【００３１】
更に、本発明の１つの好適な実施例に拠れば、空間関係は、少なくとも第１および第２のシーケンスの異なったものに所属する描写の個別的なものの間における空間関係を包含する。
【００３２】
更になお、本発明の１つの好適な実施例に拠れば、空間関係は、少なくとも第１および第２のシーケンスの異なったものに所属する描写の個別的なものの間における空間関係を包含し、描写の個別的なものの少なくとも一方は、補間された描写である。
【００３３】
補足的に、本発明の１つの好適な実施例に拠れば、空間関係は、少なくとも第１および第２のシーケンスの異なったものに所属する描写の個別的なものの間における空間関係を包含し、描写の個別的なものの一方は、補間された描写であり、描写の個別的なものの他方は、補間されない描写である。
【００３４】
更に、本発明の１つの好適な実施例に拠れば、時間関係は、描写の少なくとも第１および第２のシーケンスの間における時間変換の少なくとも１つのパラメータを包含する。
【００３５】
更になお、本発明の１つの好適な実施例に拠れば、時間関係は、描写の少なくとも第１および第２のシーケンスの間における時間シフトを包含する。
【００３６】
好適には、時間関係は、時間のアフィン変換、時間のパラメトリック変換、および／または時間のノンパラメトリック変換を包含する。
【００３７】
更に、本発明の１つの好適な実施例に拠れば、時間関係は、少なくとも第１および第２のシーケンスの異なったものに所属する描写の個別的なものの間における時間関係を包含する。
【００３８】
更になお、本発明の１つの好適な実施例に拠れば、時間関係は、少なくとも第１および第２のシーケンスの異なったものに所属する描写の個別的なものの間における時間関係を包含し、描写の個別的なものの少なくとも一方は、補間された描写である。
【００３９】
補足的に、本発明の１つの好適な実施例に拠れば、時間関係は、少なくとも第１および第２のシーケンスの異なったものに所属する描写の個別的なものの間における時間関係を包含する。典型的には、描写の個別的なものの一方は、補間された描写であり、描写の個別的なものの他方は、補間されない描写である。
【００４０】
好適には、補間された描写は、時間を補間され、補間された描写は、空間をも補間される。
【００４１】
更に、本発明の１つの好適な実施例に拠れば、第１および第２の時間数列は、順序付きシーケンス間の描写対描写の変換を包含する。
【００４２】
更になお、本発明の１つの好適な実施例に拠れば、第１および第２の時間数列は、各センサとシーンの間における相対的な運動から生じる順序付きシーケンス間の描写対描写の変換を包含する。
【００４３】
好適には、シーケンス間の描写対描写の変換は、２次元射影変換および／または３次元射影変換を包含する。
【００４４】
更に、本発明の１つの好適な実施例に拠れば、シーケンス間の描写対描写の変換は、基本行列、２次元パラメトリック変換、少なくとも３次元のパラメトリック変換、２次元ノンパラメトリック変換、少なくとも３次元のノンパラメトリック変換、およびカメラ・行列を包含する。
【００４５】
更になお、本発明の１つの好適な実施例に拠れば、採用するステップは、第１および第２の時間数列を相関させることを包含する。
【００４６】
補足的に、本発明の１つの好適な実施例に拠れば、採用するステップは、第１時間数列および第２時間数列の特性を等式化することを包含する。
【００４７】
更に、本発明の１つの好適な実施例に拠れば、採用するステップは、第１時間数列および第２時間数列の特性を相関させることを包含する。
【００４８】
更になお、本発明の１つの好適な実施例に拠れば、採用するステップは、第１時間数列のシーケンス間の描写対描写の変換の少なくとも１つと、少なくとも第１および第２のシーケンスの間における未知の空間関係との順次適用を、少なくとも第１および第２のシーケンスの間における未知の空間関係と、第２時間数列のシーケンス間の描写対描写の変換の少なくとも１つとの順次適用に対して等式化することを包含する。
【００４９】
更に、本発明の１つの好適な実施例に拠れば、採用するステップは、第１時間数列のシーケンス間の描写対描写の変換の少なくとも１つと、少なくとも第１および第２のシーケンスの間における未知の空間関係との合成を、少なくとも第１および第２のシーケンスの間における未知の空間関係と、第２時間数列のシーケンス間の描写対描写の変換の少なくとも１つとの合成に対して等式化することを包含する。
【００５０】
補足的に、本発明の１つの好適な実施例に拠れば、採用するステップは、第１時間数列のシーケンス間の描写対描写の変換の少なくとも１つと、少なくとも第１および第２のシーケンスの間における未知の空間関係との順次適用を、少なくとも第１および第２のシーケンスの間における未知の空間関係と、第２時間数列のシーケンス間の描写対描写の変換の少なくとも１つとの順次適用に対して等式化することによって、少なくとも第１および第２のシーケンスの間における未知の空間関係を獲得することを包含する。
【００５１】
補足的に、本発明の１つの好適な実施例に拠れば、等式化するステップは、所定の倍率に達するまで等式化することを包含する。
【００５２】
更に、本発明の１つの好適な実施例に拠れば、シーケンス間の描写対描写の変換は、少なくとも部分的には異なった時点において生じる多数の単純な運動を包含する。
【００５３】
好適には、シーケンス間の描写対描写の変換は、少なくとも部分的には異なった時点において生じる多数の単純な運動の多数の組合せを包含する。
【００５４】
好適には、シーケンス間の描写対描写の変換は、少なくとも部分的には異なった時点において生じる多数の複雑な運動を包含する。
【００５５】
好適には、シーケンス間の描写対描写の変換は、少なくとも部分的には異なった時点において生じる多数の複雑な運動の多数の組合せを包含する。
【００５６】
更に、本発明の１つの好適な実施例に拠れば、第１および第２の時間数列は、順序付きシーケンス間の描写対描写の変換を包含し、少なくともその幾分かは、各センサとシーンの間における相対的な運動から生じる。
【００５７】
更になお、本発明の１つの好適な実施例に拠れば、採用するステップは、シーケンス間の描写対描写の変換の多数の組合せを使用する。
【００５８】
更に、本発明の１つの好適な実施例に拠れば、描写の少なくとも第１および第２のシーケンスの間における空間関係は、時間の全体にわたって固定されているそれぞれの少なくとも第１および第２のシーケンスを獲得する第１および第２のセンサの間における獲得関係から生じる。
【００５９】
更になお、本発明の１つの好適な実施例に拠れば、描写の少なくとも第１および第２のシーケンスの間における空間関係は、時間の全体にわたって既知の様式で変化するそれぞれの少なくとも第１および第２のシーケンスを獲得する第１および第２のセンサの間における獲得関係から生じる。
【００６０】
好適には、獲得関係は、相対的位置と、相対的方向付けと、相対的な内部センサ・パラメータとを包含する。
【００６１】
更に、本発明の１つの好適な実施例に拠れば、獲得関係は既知である。
【００６２】
代替的に、獲得関係は既知ではない。
【００６３】
補足的に、本発明の１つの好適な実施例に拠れば、少なくとも第１および第２のシーケンスは、概ね同時に獲得される。
【００６４】
好適には、少なくとも第１および第２のシーケンスは、概ね異なった時点で獲得される。
【００６５】
更に、本発明の１つの好適な実施例に拠れば、少なくとも第１および第２のシーケンスは、同じシーンからの計測値を提示する。
【００６６】
補足的に、本発明の１つの好適な実施例に拠れば、少なくとも第１および第２のシーケンスは、同じシーンの異なった部分からの計測値を提示する。
【００６７】
補足的に或いは代替的に、少なくとも第１および第２のシーケンスは、同じシーンの異なったオーバーラップする部分からの計測値を提示する。
【００６８】
更に、本発明の１つの好適な実施例に拠れば、少なくとも第１および第２のシーケンスは、同じシーンの異なったオーバーラップしない部分からの計測値を提示する。
【００６９】
更になお、本発明の１つの好適な実施例に拠れば、少なくとも第１および第２のシーケンスは、異なったシーンからの計測値を提示する。
【００７０】
代替的には、シーンは２次元である。
【００７１】
好適には、シーンは少なくとも３次元である。
【００７２】
更に、本発明の１つの好適な実施例に拠れば、シーンは静止的である。代替的には、シーンは動的である。
【００７３】
更に、本発明の１つの好適な実施例に拠れば、それらの計測値は、各々のセンサに関して概ね同じである。
【００７４】
更になお、本発明の１つの好適な実施例に拠れば、それらの計測値は、各々のセンサに関して概ね異なっている。
【００７５】
好適には、それらの計測値は、照度、熱、放射輝度、電磁放射、色、距離、濃度、音響および速度のうちの少なくとも１つを包含する。
【００７６】
更に、本発明の１つの好適な実施例に拠れば、その方法は、シーケンス融合のために空間関係および時間関係の少なくとも一方を採用するステップをも包含する。
【００７７】
補足的に、本発明の１つの好適な実施例に拠れば、その方法は、異なったズームで獲得されたシーケンスの位置合わせのために空間関係および時間関係の少なくとも一方を採用するステップをも包含する。
【００７８】
更になお、本発明の１つの好適な実施例に拠れば、その方法は、監視のために空間関係および時間関係の少なくとも一方を採用するステップをも包含する。
【００７９】
更に、本発明の１つの好適な実施例に拠れば、その方法は、少なくとも部分的にはオーバーラップしない多数の狭い視野の動画からワイドスクリーンの動画を生成するために空間関係および時間関係の少なくとも一方を採用するステップをも包含する。
【００８０】
補足的に、本発明の１つの好適な実施例に拠れば、その方法は、画像融合のために空間関係および時間関係の少なくとも一方を採用するステップをも包含する。
【００８１】
更に、本発明の１つの好適な実施例に拠れば、その方法は、少なくとも第１および第２のシーケンスの中に含まれた情報を統合するために空間関係および時間関係の少なくとも一方を採用するステップをも包含する。
【００８２】
更になお、本発明の１つの好適な実施例に拠れば、その方法は、異なったズームで獲得された画像の位置合わせのために空間関係および時間関係の少なくとも一方を採用するステップをも包含する。
【００８３】
補足的に、本発明の１つの好適な実施例に拠れば、その方法は、少なくとも第１および第２のシーケンスの中に含まれた情報を比較するために空間関係および時間関係の少なくとも一方を採用するステップをも包含する。
【００８４】
更に、本発明の１つの好適な実施例に拠れば、その方法は、少なくとも第１および第２のシーケンスの中に含まれた情報の間における相違を発見するために空間関係および時間関係の少なくとも一方を採用するステップをも包含する。
【００８５】
更になお、本発明の１つの好適な実施例に拠れば、その方法は、異なった時点における同じシーンに関連する少なくとも第１および第２のシーケンスの中に含まれた情報の間における相違を発見するために空間関係および時間関係の少なくとも一方を採用するステップをも包含する。
【００８６】
補足的に、本発明の１つの好適な実施例に拠れば、その方法は、少なくとも第１および第２のシーケンスの中に含まれた情報を統合し、それによって、個別的なセンサの限度を超過する情報出力を提供するようにして、空間関係および時間関係の少なくとも一方を採用するステップをも包含する。
【００８７】
更に、本発明の１つの好適な実施例に拠れば、採用するステップは、第１時間数列および第２時間数列の特性を比較することを包含する。
【００８８】
更になお、本発明の１つの好適な実施例に拠れば、計算機能性は、その後、空間関係および時間関係の少なくとも一方を獲得するために採用される、第１および第２の時間数列を計算する機能性を包含する。
【００８９】
補足的に、本発明の１つの好適な実施例に拠れば、そのシステムは、第１および第２の時間数列を計算して、それらを入力機能性に対して供給する時間数列計算機能性をも包含する。
【００９０】
本発明は、添付図面と併せて考慮される以下の詳細な説明から更に十分に理解され認識されることになる。
【発明を実施するための最良の形態】
【００９１】
ここで、本発明に従って互いに対して固定された２台の移動するカメラによって撮られた画像のシーケンスの間における空間関係および時間関係の解決を説明する、図１Ａから図１Ｄの図面が参照される。
【００９２】
図１Ａにおいて理解されるように、それぞれに参照番号１００および１０２で示された２台のカメラは、任意の適当な様式で互いに対して固定される。各々のカメラは、一緒に固定されて移動するとき、シーンの部分の画像シーケンスを撮影する。それらのカメラの運動は、１つまたはそれ以上の寸法におけるものであり且つ任意の適当なポイントに対するものである回転および／または並進のような任意の適当な運動であることが可能である。従って、例えば、２台のカメラ１００および１０２は、それらのカメラの一方の光学軸または任意のその他の軸の廻りを回転することが可能である。同様にして、それらのカメラの並進運動もまた、任意の適当な方向において生じることが可能である。
【００９３】
本件の事例（図１Ａから図１Ｄ）では、２台のカメラによって撮影されるシーンの部分は、オーバーラップするものではなく、それぞれに参照番号１０４および１０６によって示されている。
【００９４】
ここで、図１Ｂを参照すると、図１Ａのシーンの部分１０４および１０６は、対応する画像１０８および１１０によって描写されることが可能であると理解される。図１Ｃにおいて理解されるように、画像１０８および１１０は、移動するカメラ１００および１０２の一方によってそれぞれに形成された画像のシーケンスに対してそれぞれに所属するものであり、それぞれのシーケンスは、参照番号１１２および１１４によって示されている。シーケンス１１２は、画像１２２，１２４および１２６をも包含するものであると理解される。同様にして、シーケンス１１４もまた、画像１３０，１３２および１３４を包含する。
【００９５】
本発明によって対処される問題は、一方がシーケンス１１２に所属し、他方がシーケンス１１４に所属する個別的な画像対（例えば、（１０８，１１０）、（１２２，１３０）または（１２２，１３４））の中に包含される視覚情報が、２つの画像対の間における空間関係も時間関係をも確立しない十分なものであるということである。より一般的に言えば、画像対の一方がシーケンス１１２に所属し、画像対の他方がシーケンス１１４に所属する個別的な画像対の中に包含される視覚情報は、２つのシーケンス１１２および１１４の間における空間関係も時間関係をも確立しない十分なものなのである。
【００９６】
図１Ａから図１Ｄの文脈では、２つの画像は、それらが同じ時点で撮られた場合、同じ「時間関係」にあるものである。
【００９７】
画像１０８および１１０の未知の空間関係は、図１Ｂにおいて参照番号１１６，１１８および１２０で示された実行可能な相対的空間関係の３つの具体例を検討することによって、図式的に理解される。各々の具体例において、２つの画像１０８および１１０は、すべてが画像１０８および１１０の視覚的内容と矛盾しない、異なった空間関係に配置されている。
【００９８】
シーケンス１１２および１１４の未知の時間関係は、図１Ｃを検討することによって、図式的に理解される。シーケンス１１２における画像がシーケンス１１４における画像と同じ時点で撮られていることは、シーケンス１１２および１１４の大雑把な吟味からは明瞭ではないと認識されるのである。
【００９９】
本発明は、画像１０８および１１０の間における正確な関係、より一般的には図１Ｄにおいて示されたようなシーケンス１１２および１１４の間における正確な空間関係および時間関係を決定するシステム並びに技術を提供する。従って、本発明は、シーケンス１１２における画像がシーケンス１１４における画像と時間的に対応することを決定し、時間的に対応する画像の間における空間関係をも更に決定するものであると認識されることが可能である。
【０１００】
従って、図１Ｄでは、シーケンス１１２における画像Ａ（１０８）は、シーケンス１１４における画像ｂ（１１０）と時間的に対応すると認められるものであると理解される。画像Ａ（１０８）および画像ｂ（１１０）の間における正確な空間関係は、図１Ｄにおいて参照番号１５０で示されている。同様にして、シーケンス１１２における画像Ｂ（１２２）は、シーケンス１１４における画像ｃ（１３２）と時間的に対応するものであると認められ、シーケンス１１２における画像Ｃ（１２４）は、シーケンス１１４における画像ｄ（１３４）と時間的に対応するものであると認められる。画像Ｂ（１２２）および画像ｃ（１３２）の間における正確な空間関係は、図１Ｄにおいて参照番号１５２で示され、画像Ｃ（１２４）および画像ｄ（１３４）の間における正確な空間関係は、図１Ｄにおいて参照番号１５４で示されている。
【０１０１】
本発明は、２つのシーケンスにおいて共通の静止的な視覚情報が何も存在しないにも関わらず、２つのシーケンスの各々における画像対画像の動勢が空間的にも時間的にも関連するという認識を採用する。本発明は、２つのシーケンスを時間および空間において相関させるためにそれらの動勢の間における関係を利用するのである。
【０１０２】
以下で詳細に説明されるであろうように、画像対画像の動勢は、好適には、各々のシーケンス内の画像の間における時間の全体にわたる空間変換によって表現される。従って、画像のシーケンスを時間および空間において位置合わせするという問題が、時間および空間におけるそのような変換のシーケンスの間における関係を決定するという問題にまで縮小されるのである。
【０１０３】
図１Ｄの検討からは、本発明を採用することによって、空間的なオーバーラップがそれらの間に存在しないにも関わらず、その後、シーンの２つの部分を互いに対して局在化させるためにそれらのシーケンスが利用され得ることになる、位置合わせシーケンスが実現され得るということが認識される。
【０１０４】
ここでは、シーンの各部分が大きく異なったズームで２台のカメラによって撮影されている、本発明に従って互いに対して固定された２台の移動するカメラによって撮られた画像のシーケンスの間における空間関係および時間関係の解決を説明する、図２Ａから図２Ｄの図面が参照される。
【０１０５】
図２Ａにおいて理解されるように、それぞれに参照番号２００および２０２で示された２台のカメラは、任意の適当な様式で互いに対して固定される。各々のカメラは、一緒に固定されて移動するとき、シーンの部分の画像シーケンスを撮影する。それらのカメラの運動は、１つまたはそれ以上の寸法におけるものであり且つ任意の適当なポイントに対するものである回転および／または並進のような任意の適当な運動であることが可能である。従って、例えば、２台のカメラは、それらのカメラの一方の光学軸または任意のその他の軸の廻りを回転することが可能である。同様にして、それらのカメラの並進運動もまた、任意の適当な方向において生じることが可能である。
【０１０６】
本件の事例（図２Ａから図２Ｄ）では、２台のカメラによって撮影されるシーンの部分は、大きく異なったズームで画像形成されるものであり、結果として、シーンにおける様々な特徴を異なった空間的縮尺で画像形成している。シーンの２つの部分は、必ずしもオーバーラップしている必要がないものであり、それぞれに参照番号２０４および２０６によって示されている。
【０１０７】
ここで、図２Ｂを参照すると、図２Ａのシーンの部分２０４および２０６は、対応する画像２０８および２１０のそれぞれによって描写されることが可能であると理解される。図２Ｃにおいて理解されるように、画像２０８および２１０は、移動するカメラ２００および２０２の一方によってそれぞれに形成された画像のシーケンスに対してそれぞれに所属するものであり、それぞれのシーケンスは、参照番号２１２および２１４によって示されている。シーケンス２１２は、画像２２２，２２４および２２６をも包含するものであると理解される。同様にして、シーケンス２１４もまた、画像２３０，２３２および２３４を包含する。
【０１０８】
ズームイン画像２１０において画像形成される特徴は、それらのカメラによって採用される異なった空間的縮尺の故に、ズームアウト画像２０８において画像形成される特徴とは異なっていることが可能であると認識される。従って、例えば、樹木の個々の葉は、画像２１０では識別されることが可能であるが、そのような葉は、画像２０８では識別可能なものではないことも可能である。同様にして、木々は、画像２０８では識別されることが可能であるが、画像２１０では葉と枝だけが識別可能なのである。
【０１０９】
本発明によって対処される問題は、一方がシーケンス２１２に所属し、他方がシーケンス２１４に所属する個別的な画像対（例えば、（２０８，２１０）、（２２２，２３０）または（２２２，２３４））の中に包含される視覚情報が、２つの画像対の間における空間関係も時間関係をも確立しない十分なものであるということである。より一般的に言えば、画像対の一方がシーケンス２１２に所属し、画像対の他方がシーケンス２１４に所属する個別的な画像対の中に包含される視覚情報は、２つのシーケンス２１２および２１４の間における空間関係も時間関係をも確立しない十分なものなのである。
【０１１０】
図２Ａから図２Ｄの文脈では、２つの画像は、それらが同じ時点で撮られた場合、同じ「時間関係」にあるものである。
【０１１１】
画像２０８および２１０の未知の空間関係は、図２Ｂにおいて参照番号２１６，２１８および２２０で示された実行可能な相対的空間関係の３つの具体例を検討することによって、図式的に理解される。各々の具体例において、２つの画像２０８および２１０は、すべてが画像２０８および２１０の視覚的内容と矛盾しない、異なった空間関係に配置されている。
【０１１２】
シーケンス２１２および２１４の未知の時間関係は、図２Ｃを検討することによって、図式的に理解される。シーケンス２１２における画像がシーケンス２１４における画像と同じ時点で撮られていることは、シーケンス２１２および２１４の大雑把な吟味からは明瞭ではないと認識されるのである。
【０１１３】
本発明は、画像２０８および２１０の間における正確な関係、より一般的には図２Ｄにおいて示されたようなシーケンス２１２および２１４の間における正確な空間関係および時間関係を決定するシステム並びに技術を提供する。従って、本発明は、シーケンス２１２における画像がシーケンス２１４における画像と時間的に対応することを決定し、時間的に対応する画像の間における空間関係をも更に決定するものであると認識されることが可能である。
【０１１４】
従って、図２Ｄでは、シーケンス２１２における画像Ａ（２０８）は、シーケンス２１４における画像ｂ（２１０）と時間的に対応すると認められるものであると理解される。画像Ａ（２０８）および画像ｂ（２１０）の間における正確な空間関係は、図２Ｄにおいて参照番号２５０で示されている。同様にして、シーケンス２１２における画像Ｂ（２２２）は、シーケンス２１４における画像ｃ（２３２）と時間的に対応するものであると認められ、シーケンス２１２における画像Ｃ（２２４）は、シーケンス２１４における画像ｄ（２３４）と時間的に対応するものであると認められる。画像Ｂ（２２２）および画像ｃ（２３２）の間における正確な空間関係は、図２Ｄにおいて参照番号２５２で示され、画像Ｃ（２２４）および画像ｄ（２３４）の間における正確な空間関係は、図２Ｄにおいて参照番号２５４で示されている。
【０１１５】
本発明は、２つのシーケンスにおいて何らかの共通の静止的な視覚情報が必ずしも存在しないにも関わらず、２つのシーケンスの各々における画像対画像の動勢が空間的にも時間的にも関連するという認識を採用する。本発明は、２つのシーケンスを時間および空間において相関させるためにそれらの動勢の間における関係を利用するのである。
【０１１６】
以下で詳細に説明されるであろうように、画像対画像の動勢は、好適には、各々のシーケンス内の画像の間における時間の全体にわたる空間変換によって表現される。従って、画像のシーケンスを時間および空間において位置合わせするという問題が、時間および空間におけるそのような変換のシーケンスの間における関係を決定するという問題にまで縮小されるのである。
【０１１７】
図２Ｄの検討からは、本発明を採用することによって、広視野の文脈を提供するシーンのズームアウト視野に対して局在化されるようにして、その後、シーンの部分の高解像度の細部を提供するためにそれらのシーケンスが利用され得ることになる、位置合わせシーケンスが実現され得るということが認識される。
【０１１８】
ここでは、シーンの各部分が異なったセンサ様式を採用する２つのセンサによって画像形成されている、本発明に従って互いに対して固定された２つの移動するセンサによって撮られた画像のシーケンスの間における空間関係および時間関係の解決を説明する、図３Ａから図３Ｄの図面が参照される。
【０１１９】
図３Ａにおいて理解されるように、赤外線（ＩＲ）カメラ３００および可視光線（ＶＬ）カメラ３０２のような２つのセンサは、任意の適当な様式で互いに対して固定される。各々のセンサは、一緒に固定されて移動するとき、シーンの部分の画像シーケンスを撮影する。それらのセンサの運動は、１つまたはそれ以上の寸法におけるものであり且つ任意の適当なポイントに対するものである回転および／または並進のような任意の適当な運動であることが可能である。従って、例えば、２つのセンサは、それらのセンサの一方の光学軸または任意のその他の軸の廻りを回転することが可能である。同様にして、それらのセンサの並進運動もまた、任意の適当な方向において生じることが可能である。
【０１２０】
本件の事例（図３Ａから図３Ｄ）では、２つのセンサによって検出されるシーンの部分は、異なった波長領域において画像形成されるものであり、結果として、シーンにおける様々な特徴を異なった様式で画像形成している。シーンの２つの部分は、必ずしも、オーバーラップしている必要がなく、同じズームである必要もないものであり、参照番号３０４および３０６によって示されている。
【０１２１】
ここで、図３Ｂを参照すると、図３Ａのシーンの部分３０４および３０６は、対応する画像３０８および３１０によって描写されることが可能であると理解される。図３Ｃにおいて理解されるように、画像３０８および３１０は、移動するセンサ３００および３０２の一方によってそれぞれに形成された画像のシーケンスに対してそれぞれに所属するものであり、それぞれのシーケンスは、参照番号３１２および３１４によって示されている。シーケンス３１２は、画像３２２，３２４および３２６をも包含するものであると理解される。同様にして、シーケンス３１４もまた、画像３３０，３３２および３３４を包含する。
【０１２２】
赤外線（ＩＲ）画像３１０において画像形成される特徴は、それらのセンサによって採用される異なったセンサ様式の故に、可視光線（ＶＬ）画像３０８において画像形成される特徴とは異なっていることが可能であると認識される。従って、例えば、高温領域は、画像３０８では識別されることが可能であるが、熱は、画像３１０では検出されない。同様にして、バスの視覚的な外観は、画像３１０では識別されることが可能であるが、可視光線においてのみ現れる特徴は、画像３０８では捕捉されないのである。
【０１２３】
本発明によって対処される問題は、一方がシーケンス３１２に所属し、他方がシーケンス３１４に所属する個別的な画像対（例えば、（３０８，３１０）、（３２２，３３０）または（３２２，３３４））の中に包含される視覚情報が、２つの画像対の間における空間関係も時間関係をも確立しない十分なものであるということである。より一般的に言えば、画像対の一方がシーケンス３１２に所属し、画像対の他方がシーケンス３１４に所属する個別的な画像対の中に包含される視覚情報は、２つのシーケンス３１２および３１４の間における空間関係も時間関係も確立するのには十分ではない。
【０１２４】
図３Ａから図３Ｄの文脈では、２つの画像は、それらが同じ時点で撮られた場合、同じ「時間関係」にあるものである。
【０１２５】
画像３０８および３１０の未知の空間関係は、図３Ｂにおいて参照番号３１６，３１８および３２０で示された実行可能な相対的空間関係の３つの具体例を検討することによって、図式的に理解される。各々の具体例において、２つの画像３０８および３１０は、すべてが画像３０８および３１０の視覚的内容と矛盾しない、異なった空間関係に配置されている。
【０１２６】
シーケンス３１２および３１４の未知の時間関係は、図３Ｃを検討することによって、図式的に理解される。シーケンス３１２における画像がシーケンス３１４における画像と同じ時点で撮られていることは、シーケンス３１２および３１４の大雑把な吟味からは明瞭ではないと認識されるのである。
【０１２７】
本発明は、画像３０８および３１０の間における正確な関係、より一般的には図３Ｄにおいて示されたようなシーケンス３１２および３１４の間における正確な空間関係および時間関係を決定するシステム並びに技術を提供する。従って、本発明は、シーケンス３１２における画像がシーケンス３１４における画像と時間的に対応することを決定し、時間的に対応する画像の間における空間関係をも更に決定するものであると認識されることが可能である。
【０１２８】
従って、図３Ｄでは、シーケンス３１４における画像Ａ（３１０）は、シーケンス３１２における画像ａ（３０８）と時間的に対応すると認められるものであると理解される。画像Ａ（３１０）および画像ａ（３０８）の間における正確な空間関係は、図３Ｄにおいて参照番号３５０で示されている。同様にして、シーケンス３１４における画像Ｂ（３３０）は、シーケンス３１２における画像ｂ（３２２）と時間的に対応するものであると認められ、シーケンス３１４における画像Ｃ（３３２）は、シーケンス３１２における画像ｃ（３２４）と時間的に対応するものであると認められ、シーケンス３１４における画像Ｄ（３３４）は、シーケンス３１２における画像ｄ（３２６）と時間的に対応するものであると認められる。画像Ｂ（３３０）および画像ｂ（３２２）の間における正確な空間関係は、図３Ｄにおいて参照番号３５２で示され、画像Ｃ（３３２）および画像ｃ（３２４）の間における正確な空間関係は、図３Ｄにおいて参照番号３５４で示され、画像Ｄ（３３４）および画像ｄ（３２６）の間における正確な空間関係は、図３Ｄにおいて参照番号３５６で示されている。従って、ＩＲ画像シーケンス３１２において捕捉される高温領域は、実際には、バスのラジエータおよび排気ガスであるということが実現され得ることになる。
【０１２９】
本発明は、２つのシーケンスにおいて何らかの共通の静止的な視覚情報が必ずしも存在しないにも関わらず、２つのシーケンスの各々における画像対画像の動勢が空間的にも時間的にも関連するという認識を採用する。本発明は、それらのシーケンスによって捕捉される特徴の理解または解釈を必要とすることなく、２つのシーケンスを時間および空間において相関させるためにそれらの動勢の間における関係を利用するのである。
【０１３０】
以下で詳細に説明されるであろうように、画像対画像の動勢は、好適には、各々のシーケンス内の画像の間における時間の全体にわたる空間変換によって表現される。従って、画像のシーケンスを時間および空間において位置合わせするという問題が、時間および空間におけるそのような変換のシーケンスの間における関係を決定するという問題にまで縮小されるのである。
【０１３１】
図３Ｄの検討からは、本発明を採用することによって、両者のシーケンスによって捕捉される情報の全体を表示する複合シーケンスを提供するために、その後、それらのシーケンスが統合され得ることになる、位置合わせシーケンスが実現され得るということが認識される。従って、この具体例では、その複合シーケンスは、個別的なセンサ３００および３０２のものを超過する波長領域にわたって情報を捕捉するのである。
【０１３２】
ここでは、２つの対応する画像シーケンスを形成している２つの異なった時点で撮られた、シーンの画像シーケンスの間における空間関係および時間関係の解決を説明する、図４Ａから図４Ｄの図面が参照される。それらの画像シーケンスを形成するために使用されるカメラは、両者のシーケンスに関して概ね同一である通路に沿って移動する要素に対して固定されている。
【０１３３】
図４Ａにおいて理解されるように、鉄道線路のような概ね同一の通路に沿って移動するカメラが、ここでは典型的に夏および冬である２つの異なった時点におけるシーンを画像形成する。夏に使用されるカメラは、参照番号４００で示されるが、冬に使用されるカメラは、参照番号４０２で示されている。同じカメラまたは異なったカメラが採用され得るものであると認識される。それらのカメラは、同じセッティングまたは異なったセッティングを有することが可能である。
【０１３４】
各々のカメラは、そのシーンの画像シーケンスを撮影する。この事例では、２つの異なった時点において画像形成されるシーンは、参照番号４０４および４０６によって示されるような２つの異なった外観を有する。参照番号４０４は、夏に鉄道線路４０７に沿って移動するようにして、カメラ４００を載せた列車の視野を示している。参照番号４０６は、冬に鉄道線路４０７に沿って移動するようにして、カメラ４０２を載せた列車の視野を示している。
【０１３５】
ここで、図４Ｂを参照すると、カメラ４００および４０２は、図４Ａの参照番号４０４および４０６によって示された視野の部分を画像形成するものであり、それぞれの画像４０８および４１０を形成していると理解される。図４Ｃにおいて理解されるように、画像４０８および４１０は、移動するカメラ４００および４０２の一方によってそれぞれに形成された画像のシーケンスに対してそれぞれに所属するものであり、それぞれのシーケンスは、参照番号４１２および４１４によって示されている。シーケンス４１２は、画像４２２，４２４および４２６をも包含するものであると理解される。同様にして、シーケンス４１４もまた、画像４３０，４３２および４３４を包含する。シーケンス４１２における画像は、シーケンス４１４における画像と必ずしも時間的に離間される（同じ時間差で撮られる）ものではないと認識される。
【０１３６】
夏に画像形成される特徴は、冬に画像形成される特徴とは、例えば雪で覆われる故に、異なっていることが可能であると認識される。従って、例えば、シーケンス４１２において観察される家屋は、シーケンス４１４では視認され得ない。何故なら、それが雪で覆われているからである。同様にして、シーケンス４１４において観察される雪もまた、シーケンス４１２では視認され得ないのである。
【０１３７】
本発明によって対処される問題は、一方がシーケンス４１２に所属し、他方がシーケンス４１４に所属する個別的な画像対（例えば、（４０８，４１０）、（４２２，４３０）または（４２２，４３４））の中に包含される視覚情報が、２つの画像対の間における空間関係も時間関係も確立するには十分ではないことである。より一般的に言えば、画像対の一方がシーケンス４１２に所属し、画像対の他方がシーケンス４１４に所属する個別的な画像対の中に包含される視覚情報は、２つのシーケンス４１２および４１４の間における空間関係も時間関係も確立するには十分ではない。
【０１３８】
図４Ａから図４Ｄの文脈では、２つの画像は、それに対してカメラが固定される要素が通路に沿った同じ場所にある場合、同じ「時間関係」にあるものである。シーケンス４１２における画像４２２，４２４，４０８および４２６の間における時間差は、シーケンス４１４における画像４３０，４３２，４１０および４３４の間における時間差と同じであることが可能であり、或いは同じではないことも可能であると認識される。
【０１３９】
画像４０８および４１０の未知の空間関係は、図４Ｂにおいて参照番号４１６，４１８および４２０で示された実行可能な相対的空間関係の３つの具体例を検討することによって、図式的に理解される。各々の具体例において、２つの画像４０８および４１０は、すべてが画像４０８および４１０の視覚的内容と矛盾しない、異なった空間関係に配置されている。
【０１４０】
シーケンス４１２および４１４の未知の時間関係は、図４Ｃを検討することによって、図式的に理解される。シーケンス４１２における画像がシーケンス４１４における画像と同じである鉄道線路４０７に沿った位置から撮られていることは、シーケンス４１２および４１４の大雑把な吟味からは明瞭ではないと認識されるのである。
【０１４１】
本発明は、画像４０８および４１０の間における正確な関係、より一般的には図４Ｄにおいて示されたようなシーケンス４１２および４１４の間における正確な空間関係および時間関係を決定するシステム並びに技術を提供する。従って、本発明は、シーケンス４１２における画像がシーケンス４１４における画像と時間的に対応することを決定し、時間的に対応する画像の間における空間関係をも更に決定するものであると認識されることが可能である。
【０１４２】
従って、図４Ｄでは、シーケンス４１２における画像Ａ（４２２）は、シーケンス４１４における画像ａ（４３０）と時間的に対応すると認められるものであると理解される。画像Ａ（４２２）および画像ａ（４３０）の間における正確な空間関係は、図４Ｄにおいて参照番号４５０で示されている。同様にして、シーケンス４１２における画像Ｂ（４２４）は、シーケンス４１４における画像ｂ（４３２）と時間的に対応するものであると認められ、シーケンス４１２における画像Ｃ（４０８）は、シーケンス４１４における画像ｃ（４１０）と時間的に対応するものであると認められ、シーケンス４１２における画像Ｄ（４２６）は、シーケンス４１４における画像ｄ（４３４）と時間的に対応するものであると認められる。画像Ｂ（４２４）および画像ｂ（４３２）の間における正確な空間関係は、図４Ｄにおいて参照番号４５２で示され、画像Ｃ（４０８）および画像ｃ（４１０）の間における正確な空間関係は、図４Ｄにおいて参照番号４５４で示され、画像Ｄ（４２６）および画像ｄ（４３４）の間における正確な空間関係は、図４Ｄにおいて参照番号４５６で示されている。従って、雪の下に埋もれた家屋の場所は、その家屋がそのシーケンスでは視認され得ないにも関わらず、シーケンス４１４において決定されることが可能である。
【０１４３】
本発明は、２つのシーケンスにおいて何らかの共通の静止的な視覚情報が必ずしも存在しないにも関わらず、２つのシーケンスの各々における画像対画像の動勢が空間的にも時間的にも関連するという認識を採用する。本発明は、それらのシーケンスによって捕捉される特徴の理解または解釈を必要とすることなく、２つのシーケンスを時間および空間において相関させるためにそれらの動勢の間における関係を利用するのである。
【０１４４】
以下で詳細に説明するように、画像対画像の動勢は、好適には、各々のシーケンス内の画像の間における時間の全体にわたる空間変換によって表現される。従って、画像のシーケンスを空間的且つ時間的に位置合わせするという問題は、そのような変換のシーケンスの間における関係をいかに決定するかという問題である。
【０１４５】
図４Ｄの検討からは、本発明を採用することによって、他のシーケンスを横断する所定のシーケンスにおいてのみ視認され得る対象の場所を決定するために、その後、それらのシーケンスが採用され得ることになる、位置合わせシーケンスが実現され得るということが認識される。その位置合わせシーケンスは、異なったシーケンスの獲得の間における時間間隔の間に生じる人工的な変更のようなシーンにおける変化を検出するために採用されることもまた可能である。
【０１４６】
更に、空間関係は、少なくとも２つの軌跡が同じ装置または道具上に剛直に装着されて空間を一緒に移動される２台のカメラによってそれらが形成されたかのように相関させられるようにして、概ね異なった軌跡に沿った、異なった時点および／または異なった場所において、少なくとも１台のカメラを移動させることによって形成されることもまた可能であると認識される。
【０１４７】
図４Ａから図４Ｄは、本発明の方法の出力に関する実行可能な視覚化の１つの具体例を示している。しかしながら、その方法は、この特定の出力或いはこの特定の視覚化に対して限定されるものではない。例えば、その出力は、空間変換および時間変換の形態における数値であることが可能であり、或いは位置合わせされおよび／または統合されるビデオシーケンスの形態における視覚的なものであることも可能であると認識される。
【０１４８】
数値的な出力が設けられるときには、その出力変換は、様々な実行可能な座標系において設けられることが可能であり、視覚的な出力が設けられるときには、多くの実行可能な視覚化が存在する。
【０１４９】
ここで、本発明の根底をなす重要な新規の原理を図示している、図５Ａから図５Ｃが参照される。図１Ａから図４Ｄに関連して上述したように、共通の視覚情報を僅かしか有していないかまたは全く有していない画像の間における空間的対応性および時間的対応性を確立する際には困難がある。
【０１５０】
それらの画像の各々が実質的な共通の視覚情報を有する画像シーケンスの部分を形成することに留意して、本発明は、各々のシーケンス内の画像の間におけるシーケンス間の空間変換を検討し、その後、そのような一連のシーケンス間の空間変換をそれらのシーケンスの全体にわたって相関させることによって、この困難を克服している。
【０１５１】
シーケンス内の画像に共通する視覚情報は、シーケンス間の空間変換を計算するために使用されるが、これらの変換は、一旦計算されてしまうと、如何なる視覚情報をも包含するものではなく、従って、それらのシーケンスの全体にわたって容易に相関させられることが可能であると認識される。従って、一旦、一連のシーケンス間の変換が見出されると、もはや、画像それ自体の中における視覚情報に戻って参照する必要がないことになるのである。
【０１５２】
本発明の１つの固有の特徴は、図１Ａから図４Ｄのいずれかにおいて説明されたようにして、それらの運動が空間的且つ時間的に相関させられるカメラによって撮られた画像の一連のシーケンス間の空間変換が、空間的且つ時間的に相関させられるということである。図５Ａから図５Ｃおよび以下の説明は、画像シーケンスの全体にわたる共通の視覚情報の欠落にも関わらず、本発明に従って、空間関係および時間関係を導出するために採用されることが可能であるこれらの相関関係の具体例を提示する。
【０１５３】
ここでは、特には、２台のカメラが軸に沿って互いに対して１８０度に配置されるようにして軸５０４に沿った第１および第２のカメラ５００および５０２の運動によって誘導される、２つのシーケンス内における画像対画像の変換の間の関係を説明する、図５Ａが参照される。カメラ５００は、画像シーケンス５０６を捕捉し、カメラ５０２は、画像シーケンス５０８を捕捉する。
【０１５４】
シーケンス５０６は、特には、画像５１０，５１２および５１４を包含し、シーケンス５０８は、特には、画像５２０，５２２および５２４を包含する。矢印５２６で示された方向における軸５０４に沿ったカメラ５００の運動は、画像５１０の場合よりも画像５１２では小さく見える家屋を包含するようにして画像形成されるシーンを生じるものであると理解される。この関係は、シーケンス間の画像対画像の空間変換によって表現されるものであり、画像５１０から画像５１２への変換の図式的な説明は、参照番号５３０によって示されている。その変換において示された矢印は、画像５１２が画像５１０に変換されるときの画像５１２の対応するポイントの転位を示している。同様にして、矢印５２６で示された方向における軸５０４に沿ったカメラ５００の運動は、画像５１２の場合よりも画像５１４では小さく見える家屋を包含するようにして画像形成されるシーンを生じるものであると理解される。この関係は、参照番号５３２によって示されるシーケンス間の画像対画像の空間変換によって表現される。
【０１５５】
更に、矢印５２６で示された方向における軸５０４に沿ったカメラ５０２の運動は、画像５２０の場合よりも画像５２２では大きく見える樹木を包含するようにして画像形成されるシーンを生じるものであると理解される。この関係は、参照番号５４０によって示されるシーケンス間の画像対画像の空間変換によって表現される。同様にして、矢印５２６で示された方向における軸５０４に沿ったカメラ５０２の運動は、画像５２２の場合よりも画像５２４では大きく見える樹木を包含するようにして画像形成されるシーンを生じるものであると理解される。この関係は、参照番号５４２によって示されるシーケンス間の画像対画像の空間変換によって表現される。
【０１５６】
一連の変換５３０および５３２を一連の変換５４０および５４２と比較することから、カメラ５００および５０２は、それらが一緒に移動するとき反対方向に向けられているようなものであると認識される。
【０１５７】
ここでは、特には、２台のカメラが互いに対して９０度に配置され、カメラの一方が運動の軸５５４に対して実質的に平行に位置合わせされるようにして軸５５４に沿った第１および第２のカメラ５５０および５５２の運動によって誘導される、２つのシーケンス内における画像対画像の変換の間の関係を説明する、図５Ｂが参照される。カメラ５５０は、画像シーケンス５５６を捕捉し、カメラ５５２は、画像シーケンス５５８を捕捉する。
【０１５８】
シーケンス５５６は、特には、画像５６０，５６２および５６４を包含し、シーケンス５５８は、特には、画像５７０，５７２および５７４を包含する。矢印５７６で示された方向における軸５５４に沿ったカメラ５５０の運動は、画像５６０の場合と比べて画像５６２では左に向かって横方向にシフトされているように見える家屋を包含するようにして画像形成されるシーンを生じるものであると理解される。この関係は、参照番号５８０によって示されるシーケンス間の画像対画像の空間変換によって表現される。同様にして、矢印５７６で示された方向における軸５５４に沿ったカメラ５５０の運動は、画像５６２の場合と比べて画像５６４では左に向かって横方向にシフトされているように見える家屋を包含するようにして画像形成されるシーンを生じるものであると理解される。この関係は、参照番号５８２によって示されるシーケンス間の画像対画像の空間変換によって表現される。
【０１５９】
更に、矢印５７６で示された方向における軸５５４に沿ったカメラ５５２の運動は、画像５７０の場合よりも画像５７２では大きく見える樹木を包含するようにして画像形成されるシーンを生じるものであると理解される。この関係は、参照番号５９０によって示されるシーケンス間の画像対画像の空間変換によって表現される。同様にして、矢印５７６で示された方向における軸５５４に沿ったカメラ５５２の運動は、画像５７２の場合よりも画像５７４では大きく見える樹木を包含するようにして画像形成されるシーンを生じるものであると理解される。この関係は、参照番号５９２によって示されるシーケンス間の画像対画像の空間変換によって表現される。
【０１６０】
一連の変換５８０および５８２を一連の変換５９０および５９２と比較することから、カメラ５５０および５５２は、それらが一緒に移動するとき互いに対して垂直に向けられているようなものであると認識される。
【０１６１】
ここでは、特には、２台のカメラが軸６０４に沿った運動の方向に対して垂直である同じ方向に向けられているが異なったズームであるようにして軸６０４に沿った第１および第２のカメラ６００および６０２の運動によって誘導される、２つのシーケンス内における画像対画像の変換の間の関係を説明する、図５Ｃが参照される。カメラ６００は、画像シーケンス６０６を捕捉し、カメラ６０２は、画像シーケンス６０８を捕捉する。
【０１６２】
シーケンス６０６は、特には、画像６１０，６１２および６１４を包含し、シーケンス６０８は、特には、画像６２０，６２２および６２４を包含する。矢印６２６で示された方向における軸６０４に沿ったカメラ６００の運動は、画像６１０の場合と比べて画像６１２では左に向かって横方向にシフトされているように見える家屋を包含するようにして画像形成されるシーンを生じるものであると理解される。この関係は、参照番号６３０によって示されるシーケンス間の画像対画像の空間変換によって表現される。同様にして、矢印６２６で示された方向における軸６０４に沿ったカメラ６００の運動は、画像６１２の場合と比べて画像６１４では左に向かって横方向にシフトされているように見える家屋を包含するようにして画像形成されるシーンを生じるものであると理解される。この関係は、参照番号６３２によって示されるシーケンス間の画像対画像の空間変換によって表現される。
【０１６３】
更に、矢印６２６で示された方向における軸６０４に沿ったカメラ６０２の運動は、画像６２０の場合と比べて画像６２２では左に向かって横方向にシフトされているように見える家屋を包含するようにして画像形成されるシーンを生じるものであると理解される。この関係は、参照番号６４０によって示されるシーケンス間の画像対画像の空間変換によって表現される。同様にして、矢印６２６で示された方向における軸６０４に沿ったカメラ６０２の運動は、画像６２２の場合と比べて画像６２４では左に向かって横方向にシフトされているように見える家屋を包含するようにして画像形成されるシーンを生じるものであると理解される。この関係は、参照番号６４２によって示されるシーケンス間の画像対画像の空間変換によって表現される。変換６４０および６４２によって表現される横方向のシフトは、ズームの違いの故に変換６３０および６３２によって表現されるものよりも大きめであると留意される。
【０１６４】
一連の変換６３０および６３２を一連の変換６４０および６４２と比較することから、カメラ６００および６０２は、それらが一緒に移動するとき軸６０４に沿った運動方向に対して垂直である同じ方向に向けられているが異なったズームであるようなものであると認識される。
【０１６５】
ここで、１種類の変換を採用する計算機能性は、シーケンスの間の空間関係および時間関係における曖昧さを解決するためには十分でないかもしれないが、多数の様々な種類の変換を採用するものは、シーケンスの間の空間関係および時間関係における曖昧さを削減するということを一緒になって示している、図６Ａ、図６Ｂおよび図６Ｃが参照される。
【０１６６】
図６Ａを参照すると、異なったカメラで撮られたシーケンスに対してそれぞれに所属する２つの反対方向に向いた横方向運動を示しているシーケンス間の空間変換６５０および６５２は、少なくとも２つの異なったカメラの配置を示すことが可能であると理解される。参照番号６５４によって示される１つのそのような配置は、軸６６２に沿って方向６６０に移動している第１および第２のカメラ６５６および６５８のそれぞれのものであり、相互に上下さかさまにした構成で配置され、両者ともに、軸６６２に対して直交するようにして平行に向けられている。
【０１６７】
参照番号６６４によって示されるもう１つの実行可能な配置は、カメラ６５６および６５８が、互いに対して１８０度に配置されているものであり、軸６６２に対して垂直に向けられ、それに沿った方向６６０において軸６６２に沿って移動している。
【０１６８】
図６Ｂを参照すると、異なったカメラで撮られたシーケンスに対してそれぞれに所属する前後のそれぞれの運動を示しているシーケンス間の空間変換６７０および６７２は、少なくとも２つの異なったカメラの配置を示すことが可能であると理解される。参照番号６６４によって示される１つのそのような配置は、軸６８２に沿って方向６８０に移動している第１および第２のカメラ６５６および６５８のそれぞれのものであり、軸６８２に沿って互いに対して１８０度に配置されている。
【０１６９】
参照番号６８４によって示されるもう１つの実行可能な配置は、カメラ６５６および６５８が、それに沿って方向６８０において運動するようにして軸６８２に沿って互いに対して１８０度に配置されているものであり、一方のカメラ６５６は、他方のカメラ６５８に対して軸６８２の廻りにおいて回転させられている。
【０１７０】
図６Ｃを参照すると、それぞれに異なった移動するカメラで撮られて、異なった種類の変換を包含している２つのシリーズのシーケンス間の空間変換６９０および６９２は、図６Ａおよび図６Ｂに関連して上述された形式の曖昧さを解決するために計算機能性によって採用されているものであると理解される。シリーズ６９０は、その後に変換６７０（図６Ｂ）が続く変換６５０（図６Ａ）によって構成され、シリーズ６９２は、その後に変換６７２（図６Ｂ）が続く変換６５２（図６Ａ）によって構成される。
【０１７１】
図６Ａ、図６Ｂおよび図６Ｃにおいて示された３つのカメラ構成のうちの１つのみが実行可能であり、すなわち図６Ａおよび図６Ｂにおいて参照番号６６４によって示された構成が実行可能であると理解される。
【０１７２】
上述の図１Ａから図４Ｄは、本発明の４つの典型的なアプリケーションを提示する。これらの４つのアプリケーションにおいて、本発明は、一方のシーケンスの何らかの画像と他方のシーケンスの何らかの画像との間に、先行技術が画像対画像の位置合わせを可能にするには不十分である類似性しか存在しないにも関わらず、２つの画像シーケンスの画像の間における位置合わせを提供する。画像の「類似性」は、ここでは広い意味で使用されるものであり、特には、グレーレベルの類似性、特徴の類似性、頻度の類似性、および相互情報のような統計的類似性を包含する。従って、先行技術では、類似性を獲得するためには、画像の間における少なくとも部分的なオーバーラップが必要とされている。
【０１７３】
それらを相互に位置合わせするために画像の間におけるオーバーラップを必要とする先行技術に対比して、本発明は、２つのシーケンスの画像の間における空間変換および時間変換の両者を解決するために、図５Ａから図６Ｃを参照して示されて説明されたようにして２つのシーケンスの間における相関的な時間的挙動を採用する。本発明の１つの特徴は、先行技術では基本的な想定である「干渉性の外観」という要件を、例えば２台のカメラを一緒に空間的に移動させることによって、しばしば、より容易に満足させることができる「一貫した時間的挙動」という要件に置き換える能力である。
【０１７４】
図１Ａから図１Ｄを参照して示されて上述された本発明の１つのアプリケーションでは、２つのシーケンスは、一緒に空間的に移動する２台のカメラによって同時に形成される。「同時に」という用語は、ここでは、２つのシーケンスが、少なくとも部分的には同じ時間周期の間に形成されることを示している。その同時性は、２つのシーケンスの画像またはフレームが同時に形成されるか或いは同じ速度で形成されることさえも必要としない。「一緒に移動する」ことは、ここでは、２台のカメラが、実用的な目的に関して、シーケンスの全体にわたって同じ映写の中心を有するということを意味する。これは、例えば、両者のカメラを移動する同じ道具に対して固定的に取り付けることによって、実現されることが可能である。実際には、２台のカメラの映写の中心は、正確に同じ場所に位置するものではない。しかしながら、後続の数学的な処置では、両者のカメラの映写の中心は、それらが同じ場所に位置したかのようにして考慮される。更に、その数学的な処置において採用される数学的な原理は、それらのカメラの映写の中心が、明らかに同じ場所には位置しないが、その空間関係が固定されている場所に位置するような状況に対しても適用可能なものであると認識される。補足的に、その数学的な処置において採用される数学的な原理は、それらのカメラの映写の中心が、明らかに同じ場所には位置しないが、少なくとも部分的には既知である空間／時間関係を有する場所に位置するような状況に対しても適用可能なものであると認識される。
【０１７５】
図２Ａから図２Ｄおよび図３Ａから図３Ｄを参照して示されて上述された本発明のもう１つのアプリケーションでは、２つのシーケンスは、部分的にオーバーラップする画像を包含する。しかしながら、画像の間における類似性は、非常に低いかまたは存在さえしないものであり、すなわち、１つのシーケンスの如何なる画像の詳細も、第２のシーケンスの何らかの画像の中では確認され得ないのである。
【０１７６】
図２Ａから図２Ｄを参照して示されて上述されたアプリケーションでは、２つのシーケンスは、大きく異なったズームを採用するカメラによって形成される。同様なアプリケーションは、多く異なった倍率または解像度を有するカメラによって形成されるシーケンスに関するものであることも可能である。
【０１７７】
図３Ａから図３Ｄを参照して示されて上述されたアプリケーションでは、２つのシーケンスは、異なったセンサ様式を採用するカメラによって形成される。典型的なセンサ様式は、静止画フィルムカメラ、デジタルカメラ、ビデオカメラまたはモーションフィルムカメラのような写真式カメラを使用することを包含し、赤外線画像形成機器、レーダー、エックス線、ＣＡＴスキャン、ＭＲＩまたはその他の電磁的画像形成機器、超音波、ソナーおよびサブ・アコースティック地球物理学的監視機器のような音響的画像形成機器、人工衛星リモートセンサ機器を採用することをも包含する。
【０１７８】
図４Ａから図４Ｄを参照して示されて上述された本発明の更にもう１つのアプリケーションでは、２つのシーケンスは、異なった時点で形成されるが、それぞれの２つのシーケンスを形成する２台のカメラは、概ね同じ通路に沿って移動している。それらのシーケンスは、何らかの空間的オーバーラップを有し得るものではなく、或いは、部分的なオーバーラップを有し得るかもしれないが、それでもなお、先行技術によって必要とされる程度の類似性を欠いている。そのような類似性の欠落は、倍率、ズームおよび解像度のような内部的なカメラ較正における差違から、或いは異なったセンサ様式を採用することから生じることが可能である。この類似性の欠落は、図４Ａから図４Ｄにおいて示されたようにして季節によって生じる変化、或いは２つのシーケンスの間における視認可能性における差違に起因する変化のような、シーンにおける変化から生じることもまた可能である。
【０１７９】
後続の数学的な処置は、必ずしも２つのシーケンスの中に何らかの共通の静止的な視覚情報が存在しないにも関わらず、２つのシーケンスの各々における画像対画像の動勢が空間的にも時間的にも関連付けられるという認識を採用する。この数学的な処置は、それらのシーケンスによって捕捉される特徴の理解または解釈を必要とすることなく、２つのシーケンスを時間および空間において相関させるために、それらの動勢の間における関係を利用する。
【０１８０】
以下で詳細に説明されるであろうように、画像対画像の動勢は、好適には、各々のシーケンス内の画像の間における時間の全体にわたる空間変換によって表現される。従って、画像のシーケンスを時間および空間において位置合わせするという問題が、時間および空間におけるそのような変換のシーケンスの間における関係を決定するという問題にまで縮小されるのである。
【０１８１】
２台のカメラの運動は、２つのシーケンスに関する運動を誘導する。誘導されるそれらの運動は、２つのシーケンスに関して異なっているかもしれないが、相関している。それらのカメラの運動は知られていないが、誘導される運動の間における相関関係は、シーケンスの間を時間および空間において相関させるようにして機能する。
【０１８２】
画像対画像の動勢を使用して２つの画像を相関させるためには、以下のことが必要とされる：
（１）それらの画像の各々は、画像の時間的シーケンスの部分でなければならない；
（２）２つのシーケンスは、カメラとシーンの間における相対的な運動の間に形成されなければならない；
（３）２台のカメラの光学パラメータは、２つのシーケンスの形成の全体にわたって既知の様式におけるもの以外に変化してはならない。
後続の数学的な処置は、そこに提示される具体例において以下のような要求事項を賦課するものでもある：
（４）２つのシーケンスを形成するカメラは、２つのシーケンスの形成の全体にわたってほぼ同じ映写の中心を有していなければならない。
本発明は、１つの画像シーケンスにおける所定の単一の画像がその他のシーケンスにおける所定の単一の画像との所定の空間的類似性または視覚的類似性を有するように要求するものではない。その結果として、且つそれに加えて、本発明は、これらの画像の間における類似性のレベルが先行技術を採用することによって位置合わせを提供するためには不十分であるときにも、２つの画像シーケンスに所属する２つの画像の間における位置合わせを提供する。本発明は、通常、何らかの先行する内部的または外部的なカメラ較正を如何なる時点においても要求するものではない。
【０１８３】
以下で説明される本発明の２つの好適な実施例の各々は、以下のような２つの状況のうちの一方に対して適用可能なものである：
（ａ）シーンの実質的な部分は、平面的であるか、或いは２つの画像シーケンスを形成するカメラから離れている；
（ｂ）シーンは、効果的な３次元のものである。
それらの２つの状況は、それぞれに、図１Ａから図４Ｄに従って上述されたアプリケーションの全てに関係すると認識される。
【０１８４】
図６Ａから図６Ｃを参照して示されて上述されたように、単純なカメラの運動は、２つのシーケンスの画像の間における空間変換および時間変換を解決するためには十分ではないかもしれない。従って、数個の異なった種類のカメラ運動が、要求されることも可能である。そのようなカメラ運動の３つの具体例が、図５Ａから図５Ｃにおいて示されているのであり、更に有効であるかもしれないその他のカメラ運動の具体例が存在することも可能であると理解される。以下で説明される本発明の１つの実施例は、必要とされる運動の複雑性に関する評価を提供する。
【０１８５】
ここで、互いに対して固定される２台のカメラ７０２および７０４の複雑な運動７００を簡略化して示しているものであり、それぞれのカメラが、シーン７０３の部分の画像シーケンスを形成していて、それらのシーケンスが、それに対応して、７０６，７０８，７１０、および７１２，７１４，７１６であり、２台のカメラによって撮影されたシーンの各部分がオーバーラップしないようにした、図７が参照される。
【０１８６】
ここで、図７において撮られた画像の２つのシーケンス７２０および７２２の部分を概略的に示していて、２つのシーケンスが一定且つ未知であるカメラ間のホモグラフィーによって空間的に関連付けられ、一定且つ未知である時間シフトΔtによって時間的に関連付けられるようにした、図８が参照される。それらのシンボルIi，Ti，T’iおよびＨは、以下で定義される。
【０１８７】
ここで、本発明の１つの好適な実施例の実現に関する好適なステップのシーケンスの機能的ブロック図である、図９が参照される。
【０１８８】
ステップ９００において、２台のカメラ９１０および９２０は、２つの画像シーケンス９３０および９４０を形成するために採用される。
【０１８９】
例えば、上述の図１Ａから図８のいずれかに従って示されて説明されたようにして、Sは、第１のカメラによって形成された第１の画像シーケンスIiであると想定し、S’は、第２のカメラによって形成された第２の画像シーケンスI’Iであると想定すれば、S＝I1,…,In+1およびS’＝I’1,…,I’m+1である。
【０１９０】
２つの入力シーケンスは、それらの間において、未知の時間関係および未知の空間関係を有する。
【０１９１】
本発明の１つの好適な実施例では、空間関係は、２台のカメラが互いに対して確実に取り付けられるという事実を提示することが可能である。
【０１９２】
本発明のもう１つの好適な実施例では、２台のカメラは、同じ装置または道具上に剛直に装着されて、空間を一緒に移動される。
【０１９３】
本発明の更にもう１つの好適な実施例では、空間関係は、それらのカメラが異なった時点ではあるが概ね同一である軌跡内を移動しているという事実を提示することが可能である。
【０１９４】
本発明の補足的な１つの好適な実施例では、空間関係は、少なくとも１台のカメラを異なった時間および異なった場所の少なくとも一方においてではあるが概ね同一の軌跡内において移動させることによって形成されるものであり、２台のカメラの間に、一定の相対的な位置および一定の相対的な方向付けが存在し、２台のカメラの各々の光学的特性は、画像IiとIi+1の間およびI’iとI’i+1の間において変化するものではない。
【０１９５】
本発明の更なる１つの好適な実施例では、空間関係は、少なくとも１台のカメラを異なった時間および異なった場所の少なくとも一方においてではあるが概ね同一の軌跡内において移動させることによって形成されるものであり、２台のカメラの間における相対的な位置および相対的な方向付けは、既知の様式で変化することが可能であり、２台のカメラの各々の光学的特性は、画像IiとIi+1の間およびI’iとI’i+1の間において既知の様式で変化することが可能である。
【０１９６】
本発明の更なる１つの好適な実施例では、空間関係は、少なくとも１台のカメラを概ね異なった軌跡に沿って異なった時間および／または異なった場所において移動させることによって形成されるものであり、少なくとも２つの軌跡は、それらが同じ装置または道具上に剛直に装着されて空間を一緒に移動される２台のカメラによって形成されたかのようにして相関させられる。
【０１９７】
２つのシーケンスの間における時間関係は、２台のカメラが上述のような空間関係にあった時間を提示する。
【０１９８】
本発明の１つの好適な実施例では、２つのシーケンスは、２台のカメラの間を同期させるために同期機器を採用することによって形成される。この場合、２つのシーケンスの間における時間関係は、画像Iiおよびそれに対応する画像I’iが一緒に形成されるという事実を提示する。
【０１９９】
本発明のもう１つの好適な実施例では、２つのシーケンスの間における時間関係は、画像Iiおよびそれに対応する画像I’iがそれらの間における一定の時間遅延を備えて形成されるという事実を提示する。
【０２００】
本発明の更にもう１つの好適な実施例では、時間関係は、画像Iiと、対応するI’iおよび画像Ii+1の間に位置するシーケンスS’の中におけるポイントとに対して適用される。
【０２０１】
本発明の更にもう１つの好適な実施例では、時間関係は、２つの異なったフレーム速度を採用する２台のカメラを採用して形成される２つのシーケンスに対して適用される。
【０２０２】
本発明の１つの好適な実施例では、２つのシーケンスの間における時間関係は、シーケンスを形成しているそれらのカメラが同じ時間に同じ場所に位置するならば、２つの画像が同じ「時間関係」にあるという事実を提示することが可能である。
【０２０３】
シーケンスの間における時間関係は、画像の間における時間関係が、バーチャル画像に関してのみ維持されるとしても、すなわち、形成されたものではないが、カメラがその時点で画像を形成していたならば形成され得たであろう画像に関してのみ維持されるとしても、存在することが可能であると認識される。
【０２０４】
更に、SおよびS’は、必ずしもオリジナル・シーケンスではなく、オリジナル・シーケンスのサブシーケンスによるものであることも可能であり、サブシーケンスは、視野の部分、シーケンスの時間部分、ピクセルのサブサンプリング、およびフレームのサブサンプリングを提示することも可能であると認識される。
シーケンスSおよびS’は、以下で説明されるような幾つかの方法において形成されることが可能である。
【０２０５】
第１および第２のカメラは、図７において示されたカメラ対のように、異なった３Ｄ方向付けを有して、空間を一緒に移動することが可能である。本発明の１つの好適な実施例では、画像Iiのいずれも、画像I’iのいずれかの中に包含される何らかの特徴を有するものではないが、SおよびS’の間には少なくとも部分的な時間のオーバーラップが存在する。
【０２０６】
本発明のもう１つの好適な実施例では、第１および第２のカメラは、少なくとも部分的にオーバーラップする視野を有するものであり、画像Iiは、対応する画像I’iのオーバーラップ部分の中には含まれない細部を包含し、２台のカメラは、上述の図３Ａから図３Ｄに従って示されて説明されたカメラ対のようにして、空間を一緒に移動する。
【０２０７】
本発明の更にもう１つの好適な実施例では、シーケンスSおよびシーケンスS’は、少なくともほぼ同じパターンにおいて且つ異なった時点において空間を移動している同じカメラによって形成されることも可能である。
【０２０８】
更に、本発明のもう１つの好適な実施例では、シーケンスSおよびシーケンスS’は、少なくともほぼ同じパターンにおいて且つ異なった時点において空間を移動する２台のカメラによって形成されることもまた可能である。
【０２０９】
シーケンスSおよびS’は、静止画フィルムカメラ、デジタルカメラ、ビデオカメラまたはモーションフィルムカメラのような写真式カメラ、赤外線画像形成機器、レーダー、エックス線、ＣＡＴスキャン、ＭＲＩおよびその他の電磁的画像形成機器、超音波、ソナーおよびサブ・アコースティック地球物理学的監視機器のような音響的画像形成機器、人工衛星リモートセンサ機器のようなものである少なくとも空間の２次元画像を形成する任意の画像形成器具によって形成されることが可能であると認識される。更に、２つのシーケンスSおよびS’は、同じ形式であるかまたは異なった形式のものである画像形成器具によって形成されることも可能であると認識される。
【０２１０】
２つのセンサのいずれも、較正されなければならないものではないと認識される。
【０２１１】
時間的な対応性は、例えば、ゲン・ロックを採用することによって電子的に達成されることが可能であり、或いは図９の要素９６０を参照して以下で説明される方法を使用して復元されることも可能である。
【０２１２】
更になお、以下で説明される時間関係を計算する方法は、サブフレーム時間ユニットにおける時間関係を計算することが可能である。この場合、時間関係は、変換Tiおよび変換T’i+δの間において計算されるものであり、Ti+δは、TiおよびTi+1から補間される。変換のシーケンスTi+δは、バーチャル画像Ii+δに対して適用されるものであり、それらのバーチャル画像は、画像シーケンスS’を形成するカメラによって実際に形成されたものではないが、それらの画像が適切な時点において形成されたならば、そのカメラによって形成され得たであろうものであり、従って、そのシーンの補間された描写である。
【０２１３】
ここで、図9のステップ９９０が参照される。ここでは、変換および画像は、時間的に同期されていると想定されることが可能である。
【０２１４】
Hは、シーケンスSの座標系とシーケンスS’の座標系の間を変換する空間変換関数であると想定する。シーケンスS’に対して変換Hを適用することは、変換されたシーケンスS’がシーケンスSを形成したカメラによって形成されたかのようにして、シーケンスSの座標における画像I’iの内容を生じる。従って：
p’＝H（p）であり、p’は、I’iの座標におけるIiの特徴pである。
【０２１５】
本発明の１つの好適な実施例では、典型的には、２台のカメラがほぼ同じ映写の中心を有するものであり、Hは、３×３の不可避的な行列である。
【０２１６】
そのようなHは、ここでは、「ホモグラフィー」と呼ばれるものであり、コリメーションおよび２Ｄ射影変換という用語もまた、等しく使用されることが可能である。この場合、pおよびp’は、同次座標において付与されるものであり、方程式p’＝H（p）はp’@H（p）になり、ここで、@は、所定の倍率にまで達する方程式を示している。
【０２１７】
本発明のもう１つの好適な実施例では、典型的には、２台のカメラが異なった映写の中心を有していて、同じ道具に対して確実に取り付けられるものであり、Hは、４×４の不可避的なユークリッド的行列または不可避的な射影行列である。
【０２１８】
しかしながら、２つのシーケンスSおよびS’は、それらの画像に関する十分な共通の特徴またはその他の特性を共有するものではない。従って、画像Iiの共通の特徴からは、Hが計算され得ないことになる。その代りに、Hは、各々のシーケンス内における時間数列の特性の間を相関させることによって計算されるのである。
【０２１９】
本発明の１つの好適な実施例では、Hは、シーケンスSおよびS’の各々における誘導されたフレーム対フレームの変換から計算される。
【０２２０】
Tは、フレーム対フレームの変換の第１のシーケンスTiであると想定し、T’は、フレーム対フレームの変換の第２のシーケンスT’iであると想定すれば、T＝T1,…,Tn+1およびT’＝T’1,…,T’m+1であり、Ii+1@TiIiおよび、I’i+1@T’iI’iである。
【０２２１】
本発明のもう１つの好適な実施例では、シーケンスSおよびS’を形成する２台のカメラによって撮影されるシーンの大部分は、平面的であるか、或いはそれらのカメラから離れている。この場合、TiおよびT’iは、３×３の非特異的な行列である。
【０２２２】
Pは、平面的であるかまたは離れているシーンにおける３次元のポイントであると想定し、piおよびp’iは、画像IiおよびI’iのそれぞれにおけるポイントPの射影の同次座標であると想定する。Pは、画像IiおよびI’iの両方またはいずれかにおいても現れる必要がなく、すなわち、画像IiまたはI’iが形成されるときにカメラの視野の中に現れる必要がないということが留意される。 pi+1およびp’i+1は、画像Ii+1およびI’i+1のそれぞれにおけるポイントPの射影の座標であると想定する。
【０２２３】
そのとき：
Pi+1@Tipi および p’i+1@T’ip’iであり、
p’i@Hpi および p’i+1@Hpi+1である。
従って、方程式（１）は：
HTipi@Hpi+1@p’i+1@T’ip’i@T’iHp’iである。
従って、方程式（２）は：
HTi@T’iHである。
この演算は、「行列の合成」とも呼ばれる。
Hは不可避的であるので、方程式（３）は：
T’i＝siHTiH-1であり、sは、フレーム従属的な倍率である。
【０２２４】
方程式（３）は、それらのすべての画像に対して、すなわち、i＝1,…,nである、時間的に対応する変換TiおよびT’iの任意の対に対して当てはまる。この方程式は、所定の倍率に達するまで２つの行列TiおよびT’iの間に相似性の関係が存在することを示している。行列Aは、A＝MBM-1であるようにした不可避的な行列Mが存在するならば、行列Bに対して「相似」するものである。「共役行列」という用語が、「相似行列」の代りに使用されることも可能である。
【０２２５】
eig（A）＝[λ1,λ2,λ3]tは、３×３の行列Aの固有値を降順で包含している３×１のベクトルであると想定する。[]tは、横ベクトルを示している。それは、例えば、C.E.Pearson（編集）の「応用数学ハンドブック−第２版（Handbook of applied mathematics Second Edition）」、ヴァン・ノストランド・ラインホルト社、ニューヨーク、１９８３年において説明されたように、当該分野では周知である。その８９８ページは、以下の通りである：
AおよびBが相似行列であるならば、それらは、同じ固有値：eig（A）＝eig（B）を有するものであり、それらのスケーリングされた行列の固有値がスケーリングされる：eig（sA）＝s（eig（A））。
【０２２６】
これらの２つの事実および方程式（３）を使用して、以下のような方程式（４）が獲得される：
eig（T’i）＝si eig（Ti）であり、ここで、siは、方程式（３）によって定義される倍率である。
【０２２７】
方程式（４）は、eig（Ti）およびeig（T’i）が「平行」であることを含意する。これは、sim（Ti,T’i）によって示され、以下のような方程式（５）によって提示されるようにして、２つの行列TiおよびT’iの間における相似の算定基準を生じる：
【０２２８】
【数１】

【０２２９】
ここで、‖‖は、ベクトルのノルムである。
【０２３０】
シーケンスSおよびS’における時間的に対応する変換TiおよびT’iの各々の対に関しては、固有値eig（Ti）およびeig（T’i）が、先ず初めに計算される。続いて、それらの固有値eig（Ti）およびeig（T’i）に関係する倍率siが、方程式（４）から概算される。方程式（４）は、未知数を１つ備えた１組の３つの方程式であり、最小自乗法の最小化を使用して解くことが可能である。代替的に、入力ホモグラフィーTiおよびT’iは、行列式イコール１を有して、siを計算する必要を回避するようにして、標準化されることも可能である。
【０２３１】
一旦siが概算されてしまうと、方程式（３）または方程式（２）は、以下のような方程式（６）の形態において書き直されることが可能である：
siHTi−T’iH＝0である。
方程式（６）は、Hの未知数成分において線形である。Hの成分を９×１の列ベクトル＝[H11H12H13H21H22H23H31H32H33]tで整理し直すと、方程式（６）は、以下のような方程式（７）の形態におけるの１組の一次方程式として書き直されることが可能である：
【０２３２】
【数２】

【０２３３】
ここで、Miは、Ti,T’iおよびsiによって定義される９×９の行列である：
【０２３４】
【数３】

【０２３５】
ここで、Iは、３×３の単位行列である。
【０２３６】
方程式（７）は、対応する変換TiおよびT’iの各々の対が、未知のホモグラフィーH（すなわち、）における９個の線形制約を付与するということを含意する。
【０２３７】
すべての変換T1,…,TnおよびT’1,…,T’nからの制約は、以下のような方程式（８）によって規定されるにおける単一組の一次方程式になるようにして組み合せられることが可能である：
【０２３８】
【数４】

であり、
【０２３９】
ここで、Aは、９n×９の行列であり：
【０２４０】
【数５】

【０２４１】
方程式（８）は、様々な方法で解くことが可能であるにおける一組の等質な線形方程式である。本発明の１つの好適な実施例では、は、行列A’Aの最小固有値に対応する固有ベクトルを計算することによって解かれる。
【０２４２】
本発明のもう１つの好適な実施例では、シーケンスSおよびS’が形成されることになったシーンは、平面的なものではなく、離れてもいない。この場合、任意の２つの連続的な画像IiおよびIi+1の間における時間数列は、基本行列Fiによって記述される。
【０２４３】
基本行列Fiは、対応する画像ポイントpiの間における関係を規定するものであり、従って：
IiにおけるpiおよびIi+1におけるpi+1が対応する画像ポイントであるならば、
pti+1Fipi＝0であり、ここで、Fiは、それぞれに階数２の３×３の行列である。
Fは、それぞれにF＝F1,…,Fnである基本行列Fiのシーケンスであると想定すれば、任意の２つの連続的な画像I’iおよびI’i+1の間における時間数列は、F’＝F’1,…,F’nである基本行列F’iによって記述される。
【０２４４】
基本行列を計算する多くの方法は、先行技術において周知である。１つのそのような方法は、ビジョン・アルゴリズム・ワークショップの会報、２７９−２９０ページ、コルフ、１９９９年における、「構造および運動の評価のための特徴ベースの方法（Feature based methods for structure and motion estimation）」において、P.H.S.TorrおよびA.Zissermanによって教示されている。もう１つの方法は、人工知能ジャーナル７８：８７−１１９、１９９５年における、「未知のエピポーラ幾何学の復元によって２つの未較正の画像をマッチングさせるロバスト技術（A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry）」において、Z.Zhang、R.Deriche、O.FaugerasおよびQ.Luongによって教示されている。
【０２４５】
２つのシーケンスSおよびS’は、画像に関する十分な共通の特徴または何らかのその他の特性を共有し得ないかもしれない。従って、シーケンスSおよびS’の間における、空間関係および時間関係は、それぞれのシーケンス内における時間数列F＝F1,…,FnおよびF’＝F’1,…,F’nの特性の間を相関させることによって計算される。
【０２４６】
２つのカメラのいずれも、較正されなければならないものではないと認識される。
【０２４７】
２台のカメラが同じ映写の中心を共有しているので、カメラ間の変換はホモグラフィーHに留まるが、各々のシーケンス内の関係は基本行列によって特徴付けられると認識される。
【０２４８】
シーケンスSおよびS’が形成されることになったシーンが、平面的なものではなく離れてもいない、本発明の１つの好適な実施例では、Hは、行列FiおよびF’iのシーケンスFおよびF’によって表現されるような時間数列出力の特性から計算される。
【０２４９】
各々の基本行列Fiは、以下のような方程式（９）によって説明されるように、ホモグラフィー＋エピポールに分解されることが可能である：
Fi＝[ei]xTiである。ここで、eiは、フレームIiおよびIi+1に関するエピポールであり、行列Tiは、実平面または仮想平面である任意の平面を介するIiからIi+1までの誘導されたホモグラフィーであり、[]xは、クロス乗積行列[v]x ＝ × である。
【０２５０】
ホモグラフィーT1,…,TnおよびT’1,…,T’n、並びにエピポールe1,…,enおよびe’1,…,e’nは、カメラ間のホモグラフィーHに対して別個の制約を賦課する。これらの制約は、以下で説明されるようにしてHを復元するために別個にまたは一緒に使用されることが可能なのである。
【０２５１】
（１）ホモグラフィー・ベースの制約：
基本行列F1,…,FnおよびF’1,…,F’nから抽出されるホモグラフィーT1,…,TnおよびT’1,…,T’nは、それぞれに、異なった３次元平面に対応することが可能である。これらのホモグラフィーを使用して、平面的であるかまたは離れているシーンに対して上述のアルゴリズムを適用するためには、時間的に対応するホモグラフィーが３次元世界における同じ平面に対応することを保証するようにして、２つのシーケンスを横断する平面整合性が賦課されなければならないのである。
【０２５２】
本発明の１つの好適な実施例では、先行技術において周知である「平面＋視差」方式が、２つのシーケンスT1,…,TnおよびT’1,…,T’nを横断して且つその中において平面整合性を賦課するために使用される。平面＋視差方式は、２つの構成要素：ホモグラフィーおよび残留視差を使用する画像対画像の変換を説明する。ホモグラフィーは、選択された平面に対して関連付けられるものであり、２つの画像の間におけるこの平面上のポイントに関連する。視差構成要素は、平面から離れたポイントの残留転位を説明する。「平面＋視差」方式は、実際的な物理的に平面的な実際の表面が、全ての画像IiおよびI’iにおいて視認可能であることを要求する。
【０２５３】
平面＋視差変換を計算する１つの方法は、コンピュータビジョンに関する欧州会議の会報、フライブルク、１９９８年６月における、「参照フレームから参照平面に対する：マルチ画像の視差幾何学およびアプリケーション（From reference frames to reference planes: Multi-view parallax geometry and applications）」において、M.Irani、P.AnandanおよびD.Weinshallによって教示されている。
【０２５４】
平面＋視差変換を計算するもう１つの方法は、パターン認識に関する国際会議の会報、１９９４年における、「多数画像からの形状の直接的な復元：視差ベースのアプローチ（Direct recovery of shape from Multiple views: parallax based approach）」において、R.Kumar、P.AnandanおよびK.Hannaによって教示されている。
【０２５５】
平面＋視差変換を計算する更にもう１つの方法は、コンピュータビジョンおよびパターン認識に関するＩＥＥＥ会議の会報、１９９４年６月における、「平面視差からの３Ｄ幾何学（3D geometry from planar parallax）」において、Harpreet Sawhneyによって教示されている。
【０２５６】
平面＋視差変換を計算するもう１つの方法は、コンピュータビジョンおよびパターン認識に関するＩＥＥＥ会議、４８３−４８９ページ、ワシントン州、シアトル、１９９４年６月における、「相対的なアフィン構造：斜視図からの３Ｄ再構築に関する理論およびアプリケーション（Theory and application to 3D reconstruction from perspective views）」において、A.ShashuaおよびN.Navabによって教示されている。
【０２５７】
平面＋視差変換のホモグラフィー部分は、その後、平面的なもので離れてもいない上述の場合と同じ様式において使用される。
【０２５８】
本発明のもう１つの好適な実施例では、例えば、コンピュータビジョンに関する欧州会議、１９９８年における、「基本行列の装填（Threading Fundamental matrices）」において、S.AvidanおよびA.Shashuaによって説明された、先行技術では周知なものでもある「装填」方式が、２つのシーケンスT1,…,TnおよびT’1,…,T’nを横断して且つその中において平面整合性を賦課するために使用される。「装填」方式は、実際の物理的な平面がフレームのいずれにおいても視認可能ではないとしても、各々のシーケンス内において平面整合性を賦課することが可能である。
【０２５９】
先行技術には、整合的に設定されるカメラ行列を計算するその他の方法もまた存在すると認識される。カメラ行列という用語は、３×３の左側の小行列と１×３のベクトルとから構成される４×３の行列を指し示すものであり、３×３の左側の小行列は３×３のホモグラフィーを示すものであると認識される。カメラ行列の整合性は、３×３のホモグラフィーに対して平面整合性を賦課する。
【０２６０】
本発明の１つの好適な実施例では、２つのシーケンスの間における平面整合性は、両方のシーケンスにおける同じ実平面を同時に観察するためのものとして知られているフレームにおいて装填方式を開始させることにより、２つのシーケンスSおよびS’の各々に対して装填方式を適用することによって準備される。
【０２６１】
２台のカメラは、平面の異なった部分を見ることが可能であり、オーバーラップしない視野を許容することになり、その他の画像のいずれかにおいてその平面を見る必要はないものであると認識される。
【０２６２】
（２）エピポール・ベースの制約：
本発明の１つの好適な実施例では、ホモグラフィーHは、エピポールeiおよびe’iから計算されるものであり、それらもまた、基本行列FiおよびF’iから計算される。２つの画像IiおよびIi+1を仮定すれば、１つのエピポールが、画像Iiの座標系における画像Ii+1に関するカメラの映写の中心の空間的位置を示す。基本行列F1,…,FnおよびF’1,…,F’nは、エピポールe1,…,enおよびe’1,…,e’nのリストを提供するものであり、ここで、エピポールeiは、基本行列Fiの空白スペースであり、エピポールe’iは、基本行列F’iの空白スペースである。
【０２６３】
エピポールeiおよびe’iは、基本行列FiおよびF’iのそれぞれの空白スペース以外のその他の方法によって計算されることも可能であると認識される。先行技術には、２つの画像におけるエピポールを見出すためのものとして周知である多くのその他の方法が存在する。
【０２６４】
エピポールeiおよびe’iは、一意的に定義されるものであり、従って、平面整合性の問題は存在しない。２台のカメラが同じ映写の中心を有するので、任意の画像対eiおよびe’iに関して、Hは、以下の方程式を満たす：
ei@Heiである。
これは、以下のような方程式（１０aおよび１０b）を産み出す：
【０２６５】
【数６】

【０２６６】
分母を掛けて各項を整理し直すと、以下のような方程式（１１）において記述されるように、対応するエピポールeiおよびe’iのあらゆる対に関するHに対して、２つの新しい線形の制約が産み出される：
【０２６７】
【数７】

【０２６８】
従って、時間的に対応するエピポールeiおよびe’iのあるゆる対は、Hに対して線形の制約を賦課する。２つのシーケンスe1,…,enおよびe’1,…,e’nは、２ｎ方程式の同次線形システムを提供するものであり、方程式（１１）は、これらの２ｎ方程式の１対なのである。
【０２６９】
その２ｎ方程式のシステムは、様々な様式においてHに関して解かれることが可能である。
【０２７０】
本発明の１つの好適な実施例では、は、最小の固有値に対応する固有ベクトルを計算することによって解かれる。理論的には、対応するエピポールeiおよびe’iが４対あれば十分である。但し、３つのエピポールが同じライン上には存在しないことを条件とする。
【０２７１】
代替的に、Hは、ホモグラフィーによって賦課される、方程式（８）における一次方程式の組に対して２ｎ方程式のシステムを補足することによって解かれることもまた可能である。
【０２７２】
ここで、図９のステップ９６０が参照される。
【０２７３】
本発明の更にもう１つの好適な実施例では、シーケンスSおよびS’は、時間的に同期されるものではない。すなわち、シーケンスSにおける画像Iiは、シーケンスS’における画像I’i+Δtに対応するものであり、Δtが未知なのである。従って、変換Tiは、T’iに対してではなく、変換T’i+Δtに対して対応する。各々の画像IiおよびI’iに関して、時間スタンピングまたは類似の補足的な情報が利用可能である場合には、同期性が復元されることも可能である。同期性を復元するための補足的な情報が何も存在しない場合には、その同期性は、以下のような方法を使用して復元されることが可能である。
【０２７４】
変換T1,…,TnおよびT’1,…,T’mに関する２つの非同期シーケンスを仮定すれば、TiおよびT’i+Δtは、時間的に対応する変換である。方程式（４）に拠れば、固有値の３×１のベクトルを意味するeig（Ti）‖eig（T’i+Δt）は、平行であり、すなわち、２つのベクトルの間には０度の角度が存在するのである。従って、方程式（５）の相似性基準sim（Tti,T’t’i+Δt）は、cos(0)に対応して、１に等しいことになる。時間的に対応する変換TiおよびT’i+Δtのすべての対は、この制約を同時に満たすものでなければならない。未知の時間シフトΔtが１組のパラメータΔti＝f（i,a1…an）によってモデリングされ得るとき、それらのパラメータは、方程式（１２）として以下で提示される目的関数を最大化することによって復元されることが可能である：
【０２７５】
【数８】

【０２７６】
例えば、未知のΔtが単純な広域時間シフトであるとき、それは、方程式（１２ａ）として以下で提示される目的関数を最大化することによって復元されることが可能である：
【０２７７】
【数９】

【０２７８】
本発明の１つの好適な実施例では、その最大化は、有効時間シフトΔtの有限領域の全体にわたる全数探索によって実行される。
【０２７９】
代替的に、より大きな時間シフトに対処するためには、階層探索が適用される。より離れたフレームの間における数少ない変換を獲得するためには、より粗い時間レベルが、変換を合成することによって構築される。
【０２８０】
本発明の更にもう１つの好適な実施例では、シーケンスSにおける画像は、シーケンスS’の画像とは異なった速度で形成される。例えば、シーケンスSが１秒に付き３０フレームでＮＴＳＣカメラによって形成されるとき、シーケンスS’は、１秒に付き２５フレームでＰＡＬカメラによって形成される。２つのシーケンスSおよびS’の記録の速度の間における比率は、固定されているものであり、ＰＡＬカメラおよびＮＴＳＣカメラの場合、それは、２５：３０＝５：６である。従って、シーケンスのＰＡＬ-ＮＴＳＣ対に関して最大化されるべき目的関数は、以下のような方程式（１３）によって示される：
【０２８１】
【数１０】

【０２８２】
ここで、Tijは、IiからIjへの変換である。
【０２８３】
ＰＡＬおよびＮＴＳＣのビデオカメラは、各々の画像を視野の対として形成するものであり、第１の視野は、画像の奇数ラインから構成され、第２の視野は、画像の偶数ラインから構成される。それらの視野は、それぞれに１秒に付き６０個および５０個の視野である、画像またはフレームの２倍の速度で形成される。
【０２８４】
方程式（１２ａ）に関連して上述された方法は、その視野レベルまで同期性を復元することが可能である。副次的な視野の精度は、離散的な時間シフトにおいて獲得されたSIM（Δt）の値を補間することによって復元されることが可能である。
【０２８５】
本発明の１つの好適な実施例では、それらの変換は、計算された時間的対応性に従って補間されるものであり、SIM（Δt）は、時間的な精度を高めるために、反復的な様式において再評価される。
【０２８６】
Hを解くためには、フレーム対フレームの変換TiおよびT’iの十分な個数Nminの対応する対を有することが必要とされる。
【０２８７】
本発明の１つの好適な実施例では、個数Nminは、類似性の方程式（３）を介して変換TiおよびT’iの単一の対によってHに賦課される制約の個数を吟味することによって評価される。
【０２８８】
倍率siは、図９の要素９５０を参照して上述されたようにしてTiおよびT’iから直接に抽出されることが可能であり、従って、方程式（３）から省略されることも可能である。その結果、類似性の方程式（３）を介して変換の単一の対によってHに賦課される制約の個数は、G＝HBH−１という形態の方程式によってHに賦課される制約の個数を吟味することによって概算されることが可能であり、ここで、B＝TiおよびG＝T’iである。GH＝HBという形態の行列方程式の一般的な分析は、チェルシー出版からのニューヨーク１９５９年における、F.R.Gantmakherによる「行列理論（The theory of matrices）」第８章において、見出されることが可能である。
【０２８９】
以下の符号は、これ以降において使用されるものである：
【０２９０】
λ1，λ2，λ3によって示されるものは、降順における行列Bの固有値（|λ1|≧|λ2|≧|λ3|）であり；
b1， b2， b3によって示されるものは、単位ノルムを備えた対応する固有ベクトル（‖ b1‖＝‖ b2‖＝‖ b3‖）であり；
rjによって示されるものは、固有値λjの代数的重複度であり；
Vj＝{ ∈Rn：B ＝λj }によって示されるものは、対応する固有のサブ空間である。
λ1？λ2？λ3であるならば、すべての固有値の代数的重複度は、１(rj＝１)であり；
λ1＝λ2？λ3であるならば、λ1およびλ2の代数的重複度は、２であり、λ3の代数的重複度は、１(r1＝r2＝2およびr3＝1)であることが留意され；
λ1＝λ2＝λ3であるならば、λ1，λ2およびλ3の代数的重複度は、３(r1＝r2＝r3＝3)であることもまた留意される。
【０２９１】
共役行列としても知られているBおよびGのような相似行列は、同じ固有値を有するが、異なった固有ベクトルをも有している。相似行列の固有ベクトルは、Hによって関連付けされる。ubが対応する固有値λを備えたBの固有ベクトルであるならば、Hubは、同じ固有値λを備えたGの固有ベクトルであり、G(Hub)＝λ(Hub)である。同じことは、固有のサブ空間に対しても当てはまることであり、Vが固有値λに対応するBの固有のサブ空間であるならば、H(V)は、同じ固有値λを備えた固有のサブ空間Gである。従って、BおよびGによってHに対して賦課される制約の個数は、BおよびGの固有のサブ空間の次元に従って調査されるのである。Vは、Bの固有ベクトルubに対応する固有のサブ空間であると想定する。３つの起こり得る事例が有効であり、１つの事例は、Vの起こり得る各々の次元、すなわちdim(V)＝1，2，3に関するものである。
【０２９２】
事例１： dim(V)＝1である。
この事例は、典型的には、すべての３つの固有値が明確であるときに生じる。この事例は、幾つかの固有値が２または３の代数的重複度を有する場合にも生じることが可能である。これらのすべての場合において、Vは、単一の固有ベクトルubによって測定される。相似性H(V)は、Gの固有ベクトルugによって測定される。従って、方程式(１３)は、以下の通りになる：
Hub＝αugであり、ここで、αは、未知の倍率である。
方程式(１３)は、Hにおける３つの一次方程式および１つの新しい未知のαを提供するものであり、従って、方程式(１３)は、Hに関する２つの新しい線形独立的な制約を提供するのである。
【０２９３】
事例２： dim(V)＝2である。
この事例は、典型的には、以下の２つの場合の一方において生じる。
(a)代数的重複度２を備えた固有値が存在する場合；或いは
(b)代数的重複度３を備えた唯１つの固有値が存在する場合である。
しかしながら、すべての固有ベクトルによって測定される固有のサブ空間は、２という次元性を有する。例えば、純粋なシフト（Δx，Δy）によって定義されるホモグラフィーは、以下のような形態を有する：
【０２９４】
【数１１】

【０２９５】
この行列は、代数的重複度３を備えた単一の固有値λ1＝λ2＝λ3＝1を有する。それに対応する固有のサブ空間は、次元性２を有する。それは、２つの新しい線形独立的な固有ベクトル[1,0,0]tおよび[0,1,0]tによって測定される。
【０２９６】
dim(V)＝2であるとき、２つの固有ベクトルは、例えば、w.l.o.g，ub1およびub2であるようにして、Vの範囲に広がる。従って、ub1およびub2のあらゆる線形の組合せもまた、同じ固有値を備えたBの固有ベクトルである。同様にして、ug1およびug2のあらゆる線形の組合せもまた、同じ固有値を備えたGの固有ベクトルである。従って、方程式（１４）は、以下の通りである：
Huhj＝αjug1＋βjug2であり、ここで、同αjおよびβjは、未知のスカラー（j＝1,2）である。
【０２９７】
従って、２つの固有ベクトルub1およびub2のそれぞれは、３つの一次方程式および２つの新しい未知数を提供する。結果として、２つの固有ベクトルub1およびub2は、一緒になって、Hに関する２つの新しい線形の制約を提供するのである。
【０２９８】
事例３： dim(V)＝3である。
この事例では、任意のベクトルが、固有ベクトルであり、すべての固有ベクトルが、同じ固有値λを有する。これは、B@G@λIが所定の倍率にまで達する固有変換である場合であり、運動が何も存在しないことを意味する。この場合、BおよびGは、Hに関する補足的な制約を何も提供しない。
【０２９９】
Hに対して賦課される制約の個数は、単一の固有のサブ空間に関しては、上述のようにカウントされた。BおよびGがHに対して賦課する線形制約の総数をカウントするためには、固有のサブ空間のあらゆる実行可能な組合せが、固有値の代数的重複度に従って分析される。そのような組合せは、３つ存在する：
1. λi≠λj≠λkであり、これは：
Vi≠Vj≠Vkであり；
dim(Vi)＝dim(Vj)＝dim(Vk)＝1であると含意する。
2. λi＝λj≠λkであり、これは、Vi＝Vj≠Vkであると含意する。
そのような場合は、２つある：
(a) dim(Vi＝Vj)＝2且つdim(Vk)＝1である場合。
(b) dim(Vi＝Vj)＝1且つdim(Vk)＝1である場合。
3. λi＝λj＝λkである。
この場合には、単一の固有のサブ空間V＝Vi＝Vj＝Vkのみが存在し、それらの次元は、１，２または３であることが可能である。
【０３００】
次の表は、上述の事例の各々に関する線形独立的な制約の個数を要約している：
【０３０１】
【表１】

【０３０２】
従って、BおよびGが、一般的なフレーム対フレームの変換の場合に典型的である２または３のいずれかの明確な固有値を有するならば、Hを一意的に決定するためには、２つの独立的な変換の対だけで十分である。何故なら、変換の各々の対が、４個から６個の線形独立的な制約を賦課するからである。更に、先行技術に拠れば、８個の独立的な線形制約が、任意の倍率に達するまでHを一意的に決定することを満足させていた。本発明の１つの好適な実施例では、すべての変換の対からのすべての利用可能な制約が、数値的な安定性を増大させている。
【０３０３】
本発明の１つの好適な実施例では、２台のカメラが、好適には有意の運動を提供する長さである数秒間にわたるものである、２つの入力シーケンスを形成するために採用された。
【０３０４】
ステップ９５０を参照すると、フレーム対フレームの入力変換T1,…,TnおよびT’1,…,T’mは、好適には、平面的であるかまたは離れたシーンの場合に、例えば、コンピュータビジョン国際ジャーナル１２（１）：５−１６、１９９４年１月におけるM.Irani、B.RoussoおよびS.Pelegによる「閉塞的な運動および透明な運動の計算（Computing occluding and transparent motions）」において説明された方法を使用して抽出される。
【０３０５】
ここで、図９のステップ９７０が参照される。ステップ９７０は、変換TiおよびT’iの精度を高めるロバストな統計学の方法を包含する。本発明の１つの好適な実施例では、ステップ９７０は、以下のような２つの任意選択的な方法を包含する：
(a) 参照番号９７２によって示される域外値拒絶；および
(b) 参照番号９７４によって示される座標の繰り込みである。
【０３０６】
ステップ９７２において、不正確なフレーム対フレームの変換Tiは、好適には、先行技術において周知である以下で説明されるような２つの域外値検出機構のいずれかを採用することによって除去される：
(１) 本発明の１つの好適な実施例では、各々のシーケンス内の連続的なフレームの間における変換は、両方の方向において計算される。画像空間の中における単位行列からの合成行列TiTiReverseの距離は、ピクセルの最大残留位置合わせミスの見地から計算される。
【０３０７】
【数１２】

【０３０８】
(２) 代替的には、方程式（５）の相似判定基準が、TiおよびT’iの間における「相似」の度合いを確認するために採用される。不確実な変換の対は、このようにして、除去されることが可能なのである。
ステップ９７４では、任意選択的に、先行技術において周知である以下で説明されるような２つの座標繰り込みの方法のいずれか１つが使用される：
(a) 入力行列は、例えば、パターン認識およびマシン・インテリジェンス１９（６）６月、５８０−５９３ページ、１９９７年における、Richard I.Hartleyによる「８ポイント・アルゴリズムの防御において（In Defence of the 8-point Algorithm）」で説明されるようにして、数値的な安定性を増大させるべく繰り込みされる。
(b) 入力行列は、例えば、ジョン・ホプキンス大学出版、ボルチモアおよびロンドン、１２３−１２７ページ、１９８９年における、Gene GolubおよびCharles Van Loanによる「行列計算（Matrix Computations）」において準備されたヒューリスティックを使用して、Ｍの列がほぼ同じノルムを有するようにして標準化される。
【０３０９】
ここで、図９のステップ９８０が参照される。
【０３１０】
本発明の１つの好適な実施例では、フレーム対フレームの変換が余りにも小さいとき、それらのシーケンスの時間的なサブサンプリングは、連続的なフレームの間におけるより大きな変換を提供することが可能である。好適には、時間的なサブサンプリングは、時間的に対応するフレームが２つのビデオシーケンスからサンプリングされることを保証するようにして、時間的な同期を復元した後に行なわれる。
【０３１１】
本発明のもう１つの好適な実施例では、２台のカメラの３次元的な連携運動は、計算結果の精度を高めるようにして、前もって計画される。
【０３１２】
例えば、本発明の１つの好適な実施例では、入力データは、変換TiおよびT’iのシーケンスである。変換TiおよびT’iは、先行技術において準備された様々なアルゴリズムの１つを使用して、２つのビデオシーケンスから抽出される。入力データの信頼性もまた、入力変換を抽出するために使用された特定のアルゴリズムに依存する。異なった変換TiおよびT’iの精度に対して大雑把な概算を採用すれば、行列Ｍに関係する変換TiおよびT’iの組合せを分析することが実行可能である（方程式７）。従って、３つの並進運動および３つの回転運動から構成される純粋な６個の運動を分析することによって、導き出される方程式の安定性が予測され得るのである。導き出される方程式のより高い安定性は、シーケンスの間における位置合わせのより高い精度を生じるものであると認識される。例えば、コンピュータビジョン国際ジャーナル１２（１）：５−１６、１９９４年１月における、M.Irani、B.RoussoおよびS.Pelegによる「閉塞的な運動および透明な運動の計算（Computing occluding and transparent motions）」において説明された方法の場合には、射影パラメータT1,3およびT3,2の精度は、低劣であり、転換パラメータT1,3およびT2,3の精度は、良好であり、その他のパラメータは、相当な精度を有する。従って、画像平面内における回転は、最も確実な方程式の組を形成するものであると予測されるのである。
【０３１３】
明快に示すために独立した実施例の文脈において説明されている本発明の様々な特徴は、単独の実施例において組み合せて提供されることもまた可能であると認識される。逆に、簡潔に示すために単独の実施例の文脈において説明されている本発明の様々な特徴が、独立して或いは任意の適当な副次的な組合せにおいて提供されることもまた可能なのである。
【０３１４】
当該分野における熟練者に拠れば、本発明は、以上において詳細に示して説明してきた内容に対して限定されるものではないと認識されるであろう。むしろ、本発明の範囲は、添付の請求項によってのみ規定されるのである。
【図面の簡単な説明】
【０３１５】
【図１Ａ】互いに対して固定され、それぞれにシーンの部分の画像のシーケンスを撮っていて、シーンの各部分がオーバーラップしないようにして２台のカメラによって撮影された、２台のカメラに関する簡略化した図。
【図１Ｂ】図１Ａにおいて示されたようにして撮られたシーケンスにおける画像の相対的な空間関係における固有の曖昧さを示す図。
【図１Ｃ】図１Ａにおいて示されたようにして撮られた画像の２つのシーケンスの各部分と、それらのシーケンスの間における未知の時間関係とを示す図。
【図１Ｄ】空間関係および時間関係が本発明に従って決定される、図１Ａにおいて示されたようにして撮られた画像のシーケンスの部分を形成する画像対を示す図。
【図２Ａ】互いに対して固定され、それぞれにシーンの部分の画像のシーケンスを撮っていて、シーンの各部分が大きく異なったズームで２台のカメラによって撮影されている、２台のカメラに関する簡略化した図。
【図２Ｂ】図２Ａにおいて示されたようにして撮られたシーケンスにおける画像の相対的な空間関係における固有の曖昧さを示す図。
【図２Ｃ】図２Ａにおいて示されたようにして撮られた画像の２つのシーケンスの各部分と、それらのシーケンスの間における未知の時間関係とを示す図。
【図２Ｄ】空間関係および時間関係が本発明に従って決定される、図２Ａにおいて示されたようにして撮られた画像のシーケンスの部分を形成する画像対を示す図。
【図３Ａ】互いに対して固定され、それぞれにシーンの部分の画像のシーケンスを撮っていて、シーンの各部分が異なったセンサ様式を採用している２つのセンサによって画像形成されている、２つのセンサに関する簡略化した図。
【図３Ｂ】図３Ａにおいて示されたようにして撮られたシーケンスにおける画像の相対的な空間関係における固有の曖昧さを示す図。
【図３Ｃ】図３Ａにおいて示されたようにして撮られた画像の２つのシーケンスの各部分と、それらのシーケンスの間における未知の時間関係とを示す図。
【図３Ｄ】空間関係および時間関係が本発明に従って決定される、図３Ａにおいて示されたようにして撮られた画像のシーケンスの部分を形成する画像対を示す図。
【図４Ａ】２つの異なった時点で撮影され、画像の２つの対応するシーケンスを形成していて、撮影のために使用されたカメラが移動した通路が両方のシーケンスに関して概ね同一である、シーンに関する簡略化した図。
【図４Ｂ】図４Ａにおいて示されたようにして撮られたシーケンスにおける画像の相対的な空間関係における固有の曖昧さを示す図。
【図４Ｃ】図４Ａにおいて示されたようにして撮られた画像の２つのシーケンスの各部分と、それらのシーケンスの間における未知の時間関係とを示す図。
【図４Ｄ】空間関係および時間関係が本発明に従って決定される、図４Ａにおいて示されたようにして撮られた画像のシーケンスの部分を形成する画像対を示す図。
【図５Ａ】２台のカメラが軸に沿って互いに対して１８０度に配置されている、１つの軸に沿った２台のカメラの運動によって誘導される２つのシーケンスにおける画像対画像の変換の間における関係を示す図。
【図５Ｂ】２台のカメラが互いに対して９０度に配置されていて、カメラの一方が運動の軸に沿って位置合わせされている、１つの軸に沿った２台のカメラの運動によって誘導される２つのシーケンスにおける画像対画像の変換の間における関係を示す図。
【図５Ｃ】２台のカメラが運動の方向に対して垂直である同じ方向に案内されているが異なったズームである、１つの軸に沿った２台のカメラの運動によって誘導される２つのシーケンスにおける画像対画像の変換の間における関係を示す図。
【図６Ａ】シーケンスの間の空間関係および時間関係における曖昧さを解決するためのものとしては十分でないかもしれない１つの変換形式を採用しているが、シーケンスの間の空間関係および時間関係における曖昧さを削減する多数の異なった変換形式をも採用していることを示す図。
【図６Ｂ】シーケンスの間の空間関係および時間関係における曖昧さを解決するためのものとしては十分でないかもしれない１つの変換形式を採用しているが、シーケンスの間の空間関係および時間関係における曖昧さを削減する多数の異なった変換形式をも採用していることを示す図。
【図６Ｃ】シーケンスの間の空間関係および時間関係における曖昧さを解決するためのものとしては十分でないかもしれない１つの変換形式を採用しているが、シーケンスの間の空間関係および時間関係における曖昧さを削減する多数の異なった変換形式をも採用していることを示す図。
【図７】互いに対して固定され、それぞれにシーンの部分の画像のシーケンスを撮っていて、シーンの各部分がオーバーラップしないようにして２台のカメラによって撮影された、２台のカメラの複雑な運動に関する簡略化した図。
【図８】２つのシーケンスが、一定且つ未知のカメラ間ホモグラフィーによって空間的に関連付けられ、一定且つ未知の時間シフトによって時間的に関連付けられる、図７において示されたようにして撮られた画像の２つのシーケンスの各部分に関する簡略化した図。
【図９】画像の２つのシーケンスを形成して、それらを位置合わせする１つの好適なプロセスに関する簡略化した機能ブロック図。

Claims

それぞれの第１および第２の時間数列を有する少なくとも第１および第２の描写のシーケンスの間における空間関係および時間関係の少なくとも一方を計算する方法であって：
前記空間関係および時間関係の少なくとも一方を獲得するために、前記第１および第２の時間数列を採用することを含むことを特徴とする前記計算する方法。
それぞれの第１および第２の時間数列を有する少なくとも第１および第２の描写のシーケンスの間における空間関係および時間関係の少なくとも一方を計算する方法であって：
前記空間関係および時間関係の少なくとも一方を獲得するために、前記第１および第２の時間数列のみを採用することを含むことを特徴とする前記計算する方法。
前記空間関係および時間関係の少なくとも一方を獲得するために採用される前記第１および第２の時間数列を計算することを更に含むことを特徴とする請求項１または請求項２に記載の方法。
前記描写が視覚的な描写から成ることを特徴とする請求項１乃至５のいずれかに記載の方法。
前記描写が画像から成ることを特徴とする請求項１乃至３のいずれかに記載の方法。
前記描写が少なくとも３次元の対象を含むことを特徴とする先行する請求項１乃至５のいずれかに記載の方法。
前記採用が前記空間関係を獲得することを特徴とする請求項１乃至６のいずれかに記載の方法。
前記採用が前記時間関係を獲得することを特徴とする請求項１乃至７のいずれかに記載の方法。
前記採用が前記空間関係および前記時間関係を獲得することを特徴とする請求項１乃至８のいずれかに記載の方法。
前記描写の間における空間的なオーバーラップが存在しない場合に、前記採用が空間関係および時間関係の前記少なくとも一方を獲得することを特徴とする請求項１乃至９のいずれかに記載の方法。
前記描写の間における共通の空間情報が存在しない場合に、前記採用が空間関係および時間関係の前記少なくとも一方を獲得することを特徴とする請求項１乃至１０のいずれかに記載の方法。
前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の個別的なものの間における共通の情報が存在しない場合に、前記採用が空間関係および時間関係の前記少なくとも一方を獲得することを特徴とする請求項１乃至１１のいずれかに記載の方法。
前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の任意の個別的なものの間における共通の情報が存在しない場合に、前記採用が空間関係および時間関係の前記少なくとも一方を獲得することを特徴とする請求項１乃至１２のいずれかに記載の方法。
前記空間関係が描写の前記少なくとも第１および第２のシーケンスの間における幾何学的変換の少なくとも１つのパラメータを含むことを特徴とする請求項１乃至１３のいずれかに記載の方法。
前記空間関係が２次元射影変換を包含することを特徴とする請求項１４に記載の方法。
前記空間関係が３次元射影変換を包含することを特徴とする請求項１４に記載の方法。
前記空間関係が基本行列を包含することを特徴とする請求項１４に記載の方法。
前記空間関係が２次元パラメトリック変換を包含することを特徴とする請求項１４に記載の方法。
前記空間関係が少なくとも３次元のパラメトリック変換を包含することを特徴とする請求項１４に記載の方法。
前記空間関係が２次元の非パラメトリック変換を包含することを特徴とする請求項１４に記載の方法。
前記空間関係が少なくとも３次元の非パラメトリック変換を包含することを特徴とする請求項１４に記載の方法。
前記空間関係が前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の個別的なものの間における空間関係を含むことを特徴とする請求項１４乃至２１のいずれかに記載の方法。
前記空間関係が前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の個別的なものの間における空間関係を含み、前記描写の前記個別的なものの少なくとも一方が補間された描写であることを特徴とする請求項１４乃至２１のいずれかに記載の方法。
前記空間関係が前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の個別的なものの間における空間関係を含み、前記描写の前記個別的なものの一方が補間された描写であり、前記描写の前記個別的なものの他方が補間されない描写であることを特徴とする請求項１４乃至２１のいずれかに記載の方法。
前記時間関係が描写の前記少なくとも第１および第２のシーケンスの間における時間変換の少なくとも１つのパラメータを含むことを特徴とする請求項１乃至２４のいずれかに記載の方法。
前記時間関係が描写の前記少なくとも第１および第２のシーケンスの間における時間シフトを包含することを特徴とする請求項２５に記載の方法。
前記時間関係が時間のアフィン変換を包含することを特徴とする請求項２５に記載の方法。
前記時間関係が時間のパラメトリック変換を包含することを特徴とする請求項２５に記載の方法。
前記時間関係が時間の非パラメトリック変換を包含することを特徴とする請求項２５に記載の方法。
前記時間関係が前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の個別的なものの間における時間関係を含むことを特徴とする請求項２５乃至２９のいずれかに記載の方法。
前記時間関係が前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の個別的なものの間における時間関係を含み、前記描写の前記個別的なものの少なくとも一方が補間された描写であることを特徴とする請求項２５乃至２９のいずれかに記載の方法。
前記時間関係が前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の個別的なものの間における時間関係を含み、前記描写の前記個別的なものの一方が補間された描写であり、前記描写の前記個別的なものの他方が補間されない描写であることを特徴とする請求項２５乃至２９のいずれかに記載の方法。
前記補間された描写が時間を補間されることを特徴とする請求項２３、２４、３１および３２のいずれかに記載の方法。
前記補間された描写が空間を補間されることを特徴とする請求項２３、２４、３１、３２および３３のいずれかに記載の方法。
前記第１および第２の時間数列が順序付きシーケンス間の描写対描写の変換を含むことを特徴とする請求項１乃至３４のいずれかに記載の方法。
前記第１および第２の時間数列が各センサとシーンの間における相対的な運動から生じる順序付きシーケンス間の描写対描写の変換を含むことを特徴とする請求項１乃至３５のいずれかに記載の方法。
前記シーケンス間の描写対描写の変換が２次元射影変換を包含することを特徴とする請求項３５および３６のいずれかに記載の方法。
前記シーケンス間の描写対描写の変換が３次元射影変換を包含することを特徴とする請求項３５および３６のいずれかに記載の方法。
前記シーケンス間の描写対描写の変換が基本行列を包含することを特徴とする請求項３５および３６のいずれかに記載の方法。
前記シーケンス間の描写対描写の変換が２次元パラメトリック変換を包含することを特徴とする請求項３５および３６のいずれかに記載の方法。
前記シーケンス間の描写対描写の変換が少なくとも３次元のパラメトリック変換を包含することを特徴とする請求項３５および３６のいずれかに記載の方法。
前記シーケンス間の描写対描写の変換が２次元非パラメトリック変換を包含することを特徴とする請求項３５および３６のいずれかに記載の方法。
前記シーケンス間の描写対描写の変換が少なくとも３次元の非パラメトリック変換を包含することを特徴とする請求項３５および３６のいずれかに記載の方法。
前記シーケンス間の描写対描写の変換がカメラ・行列を包含することを特徴とする請求項３５および３６のいずれかに記載の方法。
前記採用が前記第１および第２の時間数列を相関させることを含むことを特徴とする請求項１乃至４４のいずれかに記載の方法。
前記採用が前記第１時間数列および前記第２時間数列の特性を等式化することを含むことを特徴とする請求項１乃至４５のいずれかに記載の方法。
前記採用が前記第１時間数列および前記第２時間数列の特性を相関させることを含むことを特徴とする請求項１乃至４６のいずれかに記載の方法。
前記採用が、前記第１時間数列の前記シーケンス間の描写対描写の変換の少なくとも１つと、前記少なくとも第１および第２のシーケンスの間における未知の前記空間関係との順次適用を、前記少なくとも第１および第２のシーケンスの間における前記未知の空間関係と、前記第２時間数列の前記シーケンス間の描写対描写の変換の少なくとも１つとの順次適用に対して等式化することを含むことを特徴とする請求項３５乃至４７のいずれかに記載の方法。
前記採用が、前記第１時間数列の前記シーケンス間の描写対描写の変換の少なくとも１つと、前記少なくとも第１および第２のシーケンスの間における未知の前記空間関係との合成を、前記少なくとも第１および第２のシーケンスの間における前記未知の空間関係と、前記第２時間数列の前記シーケンス間の描写対描写の変換の少なくとも１つとの合成に対して等式化することを含むことを特徴とする請求項３５乃至４７のいずれかに記載の方法。
前記採用が、前記第１時間数列の前記シーケンス間の描写対描写の変換の少なくとも１つと、前記少なくとも第１および第２のシーケンスの間における前記未知の空間関係との順次適用を、前記少なくとも第１および第２のシーケンスの間における前記未知の空間関係と、前記第２時間数列の前記シーケンス間の描写対描写の変換の少なくとも１つとの順次適用に対して等式化することによって、前記少なくとも第１および第２のシーケンスの間における未知の前記空間関係を獲得することを特徴とする請求項３５乃至４７のいずれかに記載の方法。
等式化が所定の倍率に達するまで等式化することを包含することを特徴とする請求項４６乃至５０のいずれかに記載の方法。
前記シーケンス間の描写対描写の変換が少なくとも部分的には異なった時点において生じる多数の単純な運動を包含することを特徴とする請求項３５乃至５１のいずれかに記載の方法。
前記シーケンス間の描写対描写の変換が少なくとも部分的には異なった時点において生じる多数の単純な運動の多数の組合せを包含することを特徴とする請求項３５乃至５２のいずれかに記載の方法。
前記シーケンス間の描写対描写の変換が少なくとも部分的には異なった時点において生じる多数の複雑な運動を包含することを特徴とする請求項３５乃至５３のいずれかに記載の方法。
前記シーケンス間の描写対描写の変換が少なくとも部分的には異なった時点において生じる多数の複雑な運動の多数の組合せを包含することを特徴とする請求項３５乃至５４のいずれかに記載の方法。
前記第１および第２の時間数列が順序付きシーケンス間の描写対描写の変換を含み、少なくともその幾分かが各センサとシーンの間における相対的な運動から生じることを特徴とする請求項１乃至５５のいずれかに記載の方法。
前記採用がシーケンス間の描写対描写の変換の多数の組合せを使用することを特徴とする請求項１乃至５６のいずれかに記載の方法。
前記描写の少なくとも第１および第２のシーケンスの間における前記空間関係が、時間の全体にわたって固定されているそれぞれの前記少なくとも第１および第２のシーケンスを獲得する第１および第２のセンサの間における獲得関係から生じることを特徴とする請求項１乃至５７のいずれかに記載の方法。
前記描写の少なくとも第１および第２のシーケンスの間における前記空間関係が、時間の全体にわたって既知の様式で変化するそれぞれの前記少なくとも第１および第２のシーケンスを獲得する第１および第２のセンサの間における獲得関係から生じることを特徴とする請求項１乃至５８のいずれかに記載の方法。
前記獲得関係が、相対的位置と、相対的方向付けと、相対的な内部センサ・パラメータとを含むことを特徴とする請求項５８または請求項５９に記載の方法。
前記獲得関係が既知であることを特徴とする請求項５８に記載の方法。
前記獲得関係が既知ではないことを特徴とする請求項５８に記載の方法。
前記少なくとも第１および第２のシーケンスが概ね同時に獲得されることを特徴とする請求項１乃至６２のいずれかに記載の方法。
前記少なくとも第１および第２のシーケンスが概ね異なった時点で獲得されることを特徴とする請求項１乃至６３のいずれかに記載の方法。
前記少なくとも第１および第２のシーケンスが同じシーンからの計測値を提示することを特徴とする請求項１乃至６４のいずれかに記載の方法。
前記少なくとも第１および第２のシーケンスが同じシーンの異なった部分からの計測値を提示することを特徴とする１乃至６５請求項のいずれかに記載の方法。
前記少なくとも第１および第２のシーケンスが同じシーンの異なったオーバーラップする部分からの計測値を提示することを特徴とする請求項１乃至６６のいずれかに記載の方法。
前記少なくとも第１および第２のシーケンスが同じシーンの異なったオーバーラップしない部分からの計測値を提示することを特徴とする請求項１乃至６７のいずれかに記載の方法。
前記少なくとも第１および第２のシーケンスが異なったシーンからの計測値を提示することを特徴とする請求項１乃至６８のいずれかに記載の方法。
前記シーンが２次元であることを特徴とする請求項６５乃至６９のいずれかに記載の方法。
前記シーンが少なくとも３次元であることを特徴とする請求項６５乃至６９のいずれかに記載の方法。
前記シーンが静止的であることを特徴とする請求項６５乃至６９のいずれかに記載の方法。
前記シーンが動的であることを特徴とする請求項６５乃至６９のいずれかに記載の方法。
前記計測値が各々のセンサに関して概ね同じであることを特徴とする請求項６５乃至７３のいずれかに記載の方法。
前記計測値が各々のセンサに関して概ね異なっていることを特徴とする請求項６５乃至７３のいずれかに記載の方法。
前記計測値が、照度、熱、放射輝度、電磁放射、色、距離、濃度、音響および速度のうちの少なくとも１つを包含することを特徴とする請求項６５乃至７５のいずれかに記載の方法。
シーケンス融合のために前記空間関係および時間関係の少なくとも一方を採用することを更に含むことを特徴とする請求項１乃至７６のいずれかに記載の方法。
異なったズームで獲得されたシーケンスの位置合わせのために前記空間関係および時間関係の少なくとも一方を採用することを更に含むことを特徴とする請求項１乃至７７のいずれかに記載の方法。
監視のために前記空間関係および時間関係の少なくとも一方を採用することを更に含むことを特徴とする請求項１乃至７８のいずれかに記載の方法。
少なくとも部分的にはオーバーラップしない多数の狭い視野の動画からワイドスクリーンの動画を生成するために前記空間関係および時間関係の少なくとも一方を採用することを更に含むことを特徴とする請求項１乃至７９のいずれかに記載の方法。
画像融合のために前記空間関係および時間関係の少なくとも一方を採用することを更に含むことを特徴とする請求項１乃至８０のいずれかに記載の方法。
前記少なくとも第１および第２のシーケンスの中に含まれた情報を統合するために前記空間関係および時間関係の少なくとも一方を採用することを更に含むことを特徴とする請求項１乃至８１のいずれかに記載の方法。
異なったズームで獲得された画像の位置合わせのために前記空間関係および時間関係の少なくとも一方を採用することを更に含むことを特徴とする請求項１乃至８２のいずれかに記載の方法。
前記少なくとも第１および第２のシーケンスの中に含まれた情報を比較するために前記空間関係および時間関係の少なくとも一方を採用することを更に含むことを特徴とする請求項１乃至８３のいずれかに記載の方法。
前記少なくとも第１および第２のシーケンスの中に含まれた情報の間における相違を発見するために前記空間関係および時間関係の少なくとも一方を採用することを更に含むことを特徴とする請求項１乃至８４のいずれかに記載の方法。
異なった時点における同じシーンに関連する前記少なくとも第１および第２のシーケンスの中に含まれた情報の間における相違を発見するために前記空間関係および時間関係の少なくとも一方を採用することを更に含むことを特徴とする請求項１乃至８５のいずれかに記載の方法。
前記少なくとも第１および第２のシーケンスの中に含まれた情報を統合し、それによって、個別的なセンサの限度を超過する情報出力を提供するようにして、前記空間関係および時間関係の少なくとも一方を採用することを更に含むことを特徴とする請求項１乃至８６のいずれかに記載の方法。
前記採用が前記第１時間数列および前記第２時間数列の特性を比較することを含むことを特徴とする請求項１乃至８７のいずれかに記載の方法。
それぞれの第１および第２の時間数列を有する少なくとも第１および第２の描写のシーケンスの間における空間関係および時間関係の少なくとも一方を計算するシステムであって：
前記描写の第１シーケンスおよび前記第１の時間数列の少なくとも一方、および前記描写の第２シーケンスおよび前記第２の時間数列の少なくとも一方を受信する入力機能性と；
前記空間関係および時間関係の少なくとも一方を獲得するために、前記描写の第１シーケンスおよび前記第１の時間数列の少なくとも一方、および前記描写の第２シーケンスおよび前記第２の時間数列の少なくとも一方を採用する計算機能性とを含むことを特徴とする前記計算するシステム。
それぞれの第１および第２の時間数列を有する少なくとも第１および第２の描写のシーケンスの間における空間関係および時間関係の少なくとも一方を計算するシステムであって：
前記第１および第２の時間数列を受信する入力機能性と；
前記空間関係および時間関係の少なくとも一方を獲得するために、前記第１および第２の時間数列を採用する計算機能性とを含むことを特徴とする前記計算するシステム。
前記計算機能性が、その後、前記空間関係および時間関係の少なくとも一方を獲得するために採用される、前記第１および第２の時間数列を計算する機能性を更に包含することを特徴とする請求項８９に記載のシステム。
前記第１および第２の時間数列を計算して、それらを前記入力機能性に対して供給する時間数列計算機能性を更に含むことを特徴とする請求項９０に記載のシステム。
前記描写が視覚的な描写を含むことを特徴とする請求項８９乃至９２のいずれかに記載のシステム。
前記描写が画像を含むことを特徴とする請求項８９乃至９３のいずれかに記載のシステム。
前記描写が少なくとも３次元の対象を含むことを特徴とする請求項８９乃至９４のいずれかに記載のシステム。
前記計算機能性が前記空間関係を獲得する機能性を包含することを特徴とする請求項８９乃至９５のいずれかに記載のシステム。
前記計算機能性が前記時間関係を獲得する機能性を包含することを特徴とする請求項８９乃至９６のいずれかに記載のシステム。
前記計算機能性が前記空間関係および前記時間関係を獲得する機能性を包含することを特徴とする請求項８９乃至９７のいずれかに記載のシステム。
前記描写の間における空間的なオーバーラップが存在しない場合に、前記計算機能性が空間関係および時間関係の前記少なくとも一方を獲得する機能性を包含することを特徴とする請求項８９乃至９８のいずれかに記載のシステム。
前記描写の間における共通の空間情報が存在しない場合に、前記計算機能性が空間関係および時間関係の前記少なくとも一方を獲得する機能性を包含することを特徴とする請求項８９乃至９９のいずれかに記載のシステム。
前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の個別的なものの間における共通の情報が存在しない場合に、前記計算機能性が空間関係および時間関係の前記少なくとも一方を獲得する機能性を包含することを特徴とする請求項８９乃至１００のいずれかに記載のシステム。
前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の任意の個別的なものの間における共通の情報が存在しない場合に、前記計算機能性が空間関係および時間関係の前記少なくとも一方を獲得する機能性を包含することを特徴とする請求項８９乃至１０１のいずれかに記載のシステム。
前記空間関係が描写の前記少なくとも第１および第２のシーケンスの間における幾何学的変換の少なくとも１つのパラメータを含むことを特徴とする請求項８９乃至１０２のいずれかに記載のシステム。
前記空間関係が２次元射影変換を包含することを特徴とする請求項１０３に記載のシステム。
前記空間関係が３次元射影変換を包含することを特徴とする請求項１０３に記載のシステム。
前記空間関係が基本行列を包含することを特徴とする請求項１０３に記載のシステム。
前記空間関係が２次元パラメトリック変換を包含することを特徴とする請求項１０３に記載のシステム。
前記空間関係が少なくとも３次元のパラメトリック変換を包含することを特徴とする請求項１０３に記載のシステム。
前記空間関係が２次元の非パラメトリック変換を包含することを特徴とする請求項１０３に記載のシステム。
前記空間関係が少なくとも３次元の非パラメトリック変換を包含することを特徴とする請求項１０３に記載のシステム。
前記空間関係が前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の個別的なものの間における空間関係を含むことを特徴とする請求項１０３乃至１１０のいずれかに記載のシステム。
前記空間関係が前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の個別的なものの間における空間関係を含み、前記描写の前記個別的なものの少なくとも一方が補間された描写であることを特徴とする請求項１０３乃至１１０のいずれかに記載のシステム。
前記空間関係が前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の個別的なものの間における空間関係を含み、前記描写の前記個別的なものの一方が補間された描写であり前記描写の前記個別的なものの他方が補間されない描写であることを特徴とする請求項１０３乃至１１０のいずれかに記載のシステム。
前記時間関係が描写の前記少なくとも第１および第２のシーケンスの間における時間変換の少なくとも１つのパラメータを含むことを特徴とする請求項８９乃至１１３のいずれかに記載のシステム。
前記時間関係が描写の前記少なくとも第１および第２のシーケンスの間における時間シフトを包含することを特徴とする請求項１１４に記載のシステム。
前記時間関係が時間のアフィン変換を包含することを特徴とする請求項１１４に記載のシステム。
前記時間関係が時間のパラメトリック変換を包含することを特徴とする請求項１１４に記載のシステム。
前記時間関係が時間の非パラメトリック変換を包含することを特徴とする請求項１１４に記載のシステム。
前記時間関係が前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の個別的なものの間における時間関係を含むことを特徴とする請求項１１４乃至１１８のいずれかに記載のシステム。
前記時間関係が前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の個別的なものの間における時間関係を含み、前記描写の前記個別的なものの少なくとも一方が補間された描写であることを特徴とする請求項１１４乃至１１８のいずれかに記載のシステム。
前記時間関係が前記少なくとも第１および第２のシーケンスの異なったものに所属する前記描写の個別的なものの間における時間関係を含み、前記描写の前記個別的なものの一方が補間された描写であり、前記描写の前記個別的なものの他方が補間されない描写であることを特徴とする、請求項１１４乃至１１８のいずれかに記載のシステム。
前記補間された描写が時間を補間されることを特徴とする、請求項１１２、１１３、１２０および１２１のいずれかに記載のシステム。
前記補間された描写が空間を補間されることを特徴とする、請求項１１２、１１３、１２０、１２１および１２２のいずれかに記載のシステム。
前記第１および第２の時間数列が順序付きシーケンス間の描写対描写の変換を含むことを特徴とする請求項８９乃至１２３のいずれかに記載のシステム。
前記第１および第２の時間数列が各センサとシーンの間における相対的な運動から生じる順序付きシーケンス間の描写対描写の変換を含むことを特徴とする請求項８９乃至１２４のいずれかに記載のシステム。
前記シーケンス間の描写対描写の変換が２次元射影変換を包含することを特徴とする請求項１２４および１２５のいずれかに記載のシステム。
前記シーケンス間の描写対描写の変換が３次元射影変換を包含することを特徴とする請求項１２４および１２５のいずれかに記載のシステム。
前記シーケンス間の描写対描写の変換が基本行列を包含することを特徴とする請求項１２４および１２５のいずれかに記載のシステム。
前記シーケンス間の描写対描写の変換が２次元パラメトリック変換を包含することを特徴とする請求項１２４および１２５のいずれかに記載のシステム。
前記シーケンス間の描写対描写の変換が少なくとも３次元のパラメトリック変換を包含することを特徴とする請求項１２４および１２５のいずれかに記載のシステム。
前記シーケンス間の描写対描写の変換が２次元ノンパラメトリック変換を包含することを特徴とする請求項１２４および１２５のいずれかに記載のシステム。
前記シーケンス間の描写対描写の変換が少なくとも３次元のノンパラメトリック変換を包含することを特徴とする請求項１２４および１２５のいずれかに記載のシステム。
前記シーケンス間の描写対描写の変換がカメラ・行列を包含することを特徴とする請求項１２４および１２５のいずれかに記載のシステム。
前記計算機能性が前記第１および第２の時間数列を相関させることを含むことを特徴とする請求項８９乃至１３３のいずれかに記載のシステム。
前記計算機能性が前記第１時間数列および前記第２時間数列の特性を等式化することを含むことを特徴とする請求項８９乃至１３４のいずれかに記載のシステム。
前記計算機能性が前記第１時間数列および前記第２時間数列の特性を相関させることを含むことを特徴とする請求項８９乃至１３５のいずれかに記載のシステム。
前記計算機能性が、前記第１時間数列の前記シーケンス間の描写対描写の変換の少なくとも１つと、前記少なくとも第１および第２のシーケンスの間における未知の前記空間関係との順次適用を、前記少なくとも第１および第２のシーケンスの間における前記未知の空間関係と、前記第２時間数列の前記シーケンス間の描写対描写の変換の少なくとも１つとの順次適用に対して等式化することを含むことを特徴とする請求項８９乃至１３６のいずれかに記載のシステム。
前記計算機能性が、前記第１時間数列の前記シーケンス間の描写対描写の変換の少なくとも１つと、前記少なくとも第１および第２のシーケンスの間における未知の前記空間関係との合成を、前記少なくとも第１および第２のシーケンスの間における前記未知の空間関係と、前記第２時間数列の前記シーケンス間の描写対描写の変換の少なくとも１つとの合成に対して等式化することを含むことを特徴とする請求項８９乃至１３７のいずれかに記載のシステム。
前記計算機能性が、前記第１時間数列の前記シーケンス間の描写対描写の変換の少なくとも１つと、前記少なくとも第１および第２のシーケンスの間における前記未知の空間関係との順次適用を、前記少なくとも第１および第２のシーケンスの間における前記未知の空間関係と、前記第２時間数列の前記シーケンス間の描写対描写の変換の少なくとも１つとの順次適用に対して等式化することによって、前記少なくとも第１および第２のシーケンスの間における未知の前記空間関係を獲得することを特徴とする請求項８９乃至１３８のいずれかに記載のシステム。
等式化が所定の倍率に達するまで等式化することを包含することを特徴とする、請求項１３５乃至１３９のいずれかに記載のシステム。
前記シーケンス間の描写対描写の変換が少なくとも部分的には異なった時点において生じる多数の単純な運動を包含することを特徴とする請求項１２４乃至１４０のいずれかに記載のシステム。
前記シーケンス間の描写対描写の変換が少なくとも部分的には異なった時点において生じる多数の単純な運動の多数の組合せを包含することを特徴とする請求項１２４乃至１４１のいずれかに記載のシステム。
前記シーケンス間の描写対描写の変換が少なくとも部分的には異なった時点において生じる多数の複雑な運動を包含することを特徴とする請求項１２４乃至１４２のいずれかに記載のシステム。
前記シーケンス間の描写対描写の変換が少なくとも部分的には異なった時点において生じる多数の複雑な運動の多数の組合せを包含することを特徴とする請求項１２４乃至１４３のいずれかに記載のシステム。
前記第１および第２の時間数列が順序付きシーケンス間の描写対描写の変換を含み、少なくともその幾分かが各センサとシーンの間における相対的な運動から生じることを特徴とする請求項８９乃至１４４のいずれかに記載のシステム。
前記計算機能性がシーケンス間の描写対描写の変換の多数の組合せを使用することを特徴とする請求項８９乃至１４５のいずれかに記載のシステム。
前記描写の少なくとも第１および第２のシーケンスの間における前記空間関係が、時間の全体にわたって固定されているそれぞれの前記少なくとも第１および第２のシーケンスを獲得する第１および第２のセンサの間における獲得関係から生じることを特徴とする請求項８９乃至１４６のいずれかに記載のシステム。
前記描写の少なくとも第１および第２のシーケンスの間における前記空間関係が、時間の全体にわたって既知の様式で変化するそれぞれの前記少なくとも第１および第２のシーケンスを獲得する第１および第２のセンサの間における獲得関係から生じることを特徴とする請求項８９乃至１４３のいずれかに記載のシステム。
前記獲得関係が、相対的位置と、相対的方向付けと、相対的な内部センサ・パラメータとを含むことを特徴とする請求項１４７または請求項１４８に記載のシステム。
前記獲得関係が既知であることを特徴とする請求項１４７に記載のシステム。
前記獲得関係が既知ではないことを特徴とする請求項１４７に記載のシステム。
前記少なくとも第１および第２のシーケンスが概ね同時に獲得されることを特徴とする請求項８９乃至１５１のいずれかに記載のシステム。
前記少なくとも第１および第２のシーケンスが概ね異なった時点で獲得されることを特徴とする請求項８９乃至１５２のいずれかに記載のシステム。
前記少なくとも第１および第２のシーケンスが同じシーンからの計測値を提示することを特徴とする請求項８９乃至１５３のいずれかに記載のシステム。
前記少なくとも第１および第２のシーケンスが同じシーンの異なった部分からの計測値を提示することを特徴とする請求項８９乃至１５４のいずれかに記載のシステム。
前記少なくとも第１および第２のシーケンスが同じシーンの異なったオーバーラップする部分からの計測値を提示することを特徴とする、請求項８９乃至１５５のいずれかに記載のシステム。
前記少なくとも第１および第２のシーケンスが同じシーンの異なったオーバーラップしない部分からの計測値を提示することを特徴とする、請求項８９乃至１５６のいずれかに記載のシステム。
前記少なくとも第１および第２のシーケンスが異なったシーンからの計測値を提示することを特徴とする請求項８９乃至１５７のいずれかに記載のシステム。
前記シーンが２次元であることを特徴とする請求項１５４乃至１５８のいずれかに記載のシステム。
前記シーンが少なくとも３次元であることを特徴とする請求項１５４乃至１５８のいずれかに記載のシステム。
前記シーンが静止的であることを特徴とする請求項１５４乃至１５８のいずれかに記載のシステム。
前記シーンが動的であることを特徴とする請求項１５４乃至１５８のいずれかに記載のシステム。
前記計測値が各々のセンサに関して概ね同じであることを特徴とする請求項１５４乃至１６２のいずれかに記載のシステム。
前記計測値が各々のセンサに関して概ね異なっていることを特徴とする請求項１５４乃至１６２のいずれかに記載のシステム。
前記計測値が、照度、熱、放射輝度、電磁放射、色、距離、濃度、音響および速度のうちの少なくとも１つを包含することを特徴とする請求項１５４乃至１６４のいずれかに記載のシステム。
計算機能性が、シーケンス融合のために前記空間関係および時間関係の少なくとも一方を採用する機能性を包含することをも更に含むことを特徴とする請求項８９乃至１６５のいずれかに記載のシステム。
計算機能性が、異なったズームで獲得されたシーケンスの位置合わせのために前記空間関係および時間関係の少なくとも一方を採用する機能性を包含することをも更に含むことを特徴とする請求項８９乃至１６６のいずれかに記載のシステム。
計算機能性が、監視のために前記空間関係および時間関係の少なくとも一方を採用する機能性を包含することをも更に含むことを特徴とする請求項８９乃至１６７のいずれかに記載のシステム。
計算機能性が、少なくとも部分的にはオーバーラップしない多数の狭い視野の動画からワイドスクリーンの動画を生成するために前記空間関係および時間関係の少なくとも一方を採用する機能性を包含することをも更に含むことを特徴とする請求項８９乃至１６８のいずれかに記載のシステム。
計算機能性が、画像融合のために前記空間関係および時間関係の少なくとも一方を採用する機能性を包含することをも更に含むことを特徴とする請求項８９乃至１６９のいずれかに記載のシステム。
計算機能性が、前記少なくとも第１および第２のシーケンスの中に含まれた情報を統合するために前記空間関係および時間関係の少なくとも一方を採用する機能性を包含することをも更に含むことを特徴とする請求項８９乃至１７０のいずれかに記載のシステム。
計算機能性が、異なったズームで獲得された画像の位置合わせのために前記空間関係および時間関係の少なくとも一方を採用する機能性を包含することをも更に含むことを特徴とする請求項８９乃至１７１のいずれかに記載のシステム。
計算機能性が、前記少なくとも第１および第２のシーケンスの中に含まれた情報を比較するために前記空間関係および時間関係の少なくとも一方を採用する機能性を包含することをも更に含むことを特徴とする請求項８９乃至１７２のいずれかに記載のシステム。
計算機能性が、前記少なくとも第１および第２のシーケンスの中に含まれた情報の間における相違を発見するために前記空間関係および時間関係の少なくとも一方を採用する機能性を包含することをも更に含むことを特徴とする請求項８９乃至１７３のいずれかに記載のシステム。
計算機能性が、異なった時点における同じシーンに関連する前記少なくとも第１および第２のシーケンスの中に含まれた情報の間における相違を発見するために前記空間関係および時間関係の少なくとも一方を採用する機能性を包含することをも更に含むことを特徴とする請求項８９乃至１７４のいずれかに記載のシステム。
計算機能性が、前記少なくとも第１および第２のシーケンスの中に含まれた情報を統合し、それによって、個別的なセンサの限度を超過する情報出力を提供するようにして、前記空間関係および時間関係の少なくとも一方を採用する機能性を包含することをも更に含むことを特徴とする請求項８９乃至１７５のいずれかに記載のシステム。
計算機能性が前記第１時間数列および前記第２時間数列の特性を比較することを含むことを特徴とする請求項８９１７６のいずれかに記載のシステム。