JP4491293B2 - モデル形成装置及びモデル形成方法 - Google Patents

Description

この発明は、対象物の画像分解能、位置精度、モデル未形成部分の範囲等の与えられた条件に基づき、撮影位置、撮影方向等の撮影条件を撮影者に提示することによって、対象物の三次元的なモデルを形成するのに用いられるモデル形成装置及びモデル形成方法に関する。

本出願人の提案にかかる特許文献１に記載されているように、最近のデジタル技術の進歩により、レーザースキャナー或いはデジタル写真測量の手法を用いて、計測対象の詳細な３Ｄデータ及び高分解能な画像データが容易に取得できるようになってきている。たとえば、デジタルカメラによる近接写真測量や、地上型の測量機のような機器によれば、地上からの対象物側面に関しては詳細な計測が可能である。

特開２００２−３５２２２４号公報 図２

しかしながら、自動追尾式測量機またはノンプリズム方式測量機、またはレーザスキャナー等のように測定点の位置または測定点までの距離と方向を測定する測量機（以下、単に「測量機」という）により取得した３Ｄデータは、基本的には距離データを含む三次元座標データにて構成されている。そこで、測量機により取得した３Ｄデータと現場状況との対応づけが困難で、３Ｄデータを測定対象物の画像情報と紐付ける作業を行なう際に、測定対象物の何れの位置を計測したのか困難となり、対象物の三次元的なモデル形成作業が煩雑になるという課題があることが判明した。また、地上に設置された測量機により取得した３Ｄデータには、たとえばビルの屋上や道路などの上空からの３Ｄデータが取得できず、対象物の三次元的なモデル形成が困難であるという課題があった。

他方で、ヘリコプターや航空機等の飛行体に設置するための、デジタルカメラやレーザースキャナー機器も近年になって開発されてきている。しかし、このような上空からの撮影画像と、地上からの撮影画像を組合せて対象物の３Ｄモデルを作成する場合には、撮影方向の相違や撮影縮尺・レンズ収差の相違に基づく画像歪が大きくなり、撮影画像の集成負担が大きく、対象物の三次元的なモデル形成が困難であるという課題があった。

本発明は上述した課題を解決したもので、既に取得されている対象物の三次元的なモデルデータを出発点として、対象物の三次元モデルを簡易で効率良く形成できるモデル形成装置及びモデル形成方法を提供することを目的とする。

上記目的を達成する本発明のモデル形成装置は、例えば図１に示すように、対象物１０を撮影する撮影部１１０と、対象物の三次元モデルデータを記憶する画像データ記憶部１３０と、対象物１０の三次元モデルデータに基づき三次元モデルを表示する表示部１４０と、画像データ記憶部１３０で記憶された三次元モデルデータに基づき、対象物１０のモデル未形成部分を認識する認識部１５０と、前記モデル未形成部分の撮影に関係する撮影指示情報を求める撮影指示情報部１６０とを備え、撮影指示情報部１６０で求めた撮影指示情報に準拠して、撮影部１１０による対象物１０の撮影が行なわれる。

このように構成された装置においては、認識部１５０によって、対象物に関して欠落している撮影方向を認識し、撮影指示情報部１６０により、この欠落している撮影方向を補充撮影する場合に必要とされる撮影指示情報を求め、表示部１４０に表示して撮影者が認識できるように構成されている。すると、撮影者が対象物に関して欠落している撮影方向から、適切な撮影態様による画像データを補充するのに適している。

上記目的を達成する本発明のモデル形成装置は、例えば図１９に示すように、対象物１０を撮影する撮影部１１０と、少なくとも対象物の三次元モデルデータ、又は撮影部１１０で撮影された対象物画像データを記憶する画像データ記憶部１３０と、画像データ記憶部１３０で記憶された対象画像データから、対象物１０のモデルデータを求めるモデル形成部１５５と、対象物１０の三次元モデルデータに基づき三次元モデルを表示する表示部１４０と、画像データ記憶部１３０で記憶された三次元モデルデータに基づき、モデル未形成部分を認識する認識部１５０と、前記モデル未形成部分の撮影に関係する撮影指示情報を求める撮影指示情報部１６０とを備え、表示部１４０は前記三次元モデルと撮影指示情報を共に表示するものである。

このように構成された装置においては、認識部１５０によって、対象物に関して欠落している撮影方向を認識し、撮影指示情報部１６０により、この欠落している撮影方向を補充撮影する場合に必要とされる撮影指示情報を求め、表示部１４０に表示して撮影者が認識できるように構成されている。すると、撮影者が対象物に関して欠落している撮影方向から、適切な撮影態様による画像データを補充するのに適している。モデル形成部１５５は、画像データ記憶部１３０で記憶された対象画像データから、対象物１０のモデルデータを求める。表示部１４０には、対象物１０の三次元モデルデータに基づき三次元モデルが表示されるので、認識部１５０が認識しているモデル未形成部分に加えて、撮影者によって認識された対象物に関して補充すべき撮影方向を認識できる。そこで、撮影者によって、対象物に関して欠落又は補充すべき撮影方向から、適切な撮影態様による画像データを補充できる。

本発明のモデル形成装置において、例えば図１９に示すように、さらに、モデル形成部１５５で形成されたモデルに対して、当該モデルを複数のエリアに区分し、各区分されたエリアと撮影方向との関係に基づいて、対象物画像データのテクスチャーを各区分されたエリアに貼り付けるテクスチャー貼付部１９２を有し、表示部１４０は、テクスチャー貼付部１９２で形成されたテクスチャー付きモデルを表示する構成とするとよい。

本発明のモデル形成装置において、例えば図１、図１９に示すように、好ましくは、表示部１４０において、撮影指示情報部１６０で出された撮影指示情報を、対象物１０を含む範囲の平面図又は立体モデルの表示中において重ねてグラフィック表示するように構成されるとよい。

本発明のモデル形成装置において、例えば図１、図１９に示すように、好ましくは、さらに、必要な測定条件（測定精度、基線長、オーバーラップ）が設定される測定設定部１７０と、測定設定部１７０で設定された測定条件を満足する撮影条件を求める撮影条件算出部１８０を備えるとよい。

上記目的を達成する本発明のモデル形成方法は、例えば図２に示すように、画像データ記憶部１３０に記憶された対象物１０の三次元モデルデータに基づき、対象物１０の三次元モデルを表示し（Ｓ１１０）、前記三次元モデルデータに基づき、対象物１０のモデル未形成部分を認識し（Ｓ１２０）、前記モデル未形成部分の撮影に関係する撮影指示情報を求める（Ｓ１３０）、各工程をコンピュータにより実行させる。そして、撮影者によって、当該撮影指示情報に準拠して、撮影部１１０による対象物１０の撮影が行なわれる（Ｓ１４０）。

上記目的を達成する本発明のモデル形成方法は、例えば図２０に示すように、画像データ記憶部１３０に記憶された対象物１０の三次元モデルデータ、又は撮影部１１０で撮影された対象物画像データから、対象物１０のモデルデータを求め（Ｓ２１０）、対象物１０の三次元モデルデータに基づき三次元モデルを表示し（Ｓ２２０）、対象物１０の三次元モデルデータに基づき、対象物１０のモデル未形成部分を認識し（Ｓ２３０）、前記モデル未形成部分の撮影に関係する撮影指示情報を求め（Ｓ２４０）、表示部１４０に前記三次元モデルと撮影指示情報を共に表示する（Ｓ２５０）、各工程をコンピュータにより実行させる。そして、撮影者によって、表示部１４０に表示された三次元モデルと撮影指示情報に準拠して、撮影部１１０による対象物１０の撮影が行なわれる（Ｓ２６０）。

本発明のモデル形成装置によれば、認識部１５０によって、対象物に関して欠落している撮影方向を認識し、撮影指示情報部１６０によりこの欠落している撮影方向を補充撮影する場合に必要とされる撮影指示情報を撮影者が認識できるようにすることで、対象物に関して欠落している撮影方向から、適切な撮影態様による画像データを補充することが可能となる。そこで、例えば航空写真と地上からの撮影画像をバンドル調整することで、対象物に関する３Ｄモデル構築を容易に行なえる。

以下図面を用いて本発明を説明する。

図１は本発明の一実施の形態を説明する全体機能ブロックである。図３は本発明の一実施の形態を説明するシステム構成図である。対象物１０は、測定対象物や製作対象物となる有体物で、例えば都市計画、建築、メンテナンス、文化財の領域に含まれる建築物等の各種工作物や人物・風景等が該当する。図において、本発明のモデル形成装置は、撮影ユニットハウジング１００、撮影部１１０、撮影部１１０の撮影位置情報を取得する撮影位置測定部１２０、１２５、位置既知点を有する対象物１０の複数の画像データを記憶する画像データ記憶部１３０、液晶ディスプレイやＣＲＴ等の表示部１４０、演算処理部２００を有しているもので、例えば撮影ガイディングシステム（Virtual Guiding System）と呼ばれる。

撮影ユニットハウジング１００は、撮影部１１０と撮影位置測定部１２０、１２５を一体に保持するもので、撮影者が操作しやすいように小型軽量化されている。撮影部１１０には、例えばデジタルカメラとして、民生用のデジタルカメラが利用可能であり、好ましくはビデオ出力可能なものが好ましい。画素数は、必要な解像度に応じて選択される。撮影位置測定部１２０は、撮影部１１０の撮影位置（Ｘ,Ｙ,Ｚ）を地球上における緯度・経度・高度として測定できるようにＧＰＳが用いられる。撮影位置測定部１２０には、例えば、キネマティックとリアルタイムキネマティックの切替えが可能なものが好ましい。撮影位置測定部１２５は、撮影部１１０の撮影姿勢（Yaw, Pitch, Law）を測定する３軸角度センサーを用いる。撮影位置測定部１２５は、例えば分解能０．０５°で、静止時精度が１°RMS、動的精度が３°RMSとなっている。

画像データ記憶部１３０には、フレキシブルディスク、ＭＤ、ＤＶＤのような画像情報を記憶する媒体が用いられる。キー入力部１３２は、演算処理部２００に対してオペレータがキー入力するのに用いるもので、例えばキーボード、マウス、タッチパネル等が用いられる。表示部１４０は、モニター画像表示部１４２、モデル表示部１４４、測定条件表示部１４６の３区分された表示領域を有するモードＩと、測定条件表示部１４６、撮影位置入力画面１４８、撮影位置からみた対象物モデル表示画面１４９の３区分された表示領域を有するモードＩＩを有している。モードＩは、対象物１０のモデル未形成部分を認識する場合に適している。モードＩＩは、対象物１０のモデル未形成部分の撮影に関係する撮影指示情報を表示して、空中写真を基準に地上写真を補充撮影するのに適している。

演算処理部２００には、例えば汎用のノート型パソコンを用いることができ、撮影部１１０で撮影された画像情報と、撮影位置測定部１２０、１２５で測定された撮影部１１０の位置情報（Ｘ,Ｙ,Ｚ）と姿勢情報（Yaw, Pitch, Law）が入力される。汎用のノート型パソコンには、フレキシブル・ディスク記憶装置やＣＤＲＯＭ等の電磁気的記憶装置が設けられており、画像データ記憶部１３０として使用される。汎用のノート型パソコンには、ソフトウェアとして認識部１５０、モデル形成部１５５、撮影指示情報部１６０、測定設定部１７０、撮影条件算出部１８０並びに基準点表示位置演算部１９０が格納されている。

認識部１５０は、画像データ記憶部１３０で記憶された三次元モデルデータに基づき、対象物１０のモデル未形成部分を認識する。モデル形成部１５５は、画像データ記憶部１３０に記憶された画像データを用いて、対象物１０の三次元モデルを形成するもので、具体的な三次元モデル作成演算式は、例えば本出願人の提案にかかる特開2002-352224号公報、特開2003-42730号公報及び特開2003-65737号公報に記載されている。モデル形成部１５５は、例えば本出願人より３Ｄ計測システムPI−3000V2（商品名）として供給されており、航空写真からデジタルカメラによる画像まで一括して３Ｄ計測、モデリングできるシステムである。認識部１５０は、モデル形成部１５５にて対象物１０の三次元モデルが形成できない領域を抽出するもので、特に対象物１０の画像情報が欠落又は不足している面の方向を認識する。

撮影指示情報部１６０は、認識部１５０で認識された対象物１０のモデル未形成部分の撮影に関係する撮影指示情報を求めるもので、得られた撮影指示情報は、例えば測定条件表示部１４６、撮影位置入力画面１４８、撮影位置からみた対象物モデル表示画面１４９に表示する。撮影指示情報には、対象物１０を測定する測地学的位置情報、対象物１０と撮影部１１０との距離、撮影部１１０の焦点距離等が含まれる。好ましくは、測定条件表示部１４６では、撮影指示情報部１６０で演算された撮影指示情報を、対象物１０を含む範囲の平面図又は立体モデルの表示中において重ねてグラフィック表示するとよい。

測定設定部１７０は、対象物１０の三次元モデルを形成するのに必要な測定条件を設定するもので、この測定条件はステレオ画像計測の理論から導くことができ、例えば測定精度、左右のステレオ写真の基線長とオーバーラップ（重複率）等が設定される。撮影条件算出部１８０は、測定設定部１７０で設定された測定条件を満足する撮影条件を求めるもので、例えば直近に撮影部１１０で撮影された画像に対して、次に撮影する撮影部１１０の撮影条件を求める。撮影条件は、撮影指示情報部１６０で得られる撮影指示情報と整合を持たせると良い。

基準点表示位置演算部１９０は、モニター画像表示部１４２で表示されているファインダー画像上に、当該基準点が対象物１０に重畳した状態でリアルタイム表示を行なう。この重畳状態の計算は、基準点表示位置演算部１９０によって、撮影部１１０のファインダーの画像情報に対して、あらかじめ入力された基準点座標がファインダーの画像上の表示位置として配置されるかを計算して行なう。

図４は液晶表示パネルに表示される画面の一例を説明する図で、モニター画像表示部１４２、モデル表示部１４４、測定条件表示部１４６として使用される。モニター画像表示部１４２では、撮影部１１０のファインダーの画像情報が、各種インターフェースを経由して演算処理部２００を構成するコンピュータに送られ、液晶表示パネル上に表示される。基準点表示位置演算部１９０により、ファインダーの画像情報に含まれている対象物１０に関する基準点が、重畳した状態で表示されるとよい。これにより、モニター画像表示部１４２上に基準点が何個写るかが、撮影部１１０の撮影時に判断できる。モニター画像表示部１４２は、撮影部１１０で撮影され、画像データ記憶部１３０に記憶されている第１及び第２撮影画像を逐次呼び出して表示させる構造としてもよい。

図４の装置においては、３個の画面を表示できるように設計されており、左２つの画面が撮影され画像データ記憶部１３０に記憶されている画像で、最も右の画面が現在撮影部１１０で取込まれている画像を表示させている。撮影者は、モニター画像表示部１４２で表示される３画面をリアルタイムで確認をしながら、撮影ポイントを探すことが容易となる。また、３個の画面全てに画像データ記憶部１３０に記憶されている画像を逐次表示させることにより、既に撮影された画像の確認を行なうこともできる。

モデル表示部１４４には、モデル形成部１５５によって、対象物１０に関してモデリングされた結果を、撮影部１１０の撮影位置と姿勢から見た視点に適合させて表示することができる。これにより、対象物１０のモデリングの欠落部分を認識して、撮影方向として補充すべき対象物１０の撮影方向を確認しながら、対象物１０に対する撮影位置を決めることができる。対象物１０の三次元的な表示は、例えばOpenGL機能を利用することで、三次元計測して再構築した対象物１０の画像を、ワイヤーフレーム表示やテクスチャマッピング表示できる。これにより、モデル表示部１４４上で視点、解像度をリアルタイムに対象物１０の画像を表示可能となっている。また、認識部１５０で認識される対象物１０のモデル未形成部分は、モデル表示部１４４で表示された対象物１０に関して、欠落した面として表示されないため、補充が必要であることが撮影者に認識可能な状態となる。

測定条件表示部１４６には、撮影位置測定部１２０により測定された撮影部１１０の位置情報（Ｘ,Ｙ,Ｚ）が表示され、撮影位置測定部１２５により測定された撮影部１１０の姿勢情報（Yaw, Pitch, Law）が表示される。また、測定条件表示部１４６には、測定設定部１７０で設定される測定条件、即ち基線長（Ｂ）、距離（Ｈ）、焦点距離（ｆ）、画素分解能（ｐ）、精度（ΔＸＹ、ΔＺ）、オーバーラップ（重複率）等が表示される。

また、画像データ記憶部１３０は、撮影部１１０により撮影された画像及び撮影位置を保持している。撮影条件算出部１８０には、画像データ記憶部１３０に記憶された前回撮影画像の情報（第１の撮影画像）を元に、モニター画像表示部１４２に表示されるファインダー画像（第２の撮影画像）のオーバーラップ率が算出されている。測定設定部１７０には、対象物１０の三次元測定をする場合の測定精度、基線、撮影位置、撮影角度、撮影部間隔が設定されているので、撮影条件算出部１８０は対象物１０の概略精度を計算して、測定条件表示部１４６に表示出力する。

撮影条件算出部１８０により概略得られる精度は、次式で得られる。
ΔＸＹ＝Ｈ＊δｐ／ｆ （１）
ΔＺ＝Ｈ＊Ｈ＊δｐ／（ｆ＊Ｂ） （２）
ここで、δｐは撮影部１１０の画素分解能またはスキャナの読み取り分解能、ｆは焦点距離で、使用する撮影部１１０により既知である。基線長Ｂは、撮影した画像の撮影位置測定部１２０から計測された位置と、次に撮影する撮影位置測定部１２０の位置から算出される。撮影距離Ｈは、撮影する箇所に基準点もしくは３Ｄモデルがあれば撮影位置測定部１２０の位置と、基準点もしくは３Ｄモデルの位置から算出することができる。もし基準点もしくは３Ｄモデルが写っていないときは、概略値を入力する。上式で用いるパラメータである分解能δｐ、焦点距離ｆ、基線長Ｂ、撮影距離Ｈから、現在撮影しようとしているステレオモデルの計測後の概略精度ΔＸＹ、ΔＺが算出される。

図５は液晶表示パネルに表示される画面の他の一例を説明する図で、測定条件表示部１４６、撮影位置入力画面１４８、撮影位置からみた対象物モデル表示画面１４９として使用される。撮影指示情報部１６０では、認識部１５０で認識された対象物１０のモデル未形成部分の撮影に関係する撮影指示情報を求められる。そこで、入力部１３２を用いて、撮影位置入力画面１４８に表示される撮影位置から適宜の撮影位置を指定すると、対象物モデル表示画面１４９に当該撮影位置からみた対象物のモデル画像が表示される。

図６は、撮影位置の入力に用いられる撮影位置入力画面の一例を示す説明図である。撮影位置入力画面１４８は、例えば液晶表示パネルに表示される対象物の平面図を用いるとよい。撮影位置入力画面１４８では、ライトペン、マウスなどの入力部１３２を用いて、撮影位置１〜６が入力される。すると、モデル形成部１５５によって撮影位置として入力された位置からの対象物の３Ｄモデルが形成され、視認画像が撮影位置からみた対象物モデル表示画面１４９に表示される。そして、これらの撮影位置は、表示部１４０において、図７のように平面図上にモデリングしたい範囲と共にステレオ撮影位置として表示したり、また図８や図９のようにモデル画面上にステレオ撮影位置として表示し、撮影者を誘導することもできる。

図１０は、対象物モデル表示画面１４９に表示される指定撮影位置からの対象物視認画像の一例を示す図で、図中符号１〜６は図６の撮影指定位置１〜６に対応している。撮影位置入力画面１４８にて撮影指定位置１〜６が入力されると、対象物モデル表示画面１４９には、指示された撮影位置１〜６から、撮影部１１０を向けたアングルの対象物画像の３Ｄ画像が形成され、これが対象物モデル表示画面１４９に表示される。

このように構成された装置における撮影作業について説明する。図１１は空中並びに地上で撮影された画像による３Ｄモデルの計測を説明するフローチャートである。まず、空中撮影を行う（Ｓ３００）。空中撮影画像には、航空写真（例えば国土地理院提供）、ヘリコプター、飛行船、バルーンなどの撮影システムにより取得したものや、エンジン付きのパラグライダーなどを用いて撮影した画像データなど、多種多様なものが利用できる。ただし、撮影部１１０の撮影条件での内部標定要素は、既知である必要がある。

次に、地上では、３Ｄモデル作成に必要な基準点を測量機やＧＰＳにて取得する（Ｓ３１０）。この際、測量機による計測値は、ＧＰＳによる地球測位座標系などに統一しておく。そして、Ｓ３００にて取得された空中撮影画像を用いて、モデル形成部１５５による対象物１０の３Ｄモデルの計測を行う（Ｓ３２０）。この場合、必要に応じてＳ３１０で取得した基準点を使用すると共に、モデル形成部１５５で作成された空中撮影画像に基づく三次元モデルデータを画像データ記憶部１３０に記憶しておく。

次に、認識部１５０によって、画像データ記憶部１３０で記憶された三次元モデルデータに基づき、対象物１０のモデル未形成部分を認識する（Ｓ３３０）。そして、撮影ガイディングシステムを用いて、撮影部１１０による地上撮影を行う（Ｓ３４０）。このとき、撮影指示情報部１６０によって求められる撮影指示情報を利用して、認識部１５０で認識された対象物１０のモデル未形成部分の撮影を行なうと良い。また、この作業の前にあらかじめ、Ｓ３１０で計測された基準点や、Ｓ３２０で作成された３Ｄモデルデータを撮影ガイディングシステムに記憶させておく。これにより、撮影位置を確認する際、モニター画像表示部１４２には、撮影部１１０を向けたアングルの対象物画像がリアルタイムで表示され、モニター画像表示部１４２の対象物画像上にＳ３１０で計測された基準点が重畳した状態で表示される。また、モデル表示部１４４には、Ｓ３２０で作成された３Ｄモデルが、撮影部１１０を覗いたアングルで表示される。また、測定条件表示部１４６には、モニター画像表示部１４２での計測精度やオーバーラップの状態も確認できる。これら機能により、撮影者は３Ｄモデル作成のような後処理も考慮した最適な位置に、撮影部１１０の撮影位置が誘導される。

次に、撮影ガイディングシステムにて撮影した画像を、モデル形成部１５５にてステレオ計測することにより、地上による３Ｄモデルを作成する（Ｓ３４０）。そして、Ｓ３４０で作成された３Ｄモデルに基づいて、対象物１０の補充撮影は必要か判断する（Ｓ３５０）。この補充撮影の必要性判断では、例えば認識部１５０によるモデル未形成部分の認識を用いるとよく、また、空中撮影画像と地上撮影画像の解像度の相違も考慮する。対象物１０の補充撮影が必要な場合は、Ｓ３３０に戻る。他方、対象物１０の補充撮影が不要であれば、Ｓ３６０に進む。

次に、モデル形成部１５５にて全体の３Ｄモデル作成をする（Ｓ３６０）。この際に、モデル形成部１５５にて、空中や地上で撮影された各ステレオモデルの画像のパスポイント及びタイポイントを同時にバンドル調整する（Ｓ３７０）ことにより、空中や地上で撮影された各ステレオモデルの画像の座標系を統一し、全体の３Ｄモデルを作成する。なお、撮影ガイディングシステムでは、地上による３Ｄモデル形成作業と、空中や地上で撮影された各ステレオモデルの画像全体の３Ｄモデル作成作業とは、バンドル調整しながら自動的に行なうことができる。

次に、上述の本発明にかかる撮影ガイディングシステムを用いた、航空写真、空中画像、地上画像による３Ｄモデル作成の一例を説明する。図１２は、本発明にかかる撮影ガイディングシステムを用いた３Ｄモデル作成の対象物の全体敷地図である。対象物は、本出願人の所有する８階建てビルで、本出願人の本社登記地に所在している。利用した画像は、対象物全体の基礎画像情報として航空写真（図１３）、対象物上空からのモデリングにパワードグライダーから撮影部１１０により撮影した画像（図１５）、そして対象物の地上側面部を撮影ガイディングシステムの撮影部１１０にて取得した（図１８）。そして、これら３類型の画像をそれぞれモデル形成部１５５にて３Ｄモデル作成して、融合させた。基準点は、対象物であるビルの側面を測量機にて計測し、対象物の敷地内にてＧＰＳ計測した点を利用して、測量機で計測した基準点位置をＧＰＳ座標に変換した。

以下にそれぞれの撮影・解析について説明する。
（１）航空写真解析によるベース作成
図１３は、本出願人の本社登記地を含む、東京板橋区周辺約４ｋｍ四方が撮影されている国土地理院提供の航空写真である。撮影カメラは、いわゆる一般の航空写真撮影用カメラが利用可能である。焦点距離、画角などは、撮影に必要なものが適宜選択される。

図１４はモデル形成部により３Ｄモデル作成対象領域をモデル化した画像である。３Ｄモデル作成対象領域の解析には、航空写真をベース（下地）として使用するため、フィルムをスキャナにて、例えば読取解像度600dpiにて読み取り、モデル形成部１５５にて内部標定した。なお、図１５では、ステレオマッチングは行わず簡単な３Ｄ図化を行って使用しているが、山などの起伏がある場合は、３Ｄモデル作成対象領域の起伏部分をステレオマッチング処理して、３Ｄモデル化するとよい。

（２）空中撮影（パワードグライダー）画像からの３Ｄモデル作成
図１５は、対象物上空からのモデリングにパワードグライダーから撮影部１１０により撮影した画像である。図１６は、パワードパラグライダー（エンジン付きのパラグライダー）による写真撮影の説明図である。パワードパラグライダーは、航空機ではないため、高度規制等の制約が少なく、安価で安全な撮影ができる特徴がある。パワードグライダーの他に、ヘリコプター、気球、大縮尺な航空写真撮影可能なセスナ機なども利用することが可能である。撮影に使用した撮影カメラには、民生用のデジタルカメラが利用できる。。

図１７は空中写真の３Ｄモデル化の一例を説明する説明図である。３Ｄモデル解析の手順は以下の通りである。まず、モデル形成部１５５にて、測量機で測定した基準点を入れて標定を行い、対象物であるビルのエッジ部分、手前庭部のポリライン計測を行う（図１７ａ）。ここで、ポリライン計測とは、対応点をマニュアルで指示又は相関処理を用いた半自動で計測しながら三次元計測を行うことをいい、マニュアルや自動位置検出で行うことができる。次に、対象物であるビルについて、自動的にビル壁面の計測と、平面部メッシュ作成を行なう（図１７ｂ）。そして、対象物であるビルについて、ビルの外観形状を表す（図１７ｃ）。好ましくは、第２の実施例のように、対象物であるビルにテクスチャを貼り付けると質感が増す。そして、３Ｄモデル化されたビルの外観形状は、航空写真と一体化して、対象物付近の概括的な画像情報と融合する（図１７ｄ）。このとき、対象物であるビルの一部壁面に関しては、航空写真の制約により撮影されていない方向があり、３Ｄモデル化の際に欠けた状態となっている。

（３）撮影ガイディングシステムによる地上３Ｄモデルの追加
図１８は、撮影部１１０により対象物に関して補充すべき撮影方向から撮影している様子と、追加撮影画像を示している。このとき、撮影ガイディングシステムの表示画面は、例えば図１０に示すようになっている。モニター画像表示部１４２に、対象物に関して補充すべき撮影方向からの画像が表示されている。対象物であるビルの一部壁面に関しては、航空写真の制約により撮影されていない方向があるが、補充すべき撮影方向から撮影することで、欠けていた壁面の画像情報が、精密な基準点情報と共に得られる。

図１９は、本発明の第２の実施の形態を説明する全体機能ブロック図である。なお、図１９において、前記図１と同一作用をするものには、同一符号を付して説明を省略する。図において、画像データ記憶部１３０には、対象物１０に関する三次元モデルデータと、対象物画像データが記憶されている。ここで、三次元モデルデータとは、対象物に関する点像の位置データが得られているものを言い、例えば測量機やレーザースキャナーによって得られる。また、対象物画像データとは、点像の位置データが得られていない単なる画像データをいう。モデル形成部１５５は、対象物画像データを用いて、対象物１０に関する三次元モデルデータを形成している。テクスチャー貼付部１９２は、対象物１０に関する三次元モデルデータを複数のエリアに区分し、各区分されたエリアと撮影方向との関係に基づいて、対象物画像データのテクスチャーを各区分されたエリアに貼り付ける。

図２０は、本発明の第２の実施の形態を説明するフローチャートである。まず、モデル形成部１５５は、画像データ記憶部１３０に記憶された対象物１０の三次元モデルデータ、並びに必要なときには撮影部１１０で撮影された対象物画像データを用いて、対象物１０のモデルデータを求める（Ｓ２１０）。モデル表示部１４４には、対象物１０の三次元モデルデータに基づき三次元モデルが表示される（Ｓ２２０）。

認識部１５０は、対象物１０の三次元モデルデータに基づき、対象物１０のモデル未形成部分を認識する（Ｓ２３０）。そして、撮影指示情報部１６０によって、モデル未形成部分の撮影に関係する撮影指示情報を求める（Ｓ２４０）。すると、表示部１４０には三次元モデルと撮影指示情報を共に表示される（Ｓ２５０）。即ち、三次元モデルはモデル表示部１４４に表示され、撮影指示情報は測定条件表示部１４６に表示される。そして、撮影者によって、表示部１４０に表示された三次元モデルと撮影指示情報に準拠して、撮影部１１０による対象物１０の撮影が行なわれる（Ｓ２６０）。

次に、モデル形成部１５５にて全体の３Ｄモデル作成をする（Ｓ２７０）。この際に、モデル形成部１５５にて、空中や地上で撮影された各ステレオモデルの画像のパスポイント及びタイポイントを同時にバンドル調整する（Ｓ２８０）ことにより、空中や地上で撮影された各ステレオモデルの画像の座標系を統一し、全体の３Ｄモデルを作成する。そして、テクスチャー貼付部１９２によって、対象物１０に関する三次元モデルデータに対して、各区分されたエリアと撮影方向との関係に基づいて、対象物画像データのテクスチャーを各区分されたエリアに貼り付ける（Ｓ２９０）。そして、テクスチャーの貼付された対象物画像データを用いて、対象物の三次元モデル表示を行う（Ｓ２９２）。

図２１は、航空写真にワイヤーフレームを貼り付けた対象物の画像である。図２２は、航空写真にテクスチャを貼り付けた対象物の画像である。ここで、テクスチャとワイヤーフレームは、撮影ガイディングシステムにより補充された地上画像から、モデル形成部１５５により得られた３Ｄモデルから取得される。ここで、テクスチャとはグラフィックスなどにおいて、図形の表面に付けられた模様や、質感を表わすための描き込みをいい、対象物の二次元画像に立体感を表現するのに用いられる。また、ワイヤーフレームとは、例えば対象物の表面形状を多数の三角形等の多角形の頂点で表した場合の、頂点間を結ぶ多角形の線分図をいう。対象物であるビルの一部壁面に関しては、航空写真の制約により撮影されていない方向があるが、撮影ガイディングシステムにより補充すべき撮影方向からの対象物の撮影画像を取得して、３Ｄモデル化することで、対象物全体の３Ｄモデル化処理が行える。

図２３は、対象物に隣接するビルを追加した３Ｄモデルの説明図である。対象物に隣接するビルは、空中撮影した画像を用いて、図２２に示す対象物全体の３Ｄモデル化処理後、さらに追加したものである。このように、３Ｄモデル化処理で補充追加したい部分は、撮影ガイディングシステムや空中画像や航空写真からの解析を加えていくことで、容易に対処できる。

続いて、三次元モデルデータに基づき、対象物のモデル未形成部分を認識する、認識部１５０の認識方法について説明する。認識部１５０の認識方法は、図２のステップＳ１２０と図２０のステップＳ２３０に記載されている。なお、対象物（建築物）のモデル未形成部分をユーザーインターフェースにて、画面１４０上で指示して撮影位置を計算させてもよいが、ここでは自動で認識する方法について説明する。

図２４は、欠落部認識のフローチャートである。まず、認識部１５０は、ベースモデルからそれ以上の標高を持つ部分を探索する（Ｓ５００）。たとえば、実施例１では、図１４が航空写真から作成されたベースモデルとなる３Ｄモデルに該当する。そして、このベースモデル上に建物を重ね合わせて作成された３Ｄモデルは、図１７（ｄ）のようになっている。これらは３Ｄモデルであるので、ベースの部分以上の標高値をもつ部分が建築物に相当している。

認識部１５０は、ベースの標高値を基準として図形を抽出する（Ｓ５１０）。即ち、認識部１５０は、Ｓ５００の探索結果に基づき、標高値よりも高い部分を建物として、抽出する。その結果、建物として、図２５の（１）、（２）、（３）並びに（４）の部分が抽出される。

次に、認識部１５０は、航空写真から作成されたベースモデルについての欠落部の認識を行う。建築物の場合、必ずベース以上の標高値を持つ箇所は閉じるので、不連続部分が欠落部となる。したがって、図２５の（５）、（６）の部分が欠落部として認識される。なお、Ｓ５００からＳ５２０の処理で、航空写真から作成されたベースモデルについての欠落部が認識できるが、さらに確実にするためには、次のＳ５３０を行っても良い。

認識部１５０は、Ｓ５１０で抽出されたベースの標高値よりも高い部分について、隣接する面があるかチェックする（Ｓ５３０）。この場合、建築物側面は面なので、図２５の（１）〜（５）までの部分に面があるかチェックする。図２６は、立体形状による欠落部の認識状態を説明する３Ｄモデル図である。Ｓ５３０にて処理することにより、図２５の（５）、（６）の欠落部に相当する領域が認識される。なお、ここでは認識方法の一例について説明したが、認識部１５０による航空写真から作成されたベースモデルについての欠落部の認識方法には、各種の方法が存在する。

次に、モデル未形成部分の撮影に関係する撮影情報を求め方について説明する。この撮影情報の求め方は、図２のステップＳ１３０と図２０のステップＳ２４０に記載されている。たとえば、３Ｄモデル作成の場合に、その建築物のモデル化における、必要精度（δｘｙ、δｚ）を入力しておけば、以下の式（３）、（４）により、カメラの撮影距離Ｈとカメラ間距離Bが算出される。
Ｈ=δｘｙ・ｆ／δｐ （３）
Ｂ=Ｈ・Ｈ・δｐ／(ｆ・δz） （４）
となる。この際、カメラの焦点距離ｆと画素分解能δｐは既知である。そして、このＨとＢは欠落部に対する法線方向とすれば、図２７のように撮影位置を求めることができる。

図２８は、本発明の第３の実施の形態を説明する全体構成図である。実施例１においては、図３に示すようにデジタルカメラとノートパソコンの組合わせを示している。しかし、本実施例では、ＧＰＳ、デジタルカメラ及び小型のホストＰＣとを一体に構成している。小型のホストＰＣには、例えばＰＤＡのような携帯用情報処理端末を用いる。ＧＰＳ、デジタルカメラ及び小型のホストＰＣの有する機能については、実施例１で説明したものと共通なので、その詳細は省略する。

以上説明したように、航空写真と撮影ガイディングシステムの撮影部１１０による地上からの撮影画像をバンドル調整する場合、対象物に関して欠落している撮影方向からの画像データを補充することが重要である。本実施例によれば、認識部１５０によって、対象物に関して欠落している撮影方向を認識し、この欠落している撮影方向を補充撮影する場合に必要とされる留意点を撮影指示情報部１６０により摘示することで、効率よく空中および地上からの３Ｄモデル構築が可能となる。また、本実施例によれば、多種多様な撮影部１１０と解像度で撮影された画像を一括してバンドル調整を行うことで、各種の画像計測データの整合性を確保し、さらに、高性能なステレオマッチングにより計測されたＤＳＭ（Digital stereo matching）データでテクスチャ付きの３Ｄモデルを作成して、あらゆる視点位置から多種多様な解像度にて表示できる。

本発明の一実施の形態を説明する全体機能ブロックである。 本発明の第１のモデル形成方法を説明するフローチャートである。 本発明の一実施の形態を説明するシステム構成図である。 液晶表示パネルに表示される画面の一例を説明する図である。 液晶表示パネルに表示される画面の他の一例を説明する図である。 撮影位置の入力に用いられる撮影位置入力画面の一例を示す説明図である。 求めた撮影位置を示した平面図である。 求めた撮影位置を示した３Ｄモデル図の一例である。 求めた撮影位置を示した３Ｄモデル図の一例である。 指定撮影位置からの対象物視認画像の一例を示す図である。 空中並びに地上で撮影された画像による３Ｄモデルの計測を説明するフローチャートである。 本発明にかかる撮影ガイディングシステムを用いた３Ｄモデル作成の対象物の全体敷地図である。 本出願人の本社登記地を含む、東京板橋区周辺約４ｋｍ四方が撮影されている国土地理院提供の航空写真である。 モデル形成部により３Ｄモデル作成対象領域をモデル化した画像である。 対象物上空からのモデリングにパワードグライダーから撮影部１１０により撮影した画像である。 パワードパラグライダー（エンジン付きのパラグライダー）による写真撮影の説明図である。 空中写真の３Ｄモデル化の一例を説明する説明図である。 撮影部１１０により対象物に関して補充すべき撮影方向から撮影している様子と、追加撮影画像を示している。 本発明の第２の実施の形態を説明する全体機能ブロックである。 本発明の第２のモデル形成方法を説明するフローチャートである。構成図である。 航空写真にワイヤーフレームを貼り付けた対象物の画像である。 航空写真にテクスチャを貼り付けた対象物の画像である。 対象物に隣接するビルを追加した３Ｄモデルの説明図である。 欠落部分の認識を行うフローチャートである。 対象物（建築物）を抽出した際の欠落部分を示した平面図である。 対象物（建築物）を抽出した際の欠落部分を示した３Ｄモデル図である。 求めた撮影位置を示した平面図である。 本発明の第３の実施の形態を説明する全体構成図である。

符号の説明

１０ 測定対象物
１１０ 撮影部
１２０ 撮影位置測定部
１３０ 画像データ記憶部
１４０ 表示部
１５０ 認識部
１５５ モデル形成部
１６０ 撮影指示情報部
１７０ 測定設定部
１８０ 撮影条件算出部

Claims (7)

1. 対象物を撮影する撮影部と；
   前記対象物の三次元モデルデータを記憶する画像データ記憶部と；
   当該対象物の三次元モデルデータに基づき三次元モデルを表示する表示部と；
   前記画像データ記憶部で記憶された三次元モデルデータまたはユーザーの指示に基づき、前記対象物のモデル未形成部分を認識する認識部と；
   前記認識部で認識された前記モデル未形成部分を補充撮影する場合に必要とされる撮影位置を含む撮影指示情報を求める撮影指示情報部と；
   を備え、
   前記表示部において、前記撮影指示情報部で求められた撮影位置を含む撮影指示情報を、前記対象物を含む範囲の平面図叉は三次元モデルの表示中において重ねてグラフィック表示するように構成され、前記撮影指示情報部で求めた撮影指示情報に準拠して、前記撮影部による前記対象物の撮影が行なわれることを特徴とするモデル形成装置。
2. 対象物を撮影する撮影部と；
   前記撮影部で撮影された対象物画像データを記憶する画像データ記憶部と；
   前記画像データ記憶部に記憶された前記対象物画像データから、前記対象物の三次元モデルデータを求めるモデル形成部と；
   前記対象物の三次元モデルデータに基づき三次元モデルを、標高値を有するベースに重ね合わせて表示する表示部と；
   前記三次元モデルデータに基づき、前記ベースの標高値を基準として前記対象物の図形を抽出し、前記対象物のモデル未形成部分を認識する認識部と；
   前記認識部で認識された前記モデル未形成部分を補充撮影する場合に必要とされる撮影位置を含む撮影指示情報を求める撮影指示情報部と；
   を備え、
   前記表示部において、前記撮影指示情報部で求められた撮影位置を含む撮影指示情報を、前記対象物を含む範囲の平面図叉は三次元モデルの表示中において重ねてグラフィック表示することを特徴とするモデル形成装置。
3. さらに、前記モデル形成部で形成された三次元モデルデータを複数のエリアに区分し、各区分されたエリアと撮影方向との関係に基づいて、対象物画像データのテクスチャーを各区分されたエリアに貼り付けるテクスチャー貼付部を有し；
   前記表示部は、前記テクスチャー貼付部で形成されたテクスチャー付きモデルを表示することを特徴とする請求項２記載のモデル形成装置。
4. 前記表示部において表示される撮影位置から適宜の撮影位置を指定すると、当該撮影位置からみた対象物のモデル画像が前記表示部に表示される請求項１乃至請求項３の何れか１項に記載のモデル形成装置。
5. さらに、前記撮影部による前記対象物の撮影に関する測定条件が設定される測定設定部と；
   前記測定設定部で設定された測定条件を満足する撮影条件を求める撮影条件算出部と；
   を備える請求項１乃至請求項４の何れか１項に記載のモデル形成装置。
6. 画像データ記憶部に記憶された対象物の三次元モデルデータに基づき、前記対象物の三次元モデルを表示し；
   前記三次元モデルデータまたはユーザーの指示に基づき、前記対象物のモデル未形成部分を認識し；
   認識された前記モデル未形成部分を補充撮影する場合に必要とされる撮影位置を含む撮影指示情報を求め；
   撮影位置を含む前記撮影指示情報を、前記対象物を含む範囲の平面図叉は三次元モデルの表示中において重ねてグラフィック表示する；
   各工程をコンピュータにより実行させるモデル形成方法であって；
   当該撮影指示情報に準拠して、撮影部による前記対象物の撮影が行なわれることを特徴とするモデル形成方法。
7. 撮影部で撮影された対象物画像データから、前記対象物の三次元モデルデータを求め；
   前記対象物の三次元モデルデータに基づき三次元モデルを、標高値を有するベースに重ね合わせて表示し；
   前記三次元モデルデータに基づき、前記ベースの標高値を基準として前記対象物の図形を抽出し、前記対象物のモデル未形成部分を認識し；
   認識された前記モデル未形成部分を補充撮影する場合に必要とされる撮影位置を含む撮影指示情報を求め；
   撮影位置を含む前記撮影指示情報を、前記対象物を含む範囲の平面図叉は三次元モデルの表示中において重ねてグラフィック表示する；
   各工程をコンピュータにより実行させるモデル形成方法。