JP4138145B2

JP4138145B2 - 画像形成装置

Info

Publication number: JP4138145B2
Application number: JP10066999A
Authority: JP
Inventors: 仁志大谷; 忠之伊藤; 伸夫高地
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 1999-04-07
Filing date: 1999-04-07
Publication date: 2008-08-20
Anticipated expiration: 2019-04-07
Also published as: JP2000292166A

Description

【０００１】
【産業上の利用分野】
本発明は、画像形成装置に係り、特に、計測現場にて図面を作成する際に、図面上にのる、即ち、寸法が正しく合って重ねられるような正射投影画像（オルソ画像）を形成する画像形成装置に関する。本発明は、図面にオルソ画像を貼り付けることで、誰でも簡単に正射投影画像を図化できるようにし、計測現場の状況が詳細にわかる正射投影画像を作成・修正することができる画像形成装置に関する。
【０００２】
【従来の技術】
従来技術によれば、計測現場で測量することにより得られる図面は、平板測量に代表されるような紙と鉛筆等により作成されていた。また、近年では、電子平板に代表されるような測量機とポータブルコンピュータとの組み合わせにより、計測現場の線画図面が作成されていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来のように、電子平板等により現地にて図面を作成しても、線画で表現されているだけで、現地の状況を十分に把握することができなかった。そこで、カメラ等により現場状況を撮影していたが、撮影は斜め方向からであるのに対し、要求される図面は鉛直方向（正射投影）であるため、撮影した画像は、図面と直接結びつかない。したがって、操作者は、図面と画像の双方を見比べて、現場の状況を把握するしかなく、不便であり且つ状況の把握が困難であった。
【０００４】
また、１枚の画像だと撮影できる範囲は狭く、複数枚撮影した場合でも、それぞれの写真に関連性・連続性がないため、相互の整合がとりにくく、図面と見比べるのは煩雑且つ難しいものとなっていた。また、精度の高いオルソ画像が求められる場合、カメラのレンズ歪みが問題となり、従来は、レンズ歪みデータの無いカメラでは、精度良いオルソ画像が作成できなかった。
【０００５】
本発明は、以上の点に鑑み、計測現場の状況を図化する際に、寸法の反映された正射投影画像（オルソ画像）から簡単に現場を図化でき、状況を容易に把握できるようにした画像形成装置を提供することを目的とする。本発明は、計測現場において、迅速且つ簡単に、計測忘れやミスがなく画像の作成・修正ができ、現場状況の把握がその場ででき、画像図面（オルソ画像）を現地にてリアルタイムで確認しながら簡単に作成することを目的とする。本発明は、簡単な撮影と、測量機による数点の測量だけで、画像の補測を行うと同時に、現場状況を容易に把握可能な画像図面を得て、さらに写っていない部分やわかりにくい部分を補間し、高解像度化され且つ広範囲なオルソ画像を作成することを目的とする。
【０００６】
本発明は、１枚の画像では、見えにくい所があったり、遠くの画像が粗くなる等のように、状況がわかりにくい場合であっても、複数枚の画像から状況を把握することができ、且つ、精度の高いオルソ画像を作成することを目的とする。また、本発明は、簡単な作業を繰り返すことにより複数枚の画像を統合し、広範囲なオルソ画像を取得することを目的とする。本発明は、さらに、隣接領域とオーバーラップした画像を複数撮影することにより、精度が高く品質の高いオルソ画像を高速に作成することを目的とする。
【０００７】
また、本発明は、簡単な計測でレンズ歪み補正（カメラキャリブレーション補正）を行なうと同時に、レンズ歪みデータの無いカメラでも高精度なオルソ画像を作成することを目的とする。さらに、本発明は、各種測量機を利用して３次元座標を計測しながらオルソ画像修正を行なえば、必要個所を必要な精度で、品質の良いオルソ画像が作成することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の解決手段によると、
複数の基準点が写し込まれた中心投影画像を計測し、該基準点について画像座標を求める基準点計測部と、
上記基準点計測部により求められた該基準点の画像座標と実際に測定された基準点の３次元座標とに基づき、画像座標と３次元座標との対応付けを行う変換パラメータを求める座標変換パラメータ算出部と、
上記座標変換パラメータ算出部により求められた変換パラメータに基づき、中心投影画像から正射投影画像を作成するオルソ画像形成部と、
実測した追加点の３次元座標に基づき、上記オルソ画像形成部により求められた画像座標を修正し、正射投影画像の修正を行うオルソ画像修正部と
を備えた画像形成装置を提供する。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
【００１０】
Ａ．画像形成装置の構成及び動作概要
図１に、本発明に係る画像形成装置の構成図を示す。画像形成装置は、制御部１０、記憶部２、入出力インターフェース３、３次元座標入力部７、画像入力部４、表示部５、入出力部６を備える。さらに、制御部１０は、基準点計測部１０１、座標変換パラメータ算出部１０２、オルソ画像形成部１０３、オルソ画像修正部１０４、追加画像計測部１０５を含む。これらの各部（機能）は、例えばポータブルコンピュータ（ＰＣ）により実現することができる。
【００１１】
記憶部２には、基準点のデータがあらかじめ記憶されるとともに、画像データ等が記憶される。基準点のデータは、例えば地上座標と呼ばれる３次元座標（Ｘ、Ｙ、Ｚ）で記憶される。入出力インターフェース３は、共通バス等で構成され、各種装置を接続する。３次元座標入力部７は、例えばグローバルポジショニングシステム（ＧＰＳ）やトータルステーション等の各種測量機や３次元座標測定装置から、基準点や追加計測点等の３次元座標を得るものである。画像入力部４は、例えばデジタルカメラ、固体撮像素子又は電荷結合素子（ＣＣＤ、Charge Coupled Device）等の２次元又は３次元画像を得るものである。画像入力部４からは、基準点が含まれ、且つ、１枚あるいは複数枚の画像が入力される。
【００１２】
表示部５は、ＣＲＴ、液晶ディスプレイ又はプラズマディスプレイ等を備え、２次元又は３次元表示を行うものである。表示部５は、制御部１０のオルソ画像形成部１０３やオルソ画像修正部１０４等で形成されたオルソ画像を表示する。また、表示部５は、基準点計測部１０１で入力された基準点位置や、追加画像計測部１０５で追加された画像等を表示する。入出力部６は、各種画像データや判定結果、又は、測量機等の３次元座標入力装置からの３次元座標データ等を、他の装置と入出力するものである。入出力部６としては、例えば、光ディスク装置やカード型の記憶媒体（ＨＤＤ、メモリ等）、フロッピーディスク、キーボード、ペン、マウス、ターミナル、ＣＤ−ＲＯＭディスクドライブなどの各種入力装置・出力装置を備えることができる。入出力部６は、マウス、ライトペン等のポインティングデバイスにより、表示部５の画面上の基準点や各種の位置を指示する。
【００１３】
基準点計測部１０１は、複数の基準点が写し込まれた中心投影画像を計測し、それらの基準点について画像座標を求める。基準点計測部１０１は、既知点からの距離と角度を測定する測量機又はグローバルポジショニングシステム等を画像入力部４として用いることにより、得られた座標に基づき、基準点の３次元座標を計測し、必要に応じて記憶部２に記憶する。基準点計測部１０１は、基準点によっては、３次元座標を得た各基準点に対応する中心投影した各画像座標値を自動的に求めるようにすることもできる。
【００１４】
座標変換パラメータ算出部１０２は、基準点計測部１０１により求められた画像座標を、原点を主点（レンズ中心を通り画面と直交する線が画像と交わる点）とする写真座標に変換するとともに、基準点計測部１０１により求められた基準点の画像座標と３次元座標とに基づき、写真座標と３次元座標との対応付けを行う変換パラメータを求める。また、座標変換パラメータ算出部１０２は、後述のように、中心投影について共線条件を満足させ、画面距離が既知の画像入力部を使用することにより、地上座標系が既知である最低３点の基準点に基づいて変換パラメータを計算することができる。また、座標変換パラメータ算出部１０２は、画像入力部のレンズ歪みデータ又は複数の基準点の実測データに基づいて、レンズ歪みを補正することができる。
【００１５】
オルソ画像形成部１０３は、座標変換パラメータ算出部１０２により求められた変換パラメータに基づき、３次元座標を画像座標に変換し、正射投影画像を作成する。オルソ画像形成部１０３は、複数の画像を貼り合わせて正射投影画像を形成する場合、各画像から基準点までの距離又は各画像から計測点までの距離に基づいて得られた各画像を選択することができる。
【００１６】
オルソ画像修正部１０４は、実測した追加点の３次元座標に基づき、オルソ画像形成部１０３により求められた画像座標を修正し、正射投影画像の修正を行う。また、オルソ画像修正部１０４は、複数の中心投影画像が得られている場合に、適宜の基準で選択した画像、例えば、各箇所の縮尺が所定の縮尺以下若しくは縮尺の比較的小さい画像、又は、計測位置若しくは基準点に近い画像を、優先的に組み合わせて正射投影画像を形成することができる。オルソ画像修正部１０４は、複数の中心投影画像が得られている場合に、オルソ画像形成部１０３により正射投影画像を形成した結果、画像の不足箇所又は不適切箇所を表示部５に表示させることもできる。
【００１７】
追加画像計測部１０５は、基準点計測部１０１により計測された基準点を含むように、他の中心投影画像を計測するとともに、座標変換パラメータ算出部１０２を用いて他の中心投影画像についての変換パラメータを計算する。
【００１８】
つぎに、全体的な動作概略を説明する。
図２に、本発明に係る画像形成処理のフローチャートを示す。以下に、この図に従って、制御部１０における画像形成処理について説明する。
【００１９】
図２の処理は、現場で行うオンライン処理と、基準点計測だけ現場で行い、あとは持ち帰ってオフィス等で行うオフライン処理の２通りがある。オンライン処理では、オフライン処理と異なり、基準点計測とその後の画像形成及び表示等を、現場で実行するものである。
【００２０】
画像形成処理では、まず、基準点計測処理（３点以上）（ステップＳ１１０）を行い、それらの画像データと測量データをもとにオルソ画像作成の準備を行う。さらに複数方向から撮影を行っている場合は、追加画像計測処理（ステップＳ１４０）を行う。１枚のみで解析を行う場合は、追加画像計測（ステップＳ１４０）を行う必要はない。つぎに、例えばＰＣ上で、オルソ画像形成処理（ステップＳ１６０）を行う。ここで作成されたオルソ画像が所望のものでない場合は、オルソ画像修正処理（ステップＳ１８０）を行う。このオルソ画像修正作業で、充分な画像が得られたか否かを判断し（ステップＳ２００）、「ＯＫ」となれば、次の計測したいエリアへ移動し、基準点計測処理（ステップＳ１１０）から同じ作業を繰り返す。一方、オルソ画像修正作業（ステップＳ１８０）でも満足のいく画像が得られない場合は、追加画像計測処理（ステップＳ１４０）を再び行い、これら作業を満足のいく画像が得られるまで繰り返す。
【００２１】
追加画像計測処理（ステップＳ１４０）は、例えば、１方向からの撮影であるとよくみえない箇所がある場合や、１枚の画像上でも遠い部分は画像が粗くなり精度が充分でない場合等に行なわれる。すなわち、既に入力された画像を補う他方向や、不足と思われる他方向からさらに撮影し、オルソ画像作成を行なえば、見えないところや精度の粗い場所は、他方向のカメラ画像から選択・合成し、品質の良いオルソ画像が作成できるようになる。
【００２２】
また、図３に、広範囲を計測する場合の説明図を示す。計測したい範囲が広範囲な場合は、必要精度にあわせて計測範囲を決め、図２の作業を、図３の計測範囲１、２、３・・・と各エリアで順次繰り返していけばよい。なお、必要精度は、例えば、対象物との距離、ＣＣＤ１画素の大きさ等に依存する。このように、広い範囲を分割して処理することで、どんなに広い範囲でも簡単にオルソ画像を作成していくことができる。
【００２３】
Ｂ．処理動作の詳細
以下に、図２のフローチャートについて詳細に説明する。
【００２４】
（１）基準点計測部１０１による基準点計測処理（ステップＳ１１０）
ここでは、基準点計測部１０１による基準点計測処理（ステップＳ１１０）について詳細に説明する。
【００２５】
（１−１）オンライン計測
まず、オンライン計測の例について説明する。図４に、オンラインによる基準点計測のフローチャートを示す。作業現場のフィールド上でオルソ画像作成を行うオンラインによる基準点計測は、現場にてオルソ画像をリアルタイムで作成し、確認しながら作業を行うものである。したがって、オンライン基準点計測によると、計測ミスや撮影画像を持ち帰って解析してから不足部分に気づいた場合のように、現地にて再測するなどの効率的でない作業を未然に防ぐことができる。
【００２６】
最初に、計測したい範囲に最低基準点３点を設置する（ステップＳ１１２）。また、基準点は、画像上で見分けがつくようなもので、かつ測量機等（３次元座標入力部７）で計測可能なターゲットとすると良い。基準点は、例えば、プリズムや反射ターゲットを用いたり、又は、ノンプリズムトータルステーションの場合には反射（測定）信号が返ってくるようなものを用いることができる。つぎに、デジタルカメラ等（画像入力部４）で撮影する（ステップＳ１１４）。撮影は、１枚でも、複数方向からでも何枚撮影してもよい。例えば、１方向からではよくみえないものがあるときや、画像の精度を考慮するとき等、複数方向からさらに撮影するとよい。
【００２７】
つぎに、デジタルカメラで撮影しカメラの記憶装置に記憶された画像を、画像形成装置の制御部１０に転送し、記憶部２に読み込む（ステップＳ１１６）。制御部１０に読み込まれた画像は、ＰＣ上で計測可能な状態になり、撮影された画像が表示部５に表示される。ここでターゲットを測量機で視準し（ステップＳ１１８）、確認する。ＯＫであれば、ＰＣの画像上でターゲットである基準点を計測する（ステップＳ１２０）。この際、例えば、ターゲット（基準点）位置を、入出力部６の入力デバイスであるペンなどで指示する。ここで、ＰＣ上で画像座標（ｐｘ、ｐｙ）（ＣＣＤ座標系、原点を画面の左上端等の画面端とする。）が計測されると、３次元座標入力部７に計測の指示を出力し、３次元座標入力部７は計測を行い（ステップＳ１２２）、その基準点の地上座標計測値を入出力Ｉ／Ｆ３を介して制御部１０及び記憶部２に送る（ステップＳ１２４）。このようにして、基準点の地上座標とＰＣ上の画像座標の対応付けと計測が行われた。ここで、この作業を最低３点について繰り返す（ステップＳ１２６）。
【００２８】
以下に、基準点計測部１０１による自動基準点計測について説明する。
【００２９】
図５に、基準点計測部により基準点を自動計測する場合のフローチャートを示す。また、図６に、基準点配置の一例の説明図を示す。
【００３０】
まず、反射シートのついた基準点を設置する（ステップＳ５０１）。反射シートを取り付ければ、画像による自動計測と同時に、通常のトータルステーションやノンプリ型のトータルステーション等による計測作業が容易になる。基準点は、どの方向からも見えるようなターゲットとし、例えば、三角錐や三角柱の頂点に取り付けることができる。また、基準点が３点であれば、例えば、図に示すような配置とし、あきらかに大きさの異なるものを１つ設定しておくと良い。つぎに、一例として、ストロボをたいて撮影する（ステップＳ５０３）。こうすることで、どのような状況でも確実に検出が可能となる。そして、パソコンに撮影画像を読み込む（ステップＳ５０５）。つぎに、測量機により基準点の３次元座標を計測する（ステップＳ５０７）。一番大きい反射シートをつけた基準点を計測する際には、属性として測量機からその情報を同時に制御部１０に転送する。
【００３１】
つぎに、テンプレートマッチングにより、画像上の画像座標を検出する（ステップＳ５０９）。例えば、反射シートから返ってくる光量は、輝度の高いものであり、また、その形状から、あらかじめテンプレートとしてそれらを登録しておけば、位置検出は容易になる。また、テンプレートは、この例では大小２種類とすることができる。つぎに、以上により位置検出した基準点の画像座標と３次元座標の点と対応づけを行なう（ステップＳ５１１）。例えば、図のように３点の配置を行い、１点だけ大きくしておけば、画像上での大きい基準点はテンプレートにより識別可能となり、また、３次元座標計測した属性より対応づけがなされる。他の２点に対しては、その３次元座標位置と画像座標位置から、どの向きから撮影したものであっても対応づけが可能となる。
【００３２】
位置検出の信頼性をさらに上げたければ、同じ撮影場所について、ストロボをたいた画像とたかない画像を２枚撮影し、これら画像を差分処理すれば、ターゲットだけ浮かび上がることとなり、マッチングによる自動座標位置検出は、一層確実で、信頼のおけるものとなる。こうすることで、どのような状況でも確実に検出が可能となる。
【００３３】
以上、大小の反射シートによる説明を行なったが、これら反射シートに色をつけたり、模様をつけたりすること等によっても画像座標検出や対応づけがなされる。また、反射シートに限らず、画像上で見分けのつくものなら良い。したがって、基準点の数、配置、形状、その他はこの限りではない。
【００３４】
ここで、以下に、テンプレートマッチング処理の説明をする。
【００３５】
テンプレートマッチングは、正規化相関法や残差逐次検定法（ＳＳＤＡ法）などどのような適宜の方法を用いても良い。例えば、残差逐次検定法を使用すれば、処理が高速化できる。ここでは、残差逐次検定法を説明する。
【００３６】
残差逐次検定法の式を以下に示す。この式で、残差Ｒ（a,b）が最小になる点が、求める画像の位置である。処理の高速化をはかるためには、例えば、この式の加算において、R（a,b）の値が過去の残差の最小値を越えたら加算を打ち切り、次の（a,b）に移るよう計算処理を行う。
【００３７】
【数１】

【００３８】
（１−２）座標変換パラメータ算出部１０２による座標変換パラメータ算出処理（ステップＳ３００）
以上の基準点についての計測が、これでＯＫであれば、次の座標変換パラメータ算出部１０２による座標変換パラメータ算出処理（ステップＳ３００）を行う。
【００３９】
図７に、座標変換パラメータ算出処理のフローチャートを示す。
【００４０】
まず、ＰＣ上で計測された点は、デジタルカメラ等の固体撮像素子（ＣＣＤ）上に画像座標として求められているので、これを写真座標系（ｘ、ｙ）に変換する（ステップＳ２０３）。写真座標系（ｘ、ｙ）とは、原点を主点とする２次元座標である。一方、画像座標とは、ＣＣＤ座標系（ｐｘ、ｐｙ）であり、例えば左上を原点として２次元座標である。
【００４１】
測量機による計測により地上座標系（Ｘ、Ｙ、Ｚ）で計測した３点と、ＰＣ上で計測した画像座標系（ｘ、ｙ）の２点を以下に示す式に代入し、座標変換のための各パラメータ（座標変換パラメータ）を求める（ステップＳ２０５）。数式２及び数式３は、投影中心、ＣＣＤ上の画像および対象物が一直線にあるという共線条件式である。これらにより、最低３点以上の既知点があれば、各座標変換パラメータを算出することができる。但し、この場合は、画面距離ｃは、概略既知である必要がある。検定済みのカメラを使用する場合は、画面距離ｃがわかるので問題ない。
【００４２】
【数２】

【００４３】
【数３】

【００４４】
一方、画面距離ｃが既知でない場合は、平面の４点の座標値を計測することによって、２次の射影関係からこの値を求めることが可能となる。また、６点により画像座標と被写体の３次元座標（対象点座標）との関係を３次の射影変換式で近似したもので求めることもできる。この場合は、例えば、直接線形変換法（Direct Linier Transformation,ＤＬＴ）法を利用して、基準点などから得られた地上座標（Ｘ、Ｙ、Ｚ）と画像上で計測されて得られた写真座標（ｘ、ｙ）との変換パラメータを計算する。ここで、ＤＬＴ法とは、極端に斜め撮影された画像であっても、正射投影画像に変換することのできる画像変換方法である。ＤＬＴ法は、画像座標と被写体の３次元座標（地上座標、対象点座標）との関係を３次又は２次の射影変換式で近似したものである。
【００４５】
以下に、ＤＬＴ法について説明する。これはオルソ画像上のピクセル位置を求めるための変換パラメータを算出する処理である。ここでは、主に、基準点・標定点の既知の座標及び計測された画像（写真）座標に基づいて処理が行われる。
【００４６】
まず、次式にＤＬＴ法の基本式を示す。
【００４７】
【数４】

ここで、（ｘ、ｙ）：画像座標、
（Ｘ、Ｙ、Ｚ）：地上座標、
Ｌ_１〜Ｌ_１１：ＤＬＴ法の未知変量。
【００４８】
これらのような数式４を、基準点のデータに基づき最小二乗法を用いて解くと、画像座標（ｘ、ｙ）と地上座標（Ｘ、Ｙ、Ｚ）との関係を決定する座標変換パラメータＬ_１〜Ｌ_１１を取得することができる。
【００４９】
さらに、これら座標変換式は、上述のものだけでなく、地上座標と画像座標を対応づけできるものであれば良く、そのような適宜の座標変換式を採用することができる。
【００５０】
（１−３）カメラキャリブレーション
以上の説明は、レンズ歪みを無視できる精度の計測、あるいは無歪みレンズを利用した場合であるが、レンズ歪みがあり、それが精度上無視できない場合は、レンズ歪みが求められているカメラを使うか、次に述べるような処理によってレンズ歪みを補正しながら計測を行なう。
【００５１】
すなわち、レンズの歪みデータのないカメラを利用する場合は、基準点計測を６点以上行い、以下の数式５乃至７の計算によりカメラのレンズ歪みを求めることで、レンズ歪みを補正する。また、あらかじめレンズ歪みが求まっているカメラは、最初からこれら式を用いて補正しながら座標値を求めればよい。
【００５２】
【数５】

【００５３】
【数６】

【００５４】
【数７】

これら計算は、基準点を地上座標と画像座標で６点以上計測することにより、逐次近似解法によって算出される。
【００５５】
また、上述の他にも、セルフキャリブレーション付き射影変換式（ＤＬＴ法）を用いて、数式８及び９により、レンズ歪み補正を求めることもできる。但し、この場合、基準点は８点必要となる。
【００５６】
【数８】

【００５７】
【数９】

【００５８】
このような数式を分母を払って、基準点のデータに基づき最小二乗法を用いて解くと、未知変量であるｋ_１、ｋ_２、ｘ_０、ｙ_０を解くことができる。
【００５９】
以上のように、これら数式によりレンズディストーションが求まり、レンズ歪み補正を兼ねた計測が可能となる。なお、これらの数式は、一例であり、他の数式によって計算しても良い。
【００６０】
つぎに、図４に戻り、以上の座標変換パラメータ算出処理（ステップＳ３００）が終了したら、変換されたパラメータを利用して、座標変換値と基準点との残差を求め、規定値以内かどうかを判定する（ステップＳ１２８）。ここで、規定値以内であれば、つぎの処理へ移る。一方、規定値に入らなかった場合は、ステップＳ１１８にもどり、計測点数を増しながら、ステップＳ１１８〜Ｓ１２８を規定値に入るまで行なう。
【００６１】
ここで、残差は、以下のように求めることができる。すなわち、数式２及び３（又は数式５及び６）により求められた変換パラメータと、基準点計測した画像座標（ｘ、ｙ）を、以下に示す数式１０、１１に代入し、地上座標系（Ｘ、Ｙ、Ｚ）の計算基準点Ｘ’、Ｙ’を算出する。そして、実際に計測された地上座標値（Ｘ、Ｙ）との残差を、数式１２によって求める。このようにして求められた残差δが、規定値以内であれば、ＯＫとする。規定値は、例えば実際の現場における必要精度等を設定する。なお、ここに、ｎは基準点数である。なお、残差の式はこれらに限られず、他のものを用いても良い。
【００６２】
【数１０】

【００６３】
【数１１】

【００６４】
【数１２】

【００６５】
（２）追加画像計測部１０５による追加画像計測処理（ステップＳ１４０）
つぎに、追加画像計測処理（ステップＳ１４０）の詳細を説明する。図８に、追加画像計測フローチャートを示す。撮影する画像が、１枚でよい場合、あるいはとりあえず１枚だけで画像作成する場合は、この処理はスキップしてよい。また、最初にステップＳ１１４、Ｓ１１６において、複数枚画像を撮影している場合は、撮影ステップ（ステップＳ１４２）及びＰＣ上への画像読みこみステップ（ステップＳ１４４）はスキップしてもよい。
【００６６】
追加画像の撮影は、基準点計測処理（ステップＳ１１０）における基準点設置（ステップＳ１１２）により設置した基準点を、全部含むように行なう。つぎに、ＰＣ上に画像を読み込み（ステップＳ１４４）、追加撮影した画像を表示部５に表示し、計測したい追加画像を選択する（ステップＳ１４６）。つぎに、その画像上に写しこまれている基準点を、ＰＣ上で画像計測する（ステップＳ１４８）。この作業を基準点数分繰り返す（ステップＳ１５０）。例えば、ペン入力タイプ等のポータブルコンピュータであれば、ターゲットをペン等のポインティングデバイスで基準点を指示することで、その画像座標（ｐｘ、ｐｙ）（又は、写真座標（ｘ、ｙ））を求める。そして、上述のような座標変換パラメータ算出処理（ステップＳ３００）を行なう。
【００６７】
さらに、ここで他の画像を追加計測したいときは、追加画像選択（ステップＳ１４６）に戻り、この手順を撮影枚数分繰り返して行う。追加計測しないときは、次のステップへ進んでオルソ画像形成（ステップＳ１６０）を行なう。
【００６８】
（３）オルソ画像形成部１０３によるオルソ画像形成処理（ステップＳ１６０）つぎに、オルソ画像形成処理（ステップＳ１６０）の詳細について説明する。図９に、オルソ画像形成処理のフローチャートを示す。
【００６９】
まず、オルソ画像上の各画素（ピクセル）の地上座標を計算する（ステップＳ２０７）。この処理では、オルソ画像作成のために、オルソ画像の画像座標（ｘ、ｙ）を地上座標（Ｘ、Ｙ、Ｚ）に変換するものである。地上座標（Ｘ、Ｙ、Ｚ）は、先に座標変換パラメータ算出処理（ステップＳ３００）のステップＳ２０５で求められた変換パラメータを用いて計算される。即ち、オルソ画像の画像座標（ｘ、ｙ）に対応する地上座標（Ｘ、Ｙ、Ｚ）は、以下の式で与えられる。このようにして、オルソ画像上の各ピクセルの取得位置を求めることができる。
【００７０】
【数１３】

ここで、
（Ｘ_０、Ｙ_０）：地上座標系でのオルソ画像の左上の位置、
（ΔＸ、ΔＹ）：地上座標系での１画素の大きさ（例：ｍ／ｐｉｘｅｌ）、
（ｘ、ｙ）：オルソ画像の画像座標、
（Ｘ、Ｙ、Ｚ）：地上画像、
ａ、ｂ、ｃ、ｄ：ある画像座標（ｘ、ｙ）を内挿する複数の基準点により形成される平面方程式の係数である。
【００７１】
今度は、ステップＳ２０５で求めた変換パラメータを使用して、数式２及び３又は数式５及び６により、ステップＳ２０７で求められた地上座標（Ｘ、Ｙ、Ｚ）に対応する画像座標（ｘ、ｙ）を計算する（ステップＳ２０９）。このように求められた画像座標（ｘ、ｙ）から、該当する画像の地上座標（Ｘ、Ｙ、Ｚ）上の濃度値を取得する。この濃度値が、オルソ画像上における２次元の位置（Ｘ、Ｙ）のピクセルの濃度である。このように、地上座標上の位置（Ｘ、Ｙ）に貼り付ける画像濃度を取得する。以上のような処理を、オルソ画像のすべてのピクセルに対して行うことにより、画像貼付が行なわれる（ステップＳ２１１）。
【００７２】
ここで、複数枚の画像貼付についてさらに説明する。
画像が１枚でなく、複数枚であった場合は、どの画像を選択するかは、基準点とカメラの位置関係によりきめる。すなわち、それぞれの画像の各カメラの位置（Ｘ_０、Ｙ_０、Ｚ_０）は、数式２及び３により既に算出されている。従って、この値と実際の基準点座標の値（Ｘ、Ｙ、Ｚ）から距離を算出し、近い方の画像のピクセル濃度値を取得して、貼り合わせる。このように、基準点に近い画像を使って画像合成を行なうことにより、解像力の高い画像データを自動的に選択することが可能となる。
【００７３】
（４）オルソ画像修正部１０４によるオルソ画像修正処理（ステップＳ１８０）つぎに、オルソ画像修正処理（ステップＳ１８０）の詳細について説明する。図１０に、オルソ画像修正処理のフローチャートを示す。
【００７４】
オルソ画像形成処理（ステップＳ１６０）を行い、作成されたオルソ画像上で視覚的、あるいは後述の処理によりチェックし、計測ミス及び計測データが特に必要な部分があった場合は、それら部分について測量機で計測を行う（ステップＳ１８４）。計測した３次元座標（地上座標）は、測量機から制御部１０に転送され（ステップＳ１８８）、先に説明したオルソ画像形成処理（ステップＳ１６０）を自動的に行い、表示部５により即座にオルソ画像表示を行い、再度チェックする。
【００７５】
このようにすることで、１点１点計測しかつ修正画像をリアルタイムで確認しながら処理が行えるので、計測ミスや計測忘れ等を未然に防ぐことが可能となり、常に最終成果品となる画像を確認しながら計測を行なえることになる。
【００７６】
つぎに、作成されたオルソ画像から、基準点不足部分や不適切個所を抽出、修正する方法を説明するフローを示す。
【００７７】
図１１に、基準点不足個所又は画像不適切個所表示についてのフローチャートを示す。また、図１２に、基準点不足領域又は画像不適切領域の一例の説明図を示す。
【００７８】
最初に、基準点不足個所表示の処理を実行する。まず、１枚〜複数枚から作成されたオルソ画像を表示する（ステップＳ６０１）。つぎに、計測領域で確認したい範囲を指定する（ステップＳ６０３）。ここで、基準点配置適切領域内に基準点が入っているかどうかチェックし表示する（ステップＳ６０５）。例えば、基準点６点であった場合、図１２のようになる。基準点配置チェックは、基準点適切範囲を計測基準点数によりオルソ画像上で分割し、基準点の座標をチェックし、区画内に基準点があるかないか判定し表示する。あるいは、計算せずとも図１２のように基準点適切範囲枠（この例では、領域を６分割）を表示する。但し、基準点適切範囲を決める方法はこの限りではない。
【００７９】
引き続き、画像不適切個所表示の処理を実行する。まず、隣接基準点の間隔と高低差を計算する（ステップＳ６０７）。ここで、計算値（例えば、高低差）がしきい値以上の点は、その旨の表示を行なう（ステップＳ６０９）。しきい値は、例えば、基準点数、基準点の間隔と高低差から急激に変化している点を検出できるよう、画像縮尺から算出する。
【００８０】
つぎに、上述のように、オルソ画像修正処理（ステップＳ１８０）にて、基準点不足部分ならびにしきい値以上の点近傍を測量機で計測、画像修正を行なう。もし、これら手順でも満足いかない場合は、これら表示された画像の情報をもとに、追加画像計測を行なうようにしても良い。
【００８１】
以上のような計測及び処理により、オルソ画像の基準点不足個所や不適切部分を修正することができる。
【００８２】
つぎに、作成されたオルソ画像から、不足部分や不適切個所を抽出、表示する方法を説明する。ここでは、画像解像度から不足・不適切個所を指示する方法について説明する。
【００８３】
図１３に、画像の不足個所又は不適切個所表示についてのフローチャートを示す。また、図１４に、画像の不足個所又は不適切個所表示の説明図を示す。なお、必要計測精度は、対象物によって異なるので、対象にあわせた設定を行なっておく。
【００８４】
まず、１枚〜複数枚から作成されたオルソ画像を表示する（ステップＳ７０１）。ここでは、撮影位置Ａ及びＢから撮影された場合を想定する。つぎに、計測領域で確認したい範囲を指定する（ステップＳ７０３）。カメラ位置（Ｘ_０、Ｙ_０、Ｚ_０）は、数式２、３より求まっているので、その位置から計測確認領域の１画素の精度を計算する（ステップＳ７０５）。なお、複数方向から撮影されている場合は、この計算を、各カメラについて算出する。つぎに、各カメラの画素精度が、設定された精度に満たない場所で、かつ重複する範囲をオルソ画像上に表示する（ステップＳ７０７）。そして、表示された場所の方向から追加画像計測する（ステップＳ７０９）。ここでは、追加画像撮影位置Ｃから追加画像を撮影する場合が示される。
【００８５】
このようにすれば、画像の不足個所や不適切個所の画素解像力（１画素精度）を補う画像が取得され、結果的に満足のいく画像を得ることができる。また、画素精度の判定は、例えば、中心投影画像をオルソ画像に変換する際の比率が大きくなるにつれ精度が低下し、画像の撮影点から画像として写り込んでいる対象物まで距離が遠くなるにつれて、精度が低下するというように行うことができる。
【００８６】
Ｃ．応用
【００８７】
（１）各種測量機の使用
つぎに、各種の測量機の使用と、それによる利点について説明する。
【００８８】
・例えば、ノンプリズム型のトータルステーションで修正作業を行えば、光（計測信号）が返ってくる対象物の場合は、対象物に向かって計測する作業だけでオルソ画像が随時更新されるので簡便に作業が済みかつ多数点が計測できるという卓越した効果がある。
・また、自動追尾型のトータルステーションで修正処理を行えば、不足計測領域をプリズムを持って歩くだけでより精度の高いオルソ画像が作成できるという卓越した効果がある。
・さらに電波の届くところであればＧＰＳをもって歩くだけでオルソ画像が更新され、誰でも簡単に補測しながらオルソ画像作成が行えるようになるという非常に優れた効果がある。
・また、高密度かつ高精度で失敗のないオルソ画像を得たい場合は、この計測したい範囲をオーバーラップするようステレオ撮影を行い、現場にて相互標定を行っておけばよい（特開平１０−１６３９）。こうすることにより、ステレオ画像から自動ステレオマッチングを行って高密度な３次元計測点を取得、オルソ画像形成部にてオルソ画像作成を行えば、高密度かつ精度のよいオルソ画像が取得可能となる。あるいは、形成された立体画像を見ながら、不足部分や不連続部分等を立体ディスプレイ上でマニュアル計測し、それらの計測点を合わせて、オルソ画像形成部にてオルソ画像作成を行なえば、失敗がなく精度が高いオルソ画像が取得される。
【００８９】
（２）広範囲領域の計測
さらに、広範囲の計測を行いたい場合は、図３に示した計測範囲１についての計測の終了後、次の計測範囲２、３・・・について、図２に示した画像形成処理のスタートから再び同じように始めればよい。この場合、計測範囲の境界は、特に意識する必要はない。あるいは、計測範囲１と計測範囲２等の隣接する範囲をわざとオーバーラップさせて、その領域に基準点を数点を入れれば、その分の測量機による基準点計測は省略することができ、それらの点の画像計測（ステップＳ１４８）さえ行なえば良いということになる。こうして、計測範囲１、２、・・・の画像と基準点とを利用して、オルソ画像作成を各領域で行なっていけば、計測範囲１、２、・・・が統合されたオルソ画像を容易に作成することができる。以上のようにして、順次計測領域を拡大していくことが簡単にできる。
【００９０】
（３）オフライン計測
以上は、基準点計測処理（ステップＳ１１０）において、オンラインで基準点を計測する例であるが、つぎに、オフライン処理について説明する。図１５に、オフライン処理のフローチャートを示す。
【００９１】
オフライン処理の場合は、現地にて撮影と測量機による基準点計測とを行なうだけで、他はすべてオフライン（例えば、オフィス内等）で行なうものである。基準点計測処理（ステップＳ１１０）におけるオフライン計測は、例えば、画像撮影の作業と基準点計測の作業とを分けて別々に現場で行い、オフィス等でゆっくり解析作業をするときに利用する。この場合は、画像を複数取得しておいて、後で適宜の画像を選択しながらの画像形成処理が可能となる。
【００９２】
したがって、基準点計測は、測量機とＰＣを連動させず（即ち、ＰＣはなくともよい）、測量機だけで計測を行なう（ステップＳ１３２）。そして、計測した基準点データを一括してＰＣに送ればよい（ステップＳ１３６）。さらに、つぎに、追加画像計測処理（ステップＳ１４０）の処理を行うこととなる。このように、オフライン処理の場合は、基準点計測と撮影とを別々に行えるので、ヘリコプターやバルーン等の空撮で得られた画像を処理することが可能となる。
【００９３】
【発明の効果】
本発明によると、以上のように、計測現場の状況を図化する際に、寸法の反映された正射投影画像（オルソ画像）から簡単に現場を図化でき、状況を容易に把握することができる。本発明によると、計測現場において、迅速且つ簡単に、計測忘れやミスがなく画像の作成・修正ができ、現場状況の把握がその場ででき、画像図面（オルソ画像）を現地にてリアルタイムで確認しながら簡単に作成することができる。本発明によると、簡単な撮影と、測量機による数点の測量だけで、画像の補測を行うと同時に、現場状況を容易に把握可能な画像図面を得ることができ、さらに写っていない部分やわかりにくい部分を補間し、高解像度化され且つ広範囲なオルソ画像を作成することができる。
【００９４】
本発明によると、１枚の画像では、見えにくい所があったり、遠くの画像が粗くなる等のように、状況がわかりにくい場合であっても、複数枚の画像から状況を把握することができ、且つ、精度の高いオルソ画像を作成することができる。また、本発明によると、簡単な作業を繰り返すことにより複数枚の画像を統合し、広範囲なオルソ画像を取得することができる。本発明によると、さらに、隣接領域とオーバーラップした画像を複数撮影することにより、精度が高く品質の高いオルソ画像を高速に作成することができる。
【００９５】
また、本発明によると、簡単な計測でレンズ歪み補正（カメラキャリブレーション補正）を行なうと同時に、レンズ歪みデータの無いカメラでも高精度なオルソ画像を作成することができる。さらに、本発明によると、各種測量機を利用して３次元座標を計測しながらオルソ画像修正を行なえば、必要個所を必要な精度で、品質の良いオルソ画像が作成することができる。
【図面の簡単な説明】
【図１】本発明に係る画像形成装置の構成図。
【図２】本発明に係る画像形成処理のフローチャート。
【図３】広範囲を計測する場合の説明図。
【図４】オンラインによる基準点計測のフローチャート。
【図５】基準点計測部により基準点を自動計測する場合のフローチャート。
【図６】基準点配置の一例の説明図。
【図７】座標変換パラメータ算出処理のフローチャート。
【図８】追加画像計測フローチャート。
【図９】オルソ画像形成処理のフローチャート。
【図１０】オルソ画像修正処理のフローチャート。
【図１１】基準点不足個所又は画像不適切個所表示についてのフローチャート。
【図１２】基準点不足領域又は画像不適切領域の一例の説明図。
【図１３】画像の不足個所又は不適切個所表示についてのフローチャート。
【図１４】画像の不足個所又は不適切個所表示の説明図。
【図１５】オフライン処理のフローチャート。
【符号の説明】
１０制御部
２記憶部
３入出力インターフェース
４画像入力部
５表示部
６入出力部
７３次元座標入力部
１０１基準点計測部
１０２座標変換パラメータ算出部
１０３オルソ画像形成部
１０４オルソ画像修正部
１０５追加画像計測部
Ｓ１１０基準点計測処理
Ｓ１４０追加画像計測処理
Ｓ１６０オルソ画像形成処理
Ｓ１８０オルソ画像修正処理

Claims

複数の基準点が写し込まれた中心投影画像を計測し、該基準点について画像座標を求める基準点計測部と、
上記基準点計測部により求められた該基準点の画像座標と実際に測定された基準点の３次元座標とに基づき、画像座標と３次元座標との対応付けを行う変換パラメータを求め、また実測した追加点の３次元座標が追加された場合には、再度、基準点及び追加点の画像座標と３次元座標を含めて画像座標と３次元座標との対応付けを行う変換パラメータを求める座標変換パラメータ算出部と、
正射投影画像上の各画素の地上座標を求め、上記座標変換パラメータ算出部により求められた変換パラメータに基づき該地上座標に対応する中心投影画像上の画像座標を計算して中心投影画像から正射投影画像を作成するオルソ画像形成部と、
実測した追加点の３次元座標を追加して求めた変換パラメータを用いて、上記オルソ画像形成部により再び正射投影画像上の各画素の地上座標を求めて該地上座標に対応する中心投影画像上の画像座標を計算することによって正射投影画像の修正を行うオルソ画像修正部とを備えた画像形成装置。
請求項１に記載の画像形成装置において、
上記基準点計測部により計測された基準点を含むように、他の中心投影画像を計測するとともに、上記座標変換パラメータ算出部を用いて、計測された他の中心投影画像についての座標変換パラメータを計算する追加画像計測部をさらに備えたことを特徴とする画像形成装置。
請求項１又は２に記載の画像形成装置において、
上記測定された基準点は、３次元座標入力部である既知点からの距離と角度を測定する測量機、又は、グローバルポジショニングシステムにより、計測されることを特徴とする画像形成装置。
請求項１乃至３のいずれかに記載の画像形成装置において、
上記基準点計測部は、３次元座標を得た各基準点に対応する中心投影画像の各画像座標値を自動的に求めるようにしたことを特徴とする画像形成装置。
請求項１乃至４のいずれかに記載の画像形成装置において、
上記座標変換パラメータ算出部は、中心投影について共線条件を満足させ、画面距離が既知の画像入力部を使用することにより、少なくとも３点の基準点の既知の３次元座標に基づいて変換パラメータを計算できるようにしたことを特徴とする画像形成装置。
請求項１乃至５のいずれかに記載の画像形成装置において、
上記座標変換パラメータ算出部は、画像入力部のレンズ歪みデータ又は複数の基準点の実測データに基づいて、レンズ歪みを補正するようにしたことを特徴とする画像形成装置。
請求項１乃至６のいずれかに記載の画像形成装置において、
上記オルソ画像形成部は、複数の画像を貼り合わせて正射投影画像を形成する場合、各画像から基準点までの距離又は各画像から計測点までの距離に基づいて、得られた各画像を選択することを特徴とする画像形成装置。
請求項１乃至７のいずれかに記載の画像形成装置において、
上記オルソ画像修正部は、複数の中心投影画像が得られている場合に、各箇所の縮尺が所定の縮尺以下若しくは縮尺の比較的小さい画像、又は、計測位置若しくは基準点に近い画像を優先的に組み合わせて正射投影画像を形成することを特徴とする画像形成装置。
請求項１乃至８のいずれかに記載の画像形成装置において、
上記オルソ画像修正部は、複数の中心投影画像が得られている場合に、上記オルソ画像形成部により正射投影画像を形成した結果、画像の不足箇所又は不適切箇所を表示させることを特徴とする画像形成装置。
請求項１乃至９のいずれかに記載の画像形成装置において、
広範囲領域の計測をする場合、第１の計測範囲内の基準点と第２の計測範囲内の基準点とを一部共通に使用し、各々の計測範囲において正射投影画像を形成するようにしたことを特徴とする画像形成装置。