JP6166631B2 - ３次元形状計測システム - Google Patents

Description

本発明は、周囲の３次元形状の計測結果である形状情報に画像の色情報を貼り付ける３次元形状計測システムに関する。

インフラ設備の老朽化に伴う現状調査、並びに一般道路における交差点及びトンネル等における事故の原因解析では、現場の各種状況を記録することが重要となっている。従来では、主に手作業による計測が広く実施されていた。しかし、手作業による計測では、計測の精度が低いこと、人為的ミス、及び計測者等の恣意の混入等の可能性があり、信頼面で問題があった。

これに対して、現場の形状を記録するための一手段として、周囲の３次元的な形状を非破壊で計測できる３Ｄスキャナがあり、３Ｄスキャナによって計測されるモデルを現場の状況の解析に応用できる。３Ｄスキャナの具体的な長所として、手作業による計測に比べて、迅速かつ高精度に空間全体の形状を計測できること、人的な要因（記録ミス及び計測者等の恣意の混入等）による誤りを防止できること、人の手の届かない高所及び危険な場所を離れた地点から非破壊で計測できること、並びに一度モデルとして取り込めば自由な視点から状況を見直せること等が挙げられる。

３Ｄスキャナは、計測対象の物体に対してレーザを照射するによって計測対象の物体の３次元的な形状を計測する。具体的には、３Ｄスキャナは、レーザ光を照射してから当該レーザ光が反射して戻ってくるまでの時間を測ることによって、３Ｄスキャナからレーザが当たった位置までの距離を算出でき、レーザ光の照射方向と算出した距離に基づいて、レーザ光が当たった位置の３次元座標を算出できる。３Ｄスキャナは、自身の周囲全方向にレーザ光を照射し、レーザ光が当たった位置の３次元座標を算出することによって、周囲の形状を計測点の集合(以下、点群)として計測できる。

ここで、現場の状況の記録においては、現場の形状の記録だけでなく現場の色情報の記録も重要である。しかし、３Ｄスキャナは、レーザ光を用いて物体の形状を計測できるものの、物体の色情報を計測できない。そこで、３Ｄスキャナによって計測された形状とカメラによって撮像された画像とを組み合わせることによって、色付きの点群が取得される。この具体的な方法について説明する。まず、記録者は、３Ｄスキャナの形状計測時に、カメラによって周囲の状況を撮像しておく。３Ｄスキャナとカメラとの相対的位置及び姿勢に基づいて、各計測点に対応する撮像画像の各画素の色が決定できる。これによって、３Ｄスキャナによって計測された点群に色情報が付与できる。なお、３Ｄスキャナとカメラとの相対的な位置及び姿勢は、３Ｄスキャナによって計測された形状情報及びカメラによって撮像された画像から特徴点及びエッジ情報が算出され、特徴点及びエッジ情報に基づいて形状情報及び画像が重なり合うように幾何学的にマッチングされることによって算出可能である（例えば、非特許文献１参照）。

３Ｄスキャナは、計測対象の形状を点群として取得するため、点と点との間の情報を取得できない。しかし、多くの計測対象の形状は滑らかであるため、点と点との間の形状が直接取得できなくても、点と点との間の補間することによって形状を再現できる。一方、計測対象の色情報は、隣接する画素間で急に変化する場合が多くあるため、点と点との間に存在する形状の色情報が欠落してしまう状況が発生しやすい。特許文献１には、点群に対して３角形のパッチを当てることによって点と点との間の形状を補間し、当該補間領域にも撮像画像の色情報を付与することによって、点と点との間の色の再現が可能となる方法が記載されている。

特開２００５−２９３０２１号公報

Richard Hartley and Andrew Zisserman、"Multiple View Geometry in computer vision"、２００４年、Cambridge University Press

形状情報に色情報を付加する場合、上記したように、３Ｄスキャナによって計測された形状情報とカメラによって撮像された画像とを幾何学的にマッチングすることによって、３Ｄスキャナとカメラとの相対姿勢が算出されている必要がある。３Ｄスキャナとカメラとの相対姿勢が適切に算出されるためには、形状情報と画像との間で十分な数の特徴点又はエッジ情報を共有できるように、レンズの画角が広いカメラを用いることが望ましい。しかし、カメラの画素数を変えずにレンズの画角を広くする場合、一画素当たりの撮像領域が増加するため、画質が低下し、当該カメラは撮像対象の微細な模様を取得できなくなるという問題がある。一方、カメラのレンズの画角が狭い場合、当該カメラは微細な模様を取得できるが、撮像領域が狭いため、形状情報のマッチングに用いる十分な数の特徴点又はエッジ情報を取得できず、３Ｄスキャナとカメラとの相対姿勢を推定する正確性が低下する。

以上によって、本発明は、形状情報と画像とのマッチングの正確性を維持しつつ、微細な模様を再現可能な３次元形状計測システムを提供することを目的とする。

本発明の代表的な一例を示せば、周囲の３次元形状を計測可能な形状計測部によって計測された形状情報を記憶する形状情報記憶部と、色情報を撮像可能な第１撮像部によって撮像された第１画像を記憶する第１撮像画像記憶部と、前記第１撮像部より画角が広く、色情報を撮像可能な第２撮像部によって撮像された第２画像を記憶する第２撮像画像記憶部と、前記第１画像及び前記第２画像の色情報を前記形状情報に貼り付ける色情報貼付部と、を有することを特徴とする。

本願において開示される発明のうち代表的なものによって得られる効果を簡潔に説明すれば、下記の通りである。すなわち、形状情報と画像情報とのマッチングの正確性を維持しつつ、微細な模様を再現可能な３次元形状計測システムを提供できる。

上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１の３次元形状計測システムの全体構成図である。 本発明の実施例１の形状計測部、第１撮像部及び第２撮像部の配置の説明図である。 本発明の実施例１の色情報追加部を有する計算機のハードウェア構成図である。 本発明の実施例１の形状情報が取得されてから形状記憶部に記憶されるまでの処理のフローチャートである。 本発明の実施例１の色情報を形状情報に貼り付ける処理の概略の説明図である。 本発明の実施例１の第２照合部の詳細な説明図である。 本発明の実施例１の利用者が形状情報と第２画像との間の対応点を選択する場合の説明図である。 本発明の実施例１の第１照合部の詳細な説明図である。 本発明の実施例１の利用者が第１画像と第２画像との間の対応点を選択する場合の説明図である。 本発明の実施例１の色情報貼付部が色情報を形状情報に貼り付ける処理の説明図である。 本発明の実施例２の３次元形状計測システムの全体構成図である。 本発明の実施例２の対応点抽出部の詳細な説明図である。 本発明の実施例２の対応点抽出部が対応点を抽出する処理の説明図である。 本発明の実施例２の複数色情報貼付部の詳細な説明図である。 本発明の実施例３の３次元形状計測システムにおける第１座標変換量及び第２座標変換量の事前計算処理の説明図である。 本発明の実施例３の３次元形状計測システムによる実際の計測処理の説明図である。 本発明の実施例４の３次元形状計測システムにおける第２座標変換量の事前計算処理の説明図である。 本発明の実施例４の３次元形状計測システムによる実際の計測処理の説明図である。 本発明の実施例５の３次元形状計測システムの詳細な説明図である。 本発明の実施例６の第１画像が撮像されてから第１撮像画像記憶部に記憶されるまでの処理のフローチャートである。 本発明の実施例６の信頼度が付与された色付き形状情報の表示例の説明図である。

本発明の３次元形状計測システムは、３次元の形状情報に色情報を付加するためのものである。色情報を含む画像情報を形状情報に貼り付ける場合、形状情報及び画像情報の特徴点又はエッジ情報等が必要となる。画角の狭いカメラによって撮像された画像情報は高画質であるが、撮像範囲が狭いため、形状情報と画像情報とのマッチングの正確性が低下するという問題がある。また、画角の広いカメラによって撮像された画像情報は撮像範囲が広いため、形状情報と画像情報とのマッチングの正確性は向上するが、低画質であるため、微細な模様等を再現できないという問題があった。

本発明の３次元形状計測システムでは、画角の広いカメラによって撮像された画像情報と画角の狭いカメラによって撮像された画像情報とを対応付けることによって、画角の狭いカメラによって撮像された画像情報を形状情報に貼り付ける正確性を向上させることができる。これによって、形状情報と画像情報とのマッチングの正確性を維持しつつ、微細な模様を再現可能な３次元形状計測システムを提供できる。

以下に、図面を用いて本発明の実施例について詳細を説明する。

本発明の実施例１について、図１〜図１０を用いて説明する。

図１は、本発明の実施例１の３次元形状計測システムの全体構成図である。

３次元形状計測システムは、形状計測部１００、形状記憶部１０１、第１撮像部１１０、第１撮像画像記憶部１１１、第２撮像部１２０、第２撮像画像記憶部１２１、第１照合部１１２、画像変換量記憶部１１３、第２照合部１２２、座標変換量記憶部１２３、画像合成部１３０、色情報貼付部１３１、及び色付き形状記憶部１３２を有する。

形状計測部１００は周囲の３次元の形状を計測する。形状計測部１００は、例えば、レーザ距離センサ、ソナーセンサ、及びステレオカメラ等であり、計測対象までの距離を計測することによって周囲の形状を計測する。なお、形状計測部１００は、３次元の形状を計測できればよく、レーザ距離センサ、ソナーセンサ、及びステレオカメラ等に限定されない。また、例えば、形状計測部１００がレーザ距離センサである場合、形状計測部１００は、計測対象のレーザ光の反射強度を取得でき、反射強度が強ければ強いほど白く、反射強度が弱ければ弱いほど黒い白黒の色情報を取得できる。また、形状計測部１００は、レーザ光の反射強度を取得できない場合であっても、距離に基づく白黒の色情報を取得できる。この場合の色情報は、距離が遠ければ遠いほど黒く、距離が近ければ近いほど白い。

形状記憶部１０１は、形状計測部１００によって計測された形状情報を記憶する。

第１撮像部１１０は、色情報を含む撮像対象を撮像し、撮像した色情報を含む第１画像を第１撮像画像記憶部１１１に記憶する。第２撮像部１２０は、色情報を含み、第１撮像部１１０より広い画角で撮像対象を撮像し、撮像した色情報を含む第２画像を第２撮像画像記憶部１２１に記憶する。

第１撮像部１１０及び第２撮像部１２０は、撮像対象の色情報を取得可能な装置であればよく、第１撮像部１１０及び第２撮像部１２０の例としてはカメラ等がある。第２撮像部１２０の画角は第１撮像部１１０の画角より広く、例えば、第２撮像部１２０の画角は地上の建造物及び路面を同時に撮像可能な１００度〜１２０度程度であり、第１撮像部１１０の画角は４０度〜６０度程度であればよい。なお、第２画像と形状情報とは、エッジ及び特徴点の少なくとも一方に基づいて照合（マッチング）されるが、当該照合に十分な領域が取得できれば、第２撮像部１２０の画角は１００度〜１２０度に限定されない。また、第１画像と第２画像とは、色情報に基づいて照合されるが、当該照合に十分な模様等の色情報が取得できれば、第１撮像部１１０の画角は４０度〜６０度に限定されない。また、本発明は、第２撮像部１２０が撮像できない微細な模様等を第１撮像部１１０が撮像するものであるため、第１撮像部１１０の画質が第２撮像部１２０の画質より良くなければならない。第２撮像部１２０の画角が第１撮像部１１０の画角より広いため、第１撮像部１１０の撮像可能な画素数と第２撮像部１２０の撮像可能な画素数とが同程度であれば、第１撮像部１１０の画質が第２撮像部１２０の画質より良くなる。

第１照合部１１２は、第１画像の色情報と第２画像の色情報とが重なり合うよう、第１画像と第２画像とを幾何学的に照合することによって、第１画像を第２画像に対応させるために必要な変換量である画像変換量を算出する。具体的には、画像変換量は、第１画像と第２画像とを対応させるための変換量である。画像変換量記憶部１１３は、第１照合部１１２によって算出された画像変換量を記憶する。第１画像の座標は式１を用いて第２画像に対応する座標系に変換される。式１に示すＨが画像変換量を示し、第１画像の座標（ｕ，ｖ，１）は画像変換量を用いて座標（ｕ’，ｖ’，１）に変換される。なお、第１照合部１１２の処理の詳細は図８及び図９で説明する。

第２照合部１２２は、第２画像と形状情報との間で共通する特徴点及びエッジ情報の少なくとも一方を用いて、第２画像と形状情報とが重なり合うよう、第２画像と形状情報とを幾何学的に照合することによって、３次元の形状情報と第２画像に対応させるために必要な座標変換量を算出する。座標変換量は、形状情報の座標系と第２画像の座標系とを対応させるための変換量である。座標変換量記憶部１２３は、第２照合部１２２によって算出された座標変換量を記憶する。形状情報は、３次元の座標上で第２撮像部１２０から撮像した第２画像に対応する形状情報に、式２を用いて変換される。式２に示すＲは回転行列を示し、Ｔは並進ベクトルを示し、Ｘは変換前の座標を示し、Ｙは変換後の座標を示す。

そして、変換後の形状情報は式３を用いて第２画像と同じ位置の２次元の座標に変換される。式３に示すＡが座標変換量を示し、座標Ｙは形状情報の座標を示し、（ｕ，ｖ，１）は形状情報の変換後の第２画像上における座標を示す。なお、第２照合部１２２の処理の詳細は図６及び図７で説明する。

画像合成部１３０は、画像変換量に基づいて第２画像上に第１画像を貼り付ける画像合成処理を実行する。画像合成処理によって生成される合成画像という。

色情報貼付部１３１は、座標変換量に基づいて形状情報に合成画像の色情報を貼り付け、色情報が貼り付けられた色付き形状情報を色付き形状記憶部１３２に記憶する。具体的には、合成画像が第２画像の座標系であるため、色情報貼付部１３１は、形状情報を座標変換量に基づき第２画像の座標系に変換し、合成画像の角座標の色情報を形状情報の同じ座標に対応付けることによって、形状情報に合成画像の色情報を貼り付ける。色情報が貼り付けられた形状情報は第２画像の座標系であるので、色情報貼付部１３１は、式３を用いて、第２画像の座標系である形状情報を変換前の形状情報の座標系である３次元の座標系に変換し、変換後の色情報が貼り付けられた形状情報を色付き形状情報として色付き形状記憶部１３２に記憶する。

以上をまとめると、本実施例の３次元形状システムは、画像変換量に基づいて第１画像を第２画像に対応させ、第１画像及び第２画像を合成した合成画像の色情報を座標変換量に基づいて形状情報に貼り付ける。

図２は、本発明の実施例１の形状計測部１００、第１撮像部１１０及び第２撮像部１２０の配置の説明図である。

図２に示すように、形状計測部１００、第１撮像部１１０及び第２撮像部１２０は、各機器を同じ筐体に実装する必要はなく、各機器が別の地点で撮像及び形状情報の計測が可能である。なお、各機器が同じ筐体内に実装されていてもよい。

第１照合部１１２、画像変換量記憶部１１３、第２照合部１２２、座標変換量記憶部１２３、画像合成部１３０、色情報貼付部１３１、及び色付き形状記憶部１３２（以下、これらを総称して、色情報追加部という）は、形状計測部１００、第１撮像部１１０、及び第２撮像部１２０のいずれかに実装されてもよいし、他の計算機に実装されてもよい。図３では、これらが計算機に実装された場合について説明する。形状計測部１００、第１撮像部１１０、及び第２撮像部１２０は、形状情報、第１画像、及び第２画像を、色情報追加部を有する機器に入力できる。

図１で説明したように、第２撮像部１２０の画角は第１撮像部１１０の画角より広い。また、形状計測部１００、第１撮像部１１０及び第２撮像部１２０の計測範囲又は撮像範囲は、第１照合部１１２及び第２照合部１２２が照合するのに十分な範囲であるものとする。

図２では、形状計測部１００、第１撮像部１１０及び第２撮像部１２０を用いて道路の横断歩道付近の状況を記録する場合について示す。横断歩道の白線と道路のアスファルトとではレーザ光の反射強度が異なるため、形状計測部１００が計測する形状情報では白黒の色情報によって横断歩道と道路とが区別可能である。

図３は、本発明の実施例１の色情報追加部を有する計算機３００のハードウェア構成図である。

計算機３００は、ＣＰＵ３１０、メモリ３２０、記憶装置３３０、入力インタフェース（ＩＦ）３４０、及び出力インタフェース（ＩＦ）３５０を有する。

ＣＰＵ３１０は、メモリ３２０に記憶された各種プログラムを実行し、第１照合部１１２、第２照合部１２２、画像合成部１３０、及び色情報貼付部１３１を有する。メモリ３２０には、第１照合部１１２、第２照合部１２２、画像合成部１３０、及び色情報貼付部１３１に対応するプログラムが記憶され、ＣＰＵ３１０がこれらのプログラムを実行することによって、ＣＰＵ３１０は、第１照合部１１２、第２照合部１２２、画像合成部１３０、及び色情報貼付部１３１を有することとなる。

メモリ３２０は、第１撮像画像記憶部１１１、第２撮像画像記憶部１２１、画像変換量記憶部１１３、座標変換量記憶部１２３、及び色付き形状記憶部１３２を有する。記憶装置３３０には、各種情報が記憶される。入力ＩＦ３４０には、形状計測部１００、第１撮像部１１０、及び第２撮像部１２０が接続され、形状計測部１００が計測した形状情報、第１撮像部１１０が撮像した第１画像、及び第２撮像部１２０が撮像した第２画像が計算機３００に取り込まれる。なお、入力ＩＦ３４０には、形状情報、第１画像及び第２画像を記憶した記憶媒体が接続され、これらを取り込んでもよい。出力ＩＦ３５０には、ディスプレイ等の出力装置が接続される。

なお、図３では、形状計測部１００、第１撮像部１１０、及び第２撮像部１２０以外の計算機３００に色情報追加部が実装される場合について説明したが、形状計測部１００、第１撮像部１１０、及び第２撮像部１２０のいずれか一つに色情報追加部が実装されても、図３に示すハードウェア構成と同様となる。

図４は、本発明の実施例１の形状情報が取得されてから形状記憶部１０１に記憶されるまでの処理のフローチャートである。

まず、形状計測部１００は、周囲の形状を計測する形状計測処理を実行し、形状情報を取得する（４０１）。形状計測部１００がレーザ距離センサである場合、形状計測処理で取得される形状情報は点の集合（点群）であるので、形状計測部１００は点と点との間の形状は直接計測できない。このため、形状計測部１００は、点と点との間の形状を補間する形状補間処理を実行する（４０２）。具体的には、形状計測部１００は、対象形状が小さな領域内で平面であると仮定し、対象となる領域の近傍の点を利用して点と点との間を補間する。補間方法としては、例えば、形状計測処理で取得された形状情報に対して最小二乗法を用いて曲面を当てはめる方法、及び、点と点との間をポリゴンメッシュで接続する方法等を利用できる。これによって、第１画像及び第２画像の微細な模様等を形状情報に貼り付けることができるようになる。

次に、形状計測部１００は、形状補間処理が実行された形状情報を形状記憶部１０１に記憶し（４０３）、処理を終了する。

なお、形状計測部１００は、形状補間処理を実行せずに形状情報をそのまま形状記憶部１０１に記憶し、色情報追加部を有する計算機３００が、形状情報を取り込んだ後に、取り込んだ形状情報に対して形状補間処理を実行してもよい。

図５は、本発明の実施例１の色情報を形状情報に貼り付ける処理の概略の説明図である。

形状情報５００は、座標変換量記憶部１２３が記憶する座標変換量に基づいて、第２画像５２０に対応し、かつ第２画像５２０と同じ２次元座標である形状情報５０１に変換される。第２画像５２０に対応する形状情報５０１は、第２撮像部１２０の撮像位置からの形状情報である。

この場合の形状情報５００の座標変換について説明する。まず、色情報貼付部１３１は、式２を用いて、形状情報５００を第２画像５２０に対応する形状情報に変換する。そして、色情報貼付部１３１は、変換後の形状情報を座標変換量に基づいて、式３を用いて第２画像５２０と同じ２次元の座標系に変換し、形状情報５０１を取得する。

画像合成部１３０は、第１画像５１０を画像変換量に基づいて、第２画像５２０に対応する画像に変換し、第２画像５２０上に変換後の第１画像５１０を貼り付けることによって合成画像５２１を生成する。なお、合成画像５２１の領域５２２は、第１画像５１０が貼り付けられた領域を示す。

以上によって、形状情報５００と合成画像５２１との座標系が等しくなるため、色情報貼付部１３１は、形状情報５００と合成画像５２１との間で対応する座標に合成画像５２１の色情報を対応付けることによって、形状情報５００に合成画像５２１の色情報を貼り付けることができる。すなわち、第１画像５１０が画像変換量と第２画像５２０とに基づき合成画像が生成されることによって、第２画像５２０の座標系で形状情報と第１画像とがマッチングされる。このマッチングされた関係に基づいて合成画像を介して第１画像の色情報が形状情報に貼り付けられる。なお、合成画像５２１の色情報が形状情報５００を色付き形状情報５３０という。

次に、図６及び図７を用いて第２照合部１２２について説明する。図６は、本発明の実施例１の第２照合部１２２の詳細な説明図である。

第２照合部１２２は、初期変換量記憶部６０１、初期座標変換後形状画像記憶部６０２、初期座標変換後形状画像表示部６０３、第２撮像画像表示部６２１、対応点指示部６３０、対応点記憶部６３１、及び座標変換量計算部６３２を有する。

第２照合部１２２は、形状計測部１００によって計測された形状情報と第２撮像部１２０によって撮像された第２画像とを重ね合わせ、幾何学的に照合する。形状情報に色情報を貼り付ける場合、色情報を含む画像を撮像した位置から見た状態となるように形状情報を変換することによって、形状情報の座標系と画像の座標系とを対応させる。第２照合部１２２は、幾何学的な照合によって、形状情報の座標系を第２画像の座標系に対応させるために必要な座標変換量を算出する。

初期変換量記憶部６０１には、形状計測部１００と第２撮像部１２０との相対位置情報が記憶される。相対位置情報は利用者によって具体的な数値が入力されてもよい。また、形状情報が表示された画面上に第２撮像部１２０の撮像位置及び撮像方向の入力を利用者から受け付けるインタフェースが表示され、相対位置情報は、当該インタフェースを介して利用者によって入力されてもよい。また、第２撮像部１２０がＧＰＳ及び姿勢センサを有している場合には、当該ＧＰＳ及び姿勢センサが取得した情報が第２照合部１２２に入力され、入力された情報に基づいて相対位置情報が設定されてもよい。

第２照合部１２２は、形状記憶部１０１に記憶される形状情報を初期変換量に基づいて第２画像に対応する形状情報に変換し、変換後の形状情報を初期座標変換後形状画像記憶部６０２に記憶する。初期座標変換後形状画像表示部６０３は、初期座標変換後形状画像記憶部６０２に記憶された形状情報をディスプレイ等の表示装置に表示する。なお、初期座標変換後形状画像表示部６０３は、変換後の形状情報を画像として表示するが、表示した画像の各画素に対応する形状情報の３次元座標は別途記憶しておくものとする。また、第２撮像画像表示部６２１は、第２撮像画像記憶部１２１に記憶された第２画像をディスプレイ等の表示装置に表示する。

対応点指示部６３０は、第２画像に対応するように変換された形状情報と第２画像との間で同じ部分を示す点（対応点）を特定し、特定した対応点を対応点記憶部６３１に記憶する。例えば、対応点指示部６３０は、初期座標変換後形状画像表示部６０３が表示した形状情報及び第２撮像画像表示部６２１が表示した第２画像に基づいて、利用者が選択し対応点の指示の入力を受け付けることによって、対応点を特定する。この処理については図７で詳細を説明する。

なお、対応点指示部６３０は、形状情報及び第２画像の特徴量及びエッジ情報の少なくとも一方を算出し、これらに基づいて特徴点を抽出し、抽出した特徴点を対応点として自動的に特定することも可能である。

座標変換量計算部６３２は、対応点記憶部６３１に記憶された対応点に基づいて、座標変換量を計算し、計算した座標変換量を座標変換量記憶部１２３に記憶する。具体的には、座標変換量計算部６３２は、形状情報の対応点と第２画像の対応点とが同じ位置となるための形状情報の座標の変換量を計算することによって、座標変換量を計算する。座標変換量計算部６３２は、例えば、Direct Linear Transformation Method等の方法を、座標変換量の計算に用いてもよい。なお、座標変換量計算部６３２が座標変換量を計算するには、対応点が６点以上特定されていることが望ましい。

また、本実施例では、対応点が特定され、特定された対応点に基づいて座標変換量が計算されたが、対応点を用いず座標変換量が計算されてもよい。例えば、形状情報及び第２画像の幾何形状が最も重なるような形状情報の座標変換量が第２座標変換量として算出されてもよい。また、形状情報及び第２画像から特徴点及びエッジ情報の少なくとも一方を抽出し、抽出した特徴点及びエッジ情報の少なくとも一方が形状情報及び第２画像間で一致する形状情報の座標変換量が、第２座標変換量として算出されてもよい。

図７は、本発明の実施例１の利用者が形状情報と第２画像との間の対応点を選択する場合の説明図である。

図７において、初期座標変換後形状画像表示部６０３は形状情報の画像６０を表示し、第２撮像画像表示部６２１は第２画像６１を表示する。利用者は、表示された画像６０及び第２画像６１を見て、画像６０と第２画像６１との間で同じ部位を示す対応点を選択する。

ここで、画像６０の対応点６２０Ａと第２画像６１の対応点６２１Ａとが対応し、画像６０の対応点６２０Ｂと第２画像６１の対応点６２１Ｂとが対応し、画像６０の対応点６２０Ｃと第２画像６１の対応点６２１Ｃとが対応し、画像６０の対応点６２０Ｄと第２画像６１の対応点６２１Ｄとが対応する。

次に、図８及び図９を用いて第１照合部１１２について説明する。図８は、本発明の実施例１の第１照合部１１２の詳細な説明図である。

第１照合部１１２は、第２撮像画像表示部８２１、第１撮像画像表示部８１０、対応点指示部８３０、対応点記憶部８３１、及び画像変換量計算部８３２を有する。

第２撮像画像表示部６２１は、図６に示す第２照合部１２２の第２撮像画像表示部６２１と同じく、第２撮像画像記憶部１２１に記憶された第２画像を表示する。第１撮像画像表示部８１０は、第１撮像画像記憶部１１１に記憶された第１画像を表示する。

対応点指示部８３０は、第１画像と第２画像との間で同じ部分を示す点（対応点）を特定し、特定した対応点を対応点記憶部８３１に記憶する。対応点指示部８３０の対応点の特定方法は、第２照合部１２２の対応点指示部６３０と同様に、利用者によって選択された対応点の指示が入力されることによって、対応点が特定されてもよいし、第１画像と第２画像との特徴量及びエッジ情報が算出されることによって対応点が特定されてもよい。

画像変換量計算部８３２は、対応点記憶部８３１に記憶された対応点に基づいて、画像変換量を計算し、計算した画像変換量を画像変換量記憶部１１３に記憶する。具体的には、画像変換量計算部８３２は、第１画像の対応点と第２画像の対応点とが同じ位置となるための第１画像の座標の変換量を計算することによって、画像変換量を計算する。画像変換量計算部８３２は、例えば、Direct Linear Transformation Method等の方法を、座標変換量の計算に用いてもよい。なお、画像変換量計算部８３２が画像変換量を計算するには、対応点が４点以上特定されていることが望ましい。

また、本実施例では、対応点が特定され、特定された対応点に基づいて座標変換量が計算されたが、対応点を用いず座標変換量が計算されてもよい。例えば、第１画像及び第２画像の色情報が最も重なる位置までの第１画像の変換量が画像変換量として算出されてもよい。また、第１画像及び第２画像から特徴点が抽出され、抽出した特徴点が一致する位置までの第１画像の変換量が画像変換量として算出されてもよい。

図９は、本発明の実施例１の利用者が第１画像と第２画像との間の対応点を選択する場合の説明図である。

図９において、第１撮像画像表示部８１０は第１画像９１を表示し、第２撮像画像表示部８２１は第２画像９０を表示する。利用者は、表示された第１画像９１及び第２画像９０を見て、第１画像９１と第２画像９０との間で同じ部位を示す対応点を選択する。

ここで、第１画像９１の対応点９２１Ａと第２画像９０の対応点９２０Ａとが対応し、第１画像９１の対応点９２１Ｂと第２画像９０の対応点９２０Ｂとが対応し、第１画像９１の対応点９２１Ｃと第２画像９０の対応点９２０Ｃとが対応し、第１画像９１の対応点９２１Ｄと第２画像９０の対応点９２０Ｄとが対応する。

図１０は、本発明の実施例１の色情報貼付部１３１が色情報を形状情報に貼り付ける処理の説明図である。

図１０では、色情報貼付部１３１によって形状情報１０００が座標変換量に基づいて座標変換され、第２画像に対応させた画像を画像１００１と示す。また、画像合成部１３０によって第１画像と第２画像とが合成された画像を合成画像１０１０と示す。

画像１００１及び合成画像１０１０は第２画像の座標系に対応しているため、合成画像１０１０の各座標と画像１００１の各座標とは対応している。このため、色情報貼付部１３１は、合成画像１０１０の各座標における色情報を、画像１００１の対応する座標に付与することによって、合成画像１０１０の色情報を形状情報１０００に貼り付けることができる。

画像１００１のある座標に既に色情報が付与されていた場合、色情報貼付部１３１は、既に付与されている色情報及び今回付与される色情報のＲＧＢ成分を線形補間することによって取得される色情報を付与してもよいし、画質が良い方の画像の色情報を優先して付与してもよい。

以上によって、第１画像及び第２画像の色情報を形状情報に貼り付けることができるため、画角の狭い第１画像の色情報を形状情報に貼り付けるので、微細な模様を再現可能となる。さらに画角の広い第２画像を用意することによって、第１画像を形状情報に貼り付ける場合に、形状情報のマッチングに用いる十分な情報を有する第２画像を利用することができるため、形状情報と画像とのマッチングの正確性も維持することができる。

さらに、本実施例の３次元形状計測システムは、第１画像及び第２画像の色情報に基づいて第１画像の位置を第２画像に対応させる画像変換量を算出し、算出した画像変換量に基づいて第１画像の位置を第２画像に対応させ、第１画像及び第２画像を合成した合成画像を生成し、合成画像を形状情報に貼り付ける。このため、第２画像の情報を利用して求められる第１画像と形状情報との対応関係に基づいて、第１画像の色情報を形状情報に貼り付けることができ、形状情報と画像とのマッチングの正確性を維持することができる。

以下、本発明の実施例２について図１１〜図１４を用いて説明する。

実施例１では、第１画像と第２画像とを合成した合成画像が形状情報に貼り付けられるが、本実施例では、合成画像を生成せずに、第１画像を第２画像に対応させ、第２画像に対応させた第１画像が形状情報と対応付けられることによって、第１画像の色情報及び第２画像の色情報がそれぞれ形状情報に貼り付けられる。

図１１は、本発明の実施例２の３次元形状計測システムの全体構成図である。図１１に示す構成のうち、実施例１の図１に示す３次元形状計測システムと同じ構成は同じ符号を付与し、説明を省略する。

本実施例の３次元形状計測システムは、形状計測部１００、形状記憶部１０１、第１撮像部１１０、第１撮像画像記憶部１１１、第２撮像部１２０、第２撮像画像記憶部１２１、第１照合部１１２、画像変換量記憶部１１３、第２照合部１２２、第２座標変換量記憶部１１１０、対応点抽出部１１００、第１座標変換量記憶部１１０１、複数色情報貼付部（色情報貼付部）１１０２、及び色付き形状記憶部１３２を有する。

本実施例では、実施例１の座標変換量を第２座標変換量として説明する。第２座標変換量記憶部１１１０は、実施例１の座標変換量記憶部１２３と同じである。

対応点抽出部１１００は、画像変換量に基づいて第１画像を第２画像に対応するように変換した変換後の第１画像と、第２座標変換量に基づいて形状情報を第２画像に対応するように変換した変換後の形状情報の画像との間の対応点を抽出し、抽出した対応点に基づいて第１画像の座標系と形状情報の座標系とを対応させるための第１座標変換量を計算し、第１座標変換量を第１座標変換量記憶部１１０１に記憶する。

複数色情報貼付部１１０２は、第１座標変換量及び第２座標変換量に基づいて第１画像及び第２画像の色情報を形状情報に貼り付け、色情報が貼り付けられた形状情報である色付き形状情報を色付き形状記憶部１３２に記憶する。

図１２は、本発明の実施例２の対応点抽出部１１００の詳細な説明図である。

対応点抽出部１１００は、形状座標変換部１２００、画像座標変換部１２１０、対応選択部１２１１、及び第１座標変換量計算部１２１２を有する。

形状座標変換部１２００は、第２座標変換量記憶部１１１０に記憶された第２座標変換量に基づいて、形状記憶部１０１に記憶された形状情報を第２画像の座標系の画像に変換する。

画像座標変換部１２１０は、画像変換量記憶部１１３に記憶された画像変換量に基づいて、第１撮像画像記憶部１１１に記憶された第１画像を第２画像の座標系の画像に変換する。

これによって、第１画像及び形状情報が第２画像の座標系に変換されることとなる。

次に、対応選択部１２１１は、画像座標変換部１２１０が変換した第１画像から、ランダム又は格子状に所定間隔で複数の点を選択する。そして、対応選択部１２１１は、形状座標変換部１２００が変換した形状情報の画像から、形状座標変換部１２００が選択した点と同じ座標の点を選択し、選択した点の３次元座標を特定する。そして、対応選択部１２１１は、画像座標変換部１２１０が変換した第１画像から選択された点の２次元座標と、形状座標変換部１２００が変換した形状情報の画像から特定した点の３次元座標とを対応付ける。これによって、第１画像の２次元座標と形状情報の３次元座標とが対応付けられ、第１座標変換量計算部１２１２は、これらの対応に基づいて、第１座標変換量を計算する。

図１３は、本発明の実施例２の対応点抽出部１１００が対応点を抽出する処理の説明図である。

第１画像１３１０は画像座標変換部１２１０によって第２画像上の座標に変換された画像１３１１となる。また、形状情報１３００は、形状座標変換部１２００によって、第２撮像部１２０からの撮像位置から見た画像に変換されることによって、座標変換後形状情報１３０１となる。これによって、画像１３１１と座標変換後形状情報１３０１とで同じ座標が対応する関係となる。また、座標変換後形状情報１３０１は２次元座標に対応する３次元座標を含むので、第１画像１３１０の各点に対応する座標変換後形状情報１３０１の３次元座標が一意に定まる。そこで、対応選択部１２１１は、第２画像と第１画像１３１０とが適切に重なる領域１３１２からランダム又は格子状に所定間隔で複数の点を選択し、選択した点に対応する座標変換後形状情報１３０１の２次元座標を特定し、特定した２次元座標に対応する３次元座標を特定する。そして、対応選択部１２１１は、領域１３１２から選択した点の２次元座標と特定した形状情報の３次元座標とを対応付ける。

図１４は、本発明の実施例２の複数色情報貼付部１１０２の詳細な説明図である。

複数色情報貼付部１１０２は、第１画像の色情報及び第２画像の色情報を形状情報に貼り付ける。第１画像の色情報及び第２画像の色情報の形状情報への貼り付けは、形状情報に対して第２撮像部の撮像位置に基づいて座標変換処理が実行され、第１画像及び第２画像に重ね合わせ、形状情報の各点に対応する第１画像及び第２画像上の色情報を貼り付ける。

複数色情報貼付部１１０２は、第１座標変換後形状計算部１４１０、第１座標対応算出部１４１１、第１色情報設定部１４１２、第２座標変換後形状計算部１４２０、第２座標対応算出部１４２１、及び第２色情報設定部１４２２を有する。

第１座標変換後形状計算部１４１０は、第１座標変換量記憶部１１０１に記憶された第１座標変換量に基づいて、形状記憶部１０１に記憶された形状情報を第１画像の座標系に変換する。第１座標対応算出部１４１１は、第１撮像画像記憶部１１１に記憶された第１画像と第１座標変換後形状計算部１４１０によって変換された形状情報との間における座標の対応関係を算出する。そして、第１色情報設定部１４１２は、座標の対応関係に基づいて、第１画像の各点の色情報を形状情報の対応する点に付与する。

第２座標変換後形状計算部１４２０は、第２座標変換量記憶部１１１０に記憶された第２座標変換量に基づいて、形状記憶部１０１に記憶された形状情報を第２画像の座標系に変換する。第２座標対応算出部１４２１は、第２撮像画像記憶部１２１に記憶された第２画像と第２座標変換後形状計算部１４２０によって変換された形状情報との間における座標の対応関係を算出する。そして、第２色情報設定部１４２２は、座標の対応関係に基づいて、第２画像の各点の色情報を形状情報の対応する点に付与する。

なお、複数色情報貼付部１１０２は、第１画像と第２画像とが重複する領域に対しては、両画像の色情報のＲＧＢ成分を線形補間するか、画質の高い第１画像の色情報を優先して付与する。

以上によって、本実施例の３次元形状計測システムは、第２座標変換量に基づき第２画像の座標系に変換された形状情報と、画像変換量に基づき第２画像に対応するように変換された第１画像との間で対応点を選択し、両画像の対応点が一致させることによって、第１画像の座標系を形状情報に対応させるための第１座標変換量を計算する。３次元形状計測システムは、第１座標変換量に基づいて第１画像の色情報を形状情報に貼り付け、第２座標変換量に基づいて第２画像の色情報を形状情報に貼り付ける。これによって、第２画像の情報を利用して求められる第１画像と形状情報との対応関係に基づいて、第１画像の色情報を形状情報に貼り付けることができ、形状情報と画像とのマッチングの正確性を維持することができる。

以下、本発明の実施例３について図１５及び図１６を用いて説明する。

本実施例では、第１撮像部１１０及び第２撮像部１２０が、形状計測部１００に搭載され、形状計測部１００、第１撮像部１１０、及び第２撮像部１２０の相対的な姿勢が固定されている場合について説明する。本実施例では、形状計測部１００が現場の形状を計測し、第１撮像部１１０及び第２撮像部１２０が現場を撮像する前に、第１座標変換量及び第２座標変換量を予め計算しておくための事前の形状計測部１００による計測並びに第１撮像部１１０及び第２撮像部１２０による撮像を実施しておき、実際の計測及び撮像時に第１座標変換量及び第２座標変換量を計算しなくても色情報を形状情報に貼り付けることができる。

図１５は、本発明の実施例３の３次元形状計測システムにおける第１座標変換量及び第２座標変換量の事前計算処理の説明図である。なお、図１５に示す構成のうち、実施例２の図１１に示す構成と同じ構成は、同じ符号を付与し、説明を省略する。

図１１では、複数色情報貼付部１１０２によって形状情報に第１画像及び第２画像の色情報が実際に貼り付けられるが、本実施例の事前計算処理では複数色情報貼付部１１０２による処理は実行されない。その他の点は図１１と同じである。

図１６は、本発明の実施例３の３次元形状計測システムによる実際の計測処理の説明図である。

図１５における事前計算処理において、第１座標変換量が第１座標変換量記憶部１１０１に記憶され、第２座標変換量が第２座標変換量記憶部１１１０に記憶されている。本実施例では、形状計測部１００、第１撮像部１１０、及び第２撮像部１２０の相対的な姿勢が固定である。このため、本実施例では、実施例２のように色情報を形状情報に貼り付けるたびに第１座標変換量及び第２座標変換量を計算せずに、事前計算処理で計算された第１座標変換量及び第２座標変換量を読み出して、色情報を形状情報に貼り付ける。

まず、形状計測部１００は計測した形状情報を形状記憶部１０１に記憶し、第１撮像部１１０は撮像した第１画像を第１撮像画像記憶部１１１に記憶し、第２撮像部１２０は撮像した第２画像を第２撮像画像記憶部１２１に記憶する。

次に、第１座標変換量読出部１６１０は、第１座標変換量記憶部１１０１に記憶された第１座標変換量を読み出す。第２座標変換量読出部１６２０は、第２座標変換量記憶部１１１０に記憶された第２座標変換量を読み出す。

複数色情報貼付部１１０２は、第１座標変換量読出部１６１０によって読み出された第１座標変換量及び第２座標変換量読出部１６２０によって読み出された第２座標変換量に基づいて第１画像及び第２画像の色情報を形状情報に貼り付け、色情報が貼り付けられた形状情報である色付き形状情報を色付き形状記憶部１３２に記憶する。なお、複数色情報貼付部１１０２の処理は、図１４で説明した処理と同じある。

以上によって、実際に現場の計測及び撮像を開始する前に第１座標変換量及び第２座標変換量が予め計算され、色情報の形状情報への貼り付ける場合に第１座標変換量及び第２座標変換量が計算される必要がないので、色情報の形状情報への貼り付け処理の処理負荷を軽減できる。

以下、本発明の実施例４について図１７及び図１８を用いて説明する。

本実施例では、第２撮像部１２０が形状計測部１００に搭載され、形状計測部１００及び第２撮像部１２０の相対的な姿勢が固定されている場合について説明する。本実施例では、形状計測部１００が現場の形状を計測し、第１撮像部１１０及び第２撮像部１２０が現場を撮像する前に、第２座標変換量を予め計算しておくための事前の形状計測部１００による計測及び第２撮像部１２０による撮像を実施しておき、実際の計測時に第２座標変換量を計算しなくても色情報を形状情報に貼り付けることができる。

図１７は、本発明の実施例４の３次元形状計測システムにおける第２座標変換量の事前計算処理の説明図である。なお、図１７に示す構成のうち、図１５に示す構成と同じ構成は同じ符号を付与し、説明を省略する。

実施例３では第１撮像部１１０の相対的な姿勢も固定されていたため、第１座標変換量も事前に計算したが、本実施例では、第１撮像部１１０の相対的な姿勢は固定されていないため、第１座標変換量は事前に計算されず、第２座標変換量のみ事前に計算される。

このため、第２照合部１２２は、形状記憶部１０１に記憶された形状情報と第２撮像画像記憶部１２１に記憶された第２画像とを照合して第２座標変換量を計算し、第２座標変換量を第２座標変換量記憶部１１１０に記憶する。

図１８は、本発明の実施例４の３次元形状計測システムによる実際の計測処理の説明図である。

図１７における事前計算処理において、第２座標変換量が第２座標変換量記憶部１１１０に記憶されており、形状計測部１００及び第２撮像部１２０の相対的な姿勢が固定である。このため、本実施例では、色情報を形状情報に貼り付ける場合に、第１撮像部１１０の相対的な姿勢は固定されていないため、第１座標変換量を計算し、第２座標変換量を計算せずに事前計算処理で計算された第２座標変換量を読み出して、色情報を形状情報に貼り付ける。

第１照合部１１２は、第１撮像画像記憶部１１１に記憶された第１画像と第２撮像画像記憶部１２１に記憶された第２画像とを照合し、画像変換量を計算し、画像変換量を画像変換量記憶部１１３に記憶する。

対応点抽出部１１００は、形状記憶部１０１に記憶された形状情報を第２座標変換量読出部１６２０が読み出した第２座標変換量に基づいて第２画像の座標系に変換し、第１撮像画像記憶部１１１に記憶された第１画像を画像変換量に基づいて第２画像の座標系に変換する。そして、対応点抽出部１１００は、変換後の形状情報と変換後の第１画像との対応点を抽出し、第１座標変換量を計算し、計算した第１座標変換量を第１座標変換量記憶部１１０１に記憶する。

そして、複数色情報貼付部１１０２は、第１座標変換量及び第２座標変換量に基づいて第１画像及び第２画像の色情報を形状情報に貼り付け、色情報が貼り付けられた形状情報である色付き形状情報を色付き形状記憶部１３２に記憶する。

以上によって、実際に現場の計測及び撮像を開始する前に第２座標変換量が予め計算され、色情報の形状情報への貼り付ける場合に第２座標変換量が計算される必要がないので、色情報の形状情報への貼り付け処理の処理負荷を軽減できる。また、第１撮像部１１０が形状計測部１００に搭載されないため、詳細な色情報を保存する必要がある領域を第１撮像部１１０によって撮像可能である。

なお、本実施例は、第２座標変換量を計算する実施例１及び後述する実施例５にも適用可能である。

以下、本発明の実施例５について図１９を用いて説明する。

本実施例では、第２画像の色情報を形状情報に貼り付けておき、第２画像の色情報が貼り付けられた形状情報である第２色付き形状情報と第１画像とを照合し、第１画像の色情報を第２色付き形状情報に貼り付ける。

図１９は、本発明の実施例５の３次元形状計測システムの詳細な説明図である。なお、図１９に示す構成のうち、実施例１の図１に示す構成及び実施例２の図１１に示す構成と同じ構成は同じ符号を付与し、説明を省略する。

３次元形状計測システムは、形状計測部１００、形状記憶部１０１、第１撮像部１１０、第１撮像画像記憶部１１１、第２撮像部１２０、第２撮像画像記憶部１２１、第２照合部１２２、第２座標変換量記憶部１１１０、第２画像色情報貼付部１９０１、第２色付き形状記憶部１３２ａ、色付き形状画像間照合部（第１座標変換量計算部）１９０２、第１座標変換量記憶部１１０１、第１画像色情報貼付部１９０３、及び色付き形状記憶部１３２ｂを有する。

第２画像色情報貼付部１９０１は、第２座標変換量記憶部１１１０に記憶された第２座標変換量に基づいて、第２画像の色情報を形状情報に貼り付け、第２画像の色情報が貼り付けられた形状情報である第２色付き形状情報を第２色付き形状記憶部１３２ａに記憶する。

色付き形状画像間照合部１９０２は、第１撮像画像記憶部１１１に記憶された第１画像と第２色付き形状記憶部１３２ａに記憶された第２色付き形状情報とを照合して、第１座標変換量を計算し、第１座標変換量を第１座標変換量記憶部１１０１に記憶する。色付き形状画像間照合部１９０２の第１座標変換量の計算方法は、実施例１の図６に示す第２照合部１２２と同じ方法を用いてもよいが、本実施例では、第２画像色情報貼付部１９０１によって形状情報に第２画像の色情報が貼り付けられているため、色付き形状画像間照合部１９０２は、第１画像の色情報及び第２色付き形状情報の色情報に基づいて、第１画像と第２色付き形状情報とを直接照合することによって、第１画像の座標系と第２色付き形状情報の座標系とを対応させるための第１座標変換量を計算できる。

第１画像色情報貼付部１９０３は、第１座標変換量記憶部１１０１に記憶された第１座標変換量に基づいて第１画像を第２色付き形状情報に対応させて、第２色付き形状情報に第１画像の色情報を貼り付け、第１画像の色情報が貼り付けられた第２色付き形状情報を色付き形状情報として色付き形状記憶部１３２ｂに記憶する。なお、第１画像色情報貼付部１９０３は、第１画像の色情報及び第２画像の色情報が重複する領域については、両方の色情報のＲＧＢ成分を線形補間した色情報を付与してもよいし、画質の高い第１画像の色情報を優先して付与してもよい。

以上によって、本実施例の３次元形状計測システムは、第２画像の色情報が貼り付けられた形状情報及び第１画像の色情報に基づいて、第１画像の座標系を形状情報の座標系に対応させる第１座標変換量を計算する。３次元形状計測システムは、第１座標変換量に基づいて第１画像の色情報を、第２画像の色情報が貼り付けられた形状情報に貼り付ける。これによって、第２画像の情報を利用して求められる第１画像と形状情報との対応関係に基づいて、第１画像の色情報を形状情報に貼り付けることができ、形状情報と画像とのマッチングの正確性を維持することができる。

また、本実施例では、画像変換量を計算しなくてもよいので、実施例２と比較して、３次元形状計測システムの処理負荷が軽減される。

以下、本発明の実施例６について図２０及び図２１を用いて説明する。

形状計測部１００が赤外線レーザ距離センサである場合、計測した形状情報の計測精度は周囲環境の明るさ及び計測対象の色に依存する。具体的には、形状情報の計測精度は、周囲環境が明るいほど低下し、計測対象の色が暗いほど低下する。そこで、本実施例では、形状情報の計測精度の信頼度として第１画像の輝度を示す色情報も形状情報に貼り付ける。

撮像部が撮像対象を撮像する方向の照度は、露光時間が固定された撮像部が撮像した画像に反映される光量によって決まる。このため、周囲環境の明るさ及び計測対象の色の明るさは、露光時間が固定された撮像部によって撮像された画像の輝度に比例する。第２撮像部１２０の画角は１００度〜１２０度と広く、屋外では、逆光の影響で画像が鮮明に写らない可能性があるので、第２撮像部１２０の露光時間は可変である必要がある。このため、第２撮像部１２０によって撮像された第２画像を形状情報の計測精度の信頼度に用いることはできない。一方、第１撮像部１１０は、画角が狭く、逆光の影響を受けにくいため、露光時間を固定できる。このため、第１撮像部１１０によって撮像された第１画像の輝度を形状情報の計測精度の信頼度として用いる。

図２０は、本発明の実施例６の第１画像が撮像されてから第１撮像画像記憶部１１１に記憶されるまでの処理のフローチャートである。

まず、第１撮像部１１０は、周囲の環境を撮像する撮像処理を実行し（２００１）、第１画像を取得する。第１撮像部１１０は、第１画像の輝度値を信頼度として計算する信頼度画像計算処理を実行する（２００２）。次に、第１撮像部１１０は、信頼度画像計算処理で計算された輝度値を信頼度として第１画像に付与する（２００３）。具体的には、第１撮像部１１０は、第１画像の座標と当該座標の輝度値とを対応付けて記憶する。そして、第１撮像部１１０は、信頼度が付与された第１画像を第１撮像画像記憶部１１１に記憶し（２００４）、処理を終了する。

これによって、実施例１の色情報貼付部１３１、実施例２〜実施例４の複数色情報貼付部１１０２、又は実施例５の第１画像色情報貼付部１９０３は、第１画像の色情報が形状情報に貼り付けられる場合に、形状情報の計測精度を示す信頼度も一緒に貼り付けることができ、色付き形状情報に信頼度を付与できる。

なお、第１撮像部１１０は、信頼度画像計算処理及び信頼度付与処理を実行せずに第１画像をそのまま第１撮像画像記憶部１１１に記憶し、色情報追加部を有する計算機３００が、第１画像を取り込んだ後に、取り込んだ第１画像に対して信頼度画像計算処理及び信頼度付与処理を実行してもよい。

図２１は、本発明の実施例６の信頼度が付与された色付き形状情報の表示例の説明図である。

形状情報の第１画像の色情報が貼り付けられた領域は、信頼度が付与された信頼度付与領域２１００となる。第１画像における輝度が低い部分は、信頼度が低いことを示し、濃い色で表示され、第１画像における輝度が高い部分は、信頼度が高いことを示し、薄い色で表示される。

横断歩道部分はアスファルト部分より第１画像の輝度が高いので、図２１の横断歩道部分は信頼度が高いことを示す高信頼度領域２１０２となり、図２１のアスファルト部分は信頼度が低いことを示す低信頼度領域２１０１となる。

以上によって、３次元形状計測システムの利用者は、色付き形状情報を見ることによって、形状情報の計測精度を把握することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１００・・・形状計測部
１０１・・・形状記憶部
１１０・・・第１撮像部
１１１・・・第１撮像画像記憶部
１１２・・・第１照合部
１１３・・・画像変換量記憶部
１２０・・・第２撮像部
１２１・・・第２撮像画像記憶部
１２２・・・第２照合部
１２３・・・座標変換量記憶部
１３０・・・画像合成部
１３１・・・色情報貼付部
１３２・・・色付き形状記憶部
６０１・・・初期変換量記憶部
６０２・・・初期座標変換後形状画像記憶部
６０３・・・初期座標変換後形状画像表示部
６２１・・・第２撮像画像表示部
６３０・・・対応点指示部
６３１・・・対応点記憶部
６３２・・・座標変換量計算部
８１０・・・第１撮像画像表示部
８３０・・・対応点指示部
８３１・・・対応点記憶部
８３２・・・画像変換量計算部
１１００・・・対応点抽出部
１１０１・・・第１座標変換量記憶部
１１０２・・・複数色情報張付部
１１１０・・・第２座標変換量記憶部
１２００・・・形状座標変換部
１２１０・・・画像座標変換部
１２１１・・・対応選択部
１２１２・・・第１座標変換量計算部
１４１０・・・第１座標変換後形状計算部
１４１１・・・第１座標対応算出部
１４１２・・・第１色情報設定部
１４２０・・・第２座標変換後形状計算部
１４２１・・・第２座標対応算出部
１４２２・・・第２色情報設定部
１６１０・・・第１座標変換量読出部
１６２０・・・第２座標変換量読出部
１９０１・・・第２画像色情報貼付部
１９０２・・・色付き形状画像間照合部
１９０３・・・第１画像色情報貼付部
２１００・・・信頼度付与領域
２１０１・・・低信頼度領域
２１０２・・・高信頼度領域

Claims (12)

1. 周囲の３次元形状を計測可能な形状計測部によって計測された形状情報を記憶する形状情報記憶部と、
   色情報を撮像可能な第１撮像部によって撮像された第１画像を記憶する第１撮像画像記憶部と、
   前記第１撮像部より画角が広く、色情報を撮像可能な第２撮像部によって撮像された第２画像を記憶する第２撮像画像記憶部と、
   前記第１画像及び前記第２画像の色情報を前記形状情報に貼り付ける色情報貼付部と、を有し、
   前記色情報貼付部は、前記第２画像を利用して求められる前記第１画像と前記形状情報との対応関係に基づいて、前記第１画像の色情報を前記形状情報に貼り付けることを特徴とする３次元形状計測システム。
2. 周囲の３次元形状を計測可能な形状計測部によって計測された形状情報を記憶する形状情報記憶部と、
   色情報を撮像可能な第１撮像部によって撮像された第１画像を記憶する第１撮像画像記憶部と、
   前記第１撮像部より画角が広く、色情報を撮像可能な第２撮像部によって撮像された第２画像を記憶する第２撮像画像記憶部と、
   前記第１画像及び前記第２画像の色情報を前記形状情報に貼り付ける色情報貼付部と、
   前記第１画像及び前記第２画像の色情報に基づいて前記第１画像及び前記第２画像を照合して、前記第１画像と前記第２画像とを対応させるための前記第１画像の画像変換量を算出する第１照合部と、
   前記第２画像及び前記形状情報の幾何学的な情報に基づいて、前記形状情報の座標系と前記第２画像の座標系とを対応させるための第２座標変換量を算出する第２照合部と、
   前記画像変換量に基づいて前記第１画像を前記第２画像に対応させて、前記第１画像及び前記第２画像を合成した合成画像を生成する画像合成部と、を有し、
   前記色情報貼付部は、前記第２座標変換量に基づいて、前記合成画像の色情報を前記形状情報に貼り付けることによって、前記第１画像及び前記第２画像の色情報を前記形状情報に貼り付けることを特徴とする３次元形状計測システム。
3. 周囲の３次元形状を計測可能な形状計測部によって計測された形状情報を記憶する形状情報記憶部と、
   色情報を撮像可能な第１撮像部によって撮像された第１画像を記憶する第１撮像画像記憶部と、
   前記第１撮像部より画角が広く、色情報を撮像可能な第２撮像部によって撮像された第２画像を記憶する第２撮像画像記憶部と、
   前記第１画像及び前記第２画像の色情報を前記形状情報に貼り付ける色情報貼付部と、
   前記第２画像及び前記形状情報の幾何学的な情報に基づいて、前記形状情報の座標系と前記第２画像の座標系とを対応させるための第２座標変換量を算出する第２照合部と、を有し、
   前記色情報貼付部は、前記第２座標変換量に基づいて前記第２画像の色情報を前記形状情報に貼り付け、
   さらに、前記色情報貼付部によって色情報が貼り付けられた前記形状情報及び前記第１画像の色情報に基づいて、前記第１画像の座標系と前記形状情報の座標系とを対応させるための第１座標変換量を計算する第１座標変換量計算部を有し、
   前記色情報貼付部は、前記第１座標変換量に基づいて、前記色情報貼付部によって色情報が貼り付けられた前記形状情報に前記第１画像の色情報を貼り付けることを特徴とする３次元形状計測システム。
4. 周囲の３次元形状を計測可能な形状計測部によって計測された形状情報を記憶する形状情報記憶部と、
   色情報を撮像可能な第１撮像部によって撮像された第１画像を記憶する第１撮像画像記憶部と、
   前記第１撮像部より画角が広く、色情報を撮像可能な第２撮像部によって撮像された第２画像を記憶する第２撮像画像記憶部と、
   前記第１画像及び前記第２画像の色情報を前記形状情報に貼り付ける色情報貼付部と、
   前記第１画像及び前記第２画像の色情報に基づいて前記第１画像及び前記第２画像を照合して、前記第１画像と前記第２画像とを対応させるための画像変換量を算出する第１照合部と、
   前記第２画像及び前記形状情報の幾何学的な情報に基づいて、前記形状情報の座標系と前記第２画像の座標系とを対応させるための第２座標変換量を算出する第２照合部と、
   前記第２座標変換量に基づき前記第２画像の座標系に変換された前記形状情報と、前記画像変換量に基づき前記第２画像に対応するように変換された第１画像との間で、対応点を選択する対応点選択部と、
   前記対応点選択部によって選択された前記第１画像の対応点を前記形状情報の対応点に一致させることによって、前記第１画像の座標系と前記形状情報の座標系とを対応させるための第１座標変換量を計算する第１座標変換量計算部と、を有し、
   前記色情報貼付部は、前記第１座標変換量に基づいて前記第１画像の色情報を前記形状情報に貼り付け、前記第２座標変換量に基づいて前記第２画像の色情報を前記形状情報に貼り付けることによって、前記第１画像及び前記第２画像の色情報を前記形状情報に貼り付けることを特徴とする３次元形状計測システム。
5. 請求項４に記載の３次元形状計測システムであって、
   前記第２照合部は、
   前記第２座標変換量を予め計算し、
   前記計算した第２座標変換量を記憶しておき、
   前記第１照合部は、前記画像変換量を予め計算し、
   前記対応点選択部は、前記予め計算された第２座標変換量に基づき前記第２画像の座標系に変換された前記形状情報と、前記予め計算された画像変換量に基づき前記第２画像に対応するように変換された第１画像との間で、対応点を選択し、
   前記第１座標変換量計算部は、
   前記対応点選択部によって選択された前記第１画像の対応点を前記形状情報の対応点に基づいて、前記第１座標変換量を予め計算し、
   前記計算した第１座標変換量を記憶しておき、
   前記色情報貼付部は、前記予め記憶された第１座標変換量を読み出し、前記読み出された第１座標変換量に基づいて前記第１画像の色情報を前記形状情報に貼り付け、前記予め記憶された第２座標変換量を読み出し、前記読み出された第２座標変換量に基づいて前記第２画像の色情報を前記形状情報に貼り付けることによって、前記第１画像及び前記第２画像の色情報を前記形状情報に貼り付けることを特徴とする３次元形状計測システム。
6. 請求項４に記載の３次元形状計測システムであって、
   前記対応点選択部は、前記第２座標変換量に基づき前記第２画像の座標系に変換された前記形状情報、及び前記画像変換量に基づき前記第２画像に対応するように変換された第１画像を表示し、利用者から前記対応点の指示を受け付けることによって、前記対応点を選択することを特徴とする３次元形状計測システム。
7. 請求項４に記載の３次元形状計測システムであって、
   前記色情報貼付部は、
   前記第１座標変換量に基づいて前記形状情報を前記第１画像の座標系に変換する第１座標変換後形状計算部と、
   前記第１座標変換後形状計算部によって変換された前記形状情報の座標と前記第１画像の座標との対応関係を算出する第１座標対応算出部と、
   前記第１座標対応算出部によって算出された対応関係に基づいて前記第１画像の色情報を前記形状情報に付与する第１色情報設定部と、
   前記第２座標変換量に基づいて前記形状情報を前記第２画像の座標系に変換する第２座標変換後形状計算部と、
   前記第２座標変換後形状計算部によって変換された前記形状情報の座標と前記第２画像の座標との対応関係を算出する第２座標対応算出部と、
   前記第２座標対応算出部によって算出された対応関係に基づいて前記第２画像の色情報を前記形状情報に付与する第２色情報設定部と、を有することを特徴とする３次元形状計測システム。
8. 請求項２から請求項４のいずれか一つに記載の３次元形状計測システムであって、
   前記第２照合部は、
   前記第２座標変換量を予め計算し、
   前記計算した第２座標変換量を記憶しておき、
   前記色情報貼付部は、前記記憶された第２座標変換量を読み出して前記形状情報に前記第２画像の色情報を貼り付けることを特徴とする３次元形状計測システム。
9. 請求項２から請求項４のいずれか一つに記載の３次元形状計測システムであって、
   前記第２照合部は、第１方式、第２方式、及び第３方式のいずれかを用いて前記第２座標変換量を算出し、
   前記第１方式では、
   前記第２照合部は、前記形状情報及び前記第２画像の幾何形状が最も重なるような前記形状情報の座標変換量を前記第２座標変換量として算出し、
   前記第２方式では、
   前記第２照合部は、
   前記形状情報及び前記第２画像から特徴点及びエッジ情報の少なくとも一方を抽出し、
   前記抽出した特徴点及びエッジ情報の少なくとも一方が前記形状情報及び前記第２画像間で一致する前記形状情報の座標変換量を前記第２座標変換量として算出し、
   前記第３方式では、
   前記第２照合部は、
   予め設定され、前記形状情報を前記第２画像の座標系に大まかに一致させる初期変換量に基づいて前記形状情報を変換し、
   前記変換された形状情報及び前記第２画像を表示し、
   前記表示された形状情報及び前記第２画像の対応点の指示を利用者から受け付け、
   前記指示を受け付けた対応点が一致するような前記形状情報の座標変換量を前記第２座標変換量として算出することを特徴とする３次元形状計測システム。
10. 請求項２又は請求項４に記載の３次元形状計測システムであって、
    前記第１照合部は、第４方式、第５方式、及び第６方式のいずれかを用いて前記画像変換量を算出し、
    前記第４方式では、
    前記第１照合部は、前記第１画像及び前記第２画像の色情報が最も重なる位置までの前記第１画像の変換量を前記画像変換量として算出し
    前記第５方式では、
    前記第１照合部は、前記第１画像及び前記第２画像から特徴点を抽出し、前記抽出した特徴点が一致する位置までの前記第１画像の変換量を前記画像変換量として算出し、
    前記第６方式では、
    前記第１照合部は、
    前記第１画像及び前記第２画像を表示し、
    前記表示された第１画像及び第２画像の対応点の指示を利用者から受け付け、
    前記指示を受け付けた対応点が一致する位置までの前記第１画像の変換量を前記画像変換量として算出することを特徴とする３次元形状計測システム。
11. 請求項１から請求項８のいずれか一つに記載の３次元形状計測システムであって、
    前記形状計測部の計測結果は点の集合であり、
    当該点と点との間の領域をメッシュで接続することによって補間し、又は、当該点と点との間の領域を曲面で近似することによって補間する形状補間部を有することを特徴とする３次元形状計測システム。
12. 周囲の３次元形状を計測可能な形状計測部によって計測された形状情報を記憶する形状情報記憶部と、
    色情報を撮像可能な第１撮像部によって撮像された第１画像を記憶する第１撮像画像記憶部と、
    前記第１撮像部より画角が広く、色情報を撮像可能な第２撮像部によって撮像された第２画像を記憶する第２撮像画像記憶部と、
    前記第１画像及び前記第２画像の色情報を前記形状情報に貼り付ける色情報貼付部と、
    前記第１画像の輝度値を、前記形状計測部の計測精度の信頼度として計算する信頼度計算部と、
    前記信頼度計算部によって計算された信頼度を前記第１画像に付与する信頼度付与部と、を有し、
    前記色情報貼付部は、前記第１画像の信頼度を示す色情報を前記形状情報に貼り付けることを特徴とする３次元形状計測システム。