JP5745435B2 - 三次元データ処理装置、三次元データ処理プログラムおよび三次元データ処理方法 - Google Patents

Description

本発明に係る実施形態は、三次元データ処理装置、三次元データ処理プログラムおよび三次元データ処理方法に関する。

従来、いわゆるレーザースキャナ等の三次元計測装置を使用して計測対象物の輪郭を表す点群データを計測し、この点群データから計測対象物のパノラマ画像を作成する三次元データ処理装置が知られている。この三次元データ処理装置は、三次元計測装置の計測位置を原点とする仮想的な球面に対するパノラマ画像を作成する。

特開２０１０−０９７４１９号公報

原子力発電所などのプラントや文化財などの凹凸を有する非平面形状の計測対象物の場合、ある１点から計測する点群データには死角が生じるため、計測位置を様々に変えて複数の点群データを計測することがある。この計測位置の異なる複数の点群データを合成することで死角が減り、様々な視点から計測対象物の輪郭を把握することができる。

しかしながら、点群データは一つの計測位置ごとに数十万から数百万の頂点を含んでいるため、合成済みの点群データのデータ量はさらに膨大であり、既存のパーソナル・コンピュータの処理能力では、例えば視点を変更するような操作を行う場合に快適な操作感を得ることが難しい。

一方、従来の三次元データ処理装置は、三次元計測装置の計測位置を原点とするパノラマ画像を作成して点群データの表示を容易化し操作性を向上することができるものの、計測位置から視点（すなわち、パノラマ画像の原点）を移動してパノラマ画像を作成するものではない。

そこで、本発明は、三次元計測装置が複数の測定位置で計測して得る複数の点群データから任意の視点におけるパノラマ画像を作成可能な三次元データ処理装置、三次元データ処理プログラムおよび三次元データ処理方法を提案する。

前記の課題を解決するため本発明の実施形態に係る三次元データ処理装置は、頂点ごとに三次元座標値および輝度を有して計測対象物の輪郭を表しかつ計測範囲が部分的に重なる計測位置から取得する複数の点群データを記憶する源点群情報記憶部と、前記源点群情報記憶部から前記複数の点群データを読み出して同一の三次元座標系に合成して合成点群データを作成する点群合成部と、前記合成点群データの頂点のうち前記計測位置とは異なる任意の視点から見通し可能な範囲にある可視頂点について、前記視点を原点とする仮想的な球面に対する前記可視頂点の投影位置へ前記可視頂点の輝度を配置して球面画像を作成する球面画像作成部と、前記視点から前記可視頂点それぞれの距離を正規化して疑似輝度を算出し、この疑似輝度を前記投影位置へ配置して距離画像を作成する距離画像作成部と、前記球面画像の任意のピクセルを選択可能な画素選択操作部と、前記画素選択操作部が選択するピクセルに対応する前記距離画像の前記疑似輝度を参照し、前記球面画像または前記距離画像のピクセル座標と、前記疑似輝度とから当該ピクセルの三次元の座標値を算出する座標算出部と、を備え、前記複数の点群データから前記視点におけるパノラマ画像を作成することを特徴とする。

また、本発明の実施形態に係る三次元データ処理プログラムは、頂点ごとに三次元座標値および輝度を有して計測対象物の輪郭を表しかつ計測範囲が部分的に重なる計測位置から取得する複数の点群データを取り扱うためにコンピュータを、前記複数の点群データを記憶する源点群情報記憶部、前記源点群情報記憶部から前記複数の点群データを読み出して同一の三次元座標系に合成して合成点群データを作成する点群合成部、前記合成点群データの頂点のうち前記計測位置とは異なる任意の視点から見通し可能な範囲にある可視頂点について、前記視点を原点とする仮想的な球面に対する前記可視頂点の投影位置へ前記可視頂点の輝度を配置して球面画像を作成する球面画像作成部、前記視点から前記可視頂点それぞれの距離を正規化して疑似輝度を算出し、この疑似輝度を前記投影位置へ配置して距離画像を作成する距離画像作成部、前記球面画像の任意のピクセルを選択可能な画素選択操作部、前記画素選択操作部が選択するピクセルに対応する前記距離画像の前記疑似輝度を参照し、前記球面画像または前記距離画像のピクセル座標と、前記疑似輝度とから当該ピクセルの三次元の座標値を算出する座標算出部、として機能させて前記複数の点群データから前記視点におけるパノラマ画像を作成する。

さらに、本発明の実施形態に係る三次元データ処理方法は、頂点ごとに三次元座標値および輝度を有して計測対象物の輪郭を表しかつ計測範囲が部分的に重なる計測位置から複数の点群データを取得し、前記複数の点群データを合成して合成点群データを作成し、前記合成点群データの頂点のうち前記計測位置とは異なる任意の視点から見通し可能な範囲にある可視頂点について、前記視点を原点とする仮想的な球面に対する前記可視頂点の投影位置へ前記可視頂点の輝度を配置して球面画像を作成し、前記視点から前記可視頂点それぞれの距離を正規化して疑似輝度を算出し、この疑似輝度を前記投影位置へ配置して距離画像を作成し、前記球面画像の任意のピクセルを選択し、前記ピクセルに対応する前記距離画像の前記疑似輝度を参照し、前記球面画像または前記距離画像のピクセル座標と、前記疑似輝度とから当該ピクセルの三次元の座標値を算出して前記複数の点群データから前記視点におけるパノラマ画像を作成することを特徴とする。

本発明の実施形態に係る三次元データ処理装置を概略的に示すブロック図。 本発明の実施形態に係る三次元データ処理装置のハードウェア構成の典型的な例を示す概略図。 本発明の実施形態に係る三次元データ処理方法を示すフローチャート。 本発明の実施形態に係る三次元データ処理装置および三次元データ処理方法における距離画像および球面画像と、三次元計測装置の三次元直交座標系との関係を示す図。 本発明の実施形態に係る三次元データ処理装置、および三次元データ処理方法における点群データと、距離画像および球面画像との関係を示す概念図。

本発明に係る三次元データ処理装置、三次元データ処理プログラム、および三次元データ処理方法の実施形態について図１から図５を参照して説明する。

図１は、本発明の実施形態に係る三次元データ処理装置を概略的に示すブロック図である。

図１に示すように、本実施形態に係る三次元データ処理装置１は、三次元計測装置２から複数の点群データ５を取得して取り扱う。

ここで、先ず、三次元計測装置２は、例えばレーザースキャナである。三次元計測装置２は、計測対象物６にレーザー光を照射し、計測対象物６が反射する光（反射光）を受光して三次元計測装置２と計測対象物６との距離を計測し、同時にレーザー光を照射した方向を加味してレーザー光が反射した箇所（すなわち頂点）の三次元座標値（ｘ，ｙ，ｚ）を取得する。三次元計測装置２は、このような計測を略全方向（例えば、水平方向３６０°、垂直方向３１０°）について離散的に行い複数の頂点、すなわち点群データ５を計測する。

また、三次元計測装置２は、レーザー光を水平方向に走査する回転機構（パン機構）と、レーザー光を俯仰方向に走査する揺動機構（チルト機構）と、を備える。点群データ５の三次元座標値（ｘ，ｙ，ｚ）の原点Ｏは、パン機構の回転軸芯およびチルト機構の揺動軸芯に関連付いており、例えば各軸芯の交差位置に定められる。すなわち、三次元計測装置２は、原点Ｏを中心とする略全方向に計測対象物６を計測する。

さらに、三次元計測装置２は、計測範囲が部分的に重なる複数の計測位置ごとに点群データ５を計測する。計測位置の異なる点群データ５を区別して表現する場合、インデックスを付して点群データ５ａ、５ｂ、５ｃ、………、５ｚ、…と表現する。

点群データ５は、頂点ごとに三次元座標値（ｘ，ｙ，ｚ）および輝度を有して計測対象物６の輪郭を表す。また、点群データ５は、頂点毎に、取得番号、三次元座標値（ｘ，ｙ，ｚ）および輝度からなるデータの集合である。

点群データ５の取得番号は、三次元計測装置２の走査位置を表し、例えば三次元計測装置２のパン機構およびチルト機構に関連付いている。すなわち、点群データ５の取得番号は、点群データ５の各頂点を２次元平面に整列するインデックスになる。

点群データ５の三次元座標値（ｘ，ｙ，ｚ）は、一般に、原点Ｏに固定された三次元直交座標系Ｘ，Ｙ，Ｚで表される。

点群データ５の輝度は、計測対象物６の測定点におけるレーザー光の反射強度である。

点群データ５は、取得番号に基づいて２次元平面に輝度を配置すると白黒画像になる。この白黒画像は、上下に向かって歪んだ画像になる。なお、点群データ５は、ＲＧＢカラーモデルなどによる色データを頂点毎に含んでいても良い。

一方、三次元データ処理装置１は、三次元計測装置２から点群データ５を取得するインタフェース部（図示省略）と、記憶部１１と、演算処理部１２と、表示部１３と、入力部１５と、を備える。

インタフェース部は、三次元計測装置２と三次元データ処理装置１とを接続する有線回線や無線回線でも良く、不揮発性メモリなどの記憶媒体であっても良い。

記憶部１１は、頂点ごとに三次元座標値（ｘ，ｙ，ｚ）および輝度を有して計測対象物６の輪郭を表しかつ計測範囲が部分的に重なる計測位置から取得する複数の点群データ５を記憶する源点群情報記憶部１６と、合成点群データ１７を記憶する合成点群情報記憶部１８と、球面画像１９および距離画像２１を記憶する画像情報記憶部２２と、を備える。

演算処理部１２は、源点群情報記憶部１６から複数の点群データ５を読み出し合成して合成点群データ１７を作成する点群合成部２３と、合成点群情報記憶部１８から合成点群データ１７を読み出して距離画像２１を作成する距離画像作成部２５と、合成点群情報記憶部１８から合成点群データ１７を読み出して球面画像１９を作成する球面画像作成部２６と、少なくとも距離画像２１を用いて計測対象物６の任意の測定点の三次元座標値（ｘ，ｙ，ｚ）を算出する座標算出部２７と、を備える。

点群合成部２３は、複数の点群データ５を同一の三次元座標系に合成し、点群データ５ごとの頂点の三次元座標値（ｘ，ｙ，ｚ）の座標変換を行い合成点群データ１７を作成する。点群合成部２３は、計測範囲が相互に重なり合う部分に依拠して複数の点群データ５の相対的な位置関係を調整して合成点群データ１７を作成する。なお、合成点群データ１７においても個々の点群データ５と同様に頂点の三次元座標値（ｘ，ｙ，ｚ）と表現する。

距離画像作成部２５は、合成点群データ１７の頂点のうち三次元計測装置２の計測位置とは異なる任意の視点ＰＯＶから見通し可能な範囲にある可視頂点ＶＡについて、視点ＰＯＶから可視頂点ＶＡそれぞれの距離を正規化して疑似輝度ＡＬを算出し、視点ＰＯＶを原点Ｏとする仮想的な球面に対する可視頂点ＶＡの投影位置へ疑似輝度ＡＬを配置して距離画像２１を作成する。距離画像作成部２５は、距離画像２１を画像情報記憶部２２に書き込む。

なお、視点ＰＯＶを原点Ｏとする仮想的な球面に対する可視頂点ＶＡの投影位置は、水平方向および垂直方向へ等間隔に整列するピクセル座標（ｍ，ｎ）に対応する。

さらに、具体的には、距離画像作成部２５は、先ず、可視頂点ＶＡ毎に視点ＰＯＶからの距離Ｌ（０，０）、Ｌ（０，１）、・・、Ｌ（ｉ，ｊ）、・・、Ｌ（Ｉ−１，Ｊ−１）を［数１］に基づいて算出する。
［数１］
距離Ｌ（ｉ，ｊ）＝√（ｘ（ｉ，ｊ）^２＋ｙ（ｉ，ｊ）^２＋ｚ（ｉ，ｊ）^２）
整数ｉ＝０、１、・・・・、Ｉ−１
整数ｊ＝０、１、・・・・、Ｊ−１
距離Ｌ（ｉ，ｊ）：視点ＰＯＶから可視頂点ＶＡまでの距離
ｉ：水平方向の座標値
Ｉ：水平方向解像度（水平方向画素数）
ｊ：垂直方向の座標値
Ｊ：垂直方向解像度（垂直方向画素数）

次いで、距離画像作成部２５は、例えば三次元計測装置２の計測可能範囲半径を代表距離Ｌとして、距離Ｌ（０，０）、Ｌ（０，１）、・・、Ｌ（ｉ，ｊ）、・・、Ｌ（Ｉ−１，Ｊ−１）を［数２］に基づいて正規化する。なお、代表距離Ｌは、距離Ｌ（０，０）、Ｌ（０，１）、・・、Ｌ（ｉ，ｊ）、・・、Ｌ（Ｉ−１，Ｊ−１）のうち最大値を包含する任意の値を取ることができ、最大値の４倍程度までとすることが好適である。
［数２］
正規化距離ＮＬ（ｉ，ｊ）＝Ｌ（ｉ，ｊ）／Ｌ
Ｌ：代表距離

次いで、距離画像作成部２５は、色深度Ｃｄ（例えば、２４ビット）を基準に、正規化距離ＮＬ（０，０）、ＮＬ（０，１）、・・、ＮＬ（ｉ，ｊ）、・・、ＮＬ（Ｉ−１、Ｊ−１）を［数３］に基づいて疑似輝度ＡＬ（０，０）、ＡＬ（０，１）、・・、ＡＬ（ｉ，ｊ）、・・、ＡＬ（Ｉ−１，Ｊ−１）に変換する。
［数３］
疑似輝度ＡＬ（ｉ，ｊ）＝ＮＬ（ｉ，ｊ）×Ｃｄ
Ｃｄ：色深度（例えば、２^２４）

したがって、距離画像作成部２５は、各可視頂点ＶＡについて、［数４］に基づいて三次元座標値（ｘ，ｙ，ｚ）を疑似輝度ＡＬ（０，０）、ＡＬ（０，１）、・・、ＡＬ（ｉ，ｊ）、・・、ＡＬ（Ｉ−１，Ｊ−１）に変換する。
［数４］
疑似輝度ＡＬ（ｉ，ｊ）＝√（ｘ（ｉ，ｊ）^２＋ｙ（ｉ，ｊ）^２＋ｚ（ｉ，ｊ）^２）／Ｌ×Ｃｄ

一方、距離画像作成部２５は、各可視頂点ＶＡについて、水平方向の座標値ｉおよび垂直方向の座標値ｊを、それぞれ距離画像フォーマットにおける横方向の座標値ｍおよび縦方向の座標値ｎに対応付ける。

これによって、距離画像作成部２５は、可視頂点ＶＡの水平方向の座標値ｉおよび垂直方向の座標値ｊと、三次元座標値（ｘ，ｙ，ｚ）とから、横Ｍ（＝Ｉ）×縦Ｎ（＝Ｊ）の解像度を有し、疑似輝度ＡＬを赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、および青（Ｂｌｕｅ）のいずれかの色に割り当て、ピクセル座標（ｍ，ｎ）毎にＡＬ（ｍ，ｎ）を配置する距離画像２１を作成する。

ここで、疑似輝度ＡＬ（ｍ，ｎ）は、可視頂点ＶＡの輝度とは異なり、各可視頂点ＶＡの距離Ｌ（ｉ＝ｍ，ｊ＝ｎ）を色深度Ｃｄと代表距離Ｌとで正規化した擬似的な輝度である。距離画像２１は、各画素（ピクセル）のピクセル座標（ｍ，ｎ）に対応する距離Ｌ（ｉ＝ｍ，ｊ＝ｎ）を赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、および青（Ｂｌｕｅ）のいずれかの色の濃淡として視覚的に観察できる画像である。

球面画像作成部２６は、距離画像作成部２５と同様に、合成点群データ１７の頂点のうち三次元計測装置２の計測位置とは異なる任意の視点ＰＯＶから見通し可能な範囲にある可視頂点ＶＡについて、視点ＰＯＶを原点Ｏとする仮想的な球面に対する可視頂点ＶＡの投影位置へ当該可視頂点ＶＡの輝度を配置して球面画像１９を作成する。球面画像作成部２６は、球面画像１９を画像情報記憶部２２に書き込む。

球面画像１９は、いわゆるパノラマ画像であり、広角静止画の視角部分を切り出して表示させることで、１つの視点から略３６０度見渡せるようにした画像であり、例えばアップル社のＱｕｉｃｋＴｉｍｅ ＶＲの技術を使用することが可能である("QuickTime VR-AnImage-Based Approach to Virtual Environment Navigation",Shenchang EricChen, Apple Computer, Inc. Computer Graphics Proceedings, AnnualConfrence Series, 1995, ACM-0-89791-701-4/95/008）。

また、球面画像作成部２６は、各可視頂点ＶＡについて、水平方向の座標値ｉおよび垂直方向の座標値ｊを、それぞれ球面画像フォーマットにおける横方向の座標値ｌ、および縦方向の座標値ｏに対応付ける。すなわち、球面画像１９上のピクセル座標（ｌ，ｏ）の画素（ピクセル）および距離画像２１上のピクセル座標（ｍ，ｎ）の画素は、合成点群データ１７における視点ＰＯＶから見て水平方向の座標値ｉおよび垂直方向の座標値ｊとなる同一の可視頂点ＶＡを指す。

さらに、球面画像作成部２６は、球面画像１９と、距離画像２１との各画素間を関連付けるために、合成点群データ１７の任意の可視頂点ＶＡ、例えば、三次元座標値（ｘ，０，０）となるＸ軸上に存する可視頂点ＶＡを参照し、この頂点の水平方向の座標値ｉ_０および垂直方向の座標値ｊ_０を記録する。

座標算出部２７は、距離画像２１のピクセル座標（ｍ，ｎ）と、疑似輝度ＡＬ（ｍ，ｎ）とから、任意の画素における三次元座標値（ｘ，ｙ，ｚ）を算出する。

表示部１３は、記憶部１１から点群データ５、合成点群データ１７、球面画像１９および距離画像２１を取得してそれぞれを個別に表示できる。

また、表示部１３は、球面画像１９を用いて、視点ＰＯＶの周囲をインタラクティブに見渡すような画像表現ができる。このとき、表示部１３は、視点ＰＯＶから見る任意の視線方向の部分的な画像を切り出して表示する。この表示部１３が球面画像１９から切り出す部分的な画像を部分画像２８と呼ぶ。

入力部１５は、部分画像２８の切り出し位置の変更を表示部１３へ指示するための操作を受け付ける視点操作部２９と、表示部１３が表示する部分画像２８の任意のピクセルを選択可能な画素選択操作部３０と、を備える。

視点操作部２９は、部分画像２８上に表示されるカーソル等のグラフィカルユーザインタフェースであり、視認性、操作性に優れ、直感的な操作で視線方向の変更を操作できる。

画素選択操作部３０も、部分画像２８上に表示されたカーソル等のグラフィカルユーザインタフェースを用いて構成され、視認性、操作性に優れ、直感的な操作で任意の画素を選択できる。画素選択操作部３０は、部分画像２８の任意の画素、例えばピクセル座標（ｕ，ｖ）の選択を受け付けると、部分画像２８のピクセル座標（ｕ，ｖ）に対応する球面画像１９のピクセル座標（ｌ_ｕ，ｏ_ｖ）を演算処理部１２へ出力する。

図２は、本発明の実施形態に係る三次元データ処理装置のハードウェア構成の典型的な例を示す概略図である。

図２に示すように、本実施形態に係る三次元データ処理装置１は、例えば１台または数台のデスクトップ型、ラップトップ型およびノート型等のパーソナル・コンピュータ、あるいはＣＰＵ、ＤＳＰ等の演算チップを搭載した演算ボードで構成される。三次元データ処理装置１は、中央処理装置３２と、ＲＡＭなどの一次記憶装置３３と、ハードディスク等の二次記憶装置３５と、ディスプレイなどの表示装置３６と、マウスやキーボードからなる入力装置３７とを備える。

一次記憶装置３３は、演算処理部１２として点群合成部２３と、距離画像作成部２５と、球面画像作成部２６と、座標算出部２７と、を記憶する。また、一次記憶装置３３は、三次元データ処理装置１を管理するオペレーションシステム（図示省略）を記憶する。

二次記憶装置３５は、源点群情報記憶部１６として点群データ５を記憶し、合成点群情報記憶部１８として合成点群データ１７を記憶し、画像情報記憶部２２として球面画像１９および距離画像２１を記憶する。また、二次記憶装置３５は、点群合成部２３、距離画像作成部２５、球面画像作成部２６および座標算出部２７の複製を記憶する。また、二次記憶装置３５は、三次元データ処理装置１を管理するオペレーションシステムの複製を記憶する。

表示装置３６は、表示部１３として部分画像２８を表示する。

入力装置３７は、視点操作部２９として部分画像２８の視線方向の操作を受け取り、画素選択操作部３０として部分画像２８の任意の画素の選択操作を受け取る。

中央処理装置３２は、点群合成部２３の指令を受けて点群データ５から合成点群データ１７を作成する。また、中央処理装置３２は、距離画像作成部２５の指令を受けて合成点群データ１７から距離画像２１を作成する。また、中央処理装置３２は、球面画像作成部２６の指令を受けて合成点群データ１７から球面画像１９を作成する。

また、中央処理装置３２は、入力装置３７が部分画像２８の任意の画素を選択すると、座標算出部２７の指令を受けて当該画素に対応する球面画像１９のピクセル座標（ｌ，ｏ）を介して距離画像２１上の画素を特定し、計測対象物６の任意の頂点の三次元座標値（ｘ，ｙ，ｚ）を算出する。算出された三次元座標値（ｘ，ｙ，ｚ）は、表示装置３６に出力される。

本実施形態に係る三次元データ処理プログラムは、頂点ごとに三次元座標値および輝度を有して計測対象物６の輪郭を表しかつ計測範囲が部分的に重なる計測位置から取得する複数の点群データ５を取り扱うためにコンピュータを、複数の点群データ５を記憶する源点群情報記憶部１６、源点群情報記憶部１６から複数の点群データ５を読み出し合成して合成点群データ１７を作成する点群合成部２３、合成点群データ１７の頂点のうち計測位置とは異なる任意の視点から見通し可能な範囲にある可視頂点ＶＡについて、視点ＰＯＶを原点Ｏとする仮想的な球面に対する可視頂点ＶＡの投影位置へ可視頂点ＶＡの輝度を配置して球面画像１９を作成する球面画像作成部２６として機能させる。

また、本実施形態に係る三次元データ処理プログラムは、コンピュータを、合成点群情報記憶部１８、画像情報記憶部２２、距離画像作成部２５、座標算出部２７、視点操作部２９、画素選択操作部３０として機能させる。

図３は、本発明の実施形態に係る三次元データ処理方法を示すフローチャートである。

図３に示すように、本実施形態に係る三次元データ処理方法は、三次元計測装置２から複数の点群データ５を取得して取り扱う。

先ず、ステップＳ１において、三次元データ処理装置１は、複数の点群データ５を取得して源点群情報記憶部１６へ書き込む。三次元データ処理装置１は、有線回線や無線回線を利用して三次元計測装置２に直接的に接続して点群データ５を取得しても良いし、三次元計測装置２で予め計測した点群データ５を不揮発性メモリなどの記憶媒体を介して取得しても良い。

ステップＳ２において、点群合成部２３は源点群情報記憶部１６から複数の点群データ５を読み出し、これらを合成して合成点群データ１７を作成し、合成点群情報記憶部１８へ書き込む。

ステップＳ３において、距離画像作成部２５は、合成点群データ１７の視点ＰＯＶから可視頂点ＶＡまでの距離Ｌ（０，０）、Ｌ（０，１）、・・、Ｌ（ｉ，ｊ）、・・、Ｌ（Ｉ−１，Ｊ−１）を［数１］に基づいて算出する。

ステップＳ４において、距離画像作成部２５は、可視頂点ＶＡごとの視点ＰＯＶからの距離Ｌ（０，０）、Ｌ（０，１）、・・、Ｌ（ｉ，ｊ）、・・、Ｌ（Ｉ−１，Ｊ−１）を、［数２］および［数３］に基づいて疑似輝度ＡＬ（０，０）、ＡＬ（０，１）、・・、ＡＬ（ｉ，ｊ）、・・、ＡＬ（Ｉ−１，Ｊ−１）に変換する。

ステップＳ５において、距離画像作成部２５は、横Ｍ（＝Ｉ）×縦Ｎ（＝Ｊ）の解像度を有し、疑似輝度ＡＬを赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）および青（Ｂｌｕｅ）のいずれかの色に割り当て、ピクセル座標（ｍ，ｎ）毎に疑似輝度ＡＬ（ｍ，ｎ）を配置して距離画像２１を作成する。

ステップＳ６において、球面画像作成部２６は、合成点群データ１７から視点ＰＯＶにおける球面画像１９を作成する。

ステップＳ７において、表示部１３は、球面画像１９から任意の部分画像２８を切り出して表示する。

ステップＳ８において、座標算出部２７は、部分画像２８上の任意の画素を選択する操作入力を受け付けると、選択された部分画像２８上の画素（ピクセル座標（ｕ，ｖ））が指す球面画像１９上の画素（ピクセル座標（ｌ_ｕ，ｏ_ｖ））を特定する。

ステップＳ９において、座標算出部２７は、特定された球面画像１９上の画素（ピクセル座標（ｌ_ｕ，ｏ_ｖ））から距離画像２１上の画素（ピクセル座標（ｍ_ｕ＝ｌ_ｕ，ｎ_ｖ＝ｏ_ｖ））を特定する。

ステップＳ１０において、座標算出部２７は、特定された距離画像２１上の画素について、ピクセル座標（ｍ_ｕ，ｎ_ｖ）および疑似輝度ＡＬ（ｍ_ｕ，ｎ_ｖ）を参照する。

ステップＳ１１において、座標算出部２７は、参照したピクセル座標（ｍ_ｕ，ｎ_ｖ）と、疑似輝度ＡＬ（ｍ_ｕ，ｎ_ｖ）とから、当該画素における計測対象物６の測定点の三次元座標（ｘ，ｙ，ｚ）を算出する。

すなわち、三次元データ処理方法は、ステップＳ１で取得する複数の点群データ５に基づき、ステップＳ２で合成点群データ１７を作成し、ステップＳ３からステップＳ４で距離画像２１および球面画像１９からなるデータ構造を作成し、ステップＳ７およびステップＳ８で選択された画素についてステップＳ９からステップＳ１１で計測対象物６の測定点の三次元座標値（ｘ，ｙ，ｚ）を算出する。

図４は、本発明の実施形態に係る三次元データ処理装置および三次元データ処理方法における距離画像および球面画像と、三次元計測装置の三次元直交座標系との関係を示す図である。

図４（Ａ）は、球面画像と、三次元計測装置の三次元直交座標系との関係を示し、図４（Ｂ）は、距離画像および球面画像との関係を示す。

図４（Ａ）に示すように、本実施形態に係る任意の視点ＰＯＶにおける三次元座標系Ｘ，Ｙ，Ｚは、原点Ｏをとる直交座標系である。例えば、Ｘ−Ｙ平面は略水平面に一致し、Ｚ軸は略鉛直上向きの軸である。合成点群データ１７は、原点Ｏを中心に計測対象物６を観測可能であり、可視頂点ＶＡはこの範囲に存在する。具体的には、可視頂点ＶＡは、原点Ｏからの方向にだけ着目すると、水平方向解像度Ｉ、垂直方向解像度Ｊの格子のいずれかに対応する。例えば、水平方向解像度Ｉ＝３６０、垂直方向解像度Ｊ＝１８０あれば、可視頂点ＶＡは、水平および俯仰方向に１度毎の格子のいずれか対応する。

一方、球面画像１９は、原点Ｏを中心とする仮想的な球面Ｒに可視頂点ＶＡの輝度を配置して作成する。すなわち、球面画像１９の各画素（ピクセル座標（ｌ，ｏ））は、この仮想的な球面Ｒに投影された格子の各交点（ｉ，ｊ）に対応する。

そこで、可視頂点ＶＡの任意の点、例えば、三次元座標値（ｘ，０，０）となるＸ軸上に存する点を定め、可視頂点ＶＡの基準座標、すなわち水平方向の座標値ｉ_０および垂直方向の座標値ｊ_０を特定する。基準座標は、球面画像１９上の特定の画素に対応するので、当該画素のピクセル座標（ｌ_０、ｏ_０）を記録する。

図４（Ｂ）に示すように、本実施形態に係る距離画像２１のピクセル座標（ｍ，ｎ）と、球面画像１９のピクセル座標（ｌ，ｏ）とは、水平方向の座標値ｉおよび垂直方向の座標値ｊを介して一対一に関連付いている。具体的には、距離画像２１上のピクセル座標（ｍ，ｎ）の画素と、球面画像１９上のピクセル座標（ｌ，ｏ）の画素とは、合成点群データ１７における同一箇所にある可視頂点ＶＡを示す。したがって、球面画像１９上のピクセル座標（ｌ_０、ｏ_０）の画素に対応する距離画像２１上のピクセル座標（ｍ_０，ｎ_０）の画素の水平角度および俯仰角度が決まる。

距離画像２１の任意の画素について、水平方向の座標値ｍは、水平方向における視線の回転角度に比例し、垂直方向の座標値ｎは、俯仰方向における視線の揺動角度に比例する。例えば、水平方向解像度Ｉ＝３６０、垂直方向解像度Ｊ＝１８０であれば、距離画像２１の各画素は、水平方向および垂直方向に１度毎に位置する。ピクセル座標（ｍ_０，ｎ_０）の画素における水平角０度および俯仰角０度が既知であるので、距離画像２１上の任意の画素の水平角および俯仰角を明らかにできる。

一方、疑似輝度ＡＬ（ｍ，ｎ）は、原点Ｏから可視頂点ＶＡまでの距離Ｌ（ｍ，ｎ）に比例する。

したがって、距離画像２１の任意の画素について、ピクセル座標（ｍ，ｎ）と、疑似輝度ＡＬ（ｍ，ｎ）とを適宜に変換して、当該画素に対応する可視頂点ＶＡの三次元座標値（ｘ，ｙ，ｚ）を算出できる。三次元データ処理方法についても同様である。なお、距離画像２１のピクセル座標（ｍ，ｎ）に代えて球面画像１９のピクセル座標（ｌ，ｏ）を用いても、計測対象物６の測定点における三次元座標値（ｘ，ｙ，ｚ）を算出できる。

図５は、本発明の実施形態に係る三次元データ処理装置、および三次元データ処理方法における点群データと、距離画像および球面画像との関係を示す概念図である。

図５に示すように、本実施形態に係る三次元計測装置２が計測する点群データ５は、頂点毎に、取得番号と、三次元座標値（ｘ，ｙ，ｚ）と、輝度とからなる。点群データ５は点群合成部２３によって合成点群データ１７になる。合成点群データ１７は、距離画像作成部２５によって距離画像２１に変換され、球面画像作成部２６によって球面画像１９に変換される。

距離画像２１は、合成点群データ１７の三次元座標値（ｘ，ｙ，ｚ）に着目して変換される画像である。距離画像２１は、例えば、ＢＭＰ（Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標） Ｂｉｔｍａｐ Ｉｍａｇｅ）や、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）などの非圧縮または可逆圧縮の画像ファイル形式で記憶される。一方、球面画像１９は、合成点群データ１７の輝度に着目して変換される画像である。

球面画像１９上のピクセル座標（ｌ，ｏ）の画素および距離画像２１上のピクセル座標（ｍ，ｎ）の画素は、一対一に関連付いている。

球面画像１９は、表示部１３によって、原点Ｏの周囲の視野をインタラクティブに見渡すように画像表現されて表示される。

ここで、例えば測定点数２０万点の合成点群データ１７を量子化すると、そのデータサイズは、およそ１から２ギガバイトのデータ量になる。このような合成点群データ１７を三次元データ処理装置１および三次元データ処理方法で距離画像２１および球面画像１９に変換することで、そのデータサイズは、およそ２０から３０メガバイトのデータ量になる。したがって、三次元データ処理装置１および三次元データ処理方法は、点群データ５を高効率で圧縮可能であり、かつ必要に応じて可逆的に伸張可能である。なお、三次元データ処理装置１および三次元データ処理方法の圧縮、伸張における誤差は、レーザースキャナの測定誤差（一般に数ミリメートル）に対して、無視できる程度に十分に小さく、本実施形態における点群データ５は可逆圧縮であると評価できる。

また、三次元データ処理装置１および三次元データ処理方法は、三次元計測装置２の計測位置とは異なる任意の視点ＰＯＶから見通し可能な範囲にある可視頂点ＶＡについて、視点ＰＯＶから見る球面画像１９を作成できるため、入力部１５に視点ＰＯＶの移動を指令する操作部を設け、この移動操作に応じて視点ＰＯＶを移動し、新しい視点ＰＯＶから見る球面画像１９を表示部１３に表示することによって、計測対象範囲の擬似的な実地検証（いわゆるウォークスルー）を可能にする。このことは、例えば、予め三次元計測装置２の計測箇所に選定していたにも係わらず、計測をし忘れていたり、当該箇所における点群データ５を紛失していたりといったような場合や、当初計測箇所に非選定であった箇所から計測対象物６を観測したい場合にも、当該箇所におけるパノラマ画像の提供を可能にする。

すなわち、本実施形態に係る三次元データ処理装置１、三次元データ処理プログラム、および三次元データ処理方法は、一般に数十万から数百万点の頂点のデータからなる点群データ５をさらに大容量な合成点群データ１７に合成し、この合成点群データ１７を球面画像１９に変換することで、点群データ５の取り扱いを容易化する。

また、本実施形態に係る三次元データ処理装置１、三次元データ処理プログラム、および三次元データ処理方法は、球面画像１９に加えて距離画像２１を作成することで、元の三次元座標値（ｘ，ｙ，ｚ）を必要とするときには容易に提供できる。例えば、三次元データ処理装置１、三次元データ処理プログラム、および三次元データ処理方法は、三次元空間における部分画像２８上の任意の２点間の離間距離の計測や、平面や曲面などの計測対象物６の部分的な形状を特定する際に、必要最小限度の範囲で複数の測定点における三次元座標値（ｘ，ｙ，ｚ）を提供することで、三次元データ処理装置１のハードウェア資源を極力、効率的に利用できる。

さらに、本実施形態に係る三次元データ処理装置１、三次元データ処理プログラム、および三次元データ処理方法によれば、データ量が数ギガバイトに達する高精度な複数の点群データ５（形状データ）の取り扱いに際し、データ量を大幅、かつ可逆的に圧縮可能である。

さらにまた、例えば、データ量が数ギガバイトに達する高精度な 点群数が数十万から数百万点に達する高精度な複数の点群データ５を直接的に取り扱う場合には、処理能力が不足するパーソナル・コンピュータや演算ボードであっても、本実施形態に係る三次元データ処理装置１、および三次元データ処理方法によれば、極めて容易に取り扱うことができる。

したがって、本実施形態に係る三次元データ処理装置１、三次元データ処理プログラム、および三次元データ処理方法によれば、三次元計測装置２が複数の測定位置で計測して得る複数の点群データ５から任意の視点におけるパノラマ画像を作成できる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 三次元データ処理装置
２ 三次元計測装置
５ 点群データ
６ 計測対象物
１１ 記憶部
１２ 演算処理部
１３ 表示部
１５ 入力部
１６ 源点群情報記憶部
１７ 合成点群データ
１８ 合成点群情報記憶部
１９ 球面画像
２１ 距離画像
２２ 画像情報記憶部
２３ 点群合成部
２５ 距離画像作成部
２６ 球面画像作成部
２７ 座標算出部
２８ 部分画像
２９ 視点操作部
３０ 画素選択操作部
３２ 中央処理装置
３３ 一次記憶装置
３５ 二次記憶装置
３６ 表示装置
３７ 入力装置

Claims (4)

1. 頂点ごとに三次元座標値および輝度を有して計測対象物の輪郭を表しかつ計測範囲が部分的に重なる計測位置から取得する複数の点群データを記憶する源点群情報記憶部と、
   前記源点群情報記憶部から前記複数の点群データを読み出して同一の三次元座標系に合成して合成点群データを作成する点群合成部と、
   前記合成点群データの頂点のうち前記計測位置とは異なる任意の視点から見通し可能な範囲にある可視頂点について、前記視点を原点とする仮想的な球面に対する前記可視頂点の投影位置へ前記可視頂点の輝度を配置して球面画像を作成する球面画像作成部と、
   前記視点から前記可視頂点それぞれの距離を正規化して疑似輝度を算出し、この疑似輝度を前記投影位置へ配置して距離画像を作成する距離画像作成部と、
   前記球面画像の任意のピクセルを選択可能な画素選択操作部と、
   前記画素選択操作部が選択するピクセルに対応する前記距離画像の前記疑似輝度を参照し、前記球面画像または前記距離画像のピクセル座標と、前記疑似輝度とから当該ピクセルの三次元の座標値を算出する座標算出部と、を備え、前記複数の点群データから前記視点におけるパノラマ画像を作成することを特徴とする三次元データ処理装置。
2. 前記球面画像を記憶する画像情報記憶部と、
   画像情報記憶部から前記球面画像の任意の部分画像を読み込んで表示する表示部と、を備えることを特徴とする請求項１に記載の三次元データ処理装置。
3. 頂点ごとに三次元座標値および輝度を有して計測対象物の輪郭を表しかつ計測範囲が部分的に重なる計測位置から取得する複数の点群データを取り扱うためにコンピュータを、
   前記複数の点群データを記憶する源点群情報記憶部、
   前記源点群情報記憶部から前記複数の点群データを読み出して同一の三次元座標系に合成して合成点群データを作成する点群合成部、
   前記合成点群データの頂点のうち前記計測位置とは異なる任意の視点から見通し可能な範囲にある可視頂点について、前記視点を原点とする仮想的な球面に対する前記可視頂点の投影位置へ前記可視頂点の輝度を配置して球面画像を作成する球面画像作成部、
   前記視点から前記可視頂点それぞれの距離を正規化して疑似輝度を算出し、この疑似輝度を前記投影位置へ配置して距離画像を作成する距離画像作成部、
   前記球面画像の任意のピクセルを選択可能な画素選択操作部、
   前記画素選択操作部が選択するピクセルに対応する前記距離画像の前記疑似輝度を参照し、前記球面画像または前記距離画像のピクセル座標と、前記疑似輝度とから当該ピクセルの三次元の座標値を算出する座標算出部、として機能させて前記複数の点群データから前記視点におけるパノラマ画像を作成するための三次元データ処理プログラム。
4. 頂点ごとに三次元座標値および輝度を有して計測対象物の輪郭を表しかつ計測範囲が部分的に重なる計測位置から複数の点群データを取得し、
   前記複数の点群データを合成して合成点群データを作成し、
   前記合成点群データの頂点のうち前記計測位置とは異なる任意の視点から見通し可能な範囲にある可視頂点について、前記視点を原点とする仮想的な球面に対する前記可視頂点の投影位置へ前記可視頂点の輝度を配置して球面画像を作成し、
   前記視点から前記可視頂点それぞれの距離を正規化して疑似輝度を算出し、この疑似輝度を前記投影位置へ配置して距離画像を作成し、
   前記球面画像の任意のピクセルを選択し、
   前記ピクセルに対応する前記距離画像の前記疑似輝度を参照し、前記球面画像または前記距離画像のピクセル座標と、前記疑似輝度とから当該ピクセルの三次元の座標値を算出して前記複数の点群データから前記視点におけるパノラマ画像を作成することを特徴とする三次元データ処理方法。

Images